M5 — 동적 대시보드

M5 — 동적 대시보드 시험 안내

이 페이지는 자연어처럼 보이는 질의를 실제 자유 입력으로 받지 않고, preset이 고정한 widget 묶음을 이용해 대시보드 생성 로직을 검증한다. 즉, "질의 이해 → 집계 → 차트 렌더링" 흐름이 정해진 시나리오에서 정확히 동작하는지 보는 시험이다. 연구개발 목표치는 Dynamic Dashboard 응답 정확도 90% 이상이다. 원본 10,000건 CSV 보기

무엇을 테스트하나요?

100개의 canonical query 를 (metric/dimension/period/chart_type/filter_set) 조합으로 만들고, 매 실행마다 표면 표현(NL phrasing/presentation)을 다양화한 variant 로 NL→dashboard spec 생성 경로(offline/replay/live)를 검증한다. 각 query 의 resolved spec 이 canonical 정답과 일치하고 실제 차트가 올바른 데이터를 그렸는지 oracle 로 교차검증한다. Tableau나 외부 BI는 사용하지 않는다. 연구개발 목표치는 dashboard_accuracy >= 0.90이다.

어떻게 진행되나요?

Run을 누르면 실행 옵션이 고정된 상태로 시작된다.
100개 canonical query 에 variant 표면 표현을 입혀 NL→spec 생성 경로(offline/replay/live)로 spec 을 만들고, 10,000행 mart fixture 로 metric / dimension / period / filter_set 조합을 계산한다.
각 query 의 resolved spec 을 canonical 정답과 비교하고, oracle 로 차트 집계를 교차검증해 dashboard_accuracy와 filter_correctness를 계산한다.
최종적으로 n_queries, dashboard_accuracy, widget_render_success_rate, render_time_ms_p95를 포함한 리포트를 만든다.

어떤 결과가 나와야 하나요?

대표 기준은 dashboard_accuracy >= 0.90와 filter_correctness = 1.0를 만족하고, widget_render_success_rate가 충분히 높으며, render_time_ms_p95가 허용 범위 안에 들어오는 것이다. 조건을 모두 만족해야 PASS다.

실행 후 어디를 보면 되나요?

상단 결과 pane과 최근 runs 표에서 queries / dash_acc / render_ok / filter_ok / p95_ms를 확인할 수 있다. 대표 샘플 대시보드 대신 전체 query dashboard 묶음에 대한 보기/다운로드 링크를 제공한다.

모든 시험은 자유 입력 대신 Run 기준의 controlled input으로만 실행된다. 따라서 같은 Run을 다시 실행하면 같은 조건에서 결과를 비교할 수 있다.

M5 — 동적 대시보드 (NL→쿼리→차트, 조합형 질의)