SQL 한 줄도 몰라도 된다. 말로 하는 데이터 분석 시대가 열리고 있다.
홍콩과학기술대학교 연구팀은 자연어 대화를 통해 대화형 데이터 시각화를 자동 생성하는 시스템 CoVis를 개발해 2023년 데이터마이닝 분야 최고 학술대회 KDD에서 발표했다. 기존 단일 질의 방식의 한계를 넘어 여러 차례 대화를 주고받으며 점진적으로 복잡한 차트와 그래프를 완성해 나가는 것이 핵심이다.
연구팀은 이를 위해 Dial-NVBench라는 새로운 벤치마크 데이터셋을 구축했다. 이 데이터셋은 순차적 사용자 질의와 시스템 응답으로 구성된 대화 세션을 담고 있어, 실제 분석 시나리오에서의 다회차 상호작용을 충실히 반영한다.
핵심 모델인 MMCoVisNet(Multi-Modal CoVisNet)은 세 가지 출력을 동시에 처리한다. 첫째, 일반 텍스트 답변으로 사용자 의도를 확인하고, 둘째, SQL 형태의 데이터 쿼리로 필요한 정보를 추출하며, 셋째,적응형 디코더를 통해 최종 시각화 결과물을 생성한다. 이 멀티모달 구조 덕분에 시스템은 대화 맥락을 유지하면서 누적된 사용자 의도를 반영한 시각화를 단계적으로 개선해 나갈 수 있다.
성능 평가에서 MMCoVisNet은 Dial-NVBench 벤치마크의 모든 기존 기준선을 초과하는 최고 성능을 달성했다. 이는 대화 맥락을 이해하고 멀티모달 출력을 통합 생성하는 능력이 단순한 시각화 생성보다 훨씬 정교한 수준임을 보여준다.
이 연구의 의의는 전문 지식 없이도 데이터 분석의 문턱을 낮춘다는 데 있다. 기업 현장에서 데이터 분석가가 아닌 일반 직원도 자연스러운 대화만으로 인사이트를 도출하는 시각화를 즉시 생성할 수 있게 된다. 비즈니스 인텔리전스 도구의 민주화에 한 걸음 더 다가선 셈이다.
출처: Yuanfeng Song, Xuefang Zhao, Raymond Chi-Wing Wong, "Marrying Dialogue Systems with Data Visualization: Interactive Data Visualization Generation from Natural Language Conversations", KDD 2023
No SQL knowledge required. The era of conversational data analysis is arriving.
Researchers from the Hong Kong University of Science and Technology — Yuanfeng Song, Xuefang Zhao, and Raymond Chi-Wing Wong — introduced CoVis, a conversational data visualization system that generates interactive charts and graphs through natural language dialogue. Presented at KDD 2023, the work moves beyond single-query visualization approaches to support multi-turn exchanges where visualizations are progressively refined through ongoing conversation.
To support this research, the team constructed Dial-NVBench, a new benchmark dataset comprising dialogue sessions with sequential user queries and corresponding system responses. Unlike existing benchmarks, Dial-NVBench reflects real-world analysis workflows where users iteratively refine their requests across multiple conversational turns.
At the core of the system is MMCoVisNet, a multi-modal neural network designed to simultaneously handle three distinct output types: general text replies that confirm user intent, SQL-form data queries that extract the relevant information, and final visualization outputs generated through adaptive decoders. This architecture allows the model to maintain conversational context and progressively update visualizations as user intent evolves across the dialogue.
In evaluation, MMCoVisNet exceeded all existing baselines on the Dial-NVBench benchmark, achieving state-of-the-art performance. The results demonstrate that integrating dialogue context with multi-modal output generation represents a qualitatively more capable approach than single-turn visualization systems.
The broader implication is a significant reduction in the expertise barrier for data analysis. Business analysts, managers, and non-technical staff could generate sophisticated visual insights simply by asking questions in plain language — without writing a single line of SQL or configuring chart parameters manually. This positions CoVis as a meaningful step toward democratizing business intelligence tools across organizations.
Source: Yuanfeng Song, Xuefang Zhao, Raymond Chi-Wing Wong, "Marrying Dialogue Systems with Data Visualization: Interactive Data Visualization Generation from Natural Language Conversations", KDD 2023
