데이터 분석 보고서에서 시각화된 차트를 보고 "이 차트를 만든 코드가 뭐지?"라고 궁금해 본 적이 있다면,이 연구가 반가울 것이다. ChartCoder는 차트 이미지를 입력받아 해당 차트를 생성하는 실행 가능한 코드를 자동으로 출력하는 멀티모달 대형 언어 모델이다.
기존의 차트 이해 모델들은 주로 차트를 텍스트 설명으로 변환하는 방식에 집중했다. 그러나 텍스트 변환은 데이터 수치, 색상,레이아웃 등 차트에 내포된 정밀 정보를 손실하는 한계가 있었다. ChartCoder는 이를 코드 생성으로 전환해 손실 없는차트 표현을 실현했다.
ChartCoder 개발팀은 다양한 차트 유형과 코딩 라이브러리의 쌍을 포함하는 대규모 차트-코드 훈련 데이터셋을 구축했다. 모델은 차트의 시각적 구조를 정밀하게 파싱해 데이터 값과 레이아웃 속성을 모두 재현하는 코드를 생성한다. 기존 오픈소스 MLLM 대비 차트-코드 변환 정확도에서 유의미한 성능 향상을 달성했으며, 특히 복잡한 다중 축 차트에서 강점을 보였다.
데이터 과학자·분석가들이 타인의 시각화 결과물을 이해하고 재사용할 때 발생하는 시간 비용을 획기적으로 줄일 수 있다는 점에서 이 기술의 실용적 파급력은 크다.
> 실무 시사점: ChartCoder는 BI 도구, 데이터 분석 플랫폼, 리포트 자동화 파이프라인에 통합해 차트를 편집 가능한 코드로 즉시 변환하는 데 활용할 수 있다.
📖 *arXiv 논문* | 논문 원문
Data scientists frequently encounter charts in reports, publications, and dashboards whose underlying code is unavailable. Recreating or modifying these visualizations requires reverse-engineering—a time-consuming process that interrupts analytical workflows. ChartCoder offers a direct solution: given a chart image, generate the executable code that produced it.
Existing chart understanding models focused primarily on converting charts to natural language descriptions. While useful for accessibility and summarization, textual descriptions inherently lose precise information—exact data values, color specifications, axis configurations, and layout parameters. ChartCoder's key innovation is shifting the output modality from text to code, achieving lossless chart representation.
The ChartCoder team constructed a large-scale chart-code training dataset spanning diverse chart types (bar, line, scatter, heatmap, pie) and visualization libraries (Matplotlib, Seaborn, Plotly). The multimodal architecture combines a vision encoder for parsing visual chart structure with a code-specialized language decoder for generating library-specific code.
Evaluations showed significant improvements over existing open-source MLLMs on chart-to-code conversion accuracy. ChartCoder demonstrated particular strength on complex multi-axis charts and mixed chart types, where previous models struggled to capture compositional visual structures. The generated code successfully reproduced charts with high fidelity, including data values and styling attributes.
Beyond individual productivity gains, ChartCoder enables new workflows: automated chart auditing, visualization accessibility tooling, and report-to-dashboard migration pipelines where existing static charts need to become interactive.
> Practical takeaway: Integrate ChartCoder into BI platforms and data analysis environments to enable immediate chart-to-code conversion—transforming static visualizations into editable, extensible code assets.
📖 *arXiv Preprint* | Full Paper
