ChatGPT는 시를 쓰고, 코드를 짜고, 에세이를 작성한다. 그런데 "이메일에 첨부된 파일을 다운로드해서, 특정 행을 찾고, 계산한 결과를 보고해줘" 같은 현실 세계의 복합 작업은 어떨까?
GAIA(General AI Assistants)는 바로 이 질문에 답하기 위해 설계된 벤치마크다. 인용 616회를 기록하며, AI 어시스턴트의 실질적 능력을 평가하는 새로운 기준이 됐다.
GAIA의 문제들은 의도적으로 인간에게는 쉽지만 AI에게는 어렵게 설계됐다. 웹 검색, 파일 처리, 다단계 추론, 도구 사용 등 여러 기본 능력을 결합해야 풀 수 있는 실세계 질문들이다. 예를 들어 "이 PDF의 3페이지 표에서 최대값을 찾아 환율을 적용해 달러로 변환해줘" 같은 문제다.
결과가 의미심장하다. 인간 평가자는 GAIA 문제의 92%를 정답으로 풀었다. 반면 GPT-4는 15%, 플러그인 도구를 사용해도 30% 수준에 그쳤다. LLM이 단일 기능에서는 인상적이지만, 기능을 조합해야 하는 현실 작업에서는 아직 크게 부족하다는 것이 적나라하게 드러난 것이다.
GAIA가 측정하는 것은 결국 "진짜 유용한 AI 어시스턴트가 되려면 무엇이 필요한가"다. 답은 명확하다 — 더 나은 도구 사용, 다단계 계획, 에러 복구, 그리고 기본 능력들의 매끄러운 통합이다.
이 벤치마크가 풀리는 날이 곧 AGI(범용 인공지능)에 한 발 다가가는 날이 될 것이다.
📖 *GAIA:General AI Assistants benchmark* |
논문ChatGPT writes poetry, codes, and essays. But what about "download the file attached to this email, find a specific row, calculate the result, and report it" — real-world compound tasks?
GAIA is a benchmark designed for exactly this question. With 616 citations, it became the new standard for evaluating AI assistant capabilities.
GAIA's questions are deliberately easy for humans but hard for AI — requiring combined abilities: web search, file handling, multi-step reasoning, and tool use. For example: "Find the maximum value in the table on page 3 of this PDF, apply the exchange rate, and convert to USD."
The results are striking. Human evaluators solved 92% of GAIA questions correctly. GPT-4 managed 15% — even with plugins, only 30%. LLMs are impressive at single tasks but still far behind in compound real-world tasks.
What GAIA measures is ultimately "what does it take to be a truly useful AI assistant?" The answer: better tool use, multi-step planning, error recovery, and seamless integration of fundamental abilities.
The day this benchmark is solved will mark a meaningful step toward AGI.
📖 *GAIA benchmark (616 citations)* |
Paper