턱에 이상이 발견되면 방사선 사진을 찍고, 구강외과 의사나 방사선 전문의가 판독한다. 하지만 전문의가 부족한 지역에서는 진단이 지연되기 쉽다. AI 챗봇이 이 역할을 대신할 수 있을까?
이집트 알렉산드리아대학교 치의학 연구팀은 Gemini, Copilot, Claude, Manus 등 4종의 AI 챗봇이 턱 병변을 진단하는 정확도를 비교했다. 97명의 환자에게서 촬영된 코빔 CT(CBCT) 데이터를 수집했으며, Bluesky Plan 소프트웨어로 파노라마 2D 영상을 재구성해 각 챗봇에 제공했다. 또한 Manus에는 원본 DICOM 데이터를 직접 제공해 3D 분석도 수행했다.
결과는 챗봇 간 유의미한 차이를 보였다. Manus CBCT(3D 원본 데이터)가 가장 뛰어난 성능을 보였으며, 95%의 병변을 탐지하고 정확히 진단했다. Gemini 2.5 Pro가 그 뒤를 이어 80%의 병변을 탐지했고, 그 중 56%를 정확히 진단했다. 반면 Copilot과 Claude는 가장 낮은 정확도를 기록했다.
특히 주목할 점은 입력 데이터의 형식이 성능에 미치는 영향이다. Manus에 파노라마 2D 영상만 제공했을 때보다 원본 3D CBCT 데이터를 제공했을 때 성능이 크게 향상되었다. 이는 AI 챗봇의 진단 능력이 단순히 모델의 성능에만 좌우되는 것이 아니라, 어떤 형식의 데이터를 입력하느냐에 따라 크게 달라진다는 것을 의미한다.
이 연구의 의미는 AI 챗봇이 치의학 방사선 판독에서 실용적인 수준의 정확도에 도달할 수 있음을 보여준 것이다. 특히 3D 원본 데이터를 처리할 수 있는 아키텍처(Manus)는 95%라는 높은 탐지율을 기록했으며, 이는 전문의 판독에 근접하는 수준이다. 전문의가 부족한 지역에서 AI 챗봇이 보조 진단 도구로 활용될 가능성을 시사한다.
다만 한계도 명확하다. 97명이라는 비교적 작은 표본에서 평가되었으며, 실제 임상 환경에서의 안전성과 신뢰성은 추가 검증이 필요하다. 또한 Copilot과 Claude의 저조한 성능은 모든 챗봇이 의료 진단에 적합한 것은 아니라는 점을 보여준다.
치의학 진료 현장에서 실천 가능한 방향은 다음과 같다. AI 챗봇을 1차 선별 도구로 활용해 병변의 존재 여부를 빠르게 확인하고, 최종 진단은 전문의가 수행하는 2단계 체계를 구축하는 것이다. 특히 3D 영상 데이터를 직접 처리할 수 있는 AI 시스템을 우선적으로 도입하는 것이 효과적이다.
📖 *Accuracy of Artificial Intelligence Based Chatbots in Reporting Jaw Lesions From Multimodal Radiographic Images: A Cross-Sectional Study (횡단면 연구, 97명 환자)* |
논문 원문
※ 이 기사는 의학 논문을 바탕으로 작성되었습니다. 개인 건강 상태에 따라 다를 수 있으니 전문의와 상담하세요.
When an abnormality appears in the jaw, the standard workflow is radiographic imaging followed by specialist interpretation. But in regions with specialist shortages, diagnosis gets delayed. Can AI chatbots fill this gap?
A dentistry research team from Alexandria University in Egypt compared the diagnostic accuracy of four AI chatbots — Gemini, Copilot, Claude, and Manus — in detecting jaw lesions. Cone beam computed tomography (CBCT) data from 97 patients were collected and anonymized. Panoramic 2D views were reconstructed from DICOM data using Bluesky Plan software and provided to all four chatbots. Additionally, raw DICOM data was fed directly to Manus for 3D analysis.
Results showed statistically significant differences between chatbots across all measured parameters. Manus CBCT (using raw 3D data) achieved the highest performance, detecting and correctly diagnosing 95% of lesions. Gemini 2.5 Pro ranked second, detecting 80% of lesions with 56% correctly diagnosed. Copilot and Claude recorded the lowest accuracy.
The most critical finding was how input data format impacted performance. When Manus received raw 3D CBCT data instead of 2D panoramic reconstructions, its accuracy improved substantially. This demonstrates that chatbot diagnostic capability depends not only on the model itself but critically on what format of data it receives.
This study shows that AI chatbots can reach practically useful accuracy levels in dental radiographic interpretation. The Manus architecture processing 3D data achieved a 95% detection rate, approaching specialist-level performance. This suggests potential for AI chatbots as adjunctive diagnostic tools in areas with specialist shortages.
Limitations are clear: 97 patients is a relatively small sample, and real-world clinical safety and reliability require further validation. The poor performance of Copilot and Claude also demonstrates that not all chatbots are suitable for medical diagnosis — model selection matters enormously.
For dental practices, a practical approach is to deploy AI chatbots as first-line screening tools for rapid lesion detection, with final diagnosis confirmed by specialists — a two-tier system. Prioritizing AI systems capable of processing 3D imaging data directly, rather than 2D reconstructions alone, is likely to yield the best results.
📖 *Accuracy of Artificial Intelligence Based Chatbots in Reporting Jaw Lesions From Multimodal Radiographic Images: A Cross-Sectional Study (Cross-sectional study, 97 patients)* |
PubMed
※ This article is based on a medical research paper. Individual health conditions may vary; please consult a healthcare professional.