의사가 환자를 진료한다. AI 도구가 이 환자에게 추가 검사가 필요하다고 권고한다. 의사는 그 권고를 따르지 않았다. 나중에 환자에게 심각한 질환이 발견되었다. 만약 그 검사를 받았다면 조기 발견할 수 있었다. 이때 책임은 누구에게 있는가? 의사인가, AI인가, 아니면 AI를 도입한 병원인가?
캐나다 웨스턴대학교와 튀르키예 앙카라대학교 공동 연구팀은 생성형 AI 임상 의사결정 지원(GenAI CDS) 도구가 의료 현장에 빠르게 도입되면서 발생하는 윤리적, 법적, 임상적 쟁점을 분석했다.
연구팀이 가장 먼저 지적한 문제는 책임의 공백이다. GenAI CDS가 추천을 했지만 의사가 이를 따르지 않아 환자에게 해가 발생한 경우, 기존 의료법 프레임워크는 이 상황을 어떻게 다루어야 하는지 불분명하다. 의사의 임상적 판단을 존중하면서도, AI의 경고를 무시한 것이 과실인지 아닌지를 판단하는 기준이 없다.
반대의 경우도 문제다. AI가 잘못된 추천을 했고 의사가 이를 맹신하여 환자에게 불필요한 검사나 치료를 시행했다면, 책임은 의사에게 있는가 AI 개발사에게 있는가? 현재 대부분의 GenAI CDS 도구는 FDA 승인 없이 의료 현장에 들어오고 있으며, 규제 프레임워크는 이 속도를 따라가지 못하고 있다.
연구팀은 특히 생성형 AI의 비결정성을 강조했다. 동일한 환자 데이터를 입력해도 AI가 매번 다른 추천을 할 수 있다. 전통적인 의료 알고리즘은 결정론적(deterministic)으로 같은 입력에 같은 출력을 보장하지만, 생성형 AI는 확률적(stochastic)으로 작동한다. 이는 의사가 AI 추천의 근거를 이해하고 검증하는 것을 어렵게 만든다.
이 논문의 의미는 GenAI CDS 도입이 가져올 법적·윤리적 갈등을 구체적 시나리오로 제시했다는 점이다. 다만 이 연구는 관점 논문(perspective)이며, 실제 소송 사례나 규제 정책에 대한 실증 분석은 포함하지 않았다.
의료진과 의료기관이 실천해야 할 방향은 다음과 같다. GenAI CDS 도구를 도입할 때는 도구의 한계를 명확히 문서화하고, 의사가 AI 추천을 거부한 사유를 기록하는 체계를 마련하며, 환자에게 AI가 의사결정에 보조적으로 사용되었음을 투명하게 알리는 것이 필요하다. 최종 판단은 항상 인간 의사가 내린다는 원칙을 제도화해야 한다.
📖 *Generative Artificial Intelligence in Clinical Decision Support: Navigating Uncharted Ethical, Legal, and Clinical Terrain (관점 논문)* |
논문 원문
※ 이 기사는 의학 논문을 바탕으로 작성되었습니다. 개인 건강 상태에 따라 다를 수 있으니 전문의와 상담하세요.
A physician sees a patient. An AI tool recommends an additional diagnostic test. The physician declines. Later, the patient develops a serious condition that earlier testing could have caught. Who bears responsibility — the doctor, the AI, or the hospital that deployed it?
A joint research team from Western University in Canada and Ankara University in Turkey analyzed the ethical, legal, and clinical controversies arising from the rapid deployment of generative AI clinical decision support (GenAI CDS) tools in medical practice.
The team first highlighted the accountability gap. When GenAI CDS recommends a course of action that a physician declines, and harm ensues, existing malpractice frameworks struggle to adjudicate. Respecting physician clinical judgment while determining whether ignoring an AI warning constitutes negligence requires standards that do not yet exist.
The reverse scenario is equally problematic. If the AI makes an erroneous recommendation and the physician follows it blindly, performing unnecessary tests or treatments, is the physician liable or the AI developer? Most GenAI CDS tools currently enter clinical settings without FDA approval, and regulatory frameworks cannot keep pace with deployment speed.
The team particularly emphasized the non-deterministic nature of generative AI. Unlike traditional medical algorithms that produce identical outputs for identical inputs, GenAI is stochastic — it may generate different recommendations for the same patient data on different occasions. This makes it difficult for physicians to understand and verify the reasoning behind AI suggestions.
The paper's significance lies in presenting concrete scenarios of the legal and ethical conflicts that GenAI CDS introduction will provoke. However, as a perspective paper, it does not include empirical analysis of actual malpractice cases or regulatory policies.
For healthcare providers and institutions, the path forward requires documenting tool limitations explicitly, establishing systems to record physician rationale when declining AI recommendations, and transparently informing patients when AI assists in clinical decisions. The principle that final judgment always rests with the human physician must be institutionalized — not merely stated, but embedded in workflow design and legal frameworks.
📖 *Generative Artificial Intelligence in Clinical Decision Support: Navigating Uncharted Ethical, Legal, and Clinical Terrain (Perspective paper)* |
PubMed
※ This article is based on a medical research paper. Individual health conditions may vary; please consult a healthcare professional.