여러 겹의 안전장치를 쌓으면 AI가 안전해진다는 믿음,과연 근거가 있을까.
레오나르드 둥과 플로리안 마이 연구자는 AI 정렬 기법들의 실패 원인 상관관계를 위험 관리 관점에서 분석한 연구를 2025년 arXiv에 발표했다. AI 안전 커뮤니티가 점점 더 의존하는 '심층 방어' 전략의 실제 효과를 수학적·개념적으로 검증한 것이다.
심층 방어 전략은 단일 기법으로 완벽한 안전을 보장할 수 없다는 현실을 인정하고,여러 독립적인 안전 기법을 중첩 적용해 일부가 실패하더라도 다른 기법이 보호막 역할을 한다는 논리에 기반한다. 그러나 이 전략이 효과를 발휘하려면 각 기법의 실패 원인이 서로 독립적이어야 한다는 전제가 필수적이다.
연구팀은 강화학습 기반 인간 피드백, 헌법적 AI(Constitutional AI),해석 가능성 연구 등 대표적 AI 정렬 기법 7가지와,분포 이탈,목표 오지정, 적대적 공격 등 주요 실패 모드 7가지를 교차 분석했다.
분석 결과는 우려스럽다. 여러 정렬 기법들이 상당 부분 동일한 실패 원인에 취약한 것으로 나타났다. 예컨대 데이터 기반으로 학습하는 기법들은 모두 학습 데이터의 편향이나 분포 이탈에 공통적으로 취약하다. 이는 기법들을 단순히 중첩한다고 해서 독립적인 안전 보호막이 구성되지 않음을 의미한다.
연구자들은 이 결과를 바탕으로 AI 안전 연구의 우선순위 재설정을 촉구한다. 현재의 실패 원인 상관관계를 낮추는 기법 개발, 또는 근본적으로 다른 원리에 기반한 새로운 정렬 접근법 발굴이 필요하다는 것이다.
이 연구는 AI 거버넌스와 안전 규제 설계에도 직접적인 함의를 갖는다. 단순히 안전 기법의 수를 늘리는 것이 아니라, 기법 간 독립성을 확보하는 방향으로 정책이 설계되어야 한다는 경고다.
출처: Leonard Dung, Florian Mai, "AI Alignment Strategies from a Risk Perspective: Independent Safety Mechanisms or Shared Failures?", arXiv:2510.11235
If AI safety techniques all fail for the same reasons, stacking them on top of each other provides no real protection.
Researchers Leonard Dung and Florian Mai published a risk-based analysis of AI alignment strategies on arXiv in 2025, interrogating the effectiveness of the defense-in-depth approach that has become increasingly central to AI safety planning. Their study examines a critical but often overlooked assumption: that the protective layers in a multi-technique safety system fail independently.
Defense-in-depth is a risk management strategy borrowed from engineering and cybersecurity. Acknowledging that no single technique guarantees safety, it advocates deploying multiple redundant protections so that failures in one layer are caught by another. The strategy's effectiveness, however, depends entirely on the failure modes being uncorrelated. If all techniques fail under the same conditions, the redundancy is illusory.
The research analyzed 7 representative alignment techniques — including reinforcement learning from human feedback (RLHF), Constitutional AI, and interpretability research — against 7 identified failure modes such as distribution shift, goal misgeneralization, and adversarial attacks. The goal was to map the extent to which failure modes overlap across techniques.
The findings raise significant concerns. Substantial portions of the failure mode landscape were shared across multiple alignment techniques. Techniques that rely on training data, for instance, are broadly vulnerable to the same data distribution failures and biases — regardless of how different their surface-level implementations appear. Stacking these techniques does not produce the independent safety layers the defense-in-depth model assumes.
The researchers argue these results should reshape how AI alignment research is prioritized. Development of techniques with genuinely uncorrelated failure modes, or exploration of fundamentally different alignment principles, should become explicit research objectives rather than implicit assumptions.
For AI governance and regulatory design, the implications are direct: safety policy should not simply mandate more techniques, but should require evidence of independence between the failure modes of deployed safety mechanisms.
Source: Leonard Dung, Florian Mai, "AI Alignment Strategies from a Risk Perspective: Independent Safety Mechanisms or Shared Failures?", arXiv:2510.11235 (2025)
