상식 지식그래프, AI가 자동으로 만들 수 있을까—COMET의 도전
사람은 "물건을 드롭하면" 다음에 "떨어진다"가 자연스럽다는 걸 안다. 이런 상식은 너무 당연해서 누구도 명시적으로 가르쳐주지 않는다. 하지만 AI에게 이 상식은 당연하지 않다. 지식그래프에 이런 상식을 일일이 입력하는 건 끝이 없는 작업이다. 그렇다면 AI가 상식 지식그래프를 자동으로 만들 수 있을까?
ACL 학술대회에 발표된 연구는 ATOMIC과 ConceptNet, 두 가지 대표적 상식 지식그래프의 자동 구축을 처음으로 종합적으로 연구한다. COMET(Commonsense Transformers)이라는 모델을 제시하여, 기존 지식그래프의 일부만 주어도 나머지를 자동으로 생성하는 능력을 평가한다.
연구는 COMET이 기존 상식 지식그래프의 엔티티와 관계를 학습한 뒤, 새로운 엔티티에 대해 상식적 추론을 생성하는 능력을 테스트했다. ATOMIC은 사건의 원인과 결과, 동기와 반응 등을 구조화한 그래프이고, ConceptNet은 일반적인 개념 간 관계를 구조화한 그래프다. 두 그래프의 특성이 다르므로 각각에 맞는 모델 변형을 평가했다.
핵심 결과를 보면, COMET은 ATOMIC에서 인간이 작성한 상식과 77%의 일치율을 보였다. 주어진 이벤트에 대해 "그 다음에 무슨 일이 일어나는가?"라는 질문에 대해 합리적이고 상식적인 응답을 생성했다. ConceptNet에서는 관계 유형에 따라 성능 차이가 컸다. "CapableOf"나 "UsedFor" 같은 관계는 높은 정확도를 보였지만, "MotivatedByGoal" 같은 추상적 관계는 정확도가 낮았다.
모델 규모와 성능의 관계도 흥미롭다. GPT-2 기반 COMET은 작은 규모에서도 상식 추론 능력을 보였지만, 규모가 커질수록 추론의 다양성과 정확도가 향상되었다. 하지만 인간 평가에서 여전히 "비상식적"이거나 "모호한" 응답이 약 23% 존재했다.
이 연구가 중요한 이유는 상식 지식의 자동 구축이 가능하다는 것을 보여주었다는 것이다. 상식은 AI 시스템이 인간처럼 이해하고 소통하는 데 필수적이다. 모든 상식을 수동으로 코딩하는 건 불가능에 가깝지만, COMET 같은 모델이 기존 지식으로부터 새로운 상식을 합리적으로 생성할 수 있다면 지식그래프의 확장 가능성이 크게 넓어진다.
한계로는 생성된 지식의 신뢰성 검증이 여전히 인간 평가에 의존하고, 편향된 학습 데이터의 편향이 생성 결과에도 반영될 수 있다는 점이 있다. 또한 시각적 상식이나 물리적 상식처럼 다른 유형의 상식에는 아직 적용되지 않았다.
상식 지식그래프를 활용하는 애플리케이션을 개발 중이라면 COMET을 보조 도구로 고려하라. 수동 구축이 불가능한 규모의 상식 후보를 COMET이 생성하고, 인간이 검증하는 하이브리드 방식이 현재로서 가장 실용적이다. 생성된 상식의 품질을 자동 평가하는 메트릭 개발도 병행하면 좋다.
📖 *COMET: Commonsense Transformers for Automatic Knowledge Graph Construction* | 논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.