사람은 "물건을 드롭하면" 다음에 "떨어진다"가 자연스럽다는 걸 안다. 이런 상식은 너무 당연해서 누구도 명시적으로 가르쳐주지 않는다. 하지만 AI에게 이 상식은 당연하지 않다. 지식그래프에 이런 상식을 일일이 입력하는 건 끝이 없는 작업이다. 그렇다면 AI가 상식 지식그래프를 자동으로 만들 수 있을까?
ACL 학술대회에 발표된 연구는 ATOMIC과 ConceptNet, 두 가지 대표적 상식 지식그래프의 자동 구축을 처음으로 종합적으로 연구한다. COMET(Commonsense Transformers)이라는 모델을 제시하여, 기존 지식그래프의 일부만 주어도 나머지를 자동으로 생성하는 능력을 평가한다.
연구는 COMET이 기존 상식 지식그래프의 엔티티와 관계를 학습한 뒤, 새로운 엔티티에 대해 상식적 추론을 생성하는 능력을 테스트했다. ATOMIC은 사건의 원인과 결과, 동기와 반응 등을 구조화한 그래프이고, ConceptNet은 일반적인 개념 간 관계를 구조화한 그래프다. 두 그래프의 특성이 다르므로 각각에 맞는 모델 변형을 평가했다.
핵심 결과를 보면, COMET은 ATOMIC에서 인간이 작성한 상식과 77%의 일치율을 보였다. 주어진 이벤트에 대해 "그 다음에 무슨 일이 일어나는가?"라는 질문에 대해 합리적이고 상식적인 응답을 생성했다. ConceptNet에서는 관계 유형에 따라 성능 차이가 컸다. "CapableOf"나 "UsedFor" 같은 관계는 높은 정확도를 보였지만, "MotivatedByGoal" 같은 추상적 관계는 정확도가 낮았다.
모델 규모와 성능의 관계도 흥미롭다. GPT-2 기반 COMET은 작은 규모에서도 상식 추론 능력을 보였지만, 규모가 커질수록 추론의 다양성과 정확도가 향상되었다. 하지만 인간 평가에서 여전히 "비상식적"이거나 "모호한" 응답이 약 23% 존재했다.
이 연구가 중요한 이유는 상식 지식의 자동 구축이 가능하다는 것을 보여주었다는 것이다. 상식은 AI 시스템이 인간처럼 이해하고 소통하는 데 필수적이다. 모든 상식을 수동으로 코딩하는 건 불가능에 가깝지만, COMET 같은 모델이 기존 지식으로부터 새로운 상식을 합리적으로 생성할 수 있다면 지식그래프의 확장 가능성이 크게 넓어진다.
한계로는 생성된 지식의 신뢰성 검증이 여전히 인간 평가에 의존하고, 편향된 학습 데이터의 편향이 생성 결과에도 반영될 수 있다는 점이 있다. 또한 시각적 상식이나 물리적 상식처럼 다른 유형의 상식에는 아직 적용되지 않았다.
상식 지식그래프를 활용하는 애플리케이션을 개발 중이라면 COMET을 보조 도구로 고려하라. 수동 구축이 불가능한 규모의 상식 후보를 COMET이 생성하고, 인간이 검증하는 하이브리드 방식이 현재로서 가장 실용적이다. 생성된 상식의 품질을 자동 평가하는 메트릭 개발도 병행하면 좋다.
📖 *COMET: Commonsense Transformers for Automatic Knowledge Graph Construction* |
논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 실제 적용 시 환경에 따라 다를 수 있으니 전문가와 상담하세요.
People know that if you "drop an object," it naturally "falls." This common sense is so obvious that no one explicitly teaches it. However, to AI, this common sense is not obvious. Manually inputting such common sense into a knowledge graph is an endless task. So, can AI automatically build a commonsense knowledge graph?
Research presented at the ACL conference comprehensively studies the automatic construction of two representative commonsense knowledge graphs, ATOMIC and ConceptNet, for the first time. It introduces a model called COMET (Commonsense Transformers) and evaluates its ability to automatically generate the rest of the graph even when only a portion of the existing knowledge graph is provided.
The study tested COMET's ability to generate commonsense reasoning for new entities after learning the entities and relations of existing commonsense knowledge graphs. ATOMIC is a graph that structures the causes and effects, motives and reactions of events, while ConceptNet is a graph that structures relations between general concepts. Since the characteristics of the two graphs differ, model variants tailored to each were evaluated.
Looking at the core results, COMET showed a 77% agreement rate with human-written common sense in ATOMIC. For a given event, it generated reasonable and commonsense responses to the question, "What happens next?" In ConceptNet, performance varied significantly depending on the relation type. Relations like "CapableOf" or "UsedFor" showed high accuracy, but abstract relations like "MotivatedByGoal" showed lower accuracy.
The relationship between model size and performance is also interesting. The GPT-2-based COMET demonstrated commonsense reasoning ability even at a small scale, but as the scale increased, the diversity and accuracy of the reasoning improved. However, in human evaluations, about 23% of the responses were still "non-sensical" or "ambiguous."
The significance of this research lies in demonstrating the feasibility of automatically constructing commonsense knowledge. Common sense is essential for AI systems to understand and communicate like humans. While manually coding all common sense is nearly impossible, if models like COMET can reasonably generate new common sense from existing knowledge, the potential for expanding knowledge graphs increases significantly.
Limitations include the fact that verifying the reliability of the generated knowledge still relies on human evaluation, and biases in the training data can be reflected in the generation results. Additionally, it has not yet been applied to other types of common sense, such as visual or physical common sense.
If you are developing an application that utilizes a commonsense knowledge graph, consider COMET as an auxiliary tool. A hybrid approach where COMET generates commonsense candidates at a scale impossible for manual construction, and humans verify them, is the most practical method currently available. It is also recommended to concurrently develop metrics that automatically evaluate the quality of the generated common sense.
📖 *COMET: Commonsense Transformers for Automatic Knowledge Graph Construction* | Original Paper
※ This article is based on an academic paper. Actual application may vary depending on the environment, so please consult with an expert.
