"9개의 공이 있다. 3개를 꺼내면 몇 개가 남을까?" — 인간에게는 간단하지만,대규모 언어모델에게는 쉽지 않았다. 답은 맞혀도 "왜?"를 설명하지 못했기 때문이다.
이 문제를 해결한 것이 바로 Chain-of-Thought 프롬프팅이다. Google Research의 Jason Wei 등이 발표한 이 논문은 인용 16,000회를 넘기며 AI 연구 역사에 한 획을 그었다.
핵심 아이디어는 놀랍도록 단순하다. LLM에게 답만 요구하는 대신, "중간 추론 과정을 단계별로 보여달라"고 요청하는 것이다. 예를 들어 "9 - 3 = 6, 따라서 6개"처럼 사고의 사슬을 유도한다.
결과는 극적이었다. 수학, 상식 추론,논리 문제에서 CoT 프롬프팅은 기존 표준 프롬프팅 대비 정확도를 대폭 향상시켰다. 특히 모델이 클수록 효과가 두드러졌다. 작은 모델에서는 효과가 제한적이어서, "추론 능력은 일정 규모 이상에서 발현"된다는 중요한 발견도 함께 나왔다.
이 논문이 기념비적인 이유는 단순하다. 모델 자체를 바꾸지 않고, 질문하는 방식만 바꿨는데 추론 능력이 크게 향상됐다는 것이다. 이후 CoT는 Tree-of-Thought, Self-Consistency, Auto-CoT 등으로 발전하며 현대 LLM 활용의 핵심 기법이 됐다.
지금 ChatGPT에 "단계별로 생각해봐"라고 쓰는 모든 사람이 이 논문의 혜택을 받고 있다.
📖 *Chain of Thought Prompting Elicits Reasoning in LLMs (NeurIPS 2022, 인용 16,594회)* |
논문"There are 9 balls. Remove 3. How many remain?" Simple for humans — but LLMs struggled, because they couldn't show "why."
Enter Chain-of-Thought (CoT) prompting — this paper by Jason Wei et al. at Google Research has crossed 16,000 citations, making it a landmark in AI history.
The idea is strikingly simple: instead of asking for just the answer, ask the LLM to "show its reasoning step by step." For example: "9 - 3 = 6, so 6 balls remain."
The results were dramatic. CoT prompting massively improved accuracy on math, commonsense reasoning, and logic problems — especially in larger models (PaLM 540B). Smaller models showed limited benefit, revealing that reasoning ability is "emergent" — it only appears above a certain model scale.
Why is this paper monumental? Without changing the model itself, just changing how we ask questions dramatically improved reasoning. CoT spawned Tree-of-Thought, Self-Consistency, Auto-CoT, and became the backbone of modern LLM usage.
Every time you type "think step by step" in ChatGPT, you're benefiting from this paper.
📖 *Chain of Thought Prompting (NeurIPS 2022, 16,594 citations)* |
Paper