수학 문제를 정확히 푸는 것은 LLM에게 가장 어려운 도전 중 하나다. 복잡한 구조, 엄밀한 논리, 한 단계만 틀려도 답 전체가 틀리는 특성 때문이다.
DeepSeekMath 7B는 이 한계를 정면으로 돌파한 오픈소스 모델이다. 인용 5,141회를 달성하며 수학 추론 분야의 기준점이 됐다.
핵심 전략은 수학 특화 데이터로의 지속적 사전학습이다. DeepSeek-Coder 1.3B를 기반으로,대규모 수학 코퍼스로 추가 훈련했다. 여기에 GRPO(Group Relative Policy Optimization)라는 강화학습 기법을 도입해 수학적 추론 능력을 더욱 끌어올렸다.
결과가 놀랍다. 7B 파라미터에 불과한 DeepSeekMath가 MATH 벤치마크에서 GPT-4에 근접하는 성능을 보인 것이다. 모델 크기가 10배 이상 작음에도 불구하고다. 이는 "큰 모델이 항상 더 잘한다"는 통념에 도전하는 결과다.
또한 이 논문은 수학 데이터의 양과 질이 모델 크기만큼 중요하다는 것을 입증했다. 좋은 데이터로 집중 훈련하면 작은 모델도 대형 모델에 도전할 수 있다. 이는 자원이 제한된 연구자와 기업에게 희소식이다.
DeepSeekMath는 오픈소스로 공개되어 누구나 활용할 수 있다. 수학 교육 AI, 과학 연구 보조, 코드 검증 등 다양한 응용이 기대된다.
📖 *DeepSeekMath: Mathematical reasoning in open LLMs (인용 5,141회)* |
논문Solving math correctly is one of the hardest challenges for LLMs — complex structure, rigorous logic, and one wrong step means an entirely wrong answer.
DeepSeekMath 7B broke through this barrier. With 5,141 citations, it became the benchmark for mathematical reasoning.
The strategy: continual pre-training on math-specific data (120B tokens of math web data) from DeepSeek-Coder, plus GRPO (Group Relative Policy Optimization) — a reinforcement learning technique to boost mathematical reasoning.
The remarkable result: a 7B-parameter model achieved near-GPT-4 performance on the MATH benchmark — despite being 10x+ smaller. This challenges the assumption that "bigger is always better."
The paper also proved that data quality and quantity matter as much as model size. With focused training on good data, small models can challenge giants — great news for resource-limited researchers.
DeepSeekMath is fully open-source, enabling applications in math education AI, scientific research, and code verification.
📖 *DeepSeekMath (5,141 citations)* |
Paper