코드 리뷰 요청을 보냈는데 며칠이 지나도 응답이 없다. 팀원은 바쁘고, 시니어 개발자의 리뷰를 기다리며 작업이 멈춰 있다. AI가 이 병목을 해결해줄 수 있다는 기대감에 자동화 코드 리뷰 도구를 도입한 팀이 늘고 있다. 그런데 실제로 현장에서는 어떤 일이 벌어질까?2025년 ICSE-SEIP 학술대회에서 발표된 연구는 이 질문에 정면으로 답했다. 터키 연구팀이 실제 산업 환경에 LLM 기반 자동화 코드 리뷰 도구를 도입하고, 10개 프로젝트에 걸쳐 238명의 개발자를 대상으로 데이터를 수집했다. 4,335개의 풀 리퀘스트 중 1,568건에 자동화 리뷰가 적용됐으며, 설문조사와 정량 분석을 병행한 종합적인 산업 현장 연구다.
자동화 리뷰 코멘트의 73.8%가 실제로 반영됐다. 개발자들이 AI의 지적 사항을 그냥 무시하지 않는다는 뜻이다. 버그 탐지, 코드 품질 인식 향상, 베스트 프랙티스 준수 면에서 긍정적인 효과가 확인됐다. 설문에 응한 대부분의 개발자도 코드 품질이 소폭 개선됐다고 느꼈다.
하지만 예상치 못한 결과도 있었다. PR 평균 처리 시간이 5시간 52분에서 8시간 20분으로 늘어났다. AI 리뷰 코멘트에 답변하고 불필요한 지적에 대응하는 작업이 오히려 개발자의 부담을 늘린 것이다. AI가 맥락을 파악하지 못하고 엉뚱한 코멘트를 달거나, 이미 의도적으로 결정한 코드 패턴에 문제 제기를 하는 경우도 빈번했다.
프로젝트별로 결과가 크게 달랐다는 점도 주목할 만하다. 일부 팀에서는 PR 처리 속도가 개선됐지만, 다른 팀에서는 오히려 악화됐다. 코드베이스의 특성, 팀 문화, 도구 활용 방식에 따라 자동화 리뷰의 효과가 크게 달라진다는 것을 보여주는 결과다.
이 연구는 AI 코드 리뷰 도구가 분명 가능성을 가지고 있지만, "도입만 하면 된다"는 식의 접근은 오히려 역효과를 낼 수 있음을 데이터로 보여준다. 도구 자체보다 어떻게 워크플로우에 통합하느냐가 성패를 가른다는 점이 핵심 시사점이다.
도입을 고려하는 팀이라면, 전사 배포보다 소규모 파일럿 프로젝트부터 시작하길 권한다. AI 코멘트를 무조건 처리해야 한다는 압박을 줄이고, 팀원들이 유의미한 지적과 무관한 지적을 구분할 수 있도록 교육하는 것도 중요하다. AI는 리뷰어를 대체하는 게 아니라, 리뷰어의 시간을 아껴주는 보조 도구로 활용할 때 진가를 발휘한다.
📖 *Automated Code Review in Practice* |
논문 원문
※ 이 기사는 학술 논문을 바탕으로 작성되었습니다. 기술 환경에 따라 다를 수 있으니 참고용으로 활용하세요.
You merge a pull request, and three minutes later a bot drops 12 comments — some useful, some baffling, one incorrectly flagging an intentional design choice. Sound familiar? As LLM-based code review tools like Qodo, GitHub Copilot, and Coderabbit become mainstream, real questions are emerging about whether these systems actually speed teams up or just add a new layer of noise.
A 2025 study presented at ICSE-SEIP (the Software Engineering in Practice track of the International Conference on Software Engineering) provides one of the most rigorous industry-scale evaluations to date. Researchers embedded Qodo PR Agent — an open-source LLM-powered code reviewer — into a real software development environment across ten projects, tracking 4,335 pull requests, of which 1,568 received automated reviews. Data came from three sources: quantitative PR analysis with comment resolution labels, per-PR developer surveys, and a broader opinion survey of 22 practitioners.
The headline number looks good: 73.8% of automated review comments were marked as resolved. Developers weren't just dismissing the AI's suggestions — they were acting on them. Qualitative feedback backed this up, with practitioners reporting improved bug detection, heightened code quality awareness, and better adherence to best practices across the board.
But the throughput story is more complicated. Average pull request closure time jumped from 5 hours 52 minutes to 8 hours 20 minutes — an increase of nearly 42%. The culprit isn't the AI reviewing slowly; it's developers spending time responding to comments, dismissing irrelevant suggestions, and justifying intentional decisions to a system that lacks broader context. Faulty reviews, unnecessary corrections, and off-target comments all contributed to the slowdown.
Results varied significantly by project. Some teams saw PR cycle times improve; others saw them worsen. The divergence suggests that team culture, codebase characteristics, and norms around AI comment handling all moderated the outcome. Teams that gave developers freedom to deprioritize low-quality suggestions fared better than those that treated every AI comment as mandatory triage.
The study makes a strong case that LLM-based code review is genuinely useful — but not a silver bullet. The tool proved effective at surfacing bugs and nudging developers toward consistency. What it couldn't do was understand intent, architectural context, or deliberate design tradeoffs. When AI reviewers flag those without understanding, they create work rather than eliminate it.
For teams considering adoption, the practical implications are clear. Start with a pilot on a single project before rolling out broadly, and establish explicit norms about how AI comments should be handled — particularly whether developers are expected to resolve every suggestion. Training developers to critically evaluate AI feedback, rather than reflexively acting on it, matters just as much as the tooling itself. The goal should be AI as amplifier, not as a mandatory gatekeeper.
📖 *Automated Code Review in Practice (Industry Study, ICSE-SEIP 2025)* |
Source Paper
This article is based on academic research. Results may vary depending on your technical environment — use as a reference.
