코드 검토의 종말: AI는 더 많은 코드를 작성하지만, 출시는 미미하다

경제학자들은 10만 명 이상의 GitHub 개발자 데이터를 분석하여, 그들이 자율 에이전트 사용을 시작한 시점을 추적했습니다.

연구 결과에 따르면 자율 에이전트를 사용하는 개발자들은 741% 더 많은 코드를 작성했지만, 실제 소프트웨어 출하는 30%만 증가하여 상당한 격차를 보였습니다.

이 데이터는 인간의 코드 검토가 소프트웨어 생산 주기에서 주요 병목 현상이며, AI 가속 코드 생성 속도를 따라가지 못하고 있음을 시사합니다.

Laurie Voss는 "자율 에이전트를 사용한 개발자들은 741% 더 많은 코드를 작성했지만, 출시된 소프트웨어는 30%만 증가했습니다."라고 말했습니다.

Stripe와 Anthropic은 Fable을 사용하여 5천만 라인의 Ruby 코드베이스를 단 하루 만에 마이그레이션하여 AI의 대규모 코드 변환 능력을 보여주었습니다.

Bun 역시 백만 라인 이상의 Zig 코드를 Rust로 6일 만에 마이그레이션하여 빠르고 광범위한 코드베이스 재구축을 입증했습니다.

이러한 성공에도 불구하고, 개발자들은 AI가 생성한 대규모 diff를 병합할 때 종종 철저한 수동 검토 없이 딜레마에 직면합니다.

현재 업계의 수동 검토 의존은 AI 에이전트의 방대한 출력량과 규모에 대해 지속 불가능하다는 것이 입증되고 있습니다.

시간당 검토량이 450줄을 초과하면 효율성이 급격히 떨어지며, 이 제약으로 인해 AI 에이전트의 10,000줄 풀 리퀘스트는 3~4일의 인간 노력을 필요로 한다고 연구는 밝혔습니다.

검토할 코드의 양이 시간당 450줄을 초과하면 검토자의 효율성이 크게 떨어집니다.

AI 에이전트에서 흔히 발생하는 10,000줄 풀 리퀘스트는 철저히 검토하기 위해 3~4일의 완전한 인간 노력을 필요로 합니다.

이러한 조건에서 개발자들에게 '더 열심히 검토하라'고 강요하는 것은 효율성을 향상시키기보다 번아웃으로 이어질 위험이 있습니다.

5개월 동안 3명의 엔지니어가 약 100만 라인의 코드와 1,500개의 병합된 풀 리퀘스트를 감독했습니다.

자율 에이전트는 자체 스캐폴딩 및 검토 프로세스를 관리했으며, 풀 리퀘스트에 대한 인간 개입은 의무가 아닌 선택 사항이었습니다.

Laurie Voss는 인간이 "풀 리퀘스트를 검토할 수는 있지만 필수는 아닙니다. 우리는 거의 모든 검토 노력을 에이전트 간 처리로 전환했습니다."라고 강조했습니다.

OpenAI는 자율 개발 제품이나 방법론을 오픈소스로 공개하지 않아 잠재적인 내재적 결함이나 한계에 대한 의문을 제기합니다.

자동화된 루프 설계의 품질은 루프가 무엇을 인지하고 평가하도록 프로그래밍되었는지에 전적으로 달려 있습니다.

역사적으로 소프트웨어 산업은 통과된 테스트를 코드 품질의 대용으로 사용했지만, 이 방법은 AI 생성 코드에는 불충분하다는 것이 입증되고 있습니다.

Meter의 연구에 따르면 SWEBench 벤치마크를 통과한 풀 리퀘스트는 인간 유지 관리자에 의해 약 50%만 '병합 가능'하다고 간주되어 자동화된 테스트가 품질의 중요한 측면을 놓치고 있음을 시사합니다.

Cognition은 단순한 테스트 통과를 넘어 안전성, 범위, 유지보수성과 같은 유지 관리자 표준에 따라 코드를 평가하는 새로운 벤치마크인 FrontierCode를 도입했습니다.

최첨단 모델인 Fable 5는 SWEBench Pro에서 88%를 기록했지만, FrontierCode의 가장 어려운 부분에서는 29%에 불과하여 인간 검토 기대치를 충족하는 데 상당한 격차가 있음을 나타냅니다.

GPT 5.5는 이러한 인간 검토 중심 작업에서 6% 미만을 기록하여 훨씬 더 비효율적인 성능을 보였습니다.

Laurie Voss는 동일한 모델이 "테스트 통과 여부가 아니라 실제로 결과를 병합할 것인지 묻는다면 51점 더 낮게, 더 나쁘게 작동합니다."라고 언급했습니다.

소프트웨어 산업은 현재 '병합 가능'한 코드의 기준을 기계로 확인할 수 있는 정의가 부족합니다.

저명한 AI 투자자 Sarah Guo는 진정한 병합 가능성 벤치마크를 해결하는 것이 코딩 모델 개발의 중요한 전환점이 될 것이라고 언급했습니다.

코딩 모델의 빠른 개선은 생성된 코드에 대한 무료 자동 검증자 역할을 하는 컴파일러 덕분이기도 하지만, 인간 수준의 병합 가능성에는 더 정교한 검증이 필요합니다.

Laurie Voss는 Sarah Guo의 말을 인용하여 "진정한 병합 가능성 벤치마크를 해결하는 것이 코딩 모델 개발의 중요한 전환점이 될 것입니다."라고 말했습니다.

모든 비용 효율적인 검증 프로세스는 첨단 AI 모델의 훈련 목표가 될 잠재력을 가지고 있습니다.

코드 유지보수성, 범위 및 안전성에 대한 특정 벤치마크를 개발하는 것은 필연적으로 미래 AI 모델의 기본 동작에 영향을 미칠 것입니다.

OpenAI의 'CriticGPT'는 이미 인간-모델 협력이 훈련 신호를 개선하여 버그를 더 효과적으로 식별하고 수정하는 방법을 보여주었습니다.

Laurie Voss는 "오늘의 검토 기준을 작성하는 사람이 내년의 기본 모델 동작을 작성하고 있습니다."라고 강조했습니다.

GitHub Copilot은 이미 6천만 건 이상의 검토를 처리했으며, 현재 GitHub에서 수행되는 전체 검토의 20%를 차지합니다.

이는 자동화된 풀 리퀘스트 검토가 실험적 사용에서 업계 내 대규모 생산으로 전환되었음을 나타냅니다.

Cursor와 같은 플랫폼은 AI 생성 코드 시대에 코드 품질을 효과적으로 확장하기 위해 복잡한 검토 아키텍처를 사용하고 있습니다.

Laurie Voss는 "풀 리퀘스트에 대한 기계 검토가 세계 최대 코드 호스팅 서비스에서 주류의 기본값입니다."라고 말했습니다.

자동화된 검토자가 단순히 버그를 식별하는 것에서 구체적인 패치를 제안하는 것으로 전환함에 따라 개발자를 위한 피드백 루프가 단축되고 있습니다.

향후 기능에는 검토자가 자체 버그 보고서의 유효성을 확인하기 위해 직접 테스트를 실행하는 기능이 포함될 것으로 예상됩니다.

이러한 통합은 검토자가 수정 에이전트 역할을 점차 수행하여 개발자를 위한 피드백 루프를 크게 단축시킴을 의미합니다.

Laurie Voss는 "검토와 재작성 사이의 경계가 정말 얇아지고 있습니다."라고 언급했습니다.

Code Rabbit 및 Graptile과 같은 새로운 도구들이 빠르게 진화하는 자동 검토 시장에 진입하고 있습니다.

이러한 도구의 궁극적인 성공 지표는 일관되게 '해결률'로 정의됩니다. 즉, AI가 제안한 변경 사항이나 해결책을 인간이 수락하는 빈도입니다.

Cursor는 인간 피드백 및 수용 패턴에 따라 AI 모델을 지속적으로 훈련하여 해결률을 52%에서 70% 이상으로 성공적으로 개선했습니다.

Laurie Voss는 이 모든 도구들이 "성공의 정의로 동일한 측정 기준을 사용하고 있습니다. 그것은 인간이 내 답변을 수락하는지 여부입니다."라고 언급했습니다.

Anthropic의 Nicholas Carini는 16개의 에이전트를 사용하여 2,000회 이상의 세션에 걸쳐 Rust로 C 컴파일러를 구축했으며, 개별 코드 세그먼트에 대한 직접적인 인간 승인은 없었습니다.

직접적인 인간 코드 승인이 없었음에도 불구하고, 인간은 테스트 하네스를 작성하고 에이전트를 안내하는 피드백 시스템을 설계하는 데 여전히 필수적이었습니다.

Carini는 단순히 테스트를 통과하는 것이 작업의 성공적인 완료를 보장하지 않는다고 경고하며 더 깊은 품질 문제를 강조했습니다.

Laurie Voss는 "루프에 인간이 없었던 것은 사실입니다. 코드가 작성될 때 코드를 승인하는 인간은 없었지만, 루프 위에는 인간이 있었습니다."라고 명확히 했습니다.

또한 부팅 가능한 환경과 포괄적인 로깅을 구현하여 이러한 자동화된 수정의 효과를 철저히 검증했습니다.

처음에는 'AI 오류'를 해결하기 위해 금요일마다 인간의 개입이 여전히 필요했지만, 그 작업을 관리하고 정리하기 위해 새로운 에이전트가 특별히 훈련되었습니다.

Laurie Voss는 "그들은 검토를 삭제한 것이 아니라 이동했습니다. Codeex는 자체 변경 사항을 검토한 다음 더 많은 에이전트를 호출하여 모든 에이전트 검토자가 만족할 때까지 반복적으로 해당 검토를 검토합니다."라고 설명했습니다.

Dexter Horthy는 처음 6개월 동안 인간 검토 없이 코드를 출시해야 한다고 주장했습니다.

그러나 시스템이 실패하여 코드베이스의 상당 부분을 전면적으로 뜯어내고 교체해야 하자 결국 자신의 입장을 철회했습니다.

확인된 핵심 문제는 테스트 통과가 기능성을 확인하지만, 코드의 구조적 정확성이나 원래 설계 의도 준수를 보장하지 않는다는 것이었습니다.

Laurie Voss는 "우리는 약 6개월 동안 코드를 읽지 않으려고 노력했습니다. 결과가 좋지 않았습니다. 우리는 해당 시스템의 많은 부분을 뜯어내고 교체해야 했습니다."라고 회고했습니다.

정확성을 자동으로 검증하기 본질적으로 어려운 시나리오에서는 인간의 개입이 여전히 필수적입니다.

잠재적 오류에 대한 '폭발 반경'이 큰 고위험 환경에서는 여전히 인간의 책임과 감독이 필요합니다.

인간의 역할은 개발 스택에서 더 높은 곳으로 이동하고 있으며, 세밀한 라인별 코드 검사에서 더 광범위한 시스템 설계 및 AI 프로세스 미세 조정으로 전환되고 있습니다.

Laurie Voss는 "우리가 지금까지 살펴본 모든 것에서 인간 검토는 계속해서 살아남고 있습니다. 위치는 이동하지만 예측 가능한 곳에서 살아남고 있습니다."라고 언급했습니다.

Anthropic의 보안 검토자는 프롬프트 인젝션 취약성에 대한 민감도와 관련하여 중요한 경고 사항을 가지고 있습니다.

3월 연구에 따르면 자율 에이전트가 무해해 보이는 커밋 메시지로 위장된 취약한 코드에 의해 88%의 시도에서 성공적으로 속았음이 입증되었습니다.

대조적으로, 인간 검토자는 동일한 취약한 코드를 65%의 경우에 식별하고 잡아내어 미묘한 위협 탐지에서 AI 에이전트를 훨씬 능가했습니다.

Laurie Voss는 "무해한 커밋 메시지로 위장된 취약한 코드가 88%의 시도에서 자율 검토 에이전트를 속였습니다. 인간 검토자에게 보낸 동일한 시도는 35%의 경우에만 통과했습니다."라고 강조했습니다.

현재 자동화된 검토 시스템의 성능을 효과적으로 평가하거나 등급을 매기는 방법에 대한 업계 전반의 합의는 없습니다.

검토 에이전트용으로 설계된 기존 벤치마크는 답변이 유출되어 신뢰성과 효율성이 손상되는 것으로 밝혀졌습니다.

병합 전 검토가 완전히 자동화되면 운영 모니터링이 최종적이고 피할 수 없는 코드 검토 형태가 되어 실제 코드 동작을 검증합니다.

Laurie Voss는 "자동화할 수도 건너뛸 수도 없는 한 명의 검토자가 남는데, 그것은 프로덕션입니다. 병합 전 검토가 모두 기계로 이루어지면 코드가 실제로 무엇을 하는지 지켜보는 것이 마지막 검토자가 됩니다."라고 말했습니다.

개별 풀 리퀘스트를 검토하는 것은 특히 현재의 발전 상황을 고려할 때 현대 소프트웨어 개발에 있어 시대에 뒤떨어지고 비효율적인 추상화 수준이 되고 있습니다.

엔지니어는 대신 회사 컨텍스트와 도메인별 지식을 견고한 자동화된 검토 시스템에 직접 삽입하는 데 집중해야 합니다.

소프트웨어 개발의 미래 성공은 고급 시스템 설계를 통해 출하된 코드에 대한 증거 기반 신뢰를 구축할 수 있는 팀에게 달려 있을 것입니다.

Laurie Voss는 "PR 검토를 중단하세요. 2026년에는 잘못된 추상화 수준입니다. 인간의 판단은 매우 가치 있지만, 지금보다 훨씬 더 확장될 수 있습니다."라고 조언했습니다.