AI 코딩, 생산성 향상 단기적…검증 부채 해소와 다층적 접근 필수

AI 분야에서 올해는 실험 단계에서 공학 단계로 넘어가는 중요한 전환점이었다고 Anirban Chatterjee는 말합니다. 초기 실험 단계를 넘어 이제는 실제 시스템에 적용되는 공학적 접근이 필요하다는 인식이 확산되고 있습니다.

Chatterjee는 "AI 분야에서 많은 일이 벌어지고 있습니다. 올해는 정말로 실험에서 공학으로 넘어가는 전환점이었다고 생각합니다"라고 언급하며, AI 기술이 단순한 연구를 넘어 실용적인 적용 단계에 도달했음을 강조했습니다.

Anirban Chatterjee는 AI가 소프트웨어 개발 분야에 미칠 영향이 클라우드 컴퓨팅에 비견될 만큼 혁명적일 것이라고 전망했습니다. 클라우드 컴퓨팅이 컴퓨팅 자원에 대한 접근성을 획기적으로 높인 것처럼, AI는 소프트웨어 개발에 대한 접근성을 확장할 잠재력을 가졌다는 것입니다.

그는 "AI는 소프트웨어 개발에서도 같은 역할을 할 것입니다. 그러나 이를 위해서는 시스템에 안전과 신뢰를 더해야 합니다"라고 강조하며, AI의 잠재력을 최대한 활용하기 위해서는 안전과 신뢰를 보장하는 것이 필수적임을 지적했습니다.

카네기 멜론 대학의 연구는 GitHub 프로젝트를 분석하여 AI 코딩 도구의 생산성 향상 효과가 단기적임을 밝혀냈습니다. Anirban Chatterjee에 따르면, AI 코딩 도구를 사용했을 때 생산성이 일시적으로 급증했지만 약 3개월 후에는 다시 감소하는 경향을 보였습니다.

Chatterjee는 "카네기 멜론 대학의 연구에서 GitHub 프로젝트를 분석한 결과, AI 코딩 도구를 사용했을 때 생산성이 일시적으로 급증했지만 약 3개월 후 다시 감소하는 경향을 보였습니다"라고 설명하며, 생산성 향상이 지속적이지 않음을 지적했습니다. 또한 이 연구는 AI 코딩 도구 사용 후 정적 분석 경고와 코드 복잡도가 지속적으로 증가하는 것을 발견했습니다.

AI가 생성한 코드의 품질은 애플리케이션의 중요도에 따라 요구 사항과 실제 품질 간의 격차가 다르게 나타난다고 Anirban Chatterjee가 설명했습니다. 비판적이지 않은 내부 애플리케이션의 경우 AI 도구가 제공하는 품질과 필요한 품질 사이의 격차가 상대적으로 작습니다.

그러나 많은 사용자나 복잡한 코드베이스를 가진 중요한 애플리케이션의 경우, AI 도구의 품질은 기대치에 미치지 못하여 이 격차가 훨씬 커집니다. Chatterjee는 "애플리케이션의 중요도에 따라 품질 요구 사항이 달라집니다. 비판적이지 않은 내부 애플리케이션의 경우 AI 도구가 제공하는 품질과 필요한 품질 사이의 격차가 작지만, 많은 사용자나 복잡한 코드베이스를 가진 중요한 애플리케이션의 경우 이 격차가 훨씬 커집니다"라고 말했습니다.

AI 코드의 품질 격차는 '검증 부채'로 이어지며, 이를 해소하기 위해 인간 소프트웨어 엔지니어의 개입이 필수적이라고 Anirban Chatterjee는 지적했습니다. AI가 생성한 코드가 프로덕션 환경에 배포되기 전까지 인간 개발자가 품질을 허용 가능한 수준으로 끌어올려야 한다는 것입니다.

Chatterjee는 "이러한 품질 격차가 '검증 부채'로 이어집니다. 인간 소프트웨어 엔지니어가 이 격차를 해소하고 코드를 프로덕션에 배포하기 전에 허용 가능한 수준으로 품질을 끌어올려야 합니다"라고 강조하며, AI 코드의 품질 문제를 해결하는 데 있어 인간의 역할이 여전히 중요함을 설명했습니다.

AI 모델은 기술적 특성상 여전히 실수를 하고 품질 문제를 일으킬 수 있다고 Anirban Chatterjee는 강조했습니다. 이러한 본질적인 한계 때문에 AI가 생성한 코드에 오류가 발생할 가능성이 항상 존재합니다.

Chatterjee는 "AI 모델은 기술적 특성상 여전히 실수를 하고 품질 문제를 일으킬 수 있습니다. 이러한 오류가 프로덕션 코드에 유입되면 조직에 치명적인 영향을 미칠 수 있습니다"라고 경고하며, AI 코드의 오류가 실제 운영 환경에 심각한 영향을 미칠 수 있음을 설명했습니다.

Anirban Chatterjee는 다양한 LLM 모델들이 서로 다른 품질 문제를 가지고 있으며, 이를 탐구하기 위해 Sonar 웹사이트에 'LLM 리더보드'를 운영하고 있다고 밝혔습니다. 이 리더보드는 현재 공개되어 누구나 접속하여 확인할 수 있습니다.

그는 "모델은 다양합니다. 똑같은 모델은 없으며 다양한 품질 문제를 가지고 있습니다. 저희는 이를 실제로 탐구하고 싶습니다. 그래서 저희 웹사이트에 지금 바로 접속할 수 있는 리더보드를 가지고 있습니다. LLM 리더보드라고 불립니다"라고 설명했습니다.

Sonar는 새로 출시되는 모든 주요 LLM 모델을 가져와 약 4,000개의 코딩 작업을 부여한 후 SonarQube가 코드를 평가하는 데 사용하는 모든 지표로 그 품질을 평가한다고 Anirban Chatterjee가 설명했습니다. 평가 지표에는 정확성, 복잡성, 할당된 작업을 해결하는 속도, 그리고 유지 보수성, 신뢰성, 보안과 같은 전통적인 요소들이 포함됩니다.

Chatterjee는 "저희는 새로 나오는 모든 주요 모델을 가져와 평가합니다. 약 4,000개 정도의 코딩 작업을 주고, SonarQube가 코드를 평가하는 데 사용하는 모든 지표로 평가합니다. 정확성, 복잡성, 할당된 작업을 해결하는 속도, 그리고 유지 보수성, 신뢰성, 보안과 같은 저희의 고전적인 요소들을 살펴봅니다"라고 말하며, Sonar의 포괄적인 LLM 코드 품질 평가 방식을 소개했습니다.

Sonar의 LLM 리더보드에서 얻은 데이터는 모델이 어떤 점에서 뛰어나고 어떤 점에서 부족한지 보여주며, 이는 LLM 모델의 불완전성을 명확히 드러낸다고 Anirban Chatterjee는 설명했습니다. 이러한 모델 중 어느 것도 완벽하지 않으므로, 개발 주기 내에서 항상 어떤 종류의 검증이 필요하다는 점을 강조했습니다.

Chatterjee는 "이러한 종류의 데이터는 유용합니다. 모델이 어디에서 좋고 어디에서 좋지 않은지 알려주기 때문입니다. 그리고 이러한 모델에 대해 여전히 경계해야 한다는 사실을 밝히는 역할도 합니다. 이러한 모델 중 어느 것도 완벽하지 않을 것입니다. 루프 내에서 항상 어떤 종류의 검증이 필요할 것입니다"라고 말하며, 모델의 한계를 인지하고 지속적인 검증을 수행할 필요성을 강조했습니다.

Anirban Chatterjee는 인간의 코드 리뷰 역시 오류에 취약하다는 점을 지적하며, 이는 경험과 최신 연구 결과를 통해 확인되었다고 말했습니다. 특히 와튼 스쿨에서 진행된 연구에 따르면, 참가자들은 AI 도구의 조언이 올바를 때는 92.7%를 따랐지만, AI가 틀렸을 때도 거의 80%의 시간 동안 AI의 말을 따랐습니다.

그는 "하지만 경험을 바탕으로, 그리고 이제는 연구를 바탕으로 인간 검토도 손상될 수 있다는 것을 알고 있습니다. 이것은 올해 초 와튼에서 수행한 연구입니다. 그들은 많은 참가자들에게 완료할 작업을 주었고, 그 참가자들에게 AI 도구를 사용하여 그 작업을 완료하도록 했습니다. 하지만 참가자들은 모르는 사이에 AI는 때때로 이 참가자들에게 자신감 있게 거짓말을 하도록 지시받았습니다. 데이터에서 발견한 것은 AI가 올바를 때 참가자들이 AI 조언을 92.7% 따랐지만, AI가 틀렸을 때도 거의 80%의 시간 동안 AI 말을 들었다는 것입니다"라고 설명하며, 인간 검토의 한계를 명확히 보여주었습니다.

AI 시대에는 작성되는 코드의 양이 기하급수적으로 늘어나면서 코드 리뷰 과정에서 과도한 업무량으로 인해 형식적인 검토가 증가할 수 있다고 Anirban Chatterjee는 우려했습니다. 여러 AI 에이전트가 동시에 코드를 작성하고 이를 단일 애플리케이션으로 통합해야 하는 상황에서, 개발자들의 하루는 너무 짧고 출시 압박은 여전합니다.

Chatterjee는 "이것은 코드 리뷰에서도 거의 확실히 일어나고 있습니다. 특히 더 많은 양의 코드가 작성될 때, 여러 에이전트가 동시에 코드를 작성할 때, 이제 그 모든 조각을 단일 소프트웨어 애플리케이션으로 통합해야 할 때, 부하가 너무 큽니다. 하루는 너무나 짧습니다. 그리고 여전히 무언가를 출시해야 합니다. 그래서 여러분의 모든 조직에서 형식적인 검토(rubber stamping)가 많이 일어나고 있을 것이라고 확신합니다. 모든 곳에서 일어나고 있습니다. 그래서 우리는 자동화된 검증 도구로 이를 어떻게든 보완해야 합니다"라고 강조하며, 이러한 문제를 해결하기 위해 자동화된 검증 도구의 필요성을 역설했습니다.

소프트웨어는 인간이 작성하며, 인간의 요구 사항과 외부 요인이 코드 기능에 영향을 미치기 때문에 본질적으로 예측 불가능하다고 Anirban Chatterjee는 설명했습니다. 애플리케이션에 코드가 추가될수록 예측 불가능한 상호 작용이 발생할 수 있으며, 사용자들이 예상치 못한 방식으로 애플리케이션을 사용할 수도 있습니다.

그는 "하지만 우리는 코드가 인간에 의해 작성되며, 인간은 요구 사항을 가지고 있고, 그 요구 사항과 외부 요인이 이 코드가 기능하는 방식에 영향을 미친다는 것을 알고 있습니다. 그리고 애플리케이션에 더 많은 코드를 추가할수록 예측 불가능한 방식으로 상호 작용할 수 있습니다. 이제 사용자들이 해당 애플리케이션을 사용하게 되면, 그 사용자들은 예상치 못한 모든 종류의 작업을 수행할 수 있습니다. 따라서 소프트웨어는 코드가 증명될 수 있는 방식과 동일하게 증명될 수 없습니다. 소프트웨어는 흥미롭고 새로운 방식으로 고장 날 수 있습니다. 그리고 AI를 사용하여 점점 더 많은 소프트웨어를 작성하여 점점 더 큰 문제를 해결할수록 이러한 한계에 훨씬 더 자주 직면하게 될 것입니다"라고 말하며, AI를 활용하여 소프트웨어를 작성할수록 이러한 예측 불가능성이 더욱 증대될 것임을 경고했습니다.

Anirban Chatterjee는 AI 코딩과 관련하여 성공적인 자동 검증에 두 가지 핵심 요소가 있다고 설명했습니다. 첫째는 '제로 트러스트' 원칙입니다. 이는 코드가 어디에서 왔든 신뢰하지 않고 검증해야 한다는 의미입니다. AI가 생성했든, 다른 개발자가 작성했든, 모든 코드를 동일한 수준으로 엄격하게 검증해야 합니다.

둘째는 '다층적' 접근 방식입니다. 코드를 작성하는 데 사용된 방법과 다른 방법으로, 여러 기법을 함께 사용하여 코드를 검증해야 합니다. 예를 들어, AI 모델이 코드를 생성했다면, 그 코드를 다른 AI 모델이나 전통적인 정적 분석 도구로 검증하는 방식입니다. 이는 단일 검증 방식으로는 놓칠 수 있는 문제를 포착하기 위함입니다. Chatterjee는 "저희는 AI 코딩과 관련하여 성공적인 자동 검증에 두 가지 핵심 요소가 있다고 생각합니다. 하나는 제로 트러스트여야 한다는 것입니다. 이 맥락에서 제로 트러스트는 코드가 어디에서든 왔을 수 있다는 것을 의미합니다"라고 언급했습니다.

Anirban Chatterjee는 Sonar의 ACDC(Agent-Centric Development Cycle) 프레임워크가 AI 에이전트 개발 주기를 효과적으로 관리하는 세 가지 단계를 포함한다고 소개했습니다. 가장 빠르게 구현하고 가장 중요한 단계는 '검증' 단계입니다. 이 단계는 다층적이고 추론 기반으로 품질, 보안, 규정 준수 문제를 모두 해결해야 합니다.

검증 단계 이전에는 '가이드' 단계가 있습니다. 가이드는 AI 에이전트가 처음부터 더 나은 코드를 작성할 수 있도록 가드레일, 맥락, 제약 조건을 제공합니다. 이는 에이전트의 오작동을 줄이고 원하는 결과를 얻도록 돕습니다. 마지막으로, 검증 후에는 발생하는 문제를 '해결'해야 합니다. 이 '해결' 단계에서는 에이전트가 문제를 스스로 찾고 해결하는 데 필요한 도구에 접근 권한을 부여하여, 에이전트가 직접 문제를 수정할 수 있도록 합니다. Chatterjee는 "ACDC(Agent-Centric Development Cycle)에는 세 가지 단계가 있습니다. 가장 쉬운, 즉 가장 빠르게 구현할 수 있는 단계는 검증 단계입니다. 이 부분이 가장 중요합니다. 다층적이고 추론 기반이어야 하며, 품질, 보안, 규정 준수 문제를 모두 해결해야 합니다. 검증 단계 전에는 가이드 단계가 있습니다. 가이드는 에이전트가 더 나은 코드를 처음부터 작성하는 데 필요한 모든 것을 갖추도록 가드레일, 맥락, 제약 조건을 제공합니다. 마지막으로, 검증 후에는 발생하는 문제를 해결해야 합니다. 여기서 해결 상태가 나옵니다. 에이전트가 문제를 찾고 스스로 해결하는 데 필요한 도구에 접근 권한을 부여하여 에이전트가 직접 해결할 수 있도록 합니다"라고 설명했습니다.

Anirban Chatterjee는 AI 코딩 프로세스 전반에 걸쳐 검증을 채택하도록 하는 네 가지 주요 동기를 제시했습니다. 첫째, AI 코드가 일관되게 검증되기를 원한다는 것입니다. 프로젝트나 팀마다 다른 검증 방법을 적용하지 않고, 조직 전체에 걸쳐 통일된 검증 기준을 유지하는 것이 중요합니다. 둘째, AI 도구를 효과적으로 사용하고자 하는 욕구입니다. 이는 토큰 효율성이나 전반적인 운영 효율성을 포함하며, 도구가 본래의 목적에 맞게 제대로 사용되는지 확인하는 것을 의미합니다. 셋째, 개발 주기 초기에 보안 문제를 최대한 빨리 해결하려는 노력입니다.

AI가 더 많은 코드를 작성함에 따라, 잠재적인 보안 취약점을 미리 식별하고 수정하는 것이 매우 중요해집니다. 넷째, 규정 준수를 유지하는 것입니다. 특히 규제 산업에 종사하는 많은 조직은 검증 과정이 전반적으로 지속적이고 일관되게 실행되었음을 증명할 수 있어야 합니다. Chatterjee는 "AI 코딩 프로세스 전반에 걸쳐 검증을 채택하도록 하는 주요 동기는 매우 유사합니다. 첫째, AI 코드가 일관되게 검증되기를 원합니다. 프로젝트나 팀마다 다른 검증 방법을 적용하고 싶어 하지 않습니다. 둘째, AI 도구를 효과적으로 사용하고 싶어 합니다. 여기에는 토큰 효율성이나 전반적인 효율성이 크게 포함되지만, 도구가 설계된 목적에 맞게 효과적으로 사용되는지 확인하는 것도 중요합니다. 셋째, 개발 주기 초기에 보안 문제를 최대한 빨리 해결하고 싶어 합니다. AI가 점점 더 많은 코드를 작성함에 따라, 보안 문제를 미리 잡아내는 것이 극히 중요합니다. 넷째, 규정 준수를 유지하는 것입니다. 규제 산업에서 일하는 많은 분들은 검증이 전반적으로 지속적이고 일관되게 실행되었음을 증명할 수 있어야 합니다"라고 강조했습니다.

Anirban Chatterjee는 SonarQube가 '제로 트러스트' 원칙을 기반으로 하는 다중 계층 검증 플랫폼이라고 소개했습니다. SonarQube는 코드의 구문, 데이터 흐름, 아키텍처, 제어 흐름 등 다양한 측면에서 문제를 탐지하며, 거의 모든 프로그래밍 언어를 지원합니다.

그는 "SonarQube는 제로 트러스트 다중 계층 검증 플랫폼으로 구문, 데이터 흐름, 아키텍처, 제어 흐름 문제를 해결하며, 거의 모든 언어에서 작동합니다"라고 설명하며, SonarQube의 강력한 검증 기능과 폭넓은 언어 지원을 강조했습니다.

Sonar는 기술 부채와 레거시 코드 문제를 자동으로 해결하는 'Remediation Agent'를 출시했다고 Anirban Chatterjee가 밝혔습니다. 이 에이전트는 백로그에 쌓여 있는 문제를 처리하고, 인간 개발자의 대역폭으로는 해결하기 어려운 규모의 기술 부채를 줄이는 데 도움을 줍니다.

Chatterjee는 "그리고 우리는 Remediation Agent도 출시했습니다. Remediation Agent를 사용하면 백로그 문제를 처리하고 현재 인간 개발자로는 대역폭이 부족할 수 있는 규모로 기술 부채를 줄일 수 있습니다. 기본적으로 기술 부채나 오래된 문제, 레거시 코드를 Remediation Agent에 연결하면 여러분이 현재 작업 중인 혁신 작업에 집중하는 동안 거의 백그라운드에서 코드 베이스를 개선할 수 있습니다"라고 설명하며, Remediation Agent가 개발자들이 혁신적인 작업에 집중하는 동안 코드베이스를 지속적으로 개선할 수 있게 한다고 덧붙였습니다.

Anirban Chatterjee는 LLM 코딩 에이전트를 사용하기 전에 조직에서 명확한 품질 기준을 정의하는 것이 필수적이라고 강조했습니다. Sonar는 기본적으로 사용하거나 조직에 맞게 조정할 수 있는 품질 기준을 제공하지만, 궁극적으로는 프로덕션 코드에서 허용할 보안, 품질, 유지보수성 수준이 무엇인지 결정하고 이를 명확히 기록해야 합니다.

그는 "그리고 품질 기준이 무엇인지도 정의해야 합니다. 기본적으로 사용하거나 조직에 맞게 조정할 수 있는 품질 기준을 제공하지만, 이는 프로덕션에 푸시하는 코드에서 허용할 보안, 품질, 유지보수성의 수준이 무엇인지를 나타냅니다. 기본적으로 이를 기록하고 인코딩해야 합니다"라고 설명하며, 이러한 기준 정의가 AI 코드의 신뢰성을 확보하는 첫걸음이라고 지적했습니다.

Anirban Chatterjee는 Sonar의 솔루션이 AI 에이전트가 코드를 작성하는 동안 '루프 내 검증'을 실시간으로 제공한다고 밝혔습니다. 에이전트는 Sonar에 호출하여 작성 중인 코드에서 발견되는 문제 목록을 즉시 받을 수 있습니다.

가장 큰 장점은 이러한 문제들을 에이전트가 즉시 수정할 수 있다는 점입니다. 이는 문제가 미래의 에이전트 작업으로 전파되는 것을 방지하여, 코드 품질을 처음부터 높게 유지할 수 있도록 돕습니다. Chatterjee는 "그리고 에이전트가 코드를 작성하는 동안 루프 내 검증을 제공합니다. 에이전트는 우리에게 호출하여 작성되는 코드에서 실시간으로 발견되는 문제 목록을 받을 수 있으며, 가장 좋은 점은 이 문제들을 에이전트가 즉시 수정할 수 있다는 것입니다. 따라서 미래의 에이전트 작업으로 전파되지 않습니다"라고 설명했습니다.

Anirban Chatterjee는 Sonar Vortex를 통해 '이너 에이전틱 루프' 기능을 이번 주부터 활성화했다고 밝혔습니다. 이러한 루프들은 현재 개발 중인 소프트웨어 프로젝트를 완전히 구축하기 위해 실행됩니다.

이너 에이전틱 루프는 AI 에이전트가 개발 과정에서 지속적으로 피드백을 받고 코드를 개선할 수 있도록 설계되었으며, 이는 개발 프로세스의 효율성과 코드 품질을 향상시키는 데 기여할 것으로 기대됩니다. Chatterjee는 "이러한 루프들은 현재 개발 중인 소프트웨어 프로젝트를 완전히 구축하기 위해 실행됩니다. Sonar Vortex를 통해 이번 주부터 이 기능이 활성화되었습니다"라고 언급했습니다.