VS Code, AI로 주간 릴리스 전환

이러한 가속화의 주요 목표는 단순히 일상 업무에 AI를 통합하는 것이 아니라 개발 시스템을 근본적으로 재고함으로써 릴리스의 효율성을 높이는 것이었습니다.

초기에는 GPT-4.1 생성 코드의 생존율이 55%였지만, 테스트 하네스 및 Claude Opus 3.6과 같은 최신 모델의 발전으로 이 비율은 86%로 크게 증가했습니다.

Kirschner에 따르면 AI 통합으로 AI가 사용자에게 문제 제기를 돕기 때문에 보고된 문제가 크게 증가했습니다.

팀은 이제 AI의 분류 지원을 받아 중요한 품질 문제와 자동화된 저품질 제출물을 포함한 더 많은 양의 문제를 관리합니다.

특히 커뮤니티 병합 풀 리퀘스트(PR) 수도 증가하여 프로젝트에 대한 더 큰 커뮤니티 기여를 촉진하는 AI의 잠재력을 보여주었습니다.

프레임워크에는 1단계: 에이전트 준비 코드베이스 및 전문 기술을 통한 빠른 배송 달성; 2단계: 증가된 속도에도 불구하고 높은 품질 유지; 3단계: 올바른 기능 개발을 보장하기 위한 빠른 학습이 포함됩니다.

AI 에이전트가 효과적이려면 코드베이스가 '에이전트 준비'되어 있어야 합니다. 즉, AI 시스템에 명확하고 탐색 가능한 지도를 제공해야 합니다.

VS Code 팀은 에이전트가 오류를 발견하고 해결할 때 발전하는 동적 문서 역할을 하는 `agents.md` 파일을 생성하여 최신 지침을 제공함으로써 이를 달성합니다.

또한 접근성 모범 사례와 같은 전문가 지식은 AI 에이전트가 활용할 수 있는 재사용 가능한 '기술'로 코드화되어 기여자들의 장애물을 제거하고 표준 준수를 보장합니다.

여러 AI 에이전트가 동시에 실행될 때 이러한 기존 지연은 기하급수적으로 증가하여 개발 효율성을 심각하게 저해합니다.

이를 해결하기 위해 VS Code는 TypeScript Go로 전환하여 빌드 속도를 10배 향상시켰습니다.

더 빠른 빌드 시간은 AI 에이전트가 효율적인 작동을 위해 필요한 빠르고 자동화된 풀 리퀘스트 피드백 루프를 가능하게 하는 데 중요합니다.

AI 모델은 사용자 인터페이스(UI) 레이아웃 및 요소의 정확한 정렬에 자주 어려움을 겪습니다.

이를 완화하기 위해 VS Code는 변경이 있을 때마다 모든 UI 컴포넌트의 스크린샷을 자동으로 캡처하는 '컴포넌트 브라우저'를 구현합니다.

이 시스템은 개발자가 한 영역의 수정 사항이 의도치 않게 UI의 다른 부분을 손상시키는 '파급 효과'를 식별하는 데 도움이 됩니다.

풀 리퀘스트(PR)에 비디오나 스크린샷을 요구하면 개발자가 UI 변경 사항을 평가하기 위해 애플리케이션을 처음부터 빌드할 필요가 없어 검토 프로세스가 간소화됩니다.

VS Code는 기본적으로 웹 애플리케이션이므로 브라우저 자동화 프레임워크인 Playwright를 사용하여 광범위하게 자동화할 수 있습니다.

이 기능을 통해 AI 에이전트는 `/launch` 기술을 사용하여 VS Code를 열고 특정 시나리오를 탐색하며 수동 개입 없이 수정을 검증할 수 있습니다.

이 접근 방식은 테스트 작업을 AI 에이전트에 크게 위임하여 완료 시 자세한 로그를 제공하여 진단 기능을 향상시킵니다.

이러한 유사한 자동화된 피드백 루프는 iOS 개발을 위한 Xcode MCP와 같은 도구에서도 "마법과 같다"고 묘사됩니다.

Harald Kirschner는 PR용 GitHub Copilot이 크게 성숙하여 이제 VS Code에서 열리는 모든 풀 리퀘스트에 대한 사용이 필수가 될 정도로 발전했다고 밝혔습니다.

팀은 리포지토리와 관련된 위험에 따라 AI의 검토 '노력' 수준을 조정하여 적절한 조사를 보장할 수 있습니다.

이 시스템의 중요한 측면은 AI의 모든 의견과 제안이 개발자에 의해 처리될 때까지 인간 검토자가 풀 리퀘스트를 검토할 수 없다는 것입니다.

이러한 강제 메커니즘은 릴리스 빈도 증가 속에서 높은 코드 품질을 유지하는 데 필수적입니다.

VS Code는 종종 다양한 언어 배경을 가진 사용자가 제출하는 많은 양의 GitHub 문제를 접수하며, 이는 수동 분류를 어렵게 만듭니다.

AI는 이제 스팸을 필터링하고, 컨텍스트를 추가하여 콘텐츠를 풍부하게 하며, 보고서를 번역하여 수신되는 문제 데이터의 품질을 크게 향상시킵니다.

이 시스템은 문제를 특정 영역 소유자에게 자동으로 할당하여 내부 응답 프로세스를 간소화합니다.

자동화에도 불구하고 AI 에이전트가 문제를 잘못 해석할 때 피드백을 제공하여 정확성과 지속적인 개선을 보장하는 인간의 감독은 여전히 필수적입니다.

Harald Kirschner는 VS Code가 매일 510억 개의 원시 원격 측정 항목을 필터링하며, 완전히 자동화된 파이프라인을 사용하여 오류를 지문화하고, 영역 소유자를 위해 그룹화하며, 관련 풀 리퀘스트 수정을 생성한다고 언급했습니다.

이 시스템은 원시 원격 측정 데이터를 수집하여 매일 510억 개의 항목을 전체 스택 추적 정보를 포함하는 실행 가능한 오류 스택으로 필터링합니다.

그런 다음 지문화 작업을 사용하여 이러한 오류를 그룹화하고 분류하며 관련 영역 소유자에게 할당합니다.

오류 대시보드는 영향을 모니터링하며, 시스템은 식별된 문제를 해결하기 위한 PR을 자동으로 생성하여 오류 감지에서 해결까지의 루프를 닫습니다.

이전에는 VS Code가 Kirschner가 "YOLO 릴리스"라고 불렀던 방식을 사용했습니다. 즉, 테스트 후 완전한 안정성을 가정하고 릴리스 당일 새 버전을 즉시 모든 사용자에게 100% 배포했습니다.

AI 에이전트 덕분에 릴리스 빈도가 증가함에 따라 팀은 단계적 롤아웃으로 전환하여 업데이트를 점진적으로 배포하여 발생하는 오류 로그 및 문제를 모니터링합니다.

이러한 변경은 설치된 애플리케이션을 롤백하는 것이 비용이 많이 들고 복잡한 프로세스이므로 위험 완화를 위해 신중한 단계별 접근 방식이 필수적이기 때문에 구현되었습니다.

AI 에이전트는 기존 템플릿에서 새로운 테스트 시나리오를 부트스트랩하여 포괄적인 평가 환경 생성을 가속화하는 데 활용됩니다.

VSC-Bench를 사용한 실험 결과 동일한 작업에 대해 다양한 AI 모델에서 토큰 사용량에 상당한 차이가 있음을 밝혀내어 신중한 모델 선택 및 최적화의 필요성을 강조합니다.

모델은 성능을 개선하고 제품 품질을 보장하기 위해 오프라인 및 온라인 실험을 통해 엄격한 테스트를 거칩니다.

VS Code는 월간 릴리스 주기에서 일일 스프린트로 전환하여 개발 및 피드백 속도를 크게 가속화했습니다.

이 접근 방식은 빠른 프로토타이핑을 우선시하여 초기 피드백 루프를 설정하고 기능의 더 빠른 반복 및 개선을 가능하게 합니다.

더 작고 전담 팀은 특정 작업 스트림을 관리하여 병목 현상을 줄이고 개발 프로세스 내에서 더 민첩한 의사 결정을 가능하게 합니다.