제프 딘, 컨텍스트 엔지니어링부터 팀 역학까지 AI의 미래를 논하다

제프 딘은 검색, 메모리, 에이전트 도구와 같은 다양한 구성 요소를 '컨텍스트 엔지니어링'이라는 새로운 분야로 통합하는 것을 강조합니다. 이러한 변화는 기본 모델에만 집중하는 것을 넘어 이러한 모델을 완전하고 기능적인 시스템으로 통합하는 것을 의미합니다. 컨텍스트 엔지니어링은 복잡한 상호 작용과 문제 해결이 가능한 정교한 에이전트 시스템을 구축하는 핵심 방법이 되고 있습니다.

방대한 자원, GPU, 데이터가 필요한 대규모 모델 훈련과 달리, 컨텍스트 엔지니어링은 주로 Gemini와 같은 기존 모델에 대한 API 접근만 필요합니다. 이러한 접근성은 더 광범위한 혁신가들이 AI 발전에 기여할 수 있도록 합니다.

그들은 코드 변경을 수행하고, 성능 개선을 측정하고, 이러한 변경을 반복하도록 모델을 가르치는 '기술'을 개발했습니다. 이 자가 개선 벤치마크 측정 프로세스는 에이전트가 코드 효율성을 자율적으로 향상시킬 수 있도록 합니다. 구글은 이러한 기술을 대중과 공유하는 '성능 힌트' 문서를 발표할 계획입니다.

AI 에이전트 개발의 중요한 과제는 에이전트가 훈련 분포를 벗어나면 성능과 안정성이 저하되는 경향이 있기 때문에 장기 실행 작업 동안 성능과 안정성을 유지하는 것입니다. 딘은 문제 해결의 그럴듯한 방법을 검색하기 위해 다중 에이전트 시스템을 사용하여 신뢰성과 성능을 향상시킬 것을 제안했습니다. 이 접근 방식은 추론 시간 계산을 활용하여 유망한 전략을 평가하고, 복잡하고 확장된 문제를 해결하는 에이전트의 능력을 향상시킵니다.

구글과 같은 대기업이 Gemini와 같은 고도로 일반적인 대규모 모델을 구축하는 데 집중하는 반면, 작은 팀은 특수 도메인에 집중하여 번성할 수 있습니다. 이러한 틈새 영역은 일반적으로 일반 모델이 본질적으로 우선순위를 둘 수 없는 맞춤형 인터페이스와 맞춤형 기술 세트를 필요로 합니다. 이를 통해 소규모 기업은 고도로 효과적인 도메인별 AI 솔루션을 개발할 수 있습니다.

AI 스타트업 창업자는 선택한 문제가 일반 AI 모델의 빠른 발전으로 인해 빠르게 해결될 것인지 비판적으로 평가해야 합니다. 딘은 창업자들에게 일반 모델이 향후 6~12개월 이내에 특정 작업을 숙달할 수 있을지 고려하도록 조언합니다. 지속 가능한 스타트업 아이디어는 일반 모델이 몇 년 동안 효과적인 솔루션을 달성하기 어려울 것으로 예상되는 분야로, 지속 가능한 경쟁 우위를 제공합니다.

부분적인 성공은 규모를 늘리고 추가 개발을 통해 성능 격차가 빠르게 좁혀질 가능성이 있음을 나타냅니다. 대신 창업자는 현재 모델의 성공률이 0%에서 1%에 불과한 영역에 집중해야 합니다. 이는 더 도전적이고 잠재적으로 지속 가능한 기회를 나타내기 때문입니다.

복잡한 문제에 대해 이러한 정확한 도메인별 모델을 훈련하는 것은 저렴하면서도 매우 효과적일 수 있습니다. AlphaFold는 단백질 폴딩 분야에서 획기적인 결과를 달성한 성공적인 도메인별 AI의 대표적인 예로 언급됩니다.

AI 기반 코딩에서 인간 입력의 역할은 코드를 작성하는 것에서 요구 사항을 세심하게 지정하는 것으로 바뀝니다. 딘은 에이전트 기반 시스템이 이제 코드를 작성할 수 있지만, 명확하고 정확한 지침의 중요성이 크게 증가했다고 지적합니다. 구체적인 지침이 부족하면 에이전트가 요구 사항을 잘못 추론하여 최적화되지 않거나 오류가 있는 출력을 초래합니다. 이는 코딩 번역 작업에서 볼 수 있듯이 명확한 사양이 성공적인 AI 에이전트 배포에 얼마나 중요한지 강조합니다.

딘은 오랫동안 유지되어 온 가정, 특히 트랜지스터 수준까지 하드웨어가 완벽하게 신뢰할 수 있어야 한다는 개념에 도전할 것을 권장합니다. 그는 대규모 분산 시스템이 이미 소프트웨어를 통해 신뢰성을 관리하고 있으며, 이는 하드웨어 설계 원칙의 재평가를 시사한다고 지적합니다. 이 사고 실험은 본질적으로 신뢰할 수 없고 오류가 발생하기 쉬운 트랜지스터로 시스템을 구축하고 소프트웨어에 의존하여 이러한 불완전성을 추상화하는 잠재력을 탐구합니다.

구글 팀은 기능 프로그래밍 훈련에서 영감을 받아 이 추상화를 만들었으며, 고수준 로직을 저수준 신뢰성 메커니즘과 효과적으로 분리했습니다. 이를 통해 개발자들은 복잡한 분산 시스템 세부 사항에 얽매이지 않고 핵심 문제에 집중할 수 있었습니다.

AI는 고수준 목표를 하위 문제로 자율적으로 분해하여 빠른 자가 개선을 촉진하고 다양한 분야의 연구를 가속화할 수 있습니다.

양자 화학 사례 연구에서 딘은 AI 모델이 과학적 검증을 획기적으로 가속화할 수 있음을 강조했습니다. 그의 동료들은 계산 비용이 많이 드는 밀도 함수 이론 시뮬레이션의 출력을 사용하여 신경망 근사를 훈련했습니다. 이 신경 모델은 원래 시뮬레이터에 비해 30만 배 빠른 속도를 달성하여 밤샘 계산을 거의 즉각적인 계산으로 바꾸었습니다. 이러한 빠른 검증 기능 덕분에 연구자들은 수백만 개의 분자 구성을 몇 달이 아닌 몇 시간 만에 스크리닝할 수 있어 신약 발견 및 재료 과학 연구를 크게 촉진합니다.

2014년 제프 딘, 제프 힌튼, 오리올 비날스는 더 작고 효율적인 AI 모델을 만드는 기술인 모델 증류에 대한 획기적인 논문을 공동 저술했습니다. 이 논문은 결국 산업 표준으로 널리 채택되었음에도 불구하고, 유럽의 프로그램 위원회에 의해 처음에는 거부되었습니다. 심사위원들은 이 연구가 '중요한 영향을 미 미칠 가능성이 낮다'고 주장하며, 새로운 연구의 장기적인 영향을 예측하는 것의 어려움을 강조했습니다.

그는 팀 목표에 중요한 분야에서 전문 지식을 가진 개인을 찾도록 조언합니다. 마찬가지로 중요한 것은 함께 일하기 즐겁고 낮은 자존심을 가진 협력자를 찾아 더 나은 협업과 문제 해결을 촉진하는 것입니다. 딘은 자신의 경력을 진화하는 기술적 필요에 적응하기 위해 '도구 상자'에 전문 도구를 지속적으로 습득하고 추가하는 과정으로 보도록 권장합니다.

머신러닝의 중요한 미래 과제는 지속적으로 그리고 자신의 행동으로부터 학습할 수 있는 더 데이터 효율적인 시스템을 개발하는 것입니다. 현재 최첨단 모델은 성인이 된 인간보다 수천 배 더 많은 데이터를 소비합니다. 목표는 훨씬 적은 데이터로 학습하고, 자기 관찰 및 다중 에이전트 상호 작용을 통해 적응하고 개선할 수 있는 AI를 만드는 것입니다. 이는 전 세계적인 시민 담론을 위한 기술과 같은 분야에서 발전을 이끌 수 있습니다.