구글 수석과학자 제프 딘, “AI 발전 핵심은 컨텍스트 엔지니어링과 니치 모델”

AI는 1년 전의 예측을 뛰어넘어 훨씬 더 복잡한 작업을 빠르게 처리하고 있다. 특히 에이전트 기반 시스템은 코딩 분야뿐만 아니라 다양한 영역에서 두각을 나타내기 시작했다. 이는 AI가 단순한 도구를 넘어 스스로 문제 해결 능력을 갖추는 방향으로 진화하고 있음을 시사한다.

제프 딘은 이처럼 빠르게 발전하는 AI의 능력에 주목하며, 주니어 엔지니어 수준의 코딩 작업을 수행할 정도로 유능해지고 있다고 평가했다. 이는 AI가 인간의 업무를 보조하거나 대체하는 것을 넘어, 자율적인 시스템으로서 더욱 넓은 범위에서 활용될 잠재력을 보여준다.

2027년에는 머신러닝(ML) 시스템 자체의 자동화가 훨씬 더 많이 이루어질 것으로 예상된다. ML 시스템이 스스로 수많은 실험을 실행하고, 복잡한 문제를 하위 문제로 분해하여 자동화된 실험 루프에서 해결하는 방식으로 능력을 향상할 것이라는 전망이다.

이러한 자동화된 문제 분해와 실험 과정은 AI 시스템이 스스로 학습하고 개선하는 데 핵심적인 역할을 할 것이다. 이를 통해 AI는 사람의 개입 없이도 지속적으로 성능을 발전시키며, 다양한 문제 영역에서 효율성을 극대화할 것으로 보인다.

AI의 핵심은 '추론' 능력에 있으며, 이를 위해 저지연·고효율에 특화된 하드웨어 시스템 개발이 중요해질 것으로 전망된다. 에이전트 기반 시스템이 더 많은 사람에게 사용될수록 추론 과정의 대기 시간(latency)은 결정적인 요소가 된다.

하드웨어 특화는 범용 컴퓨팅 장치인 GPU나 TPU보다 에너지 효율적이고 대기 시간이 낮은 시스템을 만드는 핵심적인 방법이다. 이는 더 적은 에너지로 더 빠르게 AI 모델을 실행할 수 있게 함으로써 AI의 광범위한 확산에 기여할 것이다.

현재는 훈련(training) 단계에 많은 관심이 집중되어 있지만, 사용자들이 직접 AI 시스템과 상호작용하는 추론 단계의 중요성이 점차 부각되고 있다.

따라서 AI 기술 발전은 단순히 모델의 성능 향상을 넘어, 이를 효율적으로 구동할 수 있는 하드웨어 설계 혁신을 동반해야 한다는 것이 제프 딘의 주장이다.

구글은 딥러닝 기반 음성 인식 시스템을 개선하는 과정에서 20년 진보에 해당하는 기술적 성과를 몇 달 만에 이루었으나, 사용량 폭증에 대한 우려에 직면했다. 기존 음성 시스템보다 계산 비용이 높았지만, 오류율을 절반으로 줄이는 혁신을 달성했던 것이다.

제프 딘은 사람들이 이메일 받아쓰기나 전화 통화 등에서 음성 인식을 더 많이 사용하기 시작하면 CPU만으로는 감당하기 어려울 것이라고 판단했다. 이에 따라 CPU보다 효율적인 솔루션의 필요성을 절감하고, 이 문제를 해결하기 위해 TPU(Tensor Processing Unit)를 개발하게 되었다고 밝혔다.

TPU는 이러한 배경에서 탄생했으며, AI 시대에 특화된 하드웨어의 중요성을 상징하는 사례로 평가된다.

과거 제프 딘이 제시했던 '모든 엔지니어가 알아야 할 지연 시간' 목록이 분산 시스템 엔지니어들에게 바이블처럼 여겨졌다. 이 목록에는 캐시 미스, 디스크 탐색, 네트워크 패킷 이동 시간 등이 포함되어 엔지니어들이 시스템 설계 시 중요한 참고 자료로 활용해왔다.

진행자는 이 목록을 2026년 AI 시대에 맞춰 업데이트한다면 무엇이 추가될지 물었다.

제프 딘은 AI 시대에 필수적인 새로운 지표로 '에너지 효율'을 꼽았다. 이는 AI 시스템의 대규모 확산과 지속 가능성을 위해 하드웨어의 전력 소비량이 핵심적인 고려 사항이 되었음을 시사한다.

제프 딘은 AI 분야에서 훈련(training)보다는 추론(inference)에 더 많은 관심을 가지고 있다고 밝혔다. 추론은 사용자와의 상호작용에서 지연 시간이 매우 중요하기 때문에 흥미로운 문제라는 것이다. 반면 훈련은 추론만큼 낮은 지연 시간이 필수는 아니다.

딘은 현재보다 추론에 더 특화된 하드웨어를 만들 여지가 많다고 보며, 이를 위해 데이터 이동을 최소화하고 아주 낮은 정밀도 연산에 집중하며 다양한 정밀도를 지원하지 않는 것이 중요하다고 강조했다. 이는 AI 추론의 효율성과 속도를 극대화하기 위한 하드웨어 설계 방향을 제시한다.

AI 발전의 양상이 변화하고 있다. 과거에는 더 많은 데이터와 더 큰 파라미터를 사용해 모델 자체를 훈련시키는 것이 중요했지만, 최근 몇 년 동안은 모델의 크기나 파라미터 수, 데이터 양을 넘어선 접근 방식이 중요해지고 있다.

제프 딘은 이제 '컨텍스트 엔지니어링'으로 통합되는 경향이 나타나고 있다고 설명했다. 이는 검색 도구, 메모리, 에이전트 도구 등 모델 주변의 모든 요소를 포함하는 개념이다. 즉, AI 모델은 전체 시스템을 구축하는 여러 조각 중 하나일 뿐이며, 주변 인프라와 상호작용 방식이 전체 성능에 더 큰 영향을 미친다는 의미다.

이러한 변화는 AI 시스템을 단순히 고성능 모델에 의존하는 것을 넘어, 모델이 외부 세계와 상호작용하고 문제를 해결하는 방식을 설계하는 것이 핵심이 되었음을 시사한다.

구글은 AI 모델에게 코드 개선 방법을 가르치는 '스킬'을 개발하고 있다고 밝혔다. 이는 마치 사람이 직접 코드를 개선하고 측정하며 반복하는 과정을 모델에게 학습시키는 것과 같다.

이러한 접근 방식은 특정 유형의 문제 해결에서 매우 효과적인 것으로 나타났다. AI가 단순히 코드를 생성하는 것을 넘어, 생성된 코드의 성능을 스스로 분석하고 최적화하는 단계로 발전하고 있음을 보여준다.

현재 AI 에이전트는 장기간 실행되면서 복잡한 문제를 해결하기를 기대하지만, 대략 10회 정도의 상호작용 후에 작동이 멈추는 경향이 있다. 이는 모델이 경험이 부족한 작업을 시도하거나 학습 데이터 분포에서 벗어날 때 성능이 저하되기 때문이다.

제프 딘은 이 문제의 해결책으로 몇 가지 방법을 제시했다. 첫째, 모델에게 관련 스킬과 힌트를 제공하여 잘 알려진 경로를 따르도록 유도하는 것이다. 이는 모델이 생소한 상황에서 헤매지 않고 효과적인 해결책을 찾도록 돕는다.

둘째, 여러 에이전트가 다른 접근 방식을 시도하고 가장 유망한 것을 평가하도록 하는 다중 에이전트 시스템을 활용하는 것이다. 이는 마치 여러 사람이 함께 머리를 맞대고 문제를 해결하는 것과 유사한 방식으로, 에이전트의 한계를 극복하는 데 기여할 수 있다.

이러한 해결책들은 AI 에이전트가 복잡하고 장기적인 작업을 더 효율적으로 수행할 수 있도록 하는 데 중요한 역할을 할 것으로 보인다.

구글 수석과학자 제프 딘은 창업 아이템을 선정할 때 세 가지 핵심 기준을 제시했다. 첫째, 자신이 열정을 가지고 만들고 싶고 세상에 유용하다고 생각하는 것을 선택해야 한다. 이는 창업의 동기 부여와 지속 가능성에 중요한 역할을 한다.

둘째, 현재의 일반 AI 모델이 해당 문제 영역에서 무엇을 할 수 있는지 면밀히 살펴봐야 한다. 만약 모델이 완전히 실패한다면 이는 좋은 신호로 볼 수 있다. 반대로 모델이 일부는 할 수 있지만 잘하지 못한다면 좋지 않은 신호일 수 있는데, 이는 모델에 해당 기능이 나타나기 시작했으며 추가 훈련 데이터나 더 큰 모델을 통해 더 나아질 가능성이 있기 때문이다.

따라서 모델의 성공률이 0%나 1%에 불과한 분야, 즉 AI가 아직 제대로 해결하지 못하는 틈새시장을 찾아야 한다고 강조했다. 20% 정도의 성공률을 보이는 분야는 이미 AI의 손길이 닿고 있어 스타트업이 경쟁력을 갖기 어려울 수 있다는 의미다.

구글과 같은 빅테크 기업들이 놓치기 쉬운 문제 영역은 '데이터 접근성'과 '니치 모델'에 있다고 제프 딘이 밝혔다. 스타트업이 구축하는 제품이 기본 모델에는 없을 수 있는 특정 종류의 데이터에 접근할 수 있다면 큰 이점을 얻을 수 있다는 것이다.

예를 들어, 사용자의 개인 정보를 정리하는 것을 돕는 솔루션의 경우, 일반적인 AI 모델은 이러한 데이터에 접근할 수 없기 때문에, 스타트업이 중요한 데이터에 대한 가시성을 확보하여 우위를 점할 수 있다. 이는 데이터 주권과 프라이버시가 중요해지는 시대에 스타트업이 공략할 수 있는 새로운 기회를 제시한다.

또한, 매우 어려운 문제일지라도 올바른 훈련 데이터를 확보하고 범용 모델보다 더 특정한 '니치 모델'을 훈련할 수 있다면 매우 저렴한 비용으로 높은 정확도의 결과를 얻을 수 있다. 특정 문제에 대한 니치 모델 훈련은 많은 연산 자원을 필요로 하지 않으면서도, 일반 모델로는 잘 처리되지 않는 중요한 문제를 해결하는 데 효과적인 빌딩 블록이 될 수 있다. 이는 스타트업이 제한된 자원으로도 빅테크와 경쟁할 수 있는 전략적 우위를 확보하는 방법이 될 수 있다.

가상 AI 에이전트와 협업할 때는 원하는 바를 명확하게 명시하는 것이 성공의 핵심이다. 원하는 것을 더 명확하게 제시할수록 에이전트는 더 많은 지침과 규칙, 즉 달성해야 할 목표에 대한 명확한 개요를 갖게 된다.

반면, 너무 많은 것을 명시하지 않으면 에이전트는 사용자의 의도를 추론해야 하며, 이 과정에서 예상과 다른 결과를 도출할 수 있다. 제프 딘은 컴퓨터 과학자들이 소프트웨어 개발 시 처음부터 무엇을 달성하려 하는지 명시하는 것이 중요하다고 항상 강조해왔는데, 이제는 에이전트 기반 시스템이 작성 작업을 수행할 수 있게 되면서 이러한 명확한 사양 제시의 중요성이 더욱 커졌다고 설명했다.

과거에는 매우 똑똑한 사람에게 작업을 넘겨주면 그 사람이 상황을 파악하거나 추가 질문을 할 수 있었지만, 에이전트도 때로는 그렇게 할 수 있음에도 불구하고 명확한 사양을 제공하는 것이 훨씬 효과적이라는 점을 강조했다.

AI 시대에 필요한 '안목'은 다양한 문제 해결 경험과 '미친 사고 실험'을 통해 키울 수 있다. 제프 딘은 과거에 많은 다른 문제들을 다루면서 미래에 어떤 종류의 문제가 흥미로울지, 또는 기존 접근 방식들을 조합하여 거의 가능하게 만들 수 있는 것들이 무엇인지 배우게 된다고 설명했다. 또한, 마법 같거나 매우 유용한 것을 얻기 위해 해결해야 할 몇 가지 미해결 문제들도 있을 수 있다.

자신을 위해 더 많은 경험을 얻는 또 다른 방법은 다음 12개월 동안 중요하다고 생각하는 많은 것들을 적어보고, 그중 하나를 선택하여 작업하는 것이다. 그리고 12개월 후에 다른 것들 중 어떤 것이 실제로 중요해 보였는지, 또는 세상의 다른 사람들이 어떤 것을 만들어냈고 어떤 것은 아직 만들지 않았는지 다시 평가해 보는 과정을 통해 안목을 키울 수 있다. 이는 중요한 기술이다. 제프 딘은 이전에 '미친 사고 실험'을 하는 세 번째 방법에 대해서도 이야기했으며, 때로는 대부분의 사람들이 당연하게 여기는 것들을 당연하게 여기지 않는 것이 좋다고 덧붙였다.

구글의 혁신적인 기술인 TPU와 MapReduce는 모두 특정 '가정'에서 시작되었다. TPU는 매우 틈새시장인 문제 영역에 하드웨어를 특화할 수 있도록 했다.

MapReduce의 기원 또한 특정 가설에서 출발하여 대규모 데이터 처리를 위한 분산 컴퓨팅 프레임워크로 발전했다. 이처럼 주요 기술들이 초기 단계의 가정과 아이디어에서 출발하여 큰 영향력을 미 발휘했음을 보여준다.

AI를 활용하여 AI를 만드는 과학적 방법론이 점차 중요해지고 있다. 과학적 방법론의 토대는 실험을 제안하고, 이를 실행하며 평가하고, 결과를 얻는 과정이다. AI는 이러한 과정을 자동화된 루프를 통해 매우 빠르게 실행할 수 있게 될 것이다.

이는 과학, 공학, 머신러닝 모델 설계, 칩 설계 같은 다양한 문제 영역에 적용될 수 있다. 특히 구글의 알파칩(AlphaChip)이나 알파 이볼브(AlphaEvolve)와 같은 프로젝트는 AI가 스스로 칩을 설계하거나 모델을 진화시키는 사례로 볼 수 있다.

이러한 자동화된 방식은 연구 및 개발 속도를 획기적으로 가속화하고, 새로운 아이디어의 탐색 및 최적화를 더욱 효율적으로 만들 것이다.

AI가 스스로를 개선하고 새로운 AI를 만들어내는 능력은 미래 기술 발전의 중요한 축이 될 것으로 예상된다.

기계 학습 그 자체가 하나의 큰 분야이며, 스스로를 재귀적으로 개선할 수 있는 모델을 만드는 것이 인공지능 발전의 속도를 가속화할 수 있는 핵심 방안이다. 사람의 개입은 최소화하고 모델 자체가 탐색을 결정하는 자동화된 루프를 만드는 데 실질적인 장애물은 없다고 제프 딘은 강조했다.

이러한 시스템은 훨씬 더 빠른 속도로 새로운 아이디어를 통합하고, 컴퓨팅 입력 단위당 발견을 최적화할 수 있다. 이는 기계 학습 발전뿐만 아니라 과학 발전, 공학 발전 전반을 가속화할 것이다.

AI가 스스로 학습하고 개선하는 '재귀적 자가 개선' 능력은 미래 AI 연구의 중요한 방향이며, 인류의 지식 확장에도 크게 기여할 잠재력을 가지고 있다.

구글 수석 과학자 제프 딘은 자신이 쓴 '증류(distillation)' 논문이 처음에는 학회에서 거절당했던 경험을 공유했다. 당시 학회에서는 해당 논문에 대해 '유의미한 영향을 미치기 어려울 것'이라는 평가를 내렸다.

그러나 딘과 동료들은 저렴하면서도 성능 좋은 모델을 만드는 일이 절실하다고 보았고, 더 많은 사람에게 모델 서비스를 제공하고 싶다는 신념을 가지고 있었다. 결국 그들은 이 논문을 아카이브에 공개했고, 시간이 지나면서 '증류' 방법은 업계 표준이 되었다.

현재 많은 사람이 이 기술을 사용하고 있으며, 심지어 구글의 제미니 플래시 모델에도 이 기술이 적용되어 성능 향상에 크게 기여하고 있다. 이 사례는 처음에는 인정받지 못하더라도 중요한 문제라고 판단되면 끈기 있게 연구를 지속하는 것이 중요하다는 교훈을 준다.

제프 딘은 25살로 돌아간다면 대기업보다는 '작은 스타트업'을 선택할 것이라고 밝혔다. 그는 본인이 정말 중요하다고 생각하는 문제를 해결하는 데 시간을 써야 하며, 뜻이 맞는 동료들과 함께 긍정적인 방식으로 세상에 변화를 만들 수 있다면 그것만큼 중요한 것은 없다고 강조했다. 개인적으로는 작은 스타트업에서 일하는 것이 대기업에서 일하는 것보다 더 큰 영향력을 가질 수 있다고 생각한다고 덧붙였다.

물론 대기업은 이미 갖춰진 구조와 훌륭한 동료들, 다양한 문제 해결 기회를 제공한다. 하지만 스타트업은 엄청난 위험이 따르지만, 그만큼 큰 보상을 받을 수 있는 기회가 있다. 결국 개인적인 취향의 문제이지만, 어떤 길을 선택하든 스스로에게 '이 문제를 해결했을 때, 세상이 훨씬 더 나아질까, 아니면 그냥 '어, 괜찮네' 정도일까?'라고 질문해봐야 한다고 조언했다. 이는 단순히 돈을 버는 것을 넘어 사회에 긍정적인 영향을 미칠 수 있는 문제를 선택하는 것이 중요함을 시사한다.