프론티어 AI에서 PM이 더 중요해진 이유: Google Gemini 제품 헤드의 평가, 안전, 출시 이야기

Doshi는 모델 개발이 완전히 예측 가능한 엔지니어링 과정이 아니라고 설명하며 시작했다. 그녀의 표현으로는 "모델은 예측할 수 없다. 스네이프의 포션 수업 같다." 개발자는 재료를 모두 넣을 수 있지만, 어느 정도의 마법을 기대해야 하고 그 마법은 놀랍다는 것이다.

PM에게 이는 모델의 입력과 방향을 설계하는 동시에, 예상 밖의 동작이 유용한 지점을 알아보고 그것을 사용자가 가치를 느끼는 무언가로 바꾸는 일을 뜻한다.

Google이 PM을 채용할 때 무엇을 보는지 묻자, Doshi는 자사 모델이나 다른 모델의 "바이브(느낌)"를 이해하는 사람을 찾는다고 답했다. 그녀는 의견이 분명하고 매일 이 모델들을 만져 보는 PM을 원한다고 말했다.

그녀는 이상적인 후보가 자신이 관심 있는 것들로 모델을 시험해 본다고 설명했다. 또 Google이 상위 두 연구소에 뒤처져 있다는 흔한 평가에 대해서도, Google은 프론티어 경쟁에서 이기고 싶어 하며 프론티어 논의에 참여하지 않는 것으로 묘사되어서는 안 된다고 답했다.

AI 안전에 대해 Doshi는 안전팀이 초기 학습부터 배포까지 의도를 가지고 작업하고 있으며, 안전이 그 과정에 내재되어 있다고 말했다. 그녀는 모델 주변에 설치하는 완화 장치와 구조를 강조했다. 한 예로 모델의 추론 과정(chain of thought)을 감시하며, 모델의 행동이 지시된 방향과 정렬되어 있는지 혹은 어긋나 있는지 판단하고 개입할 수 있는 모니터를 배포한다고 설명했다. 이는 모델을 출시할 때 더 큰 확신을 주고, 팀이 불일치가 어디서 나타나는지 이해해 모델을 시간이 지나며 개선하는 데도 도움이 된다고 했다.

그녀는 시스템을 강화하는 데서 AI가 맡는 역할도 짚었다. Doshi는 Gemini 4와 관련해 팀이 사이버 방어와 보호를 위한 AI에 크게 투자하고 있다고 말했다. 진행자는 이것이 점점 더 유능해지는 AI로부터 시스템을 방어하는 데 상당한 지출을 의미하겠다고 언급했다.

AI 안전이 해결 가능한 문제인지, 그리고 낙관하는지 묻자, Doshi는 두 가지 모두라고 답했다. 팀이 이 문제를 꾸준히 생각해야 한다는 것이다. 그녀는 자신의 낙관이 사람들이 안전의 그림에 대해 의도적이고 신중하게 생각하고 있는지에 달려 있다고 말했다.

그녀는 많은 사람이 계속 우려하고, 대화를 이어 가고, 모델이 어떻게 만들어지는지 계속 따져 물어야 한다고 말했다. 그것이 이 분야가 밟아야 할 단계적 과정이라고 설명했다.

진행자는 AI 제품이 매우 복잡해지고 있다고 말했다. 그는 Google이 많은 AI 도구를 찾기 어렵게 만든다는 비판을 인용하며, 많은 사람이 AI Studio가 있다는 사실조차 모른다고 말했다. 그는 Codex, ChatGPT, Claude Code의 인터페이스도 탭, 드롭다운, 점으로 가득 찬 형태로 커졌다고 지적했다.

그는 한 연구소 PM의 말도 전했다. 그 PM은 프론티어 AI를 가능한 한 빨리 사용자에게 전달해야 한다는 긴박감을 이야기했다. 그 이유는 한편으로는 경쟁력을 유지하기 위해서이고, 다른 한편으로는 사람들이 도구를 무엇에 쓸지 아직 정확히 모르기 때문에 먼저 출시해 사용 사례를 배운 다음 사용자 경험을 개선하겠다는 것이다.

Doshi는 팀이 새로운 패러다임과 상호작용 방식을 계속 실험해야 한다고 말했다. 그녀는 비디오와 음악 편집·생성을 중심으로 설계된 Flow와 NotebookLM을 서로 다른 형태의 예로 들었다. Google의 Labs 팀은 다양한 개인을 위해 여러 형태와 UX를 적극적으로 테스트하고 있다고 설명했다.

그녀는 올바른 UX는 사용자에 따라 달라진다고 덧붙였다. 질문하는 수십억 명을 대상으로 하는 검색의 AI 모드는 모두를 위한 접근 가능한 인터페이스가 필요하다. 반면 Antigravity는 슬래시 명령을 쓰고 터미널과 IDE를 넘나드는 파워 유저를 겨냥하므로, 폭넓은 작업을 지원해야 한다.

Doshi는 모델의 행동 자체가 경험의 일부라고도 말했다. "모델의 성격이 곧 모델의 UX다"라는 그녀의 말은 이 점을 설명하기 위해 나왔다.

진행자는 흔한 견해로, 모델 개발이 멈추더라도 모델은 이미 사용자가 하고 있는 것보다 훨씬 많은 일을 할 수 있다고 말했다. 그는 이를 역량 과잉(overhang)이라고 불렀고, 이 힘을 사용자에게 노출하는 것이 PM 업무의 큰 부분인지 물었다.

Doshi는 무엇이 새롭고 다음 프론티어가 어디에 있는지 알아내고, 어떤 역량에 투자할지 결정하는 것이 이 일의 재미있는 부분이라고 답했다. 그녀는 이것이 검색, Gemini 앱, YouTube, Labs 같은 내부 팀과 긴밀히 협업하며, 외부 고객과도 대화해 그들의 필요와 경험을 실질적으로 바꿀 수 있는 것이 무엇인지 파악하는 과정이라고 말했다. 목표는 피드백의 선순환을 만드는 것이다.

평가 작성에 익숙하지 않은 사람이 어떻게 실력을 키울 수 있는지 묻자, Doshi는 Google이 PM의 역량을 어떻게 높일지 아직 고민 중이며 이 부분에서 PM마다 실력 차이가 있다고 답했다. 그녀는 거대한 벤치마크를 만들려 하기보다 프롬프트 다섯 개로 시작하는 것이 큰 한 걸음이라고 말했다.

그녀는 약 20개 프롬프트로 구성한 작은 평가라도 일련의 역량을 시험하고, 두 모델이나 모델 A와 모델 B 사이의 신호를 보여줄 수 있다고 설명했다. 단순하게 시작한다는 것은 출력을 직접 판단하는 것을 뜻할 수 있다고 했다. 특히 길고, 여러 단계로 이어지며, 여러 턴에 걸친 궤적에서는 무엇이 좋은지 정의하기가 어렵다고 짚었다. 좋은 예시를 모으는 것은 규모를 키우기 전에 무엇을 달성하려는지 명확히 해 준다고 말했다.

진행자는 Google DeepMind의 제품 VP Eli Collins가 공유한 이야기를 소개했다. 모델과 제품을 피부색 기준으로 평가하는 방식이 바뀐 이야기다. Doshi는 책임 있는 AI 분야에서 보낸 6년 동안 작업의 상당 부분이 모델과 제품에서 피부색이 어떻게 표현되는지 살피는 것이었다고 말했다.

그녀는 초기에는 여섯 단계의 피츠패트릭 척도가 표준이었다고 설명했다. 현실적으로 여섯 단계로는 세상의 피부색 다양성을 담을 수 없다는 것이다. 또 이 척도는 의료용으로 만들어져, 전 세계 인구에게는 매우 밝은 쪽으로 치우쳐 있었다고 했다.

팀은 하버드 교수 Monk와 함께 작업했다. 그의 열 단계 척도는 사용자 인터뷰와 인류학·사회학 분야의 수년간 연구에서 나왔다. 팀은 이 척도를 평가에 도입했다.

진행자는 Doshi가 에이전트 스웜이 흔한 화제가 되기 몇 년 전에 이미 에이전트 같은 협업을 연구했다고 소개했다. Doshi는 스탠퍼드에서 Michael Bernstein 교수와 그가 플래시 팀(flash teams)이라고 부른 것을 연구했다고 말했다.

질문은 크라우드소싱 작업자들을 어떻게 모으고, 과제에 필요한 기술을 어떻게 효율적으로 끌어모을지였다. 사람마다 강점이 다르므로 크라우드소싱을 대규모로 효율적으로 하려면 팀을 의도적으로 구성해야 했다. 작업은 mTurk 같은 플랫폼을 이용해 사람들과 함께 이루어졌다.

그녀는 원리가 팀을 빠르게 구성하고 해산할 수 있으면서도, 개인과 팀을 운영하는 사람 모두에게 효율적으로 유지되는 것이라고 말했다. 이제 에이전트가 그 세계를 재현할 수 있게 해 주며, 같은 원리를 효과적인 하위 에이전트 시스템을 설계하는 데 적용할 수 있다고 말했다.

Doshi는 모델을 사용할 때 얼마나 앞서 만들어야 하는지에 대한 프레임워크를 설명했다. 중요한 점은 모델이 계속 변하므로, 오늘 가능한 역량이 내일이나 그다음 날에도 그대로 가능하지는 않다는 것이다. 따라서 빌더는 오늘은 항상 작동하지 않는 기능도 만들어야 한다.

그녀의 프레임워크에 따르면, 만들고 있는 것의 약 60%는 지금 작동해야 하며 프로토타입은 최소한 기능적이어야 한다. 약 20%는 완벽하지 않아도 충분히 좋아야 하며, 가까운 미래에 모델이 어떻게 그 지점에 도달할 수 있을지 보여야 한다. 마지막 20%는 희미한 빛이 보이는 영역으로, 이것을 해내면 놀라운 제품 경험이 될 것이라고 믿는 부분이다.

그녀는 이것을 모델이 3개월 뒤에 있을 지점보다 약 3개월 앞서 만들라는 흔한 조언과 대비했다. 모델을 다루는 사람인 자신조차 3개월 뒤 모델이 정확히 어디에 있을지 예측하기 어렵다고 말했다. 그녀는 제품 신호를 활용해 그 희미한 빛이 어디 있는지 보는 것을 대리 지표로 삼는다고 했으며, 이를 제품 베팅 포트폴리오에 비유했다.

Doshi는 팀의 일부 PM이 내부 도구에 힘을 쏟고 모델을 자주 만져 보며, 다른 사람들이 쓸 수 있는 기술을 만들어 팀 전체에 가치를 더하게 되었다고 말했다. 팀은 PM 팀을 위한 저장소에 이런 기술을 공유하기 시작했다.

데이터를 눈으로 훑어보고 긴 추적 기록과 궤적을 읽는 데 더 능숙해진 PM들은 다른 사람을 위한 워크숍을 열 수 있으며, 그렇게 팀 전체가 함께 자신감을 쌓는다고 말했다. 그녀는 자신의 접근법의 핵심이 자신감 구축이라고 말했다. 즉 모든 사람이 팀의 도구와 그것을 효과적으로 쓰는 자신의 능력에 확신을 갖도록 하는 방법이다.

진행자는 가장 중요한 새 습관 중 하나로, 자극과 반응 사이에 "AI가 이걸 대신해 줄 수 있을까?"라는 질문을 끼워 넣으라고 제안했다. 그는 지난 몇 달 동안 이 습관을 훨씬 강하게 길러 왔고, 워크플로와 자동화를 만들 때 큰 차이가 났다고 말했다.

Doshi는 전략 문서 작성처럼 여전히 직접 손으로 써야 하는 일도 있겠지만, 많은 일은 재현 가능성과 모델이 얼마나 도울 수 있는지 점검할 수 있다고 동의했다. 그녀는 성공 사례 하나만으로도 사고방식이 바뀔 수 있고, 모델이 할 수 있는 일에 대한 확신은 거기서부터 자란다고 덧붙였다.

Doshi는 팀이 많은 시간을 쏟고 있으며, 지속 가능한 업무 환경을 어떻게 만들지 고민하고 있다고 말했다. 그녀는 번아웃에는 두 가지 원인이 있다고 말했다. 하나는 소란과 혼란이 있다고 느끼는 것이고, 다른 하나는 허드렛일이거나 시간 낭비처럼 느껴지는 일이다.

그녀는 열정을 가진 일을 하는 것은 지치지만, 그만큼 더 큰 기쁨도 준다고 말했다. AI 도구가 허드렛일과 답답한 부분을 덜어 주어 생각하고 창의적인 일에 더 많은 시간을 쓰게 해 주기를 바란다고 밝혔다.

진행자는 자신이 기술 업계 종사자를 대상으로 한 설문에서, 근무 시간이 길다고 번아웃이 오는 것은 아니라는 결과를 얻었다고 덧붙였다. 많은 사람이 그 어느 때보다 열심히 일하면서도 자기 커리어를 가장 즐기고 있으며, 특히 만들고 프로토타입을 만들고 고객과 대화하는 PM이 그렇다고 했다.

팀 전체에서 AI가 쓴 콘텐츠를 어떻게 관리하는지 묻자, Doshi는 팀이 그런 문서가 어디에 유용한지 많이 이야기한다고 답했다. 그녀는 출시 후 문서를 예로 들었다. 무언가를 출시하고 두 주 뒤, 팀은 누가 어떻게 쓰고 있는지, 피드백이 무엇인지에 대한 최신 정보를 원할 수 있다. AI는 대시보드, 지표, 소셜 논의 분석에서 사람보다 훨씬 빠르게 자료를 모을 수 있어 이 일에 잘 맞는다.

그녀는 AI가 기여한 부분과 사람이 기여한 부분을 의도적으로 구분해야 한다고 말했다. 모델은 데이터를 제공하고, 사람은 통찰을 제공해야 한다. 팀은 또 그런 산출물을 잘 구조화할 수 있도록 올바른 데이터를 얻는 기술에도 투자하고 있으며, 그렇게 해서 창의적 사고와 글쓰기에 더 많은 여유가 생기기를 바란다고 말했다.

Doshi는 자신은 모든 일에는 이유가 있다고 믿는다고 말했다. 최선을 다해도 때로는 문이 닫히고 다른 창문이 열리며, 그렇게 해서 자신이 있어야 할 자리에 놓이게 된다는 것이다.

그녀는 또 종종 우연한 행운(serendipity)을 찾으라고 말한다고 했다. 그녀의 생각으로는 언제나 운이 따를 수 있는 위치에 자신을 두어야 하며, 이는 자신에게 도전하고 편안한 영역 밖으로 나가 새로운 것을 시도한다는 뜻이다. 그런 곳이 운이 좋아질 가능성이 가장 큰 곳이다. 그녀는 우연한 행운을 잃는 것에 관해 한 TEDx 강연을 했다고 언급했고, 진행자는 자신도 그 단어를 좋아한다고 말했다.