Anthropic 클로드 엔지니어링 책임자 펠릭스 리젠베르크: 프로토타이핑, 적대적 검토, 좋은 제품의 조건

대담은 클로드 코워크를 약 일주일 반 만에 만든 팀을 이끄는 펠릭스 리젠베르크를 소개하며 시작한다. 그는 현재 Anthropic에서 클로드 엔지니어링을 총괄하며, 본인의 말로는 더 이상 직접 코드를 쓰지 않는다.

그는 자신의 일을 소프트웨어를 직접 타이핑하기보다 모델을 지휘하는 것으로 설명한다. 자신의 일에 대해 그는 "나는 그냥 클로드를 위한 컨베이어 벨트일 뿐이다"라고 말한다. 그의 설명에 따르면 클로드에게는 충돌 보고서 같은 데이터에 대한 접근이 필요하고, 그 뒤에 무엇을 고쳐야 하고 무엇은 고치지 않아도 되는지를 클로드가 스스로 알아낸다.

AI 에이전트에게 맡기지 않을 일이 있는지 묻자 그는 세션이 자신의 결과물을 스스로 평가하도록 믿을 수 없다고 말하며, 그 부분은 "여전히 꽤 불안하다"고 덧붙인다.

리젠베르크는 하루의 대부분을 프로토타이핑에 쓴다고 말한다. 그와 동료들은 아이디어를 내고, 어떤 것을 추진할 가치가 있는지 결정한 뒤, 클로드에게 변형안을 만들고 그것을 비평하도록 요청한다.

아이디어가 좋은지 어떻게 판단하느냐는 질문에 그는 모든 답을 갖고 있지는 않다고 말한다. 그러나 계산 방식이 바뀌었다고 주장한다. 예전에는 엔지니어링 팀이 무언가를 만들기 전에 유지보수 비용, 지속 비용, 시간 투자, 기회비용을 따져야 했지만, 이제는 프로토타입에 훨씬 빨리 도달할 수 있다.

그럼에도 사람의 주의력은 여전히 한계가 있다고 그는 말한다. 자신은 천 개를 만들 수 있어도 하루에 한두 개를 사람들에게 보여줄 수 있을 뿐이라며, 그래서 좋은 제품은 버튼이 적고, 사람들이 전에는 할 수 없었던 일을 빠르게 해낼 때 제품이 제대로 작동한다고 믿는다.

코딩과 달리 버그가 명확한 검증 기준을 주지 않는 지식 노동에서 좋은 텍스트를 어떻게 정의할 수 있느냐는 질문에, 리젠베르크는 날씨 예보 사례를 든다. 모델이 기온을 그냥 추측했는데 우연히 맞았다면, 그것을 합격 점수로 쳐서는 안 된다는 것이다.

그의 생각에는 기온이 0.5도 빗나가더라도 정확한 지역과 신뢰할 만한 데이터 출처, 믿을 만한 과정을 찾아낸 모델이, 운 좋게 맞힌 추측보다 더 좋은 평가를 받아야 한다. 그는 글쓰기나 취향이 중요한 다른 결과물이 판단하기 더 어렵다고 덧붙인다.

진행자는 AI가 어떤 분야 최고 인물들의 단계를 흉내 낼 수는 있어도 취향은 여전히 빠져 있을 것이라고 제안한다. 리젠베르크는 그런 작업에 많은 노력이 들어간다는 데 동의하지만, 좋은 작가들과 이야기해 보면 대부분은 자신의 글이 마법 같은 손길 때문에 좋다는 데 동의하지 않을 것이라고 말한다.

그는 많은 예술가가 자신이 앉아서 단번에 훌륭한 작품을 만들어낸다고 믿기보다, 여러 해에 걸쳐 다듬은 과정과 수많은 수작업 단계를 자랑스럽게 여긴다고 말한다. 그 증거로 작가들의 작업실이 화이트보드와 자료로 가득 차 있다는 점을 든다.

그는 클로드가 단지 그럴듯해 보이는 결과를 내라고 할 때보다, 해당 분야의 전문가가 밟을 단계를 따르라고 할 때 더 잘 반응한다고 말한다. 자신이 가장 큰 진전을 본 분야는 동영상과 3D 작업이며, 그는 Opus 5.5에서 꽤 큰 도약이 있었다고 생각한다. 다만 일반 대중에게 더 큰 도약은 클로드에게 전문 애니메이터가 쓰는 것과 같은 도구인 Blender를 사용하라고 말하는 것만으로 찾아왔고, 그 뒤 결과가 꽤 좋아졌다고 덧붙인다.

AI가 확신에 차서 실수를 내놓는 상황에서 어떻게 자신을 지킬 수 있느냐는 질문에 리젠베르크는 많은 사람이 여전히 이런 일을 겪는다고 말하며, 실용적인 답으로 그가 적대적 검토라고 부르는 방법을 제시한다. 그는 코딩이나 수학처럼 결과를 수치로 측정할 수 있는 분야에서 효과가 입증됐다고 말한다.

그가 설명한 방식에서는 한 클로드에게 작업을 맡기고, 약 열 개의 다른 클로드를 따로 띄워 그 작업을 쪼개고 왜 틀렸는지 증명하도록 한다. 그는 이것을 레드팀이나 공매도에 비유하며, 같은 모델을 써야 하는지 묻자 과제에 따라 다르다고 답한다.

그는 무언가를 새로 만드는 것보다 흠을 찾는 것이 더 쉬운 경우가 있다고 말한다. 새 휴대폰이 좋은지 판단하는 것이 처음부터 휴대폰을 설계하는 것보다 쉬운 것과 같다는 것이다. 그러므로 지능이 한 단계 낮은 모델도 아주 좋은 결과를 낼 수 있다고 주장한다. 그는 자신이 이것을 어떻게 쓰느냐는 질문에, 클로드 프로젝트에서 다섯 개의 스레드를 시작해 오늘 아침 자신이 쓴 블로그 글이 틀렸다는 것을 증명하게 하고, 사실이나 추론이 잘못됐는지까지 확인하게 한다고 답한다.

리젠베르크는 질문을 두 경우로 나눈다. 무엇이 좋은 결과인지 전혀 모른다면, 그의 답은 더 많은 AI를 투입해 문제에 더 많은 토큰을 쏟아붓는 것이다. 반대로 무엇이 좋은 결과인지 이해하고 있다면 그것으로 충분할 수 있으며, 과정 자체에 대해 의견을 가질 필요는 없다.

대화는 놓아주는 것으로 옮겨 간다. 진행자는 가장 중요한 프로젝트 몇 개만 면밀히 지켜보라고 제안하고, 리젠베르크는 세세하게 간섭하지 않기가 어렵다는 데 동의한다.

데이터가 아주 많은 상황에서 에이전트가 실제로 쓰는 데이터만 필요하냐는 질문에, 리젠베르크는 클로드가 원하는 데이터를 까다롭게 고른다고 말한다. 그는 에이전트마다 데이터를 조각내 나눠 주는 방식에 반대하는데, 효과적이고 싶은 사람에게는 사업 전체를 보는 시야가 필요하기 때문이다.

이를 그는 코드 접근 권한만 가진 엔지니어링 매니저와, 고객 데이터와 고객 통화에도 접근할 수 있는 매니저를 비교해 설명한다. 후자가 훨씬 쓸모 있다는 것이다. 방대한 양을 다루는 방법은 도구이며, 각 도구 뒤에 어떤 데이터가 있는지 에이전트가 알 수 있도록 잘 문서화해 두면 모든 것을 흡수할 필요가 없다고 말한다.

리젠베르크는 자신의 팀도 여전히 스킬을 쓰지만, Anthropic의 공식 지침과 자신의 개인적 지침 모두 스킬을 조심해서 다루라고 말한다고 설명한다. 프롬프트에는 이전 모델 세대에 맞았던 지침이 자주 담기는데, AI에서는 그 시간이 압축되어 있어서 좋은 스킬의 반감기가 매우 짧다는 것이다.

그는 때로 스킬을 완전히 빼는 것이 더 나은 결과를 낸다고 말한다. 이것은 평가 기준과 좋고 나쁜 결과에 대한 분명한 감각이 있는 사람에게 특히 유용하며, 자신도 스킬을 언제 쓸지 까다롭게 고른다고 말한다. 그는 사용자의 경험이 아니라 모델의 경험을 생각해 보라고 제안하며, 과제를 끝내기 위해 모델이 무엇을 원할지 묻는다. 예컨대 원시 데이터, 컴퓨터 접근 권한, 소프트웨어를 설치할 수 있는 능력 같은 것들이다.

연구나 세금 신고를 위한 전담 에이전트가 있느냐는 질문에 리제베르크는 프로젝트는 있지만 역할이 다른 에이전트는 없다고 답한다. 그는 "너는 훌륭한 무엇무엇이다"라고 클로드에게 말한 적이 없다고 하며, 이는 클로드를 훌륭한 엔지니어라고 치켜세우고 문제 해결을 맡기던 2024년의 방식이라고 설명한다.

그는 어떤 분야 최고 전문가가 쓸 도구가 무엇인지 묻고, 그 도구를 쓰라고 요청한다고 말한다. 여전히 모델이 "아주 유능한 회계사처럼 행동하라"는 지시에 역할극으로 빠지기 쉽다는 것이 그의 지적이다. 그가 원하는 것은 옷차림이나 어휘가 아니라 전문가가 실제로 쓰는 기법, 도구, 지식이다.

리제베르크는 100% 신뢰할 수 있는 에이전트가 없어서 모든 결과물이 그의 팀을 거쳐 결국 자신에게 온다고 말하며, 그래서 회사에서 가장 큰 병목이 자신이라고 말한다.

진행자는 오늘날의 제품으로도 이런 피드백의 상당 부분을 처리할 수 있다며, 에이전트를 직접 한 검토와 나란히 돌려보라고 제안한다. 리제베르크는 거의 모든 사람에게 이 실험을 권한다고 말한다. 두 피드백을 비교하면 어디서 차이가 나는지 드러나고 작업 흐름을 다듬는 데 도움이 되는데, 사람도 같은 문서에 날마다 다른 피드백을 준다는 것이다. 진행자는 팀을 위해 이런 에이전트를 만들 때 슬랙 안의 클로드인 클로드 태그를 써 보라고 권한다.

소프트웨어 제작비가 싸진 상황에서 창업자의 해자가 무엇이냐는 질문에 리제베르크는 그 본질은 크게 변하지 않았다고 말한다. 예전에는 초기 자본 비용이 훨씬 컸지만, 이제는 한두 명의 팀도 10억 달러짜리 회사를 만들 수 있다는 것이다.

그는 좋은 제품의 비결은 변하지 않았으며, 그것은 공감이라고 말한다. 사용자에 대한 공감, 사용 사례에 대한 공감, 그리고 돈을 낼 사람에게 가치가 있는지에 대한 공감이다. 그는 이것이 창업팀에게 언제나 핵심 요소였으며, 투자자들은 대개 창업자가 가져오는 것보다 창업자 자체를 더 중요하게 본다고 덧붙인다.

리제베르크는 공항과 호텔 체크인 카운터를 방문하면 그래픽 운영체제로 옮겨 가지 않은 채 흑백 화면을 띄우는 시스템을 본다고 말한다. 그는 이런 기기의 소프트웨어가 거칠고 형편없다고 묘사한다.

그는 이것이 많은 기업이 정리해 볼 만한, 아직 손대지 않은 기회일 것이라고 말한다. 그리고 AI가 등장하기 몇 년 전 그는 은퇴하고 싶어지면 치과 병원용 좋은 소프트웨어를 만들겠다고 농담했는데, 지금은 하루면 할 수 있을 것이라고 말한다.

진행자는 경제학 노벨상 수상자가 모델은 매우 강력하지만 응용 계층이 부족하다고 말했다고 전한다. 리제베르크는 이것이 역량 과잉이라는 데 동의한다. 고급 모델을 가진 사람이 프랑스의 수도가 어디냐고 묻기만 하고, 무엇이 가능한지를 놓치는 식이라는 것이다.

그는 다리오 아모데이 CEO의 '천재들의 데이터센터'라는 개념을 언급하며, 자신의 일은 사용자가 그것을 활용하도록 힘을 실어 주는 방법을 찾는 것이라고 말한다. 이는 창의성과 필요에 대한 재고, 무엇이 가능해 보이는지에 대한 재고를 요구한다고 주장한다. 사람들은 실제로 가능한 것보다 가능하다고 믿는 것에 더 발목이 잡혀 왔으며, 더 야심 차게 생각하라는 조언은 상황에 따라 다르지만 가능성에 대한 믿음을 털어 내고 왜 그 일을 하는지 다시 생각한다는 뜻이라고 말한다.

리제베르크는 젊은 사람들에게 실제 결과물을 만들어 보고, 공감 능력과 고객과 대화하는 능력을 증명하라고 권한다. 무엇이 필요하고 무엇이 필요하지 않은지 가려내는 일이라는 것이다. 그는 이것을 소프트웨어 엔지니어링에 대한 약간 새로운 정의라고 부르며, 그것이 좋은 변화라고 생각한다.

그는 일부 나이 든 엔지니어보다 젊은 사람들이 이런 사고방식에 더 빨리 적응한다고 말한다. 나이 든 엔지니어들은 왜 그런지 자주 묻지 않고 티켓을 처리하는 것을 즐겼다는 것이다. 그는 개별 API 서비스를 외우는 일은 이제 가치가 떨어졌으므로 더 이상 권하지 않겠다고 말한다. 여전히 가치 있는 것은 서로 다른 시스템을 흥미롭게 결합하는 능력이며, AI는 사람이 세세 시스템 셋이나 다섯 개를 가리키면 그것들을 결합해 주므로 이 능력을 증폭시킨다고 말한다.

채용에 대해 묻자 그는 여전히 이력서를 본다고 답한다. 그리고 자신의 업계에서는 관계가 중요한데, 다른 기업이 어떻게 운영되는지와 시장에서 무슨 일이 일어나는지 아는 사람을 원하기 때문이라고 말한다. 창의적인 역할에는 사람들이 일하는 방식과 예술에 대해 무엇을 아는지를 본다고 덧붙인다.

리제베르크는 딸에게 일찍부터 기업이 어떻게 운영되는지, 사람들이 어떻게 협업하는지, 실제 가치를 어떻게 찾는지 이해하라고 조언하겠다고 말한다. 그는 워털루 대학교의 접근 방식을 높이 평가하며, 이를 외부의 시각으로 본다고 한다. 독일 출신인 그에게 독일의 컴퓨터 과학은 주로 수학이 많고 제품을 만드는 법은 거의 다루지 않는 정보학에 가까우며, 자바스크립트는 진짜 컴퓨터 과학으로 여겨지지 않았다는 것이다.

그는 워털루의 코업 인턴들이 종종 여러 회사에서 일한 경험을 가지고 온다고 말한다. 인턴을 네 번 했고 테슬라, 구글, 애플 같은 회사에서 근무한 사람도 있다는 것이다. 이 인턴들은 회사가 어떻게 운영되는지, 장단점이 무엇인지, 아이디어를 어떻게 옹호하고 자원을 어떻게 확보하며 법무팀을 어떻게 설득하는지 배운다고 말한다. 그는 이런 기술 덕분에 워털루 출신 엔지니어가 거의 바로 성과를 낸다며, 회사에서 한 번도 일해 보지 않은 컴퓨터 과학 박사와는 전혀 다른 범주에 놓인다고 말한다.

리제베르크는 딸들에게 열심히 노력하고 열정을 가지면 무엇이든 가능하다고 말했다고 전한다. 자신이 만난 사람들은 평범했지만 매우 열정적이었다는 것이다. 진행자는 AI에 대한 논의가 야망에 자주 초점을 맞추며, 사람들은 가능하다고 여기지 않는 일은 시도하지 않는다고 동의한다.

리제베르크는 사람들이 무엇이 가능하다고 믿는지가 모델이 무엇을 할 수 있는지나 사람이 무엇을 할 수 있는지보다 더 큰 한계라고 말한다. 그는 또한 나이 든 세대가 짊어진 한계를 경험하지 않은 새로운 세대를 믿는다고 말한다.

앞으로 5년에 대해 묻자 그는 예측은 직업상의 위험이라고 답하며, 자신이 가장 크게 느낀 것은 AI에서 비롯되는 지능의 지수적 성장에 대해 모두가 틀렸다는 점이라고 말한다. 그는 구글 AI 팀이 수학 올림피아드에서 은메달을 땄을 때 자신은 스케일링 법칙을 잘 알고 있었지만, 그럼에도 AI가 2026년 중반쯤이면 풀 수 없던 수학 문제를 풀게 될 것이라고는 예측하지 못했을 것이며, 그때 그는 1년 반쯤 걸릴 것이라고 짐작했을 것이라고 말한다.