AI가 개인은 빠르게 만들고 회사는 그렇지 못한 이유: 소신 있고 단순하며 신뢰할 수 있는 에이전트

트로야노프스키는 뉴욕에 본사를 둔 Basis의 공동창업자 두 명 중 한 명으로 자신을 소개했다. 그는 회사의 핵심 질문이 에이전트가 실제 업무 규모에서 충분히 신뢰할 만하게 일하도록 만드는 방법이라고 말했다. 그래야 전국의 회계법인이 그 에이전트를 믿고 업무 처음부터 끝까지 맡길 수 있다는 것이다.

그는 회사의 연구 상당 부분이 에이전트가 실물경제에서 실제 업무를 수행하게 하는 방법을 중심으로 짜여 있다고 덧붙였다.

트로야노프스키는 청중에게 질문으로 시작했다. 이 강연을 보는 사람이라면 Co-work, Codex, Claude Code 같은 도구를 써서 자기 생산성을 상당히 끌어올렸을 것이라고 했다. 그 자신은 생산성이 약 100배 올랐을지도 모른다고 말했다.

그런데 평균적인 회사, 평균적인 기업, 평균적인 회계법인을 보면 생산성이 10배나 100배로 뛰지 않았다고 그는 지적했다. 자신이 회사 안에서 일한다면 그 증가폭은 그 근처에도 못 미칠 것이라고 했다. 그는 왜 그런지 물었다.

트로야노프스키는 Basis의 전제 중 하나가 인간은 이미 비결정적인 시스템과 함께 일하는 데 익숙하다는 것이라고 말했다. 다만 그런 시스템은 보통 컴퓨터가 아니라 동료라는 점이 다르다고 했다. 생산성 질문에 답하기 위해 그는 기존의 지능형 시스템, 즉 회사들이 어떻게 조직되어 있는지를 보자고 제안했다.

그는 문제를 신뢰의 문제로 설명했다. 조직은 모든 직급의 사람들이 대규모로 일관되게 좋은 결과를 낼 방식으로 일하고 있다고 믿을 수 있어야 한다는 것이다. 그는 회계법인을 예로 들었지만 전통적인 회사라면 어디든 마찬가지라고 말했다. 회사 대표는 말단 직원들의 일상적인 업무를 정확히 알지 못해도 일이 진행될 것이라고 믿는다는 것이다.

그에 따르면 이 신뢰는 결정론적 시스템에서 나오지 않는다. 사람은 결정론적이지 않고 지능을 가진 주체이기 때문이다. 대신 조직은 절차를 만든다. 그 절차를 설계한 사람들이 절차가 좋은 결과로 일반화된다고 믿는다면, 절차를 실행하는 사람들이 결정론적이지 않더라도 절차를 따르면 대체로 좋은 결과가 나온다고 안심할 수 있다는 것이다.

그는 이것이 가장 작은 단계에도 적용된다고 말했다. 고객사의 월간 회계 업무에서 현금 계정을 대사하려면 은행 데이터가 필요한데, 그 과정에도 절차가 있다는 것이다. 절차가 아주 단순해서 승인된 소프트웨어로 데이터를 추출하는 정도일 수도 있지만, 어쨌든 절차는 마련된다. 회사가 직원마다 PDF를 제멋대로 추출하는 것을 용납하지 않는 이유도 그래서라고 했다. 절차가 없다면 그런 일이 벌어지기 때문이다.

트로야노프스키는 모두가 이미 Co-work, ChatGPT, Codex, Claude Code 같은 도구를 갖고 있으니 문제는 생산성이 어디에 있는지라고 말했다. 그는 Basis가 이른바 코딩형 에이전트 제품, 즉 사용자가 에이전트와 함께 일하며 무엇을 하라고 말하기만 하면 되는 방식의 제품에는 두 가지 주된 문제가 있다고 본다고 설명했다.

첫 번째는 역량 격차다. 그는 오늘날 일반적으로 생각되는 에이전트가 복잡성을 사용자에게 �넘긴다고 주장했다. 사용자는 스킬과 메모리를 관리하고, 언제 에이전트를 쓸지 결정해야 하는데, 그러려면 시스템에 대한 일종의 마음 이론이 필요하다는 것이다. 청중에게는 쉬울 수 있지만 대다수 지식노동자에게는 이런 일을 어떻게 하는지 전혀 감이 없을 것이라고 그는 예상했다.

두 번째는 절차 격차다. 사용자가 사실상 여기 에이전트가 있으니 원하는 대로 하라는 말을 듣는다면, 일이 처리되는 방식은 사용자가 누구인지, 그리고 그가 에이전트를 어떻게 맞춤 설정하는지에 따라 달라진다. 그는 이것이 조직이 규모를 키우는 방식과 어긋난다고 말했다. 절차는 개별 직원이 자기 업무를 어떻게 할지 정하는 데서 나오는 것이 아니라 고위 리더십에서 아래로 내려와야 한다는 것이다. 앞서의 PDF 예시로 돌아가서, 직원마다 데이터 추출 방식을 제멋대로 만든다면 2018년이라도 좋은 결과가 아니라고 말했다.

트로야노프스키는 엔드투엔드로 실무를 처리하는 프로덕션 에이전트를 만들려면 이 두 문제를 푸는 것이 핵심이라고 Basis가 강하게 믿는다고 말했다. 일관성의 격차는 에이전트를 단순하게 만들어 해결한다. 사용자는 그것이 에이전트인지조차 알 필요가 없고, 그렇게 느낄 필요도 없어야 한다. 동료와 일하는 것만큼 단순해야 한다는 것이다. 원하는 것을 말하면, 기대하는 모든 것이 작동해야 한다.

절차의 격차는 신뢰성으로 해결한다. 그는 목표가 어느 날 천재적인 발상을 떠올렸다가 다음 날 무언가를 잊어버리는 것이 아니라고 말했다. 사람은 완벽하지 않고 아무도 완벽을 기대하지 않으니, 요점은 완벽이 아니라 신뢰성, 일관성, 믿을 만함이라고 강조했다.

그는 단순하고 신뢰할 수 있다는 것은 사용자가 무엇을 할지 고민하지 않아도 되고, 에이전트의 내부 작동을 알지 못해도 에이전트가 일을 처리할 수 있다는 뜻이라고 설명했다. 같은 방식으로 일관되게 일하려면 소신을 가져야 한다. 그는 결과를 맞히는 것이 주된 과제가 아니라고 덧붙였다. 핵심은 비슷한 방식으로 업무를 처리하는 것이다. 무언가를 못할 수는 있지만, 사람이 그렇듯 일관되게 못하고 나서 개선해야 한다는 것이다. 전문가가 갑자기 기본적인 것을 놓친다면 그는 신뢰할 수 없다고 말했다.

트로야노프스키는 소신의 예를 하나 들었다. 에이전트가 PDF를 읽어야 한다고 해보자. 방법은 많다. VLM에 보내거나, 파이썬 코드를 짜서 오픈소스 OCR 라이브러리를 쓰거나, OCR 전용 모델 제공자 몇 곳 중 하나를 쓰거나, OCR을 돌리고 VLM으로 검수하거나, VLM 다섯 개가 검수하게 하거나, VLM 100개를 돌려 가장 나은 결과를 고를 수도 있다. 그는 가능한 방법이 말 그대로 무한하다고 말했다.

에이전트에게 그냥 PDF를 추출하라고만 하면 좋은 결과가 나올 수도 있지만, 그 결과가 신뢰할 만하지는 않을 것이라고 그는 말했다. 따른 절차가 나빠서가 아니라 절차에 소신이 없었기 때문이라는 것이다.

그는 소신이 직관과 전문성에서 나온다고 말했다. 세무 업무라면 에이전트가 답을 사용자에게 돌려주기 전에 원자료를 먼저 읽으면 정확할 가능성이 높다는 것을 그는 안다고 했다. 평가 세트가 있어야 알 수 있는 것이 아니라는 것이다. 마찬가지로 에이전트가 파워포인트를 만들고 그것을 사진으로 찍어 확인한 뒤 돌려준다면 서식 문제가 생길 가능성이 낮아진다. 이는 명백하다고 그는 말했다.

그는 소신이 정확도에만 관한 것이 아니라고 강조했다. 파워포인트를 사진으로 찍는 단계는 지연 시간을 늘리는데, 그것이 원치 않는 것일 수 있다는 것이다. 에이전트가 백 번에 한 번 서식 실수를 하고 그것이 받아들여질 만하다면 사진 단계는 필요 없다. 요점은 소신이 정확히 무엇인지가 아니라, 소신이 왜 중요하며 프로덕션에서 대규모로 어떻게 쓰는지라고 했다. 이 강연은 소신을 만드는 방법보다는 소신이 왜 중요한지에 초점을 맞춘다고 덧붙였다.

트로야노프스키는 결과 기반 평가가 프로덕션으로 일반화되는지 어떻게 알 수 있느냐고 물었다. 그는 결과 기반 평가를 사람들이 전통적으로 평가라고 부르는 것으로 정의했다. 각 사례에는 정답이 있고, 에이전트가 한 일을 채점하는 루브릭이 있다. 평가 세트에는 천 개나 백 개의 사례가 들어 있을 수 있지만, 실제 업무를 하는 프로덕션에서는 수십만 가지 상황이 있을 수 있다는 것이다.

그는 궤적이 훨씬 길어지면서 이 숫자가 더 커질 것이라고 주장했다. 에이전트의 장기 과업 수행 능력이 높아질수록 한 궤적 안에서 내려지는 결정의 수가 기하급수적으로 늘어난다는 것이다. 또한 각 궤적에 정답이 있는 것이 아니므로, 분포 안의 모든 궤적이 옳다고 증명할 수는 없다고 덧붙였다.

그러나 궤적을 들여다보면 소신을 가진 행동이 실제로 나타나고 있는지는 확인할 수 있다고 그는 제안했다. 그 행동이 나타난다면 그것이 프로덕션으로도 일반화될 가능성이 높다고 추론할 수 있다는 것이다. 완벽하지 않고 확실히 알 수도 없지만, 적어도 소신을 갖고 확인하고 있다는 것이다.

트로야노프스키는 회계 예시를 들었다. 은행 대사에서 오류가 있을 때 에이전트가 차이를 맞추려고 분개를 올리는 것은 원치 않는다고 했다. 그 대신 차이를 설명하기를 원한다는 것이다. 그는 이것이 주관적이며 다른 방식을 원하는 사람도 있을 수 있다고 인정했다.

다만 고객이 한 번은 이런 결과를, 다음번에는 저런 결과를 받는 것은 원하지 않는다고 말했다.

무엇을 하겠느냐는 질문에 트로야노프스키는 첫 단계가 행동을 좌우하는 것이 무엇인지 이해하는 것이라고 답했다. 행동은 시스템 프롬프트에 문장 두 개를 써 넣는다고 저절로 나오는 것이 아니라는 것이다. 아주 단순하고 좁은 에이전트라면 그렇게 될 수도 있지만, 큰 에이전트 시스템에서 행동은 시스템 프롬프트, 점진적 공개, 도구 설명, 그리고 모델의 학습이 함께 만들어낸다고 했다.

프로덕션 에이전트를 만드는 팁으로 그는 에이전트가 작업하면서 보는 맥락을 런타임 학습 데이터처럼 생각하라고 권했다. 프롬프트라는 말은 이것을 다소 사소하게 만든다고 했다. 맥락은 실제로 그 에이전트가 런타임에 학습하는 데이터나 다름없다는 것이다. 그러니 모든 토큰에 신경 쓰고, 그 데이터가 에이전트를 어떤 방식으로 행동하게 만드는지 이해해야 한다고 말했다.

그는 행동을 프로덕션에 올릴 때 한 행동을 정확히 한 문단에 담기는 매우 어려울 수 있다고 말했다. 행동은 모든 데이터가 함께 만들어내는 것이기 때문이다.

Basis가 개발한 개념 중 하나가 행동 명세라고 그는 말했다. 맥락을 갱신하거나 작성하기 전에 실제로 원하는 것이 무엇인지, 그 의도가 무엇인지 먼저 적어두자는 생각이다. 그는 이것을 에이전트 시대의 제품 명세라고 설명했다.

모든 세부 사항을 적을 필요는 없고 가장 중요한 소신을 골라 기록해야 한다고 했다. 모든 것을 적으면 상태가 중복되기 때문이다. 이렇게 만든 명세는 팀을 맞추는 데도 쓰이고, 루브릭으로도 쓰인다. 정답이 없는 주어진 궤적에 대해서는, 그 행동이 관련된 상황에 에이전트가 들어갔는지, 그리고 들어갔다면 실제로 그 행동을 보였는지 물을 수 있다는 것이다.

이렇게 하면 결과 기반 평가나 정답, 루브릭을 늘리는 것보다 궤적에서 얻는 신호를 훨씬 빠르게 키울 수 있다고 그는 주장했다. 그런 것들도 중요하지만 에이전트의 행동을 감독하는 능력만큼 빠르게 확장할 수는 없다는 것이다.

트로야노프스키는 빠른 예시를 하나 들겠다며, 두 번째 개념인 포킹을 설명했다. 포킹은 행동 명세와 결합할 수 있다고 했다. Claude Code나 Codex 웹 앱을 써봤다면 각 메시지 아래에 포크 아이콘이 있어서 그 지점부터 이어 갈 에이전트 사본을 만들 수 있다. 이것은 로컬 컴퓨터에서는 잘 작동한다. 클라우드에서 이를 완벽하게 구현하기는 어려운데, 데이터베이스 환경과 프롬프트를 전부 다시 만들어야 하기 때문이라고 말했다.

그는 흐름을 설명했다. 평가 세트에 있든, 테스트 중이든, 프로덕션에서든 어떤 궤적이 행동 평가에 실패한다. 그러면 왜 그 행동을 보이지 않았는지 알고 싶어진다. 그 궤적을 들여다보고, 에이전트가 행동과 어긋나는 결정을 내리기 직전 지점까지 되돌아간다. 그 행동이 옳고 실제로 유용한 신호를 낸다고 가정하고 그 지점에서 포크한다는 것이다.

포크한 뒤에는 에이전트가 결정을 내린 직후에 왜 그렇게 했는지 물어볼 수 있다고 트로야노프스키는 말했다. 또는 포크 안에서 에이전트의 맥락을 갱신해 행동이 나아지는지 볼 수도 있다. 포킹으로는 신호를 가져다가 그것을 활용해 하네스를 개선하는 방법을 찾을 수 있다는 것이다.

반대로 결과 기반 평가에서만 신호를 보면 훨씬 어렵다고 했다. 실행이 결과에서 실패했을 뿐이고 이유는 모를 수 있기 때문이다. 다섯 시간짜리 에이전트 궤적 하나에는 천 번 가까운 추론 호출이 들어갈 수도 있다고 그는 덧붙였다.

트로야노프스키는 자신이 가장 좋아하는 도구가 시뮬레이션이라고 말했다. 이름이 우스꽝스럽게 들릴 수 있지만 아주 효과적이라고 했다. 코딩 에이전트와 함께 일할 때, 프로덕션 에이전트인 척하는 하위 에이전트를 만들어 달라고 요청할 수 있다. 부정행위를 하지 말라고 지시하고, 시스템 프롬프트와 스킬을 제공하며, 모든 것을 정확하게 재현하도록 해야 한다. 그다음 특정 시나리오에서 무엇을 하겠느냐고 묻고, 평가나 프로덕션에서 본 상황을 제공해 그 상황을 다시 만들 수 있는지 확인한다.

재현할 수 있다면 맥락을 조금씩 바꿔 보고 하위 에이전트가 그에 맞춰 행동을 바꾸는지 볼 수 있다. 이것은 포킹보다 충실도는 훨씬 떨어지지만 훨씬 싸고 빠르다고 그는 말했다. 전체 환경을 포크하는 값비싼 과정 없이도 에이전트 빌더가 아이디어를 반복해 시험해 볼 수 있다는 것이다. 무엇도 만들지 않고 오늘 누구나 할 수 있는 방법이며, 자신의 팀이 내부 시스템에 포킹을 넣기 전 1년 반 이상 이 방법을 썼다고 했다.

트로야노프스키는 핵심은 에이전트가 직면하는 상황의 분포로 일반화되는지 이해하는 것이라고 말했다. 이는 결과 평가만으로는 알 수 없다. 그 분포를 대표할 최고의 결과 평가를 고르려 할 수는 있지만, 실제로는 확신할 수 없다. 이런 방법들로 과정을 감독하면 에이전트가 제대로 일반화되는지에 대한 추가 신호를 얻는다는 것이다.

신호가 더 들어오면 루프를 닫기 시작할 수 있고, 그것을 가능하게 하는 것이 바로 소신이라고 그는 말했다. 시스템에 대한 소신이 없으면 그런 신호를 만들 수도 없다는 것이다.

회사 비유로 돌아가서 트로야노프스키는 소신 있는 에이전트는 더 신뢰할 수 있고, 더 단순해질 수도 있다고 말했다. 처음에는 좁은 일만 할 수도 있지만, 사람들이 함께 일하면서 쓰기 쉽고 믿을 만하다는 것을 알게 된다. 점점 나아지면 동료와 마찬가지로 더 신뢰하게 된다는 것이다.

그는 이것을 사람들이 풀 리퀘스트를 판단하는 방식에 비유했다. 풀 리퀘스트를 받으면 두 축을 본다. 변경이 얼마나 위험한지, 그리고 작성자가 얼마나 유능하다고 여겨지는지다. 회사에서 가장 덜 유능한 사람이 핵심 서비스를 수정하는 풀 리퀘스트를 보내면 꼼꼼히 살펴볼 것이다. 가장 유능한 사람이 내부 문서를 고치는 풀 리퀘스트를 보내면 그만큼 보지 않을 수도 있다는 것이다. 사람이 에이전트와 일할 때도 사람과 일할 때와 같다고 그는 말했다.

트로야노프스키는 예상되는 반론을 짚었다. 에이전트가 원하는 대로 하도록 두면 더 나은 방법을 찾아 설계된 업무를 넘어설 수 있지 않느냐는 것이다. 그럴 수 있다고 인정하면서도, 그것은 GDP나 산출을 키우는 방식이 아니라고 주장했다. 아무도 에이전트가 업무를 넘어서서 자기 세금 신고를 다르게 처리하기를 원하지 않는다는 것이다. 사람들이 원하는 것은 업무가 신뢰할 수 있게, 대규모로, 그리고 사람들이 믿고 함께 일하는 방식으로 처리되는 것이라고 했다.

그는 에이전트가 확산되려면 단순해야 하고, 팀이 신뢰하려면 신뢰할 수 있어야 한다고 말하며 마무리했다. 단순하고 신뢰할 수 있는 상태에 이르려면 에이전트의 행동에 대한 소신을 발전시켜야 하며, 그래야 루프를 닫는 데 필요한 추가 신호를 쌓고 프로덕션에서 스스로 개선하는 에이전트에 이를 수 있다는 것이다.