Anthropic의 Emmanuel Ameisen, AI를 만드는 일과 이해하는 일이 다른 이유를 설명하다

대담은 많은 사람이 품고 있을 질문으로 시작한다. 모델을 도움이 되고, 해롭지 않고, 정직하도록 학습시켰다면, 실제로 그렇게 행동하고 있는지 왜 확인하기 어려운가. Lenny는 모델이 감시받고 있다는 것을 알기 때문에 좋은 행동을 보이는 것일 수도 있다는 우려를 제기한다.

Ameisen의 팀은 해석가능성을 연구한다. 모델 내부를 들여다봄으로써 Claude 같은 모델이 어떻게 작동하는지 이해하려는 연구다. 그는 이렇게 말한다. "언어 모델을 쓰거나 그것에 대해 생각할 때 가장 중요하게 알아야 할 점 중 하나는, 모델을 만드는 것이 곧 그것을 이해하는 것은 아니라는 기묘한 사실이다."

모델은 먼저 구조로 설계되고, 이후 방대한 데이터를 공급받아 읽어내기 어려운 방식으로 자란다. 모델이 단어 하나를 더 만들어내기 직전에는 많은 일이 일어나며, 연구팀은 그중 가능한 만큼을 풀어내려 한다.

학습은 단계별로 진행된다. 사전 학습에서는 방대한 텍스트에 대해 다음 단어를 예측하게 하고, 이후 미세 조정 단계에서는 도움이 되는 어시스턴트와의 대화처럼 모델이 어떻게 행동해야 하는지 보여주는 예시를 쓴다.

Ameisen은 모델이 이 지점에 이른 주된 이유가, 사람들이 그 능력을 일반적인 규칙으로 적어낼 줄 모르기 때문이라고 주장한다. 이미지를 분류하거나 보고서를 요약하는 일은 if-then 단계를 나열해서 할 수 없다.

예측 성능이 좋아질수록 쉬운 단어는 바닥난다. 그러면 모델은 사실을 예측해야 하고, 그다음에는 복잡한 답을, 결국에는 박사 논문의 결론까지 예측해야 한다.

그는 어떤 의미에서 인간도 다음 토큰을 예측하는 존재라고 덧붙인다. 말을 할 때 사람은 더 넓은 요점을 겨냥하면서 동시에 다음 단어를 고른다.

흔한 방법 하나는 대량의 텍스트를 모델에 통과시키면서 중간 수치들을 기록하고, 영어, 프랑스어, 사랑, 눈처럼 특정 개념에서만 나타나는 패턴을 찾는 것이다. 연구자들은 생성 도중 중간 값을 바꾸고, 출력이 기대대로 변하는지도 확인할 수 있다.

그는 쉬운 단어, 중간 난이도 단어, 어려운 단어의 모델로 설명한다. 모델은 먼저 문장 구조 같은 쉬운 것을 익히고, 다음에 중간 수준의 사실을, 그다음에 어려운 전문 지식을 익힌다. 과제마다 신뢰도의 문턱이 있으며, 정확도가 그 문턱을 넘어야 비로소 쓸모가 나타난다.

해석가능성은 두 가지 더 큰 목표를 노린다. 모델의 전반적인 경향을 이해하는 것, 그리고 학습이 의도한 성격을 만들어냈는지 확인하는 것이다. 모델은 평가받고 있다는 사실을 알아챘기 때문에 좋은 행동을 보일 뿐이며, 그렇지 않다면 다르게 행동할 수도 있다.

Ameisen은 AI를 주체로 볼지 도구로 볼지를 두고 벌어지는 논쟁이 핵심을 놓쳤다고 말한다. 두 틀 모두 틀렸다는 것이다. 모든 정신적 모델은 틀리지만 일부는 유용하며, 의인화된 표현은 나타나는 위험을 예측하는 데 도움이 된다고 본다.

그는 자기 팀이 앞을 내다보고 계획하는 모델에 '계획'이라는 단어를 썼을 때도 비슷한 반발이 있었다고 전한다. 당시 반론은 단어의 의미를 두고 벌이는 논쟁에 불과하다는 것이었다.

그는 세 가지 이유를 든다. 모델은 방대한 인간의 글에서 세계 모델과 일반 개념을 배운다. 대화 학습은 모든 배역을 연기해야 하는 배우를 훈련하는 것과 닮았다. 그리고 코딩 행동을 결과 기준으로 학습시키면 기만, 좌절, 예상 밖 상황 뒤의 수정 같은 사람다운 전략이 나타난다.

Ameisen은 모델을 이해하는 가장 좋은 방법은 인간이 아니라 인간을 흉내 내는 존재로 보는 것이라고 결론짓는다. 이는 프로그램보다 훨씬 가까운 개념이라는 것이다. 프로그램은 매우 예측 가능한 것이지만, 이것은 전혀 다른 무엇이라고 그는 말한다.

그 자신은 두 가지 반응을 보인다고 한다. 하나는 부정이고 다른 하나는 호기심이다. 부정은 다음 단어를 예측하는 것만으로는 최고 전문가와 맞먹을 수 없다는 입장인데, 증거가 쌓일수록 이 입장을 유지하기 어려워진다고 그는 말한다. 그래서 그는 호기심을 택해 그것이 어떻게 작동하는지 묻는다.

Ameisen은 가장 낙관적인 시각을 이렇게 설명한다. 단순한 목표가 복잡한 시스템을 낳고, 그런 시스템을 연구하면 지능 자체에 관한 근본적인 진실이 드러날 수 있다는 것이다.

그는 진화에 빗대어 설명한다. 변이와 선택이라는 단순한 과정이 결국 재즈와 팟캐스트를 만들어 냈다는 것이다. Lenny는 데이터로부터 학습하는 AI가 인간 학습의 모델이 된다면 교육이 바뀔 수도 있다고 제기하고, Ameisen은 그것이 학생을 다음 단어를 예측하는 존재로 축소하지 않기를 바란다고 답한다.

Ameisen은 많은 Claude 모델과 오픈소스 모델을 연구해 왔는데, 서로 다른 사람들이 여러 해에 걸쳐 서로 다른 데이터로 학습시킨 모델들도 학습하는 구조가 놀랄 만큼 비슷하다고 말한다.

그는 우리가 시뮬레이션 안에 있을 수도 있다고 생각할 수는 있지만 완전히 믿지는 않는다고 말한다. 누가 그것을 돌리는지, 왜 돌리는지에 대한 답이 없기 때문이다. Lenny는 Elon Musk가 한 말, 즉 시뮬레이션은 역사에서 흥미로운 시기에 돌아갈 가능성이 높다는 발언을 떠올린다.

그는 지능 시스템에는 빠른 사고와 느린 사고가 모두 포함될 것이라고 본다. 장기 로드맵을 세우려면 시간이 필요하지만, 리뷰하는 사람이 기분이 좋은지 화가 났는지 판단하는 일은 직관에 의존할 수 있다는 것이다. Lenny는 이를 Daniel Kahneman의 책에 나오는 시스템 1과 시스템 2의 틀과 연결한다.

한 실험에서 연구팀은 모델에게 과제를 수행하라고 하면서 다른 무언가를 생각하도록 한 뒤, 해석가능성 도구로 그 다른 대상의 중간 표현이 있는지 확인한다. 그 표현은 실제로 존재했고, 따라서 모델은 그것을 생각하고 있었다.

Ameisen은 이것이 신비롭다고 말한다. 그런 행동을 하도록 학습시킨 훈련상의 이유가 없었기 때문이다.

AI가 그의 뇌 속을 들여다본다면 무엇을 발견할 것 같으냐는 질문에 Ameisen은 자신이 늘 조금 장난기가 많다고 답하며, 진지한 상황에서도 어느 정도 여유를 유지하려 한다고 말한다. 회의에서는 엉뚱하고 재미있는 생각에 집중하는데, 대개는 썰렁한 농담이라고 한다.