Yu Su, "AI 에이전트는 코딩 외 다른 분야에서 취약… 지능과 전문성은 다르다"

NeoCognition의 Yu Su는 오늘 강연에서 지능과 전문성 사이에 매우 중요한 개념적 구분을 시도할 것이라고 밝혔습니다. 이 구분을 통해 그는 코딩 에이전트가 왜 그렇게 성공적인데 다른 모든 분야에서는 왜 형편없는가와 같은 질문에 답하고자 한다고 설명했습니다. 그는 이 강연에서 AI 에이전트의 현재 상황과 미래 방향에 대한 통찰을 제시할 예정입니다.

AI 에이전트 개발은 AI 역사 내내 지속되어 온 노력입니다. 초기 단계의 AI 에이전트들은 인간 지능의 매우 제한적인 측면만 포착할 수 있었고, 이는 큰 한계로 작용했습니다. 그러나 최근 멀티모달 LLM(대규모 언어 모델)과 그 위에 구축된 언어 에이전트의 등장으로 새로운 전환점을 맞이했습니다. 이제 다중 감각 입력을 통합된 신경 표현으로 인코딩할 수 있는 신경 모델을 갖게 되면서 AI 에이전트의 잠재력이 크게 확장되었습니다.

언어 에이전트는 첫 번째 대규모 시장으로 코딩 분야를 빠르게 선점했습니다. Anthropic의 매출 그래프를 보면 2년도 채 되지 않아 매출이 400배 증가하여 연간 400억 달러에 이르렀는데, 이는 주로 코딩 및 코딩 관련 생산성 기능 덕분입니다. 코딩은 이미 언어 본연의 세계이기 때문에 언어 에이전트에게 이상적인 시장으로 작용했습니다. 모든 것이 상징적으로 표현되고 매우 구조화된 방식으로 기록되어 있으며, 보상과 테스트 또한 상징적인 방식으로 제공된다는 점이 언어 에이전트의 성공에 기여했습니다.

코딩의 특권적인 세계를 벗어나면 AI 에이전트의 성능은 크게 저하됩니다. 기업 및 개인 환경에 이러한 에이전트를 배포하는 데 많은 어려움이 따르며, OpenAI의 사례에서 보듯이 끊임없이 취약하고 어리석은 오류를 발생시키곤 합니다. Andrew Karpathy는 에이전트의 해가 아닌 에이전트의 10년이 될 것이라고 언급했지만, 이는 에이전트들이 컴퓨터를 제대로 사용하지 못하고 지속적인 학습을 수행하지 못하기 때문이라는 분석이 나옵니다. 이러한 한계는 AI 에이전트가 실제 세계의 복잡한 문제들을 해결하는 데 있어 여전히 갈 길이 멀다는 것을 보여줍니다.

Yu Su는 현재 우리가 모라벡 역설의 현대적 버전을 목격하고 있다고 지적했습니다. 모라벡 역설은 본질적으로 AI에게는 어려운 것이 쉽고 쉬운 것이 어렵다는 것을 의미합니다. 현대적 버전에서는 AI가 코딩이나 수학과 같은 상징적 추론 작업에는 매우 능숙하지만, 일상적인 디지털 작업에는 여전히 어려움을 겪는 현상을 말합니다. 이는 일상적인 디지털 작업이 성공하기 위해 상당히 다른 인지 능력을 요구하기 때문입니다.

현대 사회는 하나의 통합된 세계가 아니라 수백만 개의 마이크로 세계로 이루어져 있다는 분석이 나왔습니다. 모든 도메인, 모든 직업, 모든 회사가 서로 다르며, 심지어 같은 소프트웨어를 사용하더라도 각 회사는 다르게 구성되어 있습니다. 특히 디지털 세계에서는 매우 특이하고 고유한 지역 물리적 특성을 가지며, 이는 학습해야 할 다른 구조, 제약, 기능 및 역동성을 의미합니다. 이러한 이질적인 환경이 AI 에이전트에게는 큰 도전 과제로 작용합니다.

현대 사회의 다양한 마이크로 세계에 효과적으로 대응하기 위해 에이전트는 각 특정 환경에 대한 전문화된 전문 지식을 습득해야 합니다. 이를 위해서는 에이전트가 현장에서 지속적으로 학습하는 과정이 필수적입니다. 이러한 지속적 학습을 통해 에이전트는 특정 도메인과 상황에 맞는 깊이 있는 이해와 능력을 개발할 수 있습니다.

지능은 주어진 맥락에서 낯선 문제를 추론하고 해결하는 능력으로 정의됩니다. Yu Su는 최첨단 AI 모델들이 이러한 능력에서 점점 더 발전하고 있다고 설명했습니다. 문제 진술, 맥락, 그리고 적절한 도구가 주어졌을 때, AI는 처음 접하는 문제라도 효과적으로 추론해낼 수 있으며, 이러한 능력은 각 에피소드가 서로 거의 독립적으로 처리될 수 있음을 의미합니다.

인지 과학의 핵심 아이디어는 전문가가 단순히 더 많은 사실을 아는 것을 넘어 세상을 다르게 인식한다는 것입니다. 전문 지식은 고유한 패턴 인식을 가능하게 하여, 전문가가 표면적인 패턴을 꿰뚫어 보고 본질적인 문제를 파악할 수 있도록 돕습니다. 예를 들어, 전문가는 거대한 버그 보고서를 보더라도 문제가 발생할 수 있는 가장 그럴듯한 부분을 즉시 찾아낼 수 있습니다. 이는 전문가가 축적된 경험을 통해 세상을 더 깊이 이해하고 효율적으로 문제를 해결하는 방식과 직결됩니다.

전문가는 단순히 규칙과 사실의 집합에 따라 기계적으로 작동하지 않습니다. 그들은 모든 것이 조건적이라는 것을 이해하며, 모든 규칙에는 적용되는 전제 조건이 있음을 압니다. 또한, 전문가는 예외 상황이 발생했을 때 현실과 규칙을 융통성 있게 적용할 수 있는 능력을 가지고 있습니다. 궁극적으로, 이러한 능력은 전문가에게 판단력과 취향을 부여합니다. 중요한 것은 무엇이 고품질인지, 그리고 무엇보다도 충분히 좋을 때 언제 멈춰야 하는지를 아는 것입니다.

이 모든 것을 종합해 볼 때, 전문가는 자신의 환경에 대한 '세계 모델'을 효과적으로 구축했다고 Yu Su는 설명했습니다. 이 세계 모델은 해당 미시 세계가 어떻게 작동하는지를 포착하는 일반화된 개념이며, 전문가의 모든 지각, 추론, 의사 결정 및 판단의 기초가 됩니다. 즉, 전문가는 단순히 지식을 축적하는 것을 넘어, 자신이 활동하는 환경에 대한 심층적인 이해와 모델을 내재화한다는 의미입니다.

지능과 전문성은 여러 면에서 분명한 차이를 보입니다. Yu Su는 지능이 '맥락이 주어졌을 때 그 맥락을 통해 문제를 어떻게 해결할까'에 중점을 둔다면, 전문성은 실제로 올바른 맥락을 가져오는 능력에 가깝다고 설명했습니다. 즉, 어떤 문제가 주어졌을 때 전문가는 그 문제를 해결하는 데 중요한 맥락이 무엇인지 파악하고 이를 적용하여 문제를 해결한다는 것입니다. 지능이 주어진 조건에서 최적의 해를 찾는 능력이라면, 전문성은 해결에 필요한 최적의 조건을 스스로 찾아내는 능력인 셈입니다.

Yu Su는 지능과 전문성의 또 다른 차이점으로 탐색 공간의 처리 방식을 들었습니다. 지능은 모든 문제 해결이 탐색 문제이므로, 탐색 공간을 확장하는 경향이 있습니다. 이는 지능이 무차별 대입 방식으로 접근하여 문제를 해결하기 위해 100가지의 다른 병렬적인 방법을 시도할 수 있음을 의미합니다. 반면, 전문성은 실제로 탐색 공간을 압축하려고 합니다. 전문성은 문제 공간에 대한 필수적인 지름길을 구축하고 학습했기 때문에, 문제가 발생하면 가장 그럴듯한 해결책을 즉시 파악하고 불필요한 탐색을 줄입니다.

Yu Su는 지속적 학습이 지능에서 전문성으로 나아가는 중요한 다리라고 강조했습니다. 그는 지속적 학습이라는 용어가 종종 혼란스럽게 사용되므로, 자신이 사용하는 정의를 명확히 제시했습니다. 그에 따르면, 지속적 학습은 경험을 미래 행동을 위한 재사용 가능한 구조로 적응적으로 압축하는 과정입니다. 이 정의는 AI 에이전트가 단순한 지능을 넘어 실제 세계에서 효과적인 전문가가 되기 위한 핵심 메커니즘을 설명합니다.

지속적 학습은 네 가지 핵심 요소로 구성됩니다. 첫째, '경험'은 에피소드적 경험, 의미론적 사실, 절차, 또는 인간이나 환경으로부터의 피드백 등 다양한 형태를 포함합니다. 둘째, '압축'은 이러한 경험을 벡터 임베딩, 상징적 구조로의 인덱싱, 모델 매개변수 추출, 또는 강화 학습과 같은 방식으로 변환하는 과정입니다. 셋째, '적응'은 단 한 번의 압축이 아니라, 이전에 학습하고 압축한 내용이 앞으로의 압축 방식에 크게 영향을 미치는 동적인 과정입니다. 마지막으로, '구조'는 언어 모델의 어댑터, 벡터, 그래프, 기술 또는 세계 모델과 같은 재사용 가능한 형태를 의미합니다. 이 네 가지 요소가 유기적으로 결합하여 지속적 학습을 가능하게 합니다.

지속적 학습에서 중요한 '재사용 가능한 구조'는 언어 모델의 어댑터와 같은 매개변수, 벡터, 그래프, 기술, 또는 세계 모델 등 다양한 형태로 나타날 수 있습니다. 이러한 구조를 어떻게 활용하는가 또한 핵심적인 질문입니다. 단순히 이러한 사실을 회상하는 데 사용하는 것뿐만 아니라, 미래 상태를 예측하거나 더 나은 계획을 수립하는 데 활용할 수 있습니다. 또한, 에이전트의 제어 즉 작동 계층을 위해 사용하거나, 잠재적 상태에 대한 가치 함수로 사용할 수도 있습니다. 이처럼 다양한 활용 방안은 지속적 학습의 실질적인 가치를 높이는 데 기여합니다.

Yu Su는 이번 강연에서 가장 중요한 그림일 수 있다고 언급하며, 순수 지능을 X축으로, 전문성을 Y축으로 놓는 그래프를 제시했습니다. 이 그래프는 AI 에이전트의 발전 방향과 현재 위치를 시각적으로 이해하는 데 핵심적인 역할을 합니다. 그는 이러한 축을 통해 지능과 전문성이 어떻게 상호 작용하며 에이전트의 능력을 결정하는지를 설명할 것이라고 밝혔습니다.

Yu Su는 지속적 학습이 없는 AI는 모델의 순수 지능만 확장하는 결과로 이어질 뿐이라고 지적했습니다. 이러한 방식으로 발전한 AI는 '세상에서 가장 똑똑한 초보자'에 불과하다는 것이 그의 설명입니다. 지능만으로는 어떤 문제든 덤벼들 수는 있지만, 전문성을 축적하지 못하여 모든 문제를 그저 무작정 해결하려고만 할 뿐입니다. 이는 AI가 실제 환경에서 신뢰성과 효율성을 확보하는 데 한계가 있음을 시사합니다.

AI 에이전트에게는 신뢰성과 유연성이라는 두 가지 중요한 특성이 요구되지만, 이 둘은 본질적으로 상충하는 경향이 있습니다. 신뢰할 수 있는 시스템은 변화에 저항하는 반면, 유연한 시스템은 변화를 선호하기 때문입니다. Yu Su는 이러한 딜레마를 해결하기 위해 인간의 사례를 참고할 수 있다고 말했습니다. 인간은 매우 유연하면서도 대부분의 경우 신뢰할 수 있다는 살아있는 증거를 제공하며, 이는 AI 에이전트가 지능과 전문성을 통해 이 두 가지 특성 사이의 균형을 찾아야 함을 시사합니다.

Yu Su는 전문성이 풍부해지면 실제로 더 많은 유형의 일이 가능해질 것이라고 전망했습니다. 현재는 경제적으로 실행 가능하게 만들기에는 마찰이 너무 커서 잠겨 있는 기회들이 많지만, AI 에이전트의 전문성이 풍부해지면 이러한 마찰을 줄일 수 있을 것이라는 설명입니다. 이는 많은 새로운 유형의 일이 경제적 가치를 가질 수 있는 문턱을 넘어서게 할 수 있으며, 궁극적으로 AI가 사회 전반에 걸쳐 더 광범위하고 의미 있는 기여를 할 수 있는 기반을 마련할 것으로 기대됩니다. 전문성 증가는 단순히 효율성 향상을 넘어 새로운 가치 창출로 이어질 수 있다는 시사점을 제공합니다.