파인콘 2.0: AI에 '마음 이론' 필요

에도 리버티는 다른 사람들의 정신 상태를 이해하고 모델링하는 우리의 능력을 설명하는 심리학적 개념인 '마음 이론'을 소개하면서 발표를 시작했습니다. 이 인지 능력은 인간 사회화의 기본이며, 개인이 복잡한 사회 시스템에서 효과적인 상호작용과 의사소통에 필수적인 신념, 의도, 욕구를 해석할 수 있게 합니다.

리버티는 이 능력이 우리가 행동을 예측하고, 공감하며, 사회 역학을 탐색할 수 있게 하여 인간 상호작용과 협력의 토대를 형성한다고 설명했습니다. 이것이 없으면 미묘한 사회적 단서와 다른 사람들의 신념 체계를 이해하는 것이 거의 불가능해져 효과적인 협업을 방해합니다.

15~16년 전 야후에서의 과거 경험을 회상하며 에도 리버티는 AI 시스템이 자체 기능적 한계에 대한 자기 인식이 부족했음을 보여준 사례들을 언급했습니다. 그는 Q&A 포럼인 야후 답변을 예로 들었는데, 사용자들이 AI가 본질적으로 의미 있게 답변할 수 없는 주관적인 질문들을 자주 던졌습니다.

예를 들어, 사용자들은 '제가 뚱뚱한가요?'와 같은 질문을 했는데, 사실 검색을 위해 설계된 Q&A 포럼은 논리적으로 처리하거나 관련 통찰력으로 응답할 수 없는 질문이었습니다. 이는 초기 AI가 사용자뿐만 아니라 자신의 능력과 한계에 대해서도 '마음 이론'이 부족하여 부적절한 상호작용을 초래했음을 보여주었습니다.

AI 이해의 범위를 더 잘 정의하기 위해 에도 리버티는 기업 지식을 세 가지 범주로 분류할 것을 제안했습니다. 그는 이 프레임워크가 모든 것을 포괄하지는 않지만, AI가 정보와 상호작용하는 방식을 분석하는 데 유용한 관점을 제공한다고 언급했습니다.

첫 번째 범주는 '일반 지식'으로, 대규모 언어 모델(LLM)이 일반적으로 훈련되는 공개적으로 사용 가능한 정보를 포함합니다. 두 번째는 '특정 지식'으로, RAG(Retrieval Augmented Generation) 및 파인콘과 같은 벡터 데이터베이스와 같은 기술을 통해 자주 다루어지는 사적인 독점 회사 데이터를 지칭합니다. 마지막으로, '부족 지식'은 조직에 고유한 복잡하고 비공식적인 규칙, 문화, 프로세스 및 내부 전문 지식을 나타내며, AI에게 상당한 도전 과제를 제시합니다.

에도 리버티는 부족 지식이 AI에게 독특하고 중요한 도전 과제를 제시한다고 강조했습니다. 주된 이유는 검색하거나 문서화하기가 쉽지 않기 때문입니다. 일반 또는 특정 지식과 달리 부족 지식은 단순히 데이터베이스나 단일 문서에서 검색될 수 없으며, 조직의 운영 내에 내재된 무정형의 이해입니다.

그는 이러한 유형의 지식이 회사의 비공식적인 규칙, 리더십 역학, 핵심 원칙, 그리고 업무가 비공식적으로 수행되는 방식을 구현한다고 설명했습니다. 이는 '무엇이 이루어지는가'보다는 '어떻게 이루어지는가'에 해당하여 현재 AI 시스템에게는 파악하기 어렵습니다.

리버티는 현대 AI 에이전트가 종종 첫 출근하는 신입 직원처럼 각 작업을 접근하여 축적된 맥락적 이해나 조직적 기억이 부족하다고 지적했습니다. 이러한 결핍은 기업 환경의 미묘하고 인간 중심적인 측면을 효과적으로 탐색하는 것을 방해하여 복잡하고 미묘한 작업을 수행하는 능력을 저해합니다.

에도 리버티는 차세대 AI 에이전트가 향상된 지능이나 개선된 도구 이상을 필요로 한다고 주장했습니다. 그는 '지식 계층'이라고 명명한 근본적으로 새로운 구조적 구성 요소가 필요하다고 말했습니다. 이 계층은 에이전트에게 일시적인 작업 실행을 넘어 지속적이고 전문화된 이해를 제공하도록 설계되었습니다.

그는 이 지식 계층이 영구적이어야 한다고 강조했습니다. 에이전트가 새로운 작업이나 상호작용마다 맥락적 이해를 다시 구축할 필요가 없어 지속적인 설정을 피할 수 있도록 보장해야 합니다. 또한, 이 계층은 에이전트의 특정 도메인 및 운영 맥락에 정확하게 맞춤화된 고도로 전문화된 것이어야 하며, 해당 영역 내에서 더 깊고 관련성 있는 상호작용을 가능하게 합니다.

이 접근 방식은 AI의 이해가 회사의 목표 및 확립된 관행과 밀접하게 일치하도록 보장합니다.

그는 이러한 직접적인 소유권이 전문가들이 지식 계층과 상호작용하여 AI 에이전트가 접근하는 정보를 정제하고 업데이트할 수 있게 한다고 주장했습니다. 이러한 인간 중심의 거버넌스는 AI가 독립적으로 운영되는 것을 방지하여 AI의 결과물과 결정이 조직의 발전하는 요구 사항과 전략적 방향을 반영하도록 보장합니다.

리버티는 이 방법이 AI가 독립적인 자율적 개체라기보다는 인간 전문 지식의 확장 역할을 하는 협력적 환경을 조성한다고 강조했습니다. 이러한 일치는 AI를 복잡한 기업 워크플로에 효과적으로 통합하고 AI가 처리하는 정보의 품질과 관련성을 제어하는 데 중요합니다.