과신하는 AI에 '불확실성' 수학이 필요한 이유

캠브리지 대학교 교수이자 구글 딥마인드 연구 부사장인 주빈 가하라마니는 지능이 근본적으로 불확실한 현실 속에서 이루어져야 하는 의사 결정과 연결되어 있다고 주장합니다. 그는 인간과 인공지능 모두 제한된 인식을 가지고 작동하므로 현실 세계의 모든 것을 아는 것은 불가능하다고 강조합니다. 따라서 지능형 시스템은 효과적인 의사 결정을 위해 불확실성에 대한 이해를 표현하고 업데이트할 수 있어야 합니다.

AI 모델은 방대한 데이터셋으로 훈련되었음에도 불구하고 훈련 데이터에 적절하게 표현되지 않은 드물거나 '롱테일' 시나리오에 직면할 때 실패할 수 있습니다. 가하라마니는 이를 낯선 우박 폭풍이나 예상치 못한 장애물에 직면한 자율주행차의 예로 설명합니다. 불확실성 인식을 갖춘 AI 시스템은 특이한 상황을 인식하고 속도를 늦추거나 인간의 개입을 요청할 것입니다. 이는 잘못된 자신감으로 행동하여 위험한 결과를 초래할 수 있는 상황을 방지합니다.

가하라마니는 두 가지 중요한 불확실성 유형을 구분합니다. 세계의 내재된 무작위성을 나타내는 우연적 불확실성(aleatoric uncertainty)과 지식 부족에서 비롯되는 인식론적 불확실성(epistemic uncertainty)입니다. 그는 이러한 구별을 이해하는 것이 중요하다고 언급하는데, 이는 불확실성의 유형에 따라 다른 전략적 대응이 필요하기 때문입니다. 무작위적인 사건은 단순히 한계를 받아들이는 것을 요구할 수 있지만, 지식 격차는 더 많은 정보를 적극적으로 탐색해야 하며, 이는 더 나은 의사 결정을 위해 불확실성을 줄이는 것으로 공식적으로 정의됩니다.

가하라마니는 인간이 명시적으로 확률을 추정하는 데 놀라울 정도로 서투르며, 의식적인 평가를 요청받을 때 종종 몇 자릿수나 틀린다는 점을 지적합니다. 그러나 그는 우리의 진화적 발전이 생존에 필수적인 무의식적인 확률적 추론 능력으로 이어졌다고 설명합니다. 이를 통해 인간은 명시적인 계산 없이도 감각 정보를 본능적으로 처리하고 사전 신념을 통합하여 복잡한 환경을 헤쳐나갈 수 있습니다.

AI의 과신은 적대적 공격에 매우 취약하게 만듭니다. 적대적 공격은 입력 데이터에 인지할 수 없는 수정을 가하여 시스템이 자신감 있게, 그러나 부정확하게 분류하도록 강제할 수 있습니다. 가하라마니는 인상적인 예를 제공합니다. 스쿨버스 이미지의 몇몇 픽셀만 변경해도 신경망이 이를 치타로 자신감 있게 식별할 수 있습니다. 이러한 취약성은 AI 시스템이 정확할 뿐만 아니라 적절히 신중하고 자신의 한계를 인식해야 할 필요성을 강조합니다.

가하라마니는 현재의 대규모 언어 모델(LLM)이 사실적 정확성과 관계없이 절대적인 자신감으로 답변을 일관되게 제공한다고 관찰합니다. 그는 사용자가 LLM의 답변에 의문을 제기하면 시스템이 자주 '입장을 바꾸어' 다른, 종종 모순되는 답변을 제공한다고 언급합니다. 이러한 행동은 설계상의 치명적인 결함을 강조하며, 진정한 내부 이해나 의심을 표현할 강력한 메커니즘이 부족함을 나타냅니다.

2015년에 주빈 가하라마니는 지능의 많은 측면이 불확실성의 신중한 확률적 표현에 근본적으로 의존한다고 주장했습니다. 그는 현재 LLM이 다음 토큰 예측과 같은 작업에 확률을 사용하지만, 핵심 아키텍처 내에 불확실성에 대한 명시적이고 공식적인 표현이 부족한 경우가 많다고 언급하며 이 점을 다시 강조합니다. 이러한 부재는 LLM이 자체 출력의 신뢰성을 정확하게 평가하고 전달하는 것을 방해합니다.

가하라마니는 현재 AI 모델, 특히 LLM이 명시적인 베이즈 계산보다는 본질적으로 다음 토큰 예측을 수행하며, 이를 '속임수'라고 설명합니다. 그는 이러한 모델이 사용자 프롬프트에 쉽게 흔들릴 수 있으며, 견고한 내부 기반이나 진정한 추론 능력의 부족을 보여준다고 주장합니다. 자신의 신념에 대한 확률을 표현할 견고한 메커니즘이 없으면 AI 시스템은 진정한 불확실성이나 일관된 내부 일관성을 나타내기 어렵습니다.

가하라마니는 AI 시스템이 불확실성을 다루는 데 어려움을 겪는 이유가 현재의 훈련 패러다임이 이 측면을 우선시하지 않았기 때문이라고 설명합니다. 대신 모델은 인과 관계에 대한 깊은 이해를 개발하기보다는 패턴 인식을 중심으로 '데이터 덩어리 모델링'에 탁월하도록 훈련됩니다. 그는 실제 세계에서 안전하게 작동하려면 AI가 자신의 불확실성과 작용하는 인과 메커니즘을 이해할 수 있어야 하며, 이는 현재 AI 개발의 중요한 격차라고 강조합니다.

가하라마니는 합리적인 AI 시스템을 구축하기 위한 기초 재료가 15~20년 전에 존재했음을 밝힙니다. 그러나 그는 모든 가능한 요인에 대한 완전한 확률 분포를 표현하는 것이 당시에는 계산상 비현실적이라고 여겨져 이 비전이 포기되었다고 설명합니다. 이러한 계산상의 제약으로 인해 연구원들은 데이터 기반 훈련 패러다임으로 전환하게 되었습니다. 가하라마니는 현대 컴퓨팅 파워의 발전과 함께 이러한 확률적 접근 방식을 다시 검토하는 것이 AI 개발을 위한 실행 가능하고 필요한 길이라고 제안합니다.

AlphaFold는 단백질 구조를 예측할 때 모델의 신뢰도를 시각적으로 표현하는 탁월한 AI 시스템입니다. 가하라마니는 단백질 예측이 색상으로 코딩되며, 다른 색조는 모델이 접힘의 정확성에 대해 얼마나 확신하는지를 나타낸다고 설명합니다. 이 시각화는 단백질의 본질적인 물리적 '움직임'을 다루고, 실험 데이터 기반 예측과 모델에서만 파생된 예측을 구별하는 데 도움이 되며, 불확실성 구름을 사용하여 분자 위치를 보여줍니다.

가하라마니는 AI에서 진정한 보정(calibration)을 시스템이 어떤 사건에 대해 명시한 확률이 실제 발생 빈도와 정확히 일치하는 상태로 정의합니다. 그는 AI가 70%의 비 올 확률을 예측했다면, 해당 예측을 한 모든 경우에서 70%의 확률로 비가 와야 한다는 예를 들어 설명합니다. 이 정의는 반복 가능한 사건에 대해 간단하지만, 베이즈 통계학은 확률이 주관적인 불확실성을 나타내도록 허용함으로써 이를 비반복적인 사건으로 확장합니다. 이러한 정확성은 AI가 단순히 회피하거나 유용하고 실행 가능한 통찰력을 제공하지 못하는 것을 방지하는 데 중요합니다.

가하라마니는 중요한 AI 시스템 개발을 위한 '스케일링 전용' 접근 방식의 내재된 한계를 인지하고 있습니다. 그는 현재 LLM이 일반적으로 잘 작동하지만, '롱테일' 또는 특이한 시나리오에 직면할 때 상당한 격차를 드러내는 경향이 있다고 지적합니다. 그는 단순히 컴퓨팅과 데이터의 규모를 늘리는 것만으로는 신뢰할 수 있는 자율주행차나 진단을 돕는 의료 AI 시스템과 같은 중요한 응용 분야에 불충분하다고 강조합니다. 이러한 응용 분야에서는 확률을 정확하게 정량화하고 높은 신뢰성을 보장하는 것이 무엇보다 중요하다고 그는 역설합니다.

가하라마니는 인간과 유사한 지능을 가진 AI 시스템을 개발하기 위한 중요한 연구 우선순위로 지속적 학습을 강조합니다. 그는 현재 AI 모델이 '치명적인 망각'으로 고통받고 있으며, 새로운 데이터로 업데이트하면 이전에 습득한 지식을 잃게 된다고 설명합니다. 이와 대조적으로 인간의 지능은 끊임없이 데이터를 받고 신경 연결을 지속적으로 적응시키는 것에 의존합니다. 가하라마니는 베이즈 업데이트가 AI가 망각 없이 적응할 수 있도록 하는 이러한 유형의 지속적 학습을 가능하게 하는 강력한 이론적 프레임워크를 제공한다고 지적합니다.

가하라마니는 베이즈 방법이 불확실성에 대한 이론적으로 건전한 접근 방식을 제공하지만, 종종 매우 느리고 NP-난해하기까지 한 상당한 계산 '저주'를 수반한다고 인정합니다. 그는 현재 AI 시스템이 이러한 계산 요구 사항 때문에 정확한 베이즈 추론보다는 근사 방법에 의존하고 있다고 언급합니다. 그러나 그는 컴퓨팅 파워의 발전과 효율적인 근사 방법에 대한 수십 년간의 연구 덕분에 이론적으로 이상적인 베이즈 아이디어를 다시 검토하고 구현하는 것이 그 어느 때보다 실현 가능해졌다고 낙관적으로 말합니다.

가하라마니는 미래 AI에 대한 명확한 비전을 제시합니다. 오만함보다는 겸손함을 우선시하는 것입니다. 그는 중요한 문제에 있어서는 자신의 한계를 알고 '모른다'는 것을 아는 AI 시스템이 과신하고 자주 틀리는 시스템보다 훨씬 더 가치 있다고 주장합니다. 그는 인간 추론의 결함을 초월하는 인간 중심 AI의 필요성을 강조하며, 신뢰성과 의심을 사회적 요구를 효과적으로 해결하기 위한 중요한 특징으로 꼽습니다.