물리적 AI, 시뮬레이션에 달렸다

발표는 AI 역사를 회고하고 MoonLake가 나아갈 연구 방향을 다룬다. 크리스토퍼 매닝은 실체화된 지능을 이해하고 구현하겠다는 인지 과학의 궁극적 목표를 제시했다.

인지 과학과 AI의 궁극적인 목표는 실체화된 지능을 이해하고 구현하는 방법을 찾는 데 있다. 발표는 AI의 역사적 흐름을 되짚어보고 MoonLake의 현재 연구 방향을 제시하는 방식으로 구성되었다.

AI라는 용어는 1956년 다트머스 여름 연구 프로젝트에서 존 매카시가 처음 제안했다.

당시 회의에는 매카시 외에도 마빈 민스키, 클로드 섀넌 등 저명한 연구자들이 참여했으며, 이는 현대 AI 연구의 뿌리인 사이버네틱스와 초기 퍼셉트론 연구로 이어졌다.

당시 러시아어를 영어로 옮기는 기계 번역 시연이 최초로 공개되며 어학 기술의 가능성을 입증했다. 기술 발전 속도에 비해 사회적 담론의 변화는 여전히 더딘 실정이다.

1954년의 사회적 이슈와 2026년 현재의 상황은 놀랍도록 유사하다. 기술 발전에 비해 사회적 담론의 변화는 더디게 흐른다.

1954년 뉴욕 타임스에 소개된 기계 번역 공개 시연은 컴퓨터의 첫 비수치적 응용 중 하나였다.

당시 컴퓨터가 대부분의 인간 번역가를 대체할 것이라는 과도한 기대와 과대 광고가 발생했으며, 냉전 시대 러시아 동향 감시라는 목적이 초기 기계 번역 연구의 배경으로 작용했다.

1980년까지 버클리는 ARPANET 등 인프라와 AI 연구에서 소외됐으나, 1986년 지텐드라 말릭과 스튜어트 러셀이 부임하며 연구에 박차를 가했다.

1980년까지 버클리는 ARPANET 등 인터넷 인프라와 AI 연구에서 소외되었으며, 1986년 지텐드라 말릭과 스튜어트 러셀이 버클리 교수로 부임하면서 AI 연구를 본격화했다.

1975년 IBM 프레드 젤리 넥 팀이 정의한 텍스트 확률 모델은 음성 인식과 기계 번역의 핵심 동력으로 작용했다.

당시 AI 주류 연구자들은 언어 모델보다는 계획, 추론 등 고전적 AI 요소를 더 중요하게 여겼다.

당시 한계는 데이터 양보다는 신경망 모델의 유연성 부족에 있었다. 구글은 현재 최첨단 모델과 비교해도 뒤지지 않는 대규모 학습 환경을 2007년에 이미 구축했다.

현재 최첨단 모델들이 15조 토큰으로 학습되는 것에 비하면 작은 규모지만, 실제로는 같은 등급의 데이터 처리 수준을 보여준다.

당시의 한계는 데이터 부족이 아니라 신경망 모델의 유연성 부족에 있었다.

기존 LLM은 텍스트 기반의 세계 묘사에 의존한다. 반면 우리 주변 세계를 직접 다루고 그 안에서 작동할 수 있는 인공지능이 필요하다.

로봇 공학 및 컴퓨터 비전 학자들의 회의적 전망에도 LLM이 성과를 냈으나, 현실 세계의 사물을 다루고 작동할 수 있는 실체화된 인공 일반 지능(AGI) 구축이 최종 목표라는 설명이다.

현실 환경에서 직접 학습하는 방식은 로봇 기술 발전에 비효율적이다. 구글 X의 Q-Opt 프로젝트 사례를 보면, 로봇 팔 정책을 학습하는 데에만 약 1만 시간의 원격 조작 데이터가 필요했다.

현실 환경에서 직접 학습하는 방식은 로봇 기술 발전에 비효율적이며 데이터 수집 측면에서도 매력적이지 않다.

현재 시각 AI는 대부분 픽셀의 미학적 품질에만 집중하는 경향이 있으며, 픽셀이 아름다우면 소프트웨어도 아름답다는 인식이 지배적이다.

그러나 이러한 픽셀은 단순한 관찰을 시뮬레이션할 뿐, 현실 세계의 의미론(semantics)을 이해하지 못하면 견고한 계획과 시뮬레이션이 불가능하다는 지적이다.

진정한 시뮬레이션은 세상의 인과적 지식을 제공해야만 한다.

MoonLake AI는 시각 정보와 코드 기반 기호 모델(Symbolic Model)을 결합하는 신경-상징적 세계 모델을 구축하고 있다.

이는 루프 엔지니어링을 통해 렌더링 결과와 실제 간의 차이를 반복적으로 수정하며, 객체를 분리하고 조작 가능한 상태로 모델링하여 상세한 행동 조건부 세계 모델을 만든다.

신경-상징적 표현은 인간 세계와 쉽게 인터페이스하고, 제어, 편집, 유지 관리가 가능하다는 장점이 있다.

가상화된 계산과 실제 물리 세계를 통합하려는 시도가 이어지고 있다. 과거 '소프트웨어가 세상을 지배할 것'이라는 주장은 물리적 한계에 봉착했으나, 최근 코드로 검증 가능한 시뮬레이션 구축 능력을 통해 물리적 세계까지 확장할 가능성이 열렸다. 물리 세계를 집어삼킬 수 있다는 희망은 이 새로운 기술적 역량에서 기인한다.

이는 가상화된 계산과 실제 물리 세계의 통합을 목표로 하며, 물리적 세계까지 소프트웨어가 확장될 것이라는 기대를 모은다.

현실 세계 시뮬레이션의 효율성은 선택적 모델링에 달려 있다. 인간 세계 모델은 모든 세부 사항을 반영하는 대신, 중요도에 따라 정보를 구분하여 모델링한다.

선택적 모델링이 현실 세계 시뮬레이션의 효율성을 결정한다. 우리가 모델링하는 세상은 모든 부분은 아니지만 중요한 요소를 포함한다.

게임 산업은 데이터 수집과 강화 학습 루프에 여러 매력적인 특징이 있어 Moonlake AI는 초기 게임 산업 응용을 탐구했다.

그러나 현재는 특히 물리적 인프라 분야의 시뮬레이션에 집중하고 있다.

크리스토퍼 매닝은 시뮬레이션이 게임 산업에서 유용하나, 실제와 가상 세계의 격차를 해소하는 데 더 큰 초점을 맞춘다.

이는 현실 세계의 복잡성을 정확히 반영하고 예측할 수 있는 시뮬레이션 기술 개발로 이어지고 있다.

과거에는 물리 시뮬레이션을 사람이 직접 작성하여 한계가 있었으나, 현재는 비디오 데이터 비교를 통해 신경망 자동 최적화가 가능한 시대가 도래했다.

효과적인 폐쇄형 코드 루프를 통하면 시뮬레이션 결과와 실제 환경의 동작을 비교할 수 있다. 시뮬레이션과 실제 사이의 격차는 자동으로 줄어든다.

크리스토퍼 매닝은 모든 모델이 완벽할 수 없지만, 정교한 시뮬레이션이 시뮬레이션 세계에서 옳다고 판명되는 놀라운 발견을 가능하게 한다고 말한다.

시뮬레이션과 현실은 양방향적 상호작용을 통해 예상을 벗어난 반응을 보이며, 이를 통해 현실의 숨겨진 사실을 발견할 수 있다.