아틀라스 AI, 3D, 생성형, 로봇 인텔리전스를 통합하다

아틀라스는 다음 토큰을 예측하는 대규모 언어 모델(LLM)이나 다음 프레임을 예측하는 비디오 모델과 비교하여 새로운 뷰 예측을 위해 특별히 설계된 AI 모델로 소개됩니다. 이러한 근본적인 변화는 AI의 초점을 공간 지능으로 재조정합니다. 아틀라스는 어떤 시점에서든 장면이 어떻게 보일지 예측함으로써 임의의 관점에서 비디오 프레임과 이미지를 생성할 수 있도록 하여 시각적 AI를 위한 새로운 패러다임을 제공합니다.

아틀라스의 가장 중요한 실용적인 이점 중 하나는 전례 없이 적은 수의 카메라로 고품질 시각적 결과물을 생산할 수 있다는 것입니다. 수백 대의 카메라가 필요했던 '매트릭스'의 유명한 '불릿 타임' 장면과 같은 복잡한 제작과 달리, 아틀라스는 단 3대의 카메라만으로 전문가 수준의 결과물을 얻을 수 있습니다. 이를 통해 값비싼 스튜디오 설정, 그린 스크린, 복잡한 보정 과정이 필요 없습니다. 이 모델의 효율성은 아이폰으로 촬영한 영상에도 적용되어 전문적인 시각적 제작을 훨씬 더 접근하기 쉽고 비용 효율적으로 만듭니다.

아틀라스는 모든 이미지에 대해 3D 카메라 포즈를 기본 입력으로 통합함으로써 결과물이 공간적으로 기반이 되도록 보장합니다. 이 핵심 기능은 종종 장면 기하학을 추론하기 위해 보간이나 텍스트 기반 추측에 의존하는 다른 비디오 모델과 아틀라스를 차별화합니다. 각 입력 프레임에 대한 정확한 3D 정보를 가짐으로써 아틀라스는 재구성 작업에서 매우 높은 정밀도를 달성하여 생성된 뷰가 3차원 공간에서 일관되고 정확하도록 만듭니다.

아틀라스의 주요 아키텍처 혁신은 단일 모델 내에서 3D 재구성 및 생성 기능을 모두 결합할 수 있다는 것입니다. 역사적으로 시각 지능의 이 두 분야는 별개의 문제로 다루어졌으며, 종종 별개의 모델과 워크플로우가 필요했습니다. 아틀라스는 이러한 기능을 공동으로 통합하여 모델이 기존 3D 환경을 동시에 이해하고 재현하는 동시에 새로운 콘텐츠를 생성할 수 있도록 합니다. 이러한 통합은 복잡한 시각적 작업을 간소화하고 보다 전체적인 AI 애플리케이션을 가능하게 할 것으로 기대됩니다.

공간 지능은 환경을 생성하는 능력뿐만 아니라 그 안에서 추론하고 상호작용하는 능력으로 정의됩니다. Fei-Fei Li는 진정으로 공간 지능을 가진 AI 시스템은 공간을 표현하고, 그 특성을 이해하며, 그 공간 내에서 조작하고 편집할 수 있어야 한다고 강조합니다. 이는 진정한 공간 AI가 출현하기 위해 해결해야 할 중요한 과제로 기하학, 구조 및 물리학을 강조합니다.

아틀라스의 개발에는 이전 모델인 마블(Marble)로부터의 중요한 아키텍처적 변화가 포함되었는데, 마블은 가우시안 스플랫을 주요 출력 표현으로 사용했습니다. 이 이전 접근 방식은 효과적이었지만 모델의 유연성을 제한함으로써 병목 현상을 일으켰습니다. 팀은 처리 파이프라인의 초기에 양식을 분할하여 RGB 이미지 생성과 3D 장면 생성이 가우시안 스플랫 형식에 제약받지 않고 보다 통합된 방식으로 이루어지도록 해야 할 필요성을 깨달았습니다. 아틀라스에서는 기본 프리미티브가 더 이상 가우시안 스플랫 세계의 생성이 아니라 새로운 뷰의 직접적인 예측입니다.

전통적인 상업용 3D 재구성의 중요한 병목 현상은 '밀집' 캡처에 필요한 엄청난 노력입니다. 이는 정확도를 달성하기 위해 종종 단일 방의 수백 장의 사진을 찍는 것을 의미합니다. 이 과정은 사용자가 필요한 모든 각도와 세부 사항을 캡처하기 위해 노력하면서 지루한 수동 노동을 포함합니다. 아틀라스는 이 부담을 크게 줄이는 것을 목표로 하며, 필요한 이미지 수를 50-100배 줄이는 것을 목표로 합니다. 목표는 수백 장의 사진에서 잠재적으로 단 3장으로 줄여 3D 재구성을 훨씬 더 접근하기 쉽게 만드는 것입니다.

전통적인 3D 재구성은 입력 뷰에서 장면의 특정 부분이 보이지 않는 모델에 본질적으로 '구멍'이나 간격을 만듭니다. 이를 해결하기 위해 생성형 AI는 포착되지 않은 세부 사항을 채울 수 있는 '상상력' 레이어 역할을 함으로써 중요한 역할을 합니다. Ben Mildenhall은 입력 뷰에서 보이지 않는 모든 픽셀은 3D 재구성에서 간격을 초래하며, 장면을 상상하고 완성하기 위한 생성 능력이 필요하다고 설명합니다. 전문 사진작가조차도 장면의 모든 구석구석을 수동으로 캡처할 수 없으므로, 완전하고 일관된 3D 모델을 위해 생성과 재구성의 통합이 필수적입니다.

생성 모델, 특히 확산 모델의 반복되는 과제는 시각적으로 인상적인 결과를 생성하지만 종종 기하학적 정확성과 3D 일관성이 부족하다는 것입니다. Martin Casado는 아틀라스가 생성된 장면이 단순히 시각적으로 매력적일 뿐만 아니라 물리적으로 타당하고 기하학적으로 일관성이 있도록 어떻게 보장하는지에 대해 의문을 제기하며 이 우려를 제기합니다. 인터뷰는 "방이 맞는지"를 보장하는 3D 일관성을 유지하는 것이 단순한 미학적 품질을 넘어서는 가장 중요한 요소임을 강조합니다.

팀은 아키텍처의 잠재력을 완전히 탐구하는 초기 단계에 있다고 믿으며, 현재의 성과가 확장 곡선의 시작에 불과하다고 제안합니다. Ben Mildenhall은 훈련 계산을 추가 발전을 제한하는 주요 병목 현상으로 식별합니다. 모델 크기, 훈련 시간 및 하드웨어 리소스 할당을 단순히 늘림으로써 모델 성능의 지속적인 개선이 관찰되었으며, 이는 더 큰 계산 투자를 통한 미래 개발의 명확한 경로를 나타냅니다.

현재 생성형 AI 도구는 실용적인 응용 분야에 필수적인 다양한 시점에서 3D 일관성을 유지하는 데 어려움을 겪고 있습니다. 사용자는 일시적인 생성에서 벗어나 정확성을 가지고 영구적이고 구조화된 3D 자산을 구축하고 전체 세계를 모델링하는 능력을 원합니다. 목표는 고품질 결과물을 생성할 뿐만 아니라 장면의 3D 상태를 엄격하게 준수하여 사용자가 일관되고 편집 가능한 가상 환경을 만들 수 있도록 하는 생성 제어를 제공하는 것입니다.

건축 및 디자인 워크플로우에서 가장 노동 집약적인 단계 중 하나는 피드백과 수정을 3D 표현으로 다시 매핑하는 것입니다. Ben Mildenhall은 창의적인 입력에서 3D 소프트웨어로의 이러한 변환이 작업의 95%를 차지할 수 있으며, 종종 구두 피드백이나 스케치를 기반으로 몇 주간의 수정으로 이어진다고 언급합니다. 팀은 이 힘든 과정을 크게 단순화하여 초기 창의적 개념에서 상세한 3D 모델로의 전환을 간소화하고 반복적인 조정에 소요되는 시간을 줄이는 것을 목표로 합니다.

Justin Johnson은 로봇 정책과 정적 생성 모델 간의 근본적인 차이점을 강조합니다. 로봇 공학은 본질적으로 예측 불가능한 물리적 세계와 동적으로 상호작용하는 에이전트를 포함합니다. 이미지나 코드를 생성하는 것과 달리, 로봇 정책은 항상 예상대로 반응하지 않을 수 있는 환경에서 목표를 달성해야 합니다. 이는 로봇 에이전트를 모든 잠재적인 실패 상태와 예상치 못한 시나리오에 노출시키는 훈련을 필요로 하며, 실제 물리학 및 상호작용에 대한 훨씬 더 깊은 이해를 요구합니다.

Fei-Fei Li는 아틀라스가 초기 블로그 게시물에서 널리 알려지거나 강조되지 않은 "아기 역학(baby dynamics)"을 이미 가지고 있다고 설명합니다. 그녀는 이전 마블 월드(Marble World) 모델이 근본적으로 정적이었으며, 이는 시간 경과에 따른 움직임이나 변화를 표현할 수 없었음을 의미한다고 지적합니다. 이와 대조적으로 아틀라스의 아키텍처와 훈련 데이터는 동적 요소를 지원하도록 기본적으로 설계되었습니다. 기존 데모에서는 이미 물결과 같은 동적 요소를 선보이며 변화하는 환경을 모델링하는 능력을 보여줍니다.

팀은 현재 출력물의 높은 품질을 손상시키지 않으면서 단순한 생성을 넘어 정교하고 산업적인 수준의 편집 기능과 다중 모드 제어를 제공하는 세계 모델을 발전시키는 데 중점을 두고 있습니다. Ben Mildenhall은 학계가 종종 제어 조건화의 중요성을 과소평가한다고 말합니다. 사용자들은 장면에 상호작용하고, 개체 정체성을 제어하고, 레이아웃을 조작하고, 시간적 요소를 관리하는 능력을 요구합니다. 목표는 아틀라스에 광범위한 제어 기능을 통합하여 이러한 사용자 요구를 충족하는 것입니다.

Fei-Fei Li는 다음 시점 예측이 언어 모델의 다음 토큰 예측과 마찬가지로 공간 지능에 대한 동일한 근본적인 중요성을 지닌다고 강력하게 주장합니다. 다음 토큰 예측은 널리 'AI-완전' 작업으로 간주됩니다. 그녀는 새로운 뷰 예측이 물리적 세계를 이해하기 위한 동등한 원시 역할을 한다고 주장합니다. 이러한 관점은 동물이 환경과의 움직임과 상호 작용을 통해 새로운 뷰 예측 문제를 해결하기 위해 특별히 눈을 개발했다는 진화론적 주장으로 뒷받침됩니다.