Google DeepMind, 비디오 도구 공개, AGI 주목

NanoBanana 2 Light는 비디오 생성에서 3초의 지연 시간을 달성하여 반복 작업을 빠르게 할 수 있는 훨씬 빠른 성능을 제공합니다. Gemini Omni Flash API는 이제 개발자 용으로 널리 사용 가능하며, 다양한 애플리케이션에 통합할 수 있는 고급 기능을 제공합니다. 이 새로운 API의 가격은 기존 Y31 Fast 모델과 일치하여 개발자의 접근성을 보장합니다.

모든 애플리케이션이 즉시 자체 제품에서 보이는 것은 아니지만, 외부 개발자를 위한 API 내의 잠재력은 상당합니다. 현재 기능에는 정교한 자연어 기반 비디오 편집 및 고급 노이즈 제거가 포함되어 있어 후반 작업을 간소화할 수 있습니다. 미래의 애플리케이션은 콘텐츠를 동적으로 맞춤 설정할 수 있는 개인화된 교육과 글로벌 콘텐츠 확산을 가능하게 하는 다국어 번역에서 구상되고 있습니다.

Gemini Omni의 향상된 텍스트 렌더링 기능은 연구자들에 의해 “다음 단계”로 설명되는 중요한 발전을 의미합니다. 이 기능은 비디오 프레임 내에 고품질 텍스트 통합을 가능하게 하여 번역 및 현지화를 위한 수많은 가능성을 열어줍니다. 예를 들어, 모델은 원래 시각적 레이아웃과 컨텍스트를 유지하면서 지침 다이어그램을 번역할 수 있습니다. 이 기능은 미래 콘텐츠 재더빙 및 국제 접근성 향상에 지대한 영향을 미치며, 복잡한 시각 정보를 다양한 언어 사용자에게 이해 가능하게 만듭니다.

산업 논의는 단일 패스 비디오 생성 모델에만 의존하기보다는 '비디오 에이전트'로 점차 이동하고 있습니다. 이 접근 방식은 비디오 생성 프로세스를 안내하고 정제하는 데 있어 상징적 기반 모델과 대규모 언어 모델(LLM)의 협력적 역할을 강조합니다. 이 동향의 핵심 측면은 모델이 인과 관계보다는 우연한 패턴을 식별하는 현상인 머신러닝의 '허위 상관 관계'를 해결하는 것입니다. 인과 모델링을 통합함으로써 연구자들은 더 강력하고 맥락을 인식하는 비디오 에이전트를 개발하는 것을 목표로 합니다.

Google DeepMind는 현재 비디오 및 이미지 이해를 에이전트적으로 결합하여 다른 모델들이 복잡한 작업을 함께 수행할 수 있도록 하는 데 초점을 맞추고 있습니다. 연구자들은 시간이 지남에 따라 모든 모델이 단일하고 일관된 시스템으로 통합될 것이라고 예상합니다. 이 통합된 접근 방식은 다양한 형태의 미디어를 원활하게 처리하고 생성할 수 있는 더 포괄적이고 효율적인 AI를 만드는 것을 목표로 합니다.

반대로 이러한 텍스트 제약을 제거하면 특히 강화 학습을 통해 정보를 추출하고 적용하는 과정이 훨씬 더 많은 컴퓨팅을 필요로 합니다. 궁극적으로 텍스트는 인간-모델 상호 작용 및 AI 출력 제어를 용이하게 하는 필수적인 인터페이스 역할을 합니다.

최근 IER 세계 모델 워크숍에서 기조 연설을 한 Dumitru Erhan 박사는 자신의 정의를 명확히 했습니다. 그에게 있어 세계 모델은 모델 기반 강화 학습(RL) 내에서 사용되는 모델을 특별히 의미합니다. 그는 이 용어가 다양한 아키텍처 접근 방식을 설명하기 위해 해당 분야에서 자주 과도하게 사용되어 연구자들 사이의 혼란과 정확한 의사소통 부족을 초래한다고 언급했습니다.

비디오 모델이 발전함에 따라 지시 따르기 및 추론 능력의 유사한 개선이 '환각' 또는 생성된 부정확성을 크게 줄일 것으로 예상됩니다. 궁극적인 목표는 시뮬레이션을 혼합할 수 있는 신뢰할 수 있는 세계 모델을 달성하는 것으로, 인공 일반 지능(AGI) 개발을 향한 중요한 단계입니다.

이전 모델은 개별적으로 생성된 픽셀에 입술 움직임을 소급하여 동기화하려고 시도하여 부자연스러운 결과를 초래했기 때문에 현실성에서 종종 어려움을 겪었습니다. 하나의 근본적인 인과적 생성 프로세스에서 오디오와 시각을 동시에 생성하는 것이 올바른 접근 방식으로 간주되며, 모든 요소가 본질적으로 일관되고 정렬되어 전반적인 현실성을 향상시킵니다.

연구자들은 인간 평가자들이 AI가 생성한 비디오와 실제 영상을 비교하는 연구를 수행했으며, 참가자들이 AI가 생성한 버전을 일관되게 선호한다는 것을 발견했습니다. 그러나 이러한 선호는 뛰어난 현실성 때문이 아니라 AI 출력물이 “인스타그램 필터”와 유사하게 더 높은 채도와 더 선명한 미학을 특징으로 했기 때문입니다. Dumitru Erhan 박사는 인간 선호도에만 기반하여 모델을 최적화하는 것은 오해의 소지가 있을 수 있으며, 실제에 대한 진정한 충실도보다는 피상적인 미적 편향을 무의식적으로 유발할 수 있다고 경고했습니다.

Shane Gu 박사는 프롬프트 지정이 사용자가 AI의 창의적 프로세스를 이끌고 원하는 결과를 얻는 주요 방법임을 강조했습니다. 프롬프트 엔지니어링의 효과는 높은 수준의 미적 감수성에 크게 의존하며, 이를 통해 사용자는 자신의 비전을 정확하게 표현하고 모델에서 특정 시각적 스타일 또는 콘텐츠를 이끌어낼 수 있습니다.

엔지니어링 팀은 종종 생성형 미디어에 대한 최적의 채도 수준과 같은 주관적인 창의적 시각적 선호도를 정의하는 데 상당한 어려움을 겪습니다. 이로 인해 Google DeepMind 내에서 AI 연구자들이 이러한 예술적 결정을 내리기에 가장 적합한 사람들인지, 아니면 미술 감독과 같은 창의적인 전문가와의 외부 협력이 더 나은 결과를 낳을지에 대한 내부 논쟁이 벌어집니다. Shane Gu 박사는 이 딜레마를 강조하며, 기술 팀이 미적 조정을 위한 필요한 창의적 관점을 가지고 있는지 의문을 제기했습니다.

비평적으로 더 어려운 작업은 영화의 여러 장면에서 캐릭터의 무결성을 유지하는 것과 같은 의미론적 일관성을 보장하는 것입니다. 여기에는 생성된 콘텐츠의 논리적 불일치를 감지하는 것이 포함됩니다. 장기적인 목표는 이러한 논리적 불일치를 식별하고 수정할 수 있는 자동화된 평가 시스템을 개발하여 단순한 시각적 매력을 넘어 더 깊은 지능으로 나아가는 것입니다.

Shane Gu 박사는 더 정교하고 일관된 결과물을 위해 모델을 훈련하는 데 전문가가 촬영한 자료를 사용하는 것의 중요성을 강조했습니다. 특히 DeepMind의 로봇 공학 팀은 이 데이터 검색에 적극적으로 기여하고 있으며, 생성형 AI 개발을 위한 최상의 입력을 확보하기 위한 다학제적 노력을 강조합니다.

Nicole Brichtova 박사는 자신들이 마케팅 디렉터가 아니라고 명시적으로 언급하며 창의적 결정 뒤에 숨겨진 미묘한 이유를 이해하는 데 격차가 있음을 나타냅니다. 결과적으로 모델은 특정 창의적 선택(예: 촬영에서 최적의 시선 또는 미학의 주관적 매력)의 근본적인 동기를 파악하는 데 어려움을 겪으며, 외부 전문 지식 또는 이러한 고려 사항을 반영하는 개선된 훈련 데이터의 필요성을 강조합니다.

Shane Gu 박사는 FE가 생성된 미디어에서 패턴 스케일링 또는 제품 크기 조정과 같은 특정 작업에서 사용자가 어떻게 어려움을 겪는지 이해하는 데 더 집중하기를 바란다고 말했습니다. 이 변화는 더 목표 지향적인 통찰력을 제공하여 모델 개발자가 실제 사용성 문제를 해결하고 실제 사용자 경험을 기반으로 AI 시스템을 개선할 수 있도록 하는 것을 목표로 합니다.