구글 Genie 4, 소리와 행동까지 반응하는 월드 모델…촬영 전 연출 시험 가능성과 남은 한계

구글 연구진이 공개한 Genie 4는 그래픽으로 미리 정해진 영상을 재생하는 방식이 아니라, 장면을 한 장면씩 실시간으로 만들어 내는 방식으로 시연됐다. 시연에서는 커피를 떨어뜨린 뒤 앞에 있던 인물이 반응하는 장면이 나왔고, 흐르는 커피가 다소 어색하다는 점도 함께 짚였다.

진행자는 이 장면에서 중요한 것은 사용자가 어떤 행동을 하고, 그 행동에 맞춰 세계가 어떻게 이어지는지라고 설명했다. 사용자가 개입하면 인물이 반응하고, 대화가 이어지면 그 반응을 보고 다른 선택을 해 볼 수 있다는 점에서 준비된 영상을 보는 것과 다르다.

구글이 10월 27일 발표한 월드 모델 Genie 4는 사용자의 입력과 앞선 상황을 바탕으로 다음 장면을 만들어 가면서 그 안을 탐색하게 하는 AI다. Genie 3에서도 세계를 돌아다니거나 날씨를 바꾸는 연구 시연은 있었지만, Genie 4에서는 그 안의 행동에 소리와 대화가 붙고, 여러 단계의 사건을 이어가기 위해 Gemini의 추론을 활용한다.

연구진은 Genie 4가 영상과 오디오를 예측해 함께 생성한다고 설명했다. 화면을 먼저 만든 뒤 거기에 어울릴 법한 음악을 따로 붙이는 작업과 비교하면, 이 모델은 사건이 일어나는 시간과 소리가 나는 시간을 함께 다룰 수 있는 구조라는 점이 중요하다고 진행자는 짚었다.

예를 들어 사람이 말을 멈췄는데 입과 목소리가 따로 놀거나, 물건이 떨어지는데 바닥에 닿기도 전에 소리가 나면 바로 어색해진다. 사용자가 장면을 바꾸는 동안에도 이런 동작과 소리의 관계가 맞아야 한다. 다만 가까운 소리와 먼 소리를 실제 공간처럼 구현하는지는 따로 확인이 필요하다고 덧붙였다.

진행자는 소리까지 포함된 장면을 진행 중에 바꿔 볼 수 있다면 그 활용 범위가 넓어진다고 보았다. 우선 확인할 것은 동작과 소리의 타이밍이라는 것이다.

진행자는 촬영 전에 같은 장면을 여러 방식으로 연습해 볼 수 있다는 점을 활용 예로 들었다. 예를 들어 사람이 말하는 중에 카메라를 빼는 것과 말이 끝난 뒤에 빼는 것은 화면의 느낌이 달라진다.

화면만 보고 구도를 고르던 데서 나아가 대사와 주변 소리까지 들어 보며 장면의 호흡을 판단할 수 있다는 것이다. 이렇게 시험을 하다 보면 카메라나 대사뿐 아니라 사건 자체를 바꿔 보고 싶어질 수 있다고 진행자는 말했다.

AI 영상을 다루는 채널 미디어가 공개한 테스트에서 제작자는 연인이 나오는 장면의 배경에 거대한 괴수를 추가했다고 설명했다. 로맨틱한 장면이 재난 영화의 한 장면처럼 바뀐 것이다.

제작자가 지적한 점은 괴수가 나타난 다음에도 카메라가 계속 연인을 비추고 있었다는 것이다. 배경에 괴수를 넣으라는 요청과, 그 괴수가 잘 보이도록 촬영하라는 요청은 서로 다른 문제라는 설명이다.

진행자는 촬영 현장에서 배우 뒤로 큰 사건이 벌어졌을 때 카메라를 돌려 사건을 보여 줄 수도 있고, 배우의 표정을 계속 잡을 수도 있다는 예를 들었다. 어느 쪽을 원하는지에 따라 카메라에 대한 지시도 달라져야 하는데, 이 테스트에서는 그 차이가 반영되지 않았다.

진행자는 이미 진행 중인 로맨틱 장면에 괴수를 추가하려면 앞 장면의 인물과 주변 공간을 계속 유지하면서 새로운 사건을 받아들여야 하므로, 무엇을 바꾸고 무엇을 남길지 구분해야 한다고 설명했다. 처음부터 괴수가 등장하는 장면을 새로 만드는 것과는 차이가 있다는 것이다.

같은 원리는 커피 한 잔을 다루는 장면에서도 중요하다. 사람들은 컵을 잡고 옮기는 모습을 매일 보기 때문에 손과 물체의 움직임이 조금만 어긋나도 쉽게 알아차린다. 손에 들고 있던 컵이 다음 순간에도 같은 손에 있는지, 내려놓았다면 어디에 놓여 있는지가 이어져야 한다.

사용자가 중간에 다른 요구를 하면 상황은 더 복잡해진다. 앞으로 어떤 입력이 들어올지 모르는 상태에서 방금 만든 장면을 바탕으로 다음 장면을 계속 만들어야 하기 때문이다. 진행자는 앞에서 조금 틀어진 모습이 다음 장면의 조건이 되면 오류가 계속 이어질 수 있다고 경고했다.

구글은 이런 진행을 돕기 위해 장면을 확인하는 Gemini를 결합했다. 공식 설명에 따르면 Genie 4는 외형과 행동을 구현하는 데 Gemini Omni의 능력을 활용하고, 여기에 Gemini 3.8 Flash가 생성되는 화면을 관찰하면서 목표를 여러 단계로 나누고 각 단계가 제대로 진행됐는지 확인하는 역할을 맡는다.

사용자가 개입하거나 상황이 달라지면 Gemini는 다음 계획을 다시 조정한다. 진행자는 이해를 돕기 위해 커피를 만들어 가져다 달라는 가상의 지시를 예로 들었다. 이 지시를 수행하려면 컵에 커피를 담고, 컵을 들어 상대에게 가져가는 순서가 필요하다.

그런데 중간에 컵이 떨어졌다면 컵을 그대로 건네는 다음 단계는 앞뒤가 맞지 않는다. 달라진 상황을 확인하고 그에 맞게 다음 행동을 다시 조정해야 한다는 것이 진행자의 설명이다.

진행자는 처음에 긴 지시를 한 번에 넣는 방식과 비교하면, 중간 결과를 확인하면서 진행 방향을 수정할 수 있다는 점이 중요하다고 설명했다. 목표를 잘게 나누고 결과를 확인하는 과정이 진행을 돕는다는 것이다.

기술적으로는 생성과 점검의 역할을 나누는 구조다. Genie 4가 눈앞에서 장면과 소리를 만들어 가는 동안, Gemini는 목표가 어디까지 진행됐고 다음에 무엇을 해야 하는지를 살핀다.

진행자는 이 방식이 특히 도움이 될 부분으로 순서와 의도를 꼽았다. 누가 먼저 행동해야 하는지, 사용자가 방금 무엇을 바꾸라고 했는지를 점검하는 데 쓰일 수 있다는 것이다.

진행자는 행동의 순서를 점검한다고 해서 생성된 세계의 물리적 정확성까지 보장되는 것은 아니라고 선을 그었다. Gemini도 결국 생성된 화면을 보고 판단하기 때문이다.

화면에서 컵을 들어 옮기는 모습이 자연스럽게 이어져도, 실제 컵의 무게나 컵을 잡는 데 필요한 힘까지 정확히 재현됐는지는 별도로 검증해야 한다. 같은 장면이라도 어디에 쓰느냐에 따라 요구되는 정확도가 달라진다.

촬영 전 리허설에서는 구도와 동작의 흐름을 판단하는 데 도움이 될 수 있다. 그러나 로봇의 동작을 훈련하는 데 쓰려면 그런 움직임이 현실의 물리와 얼마나 맞는지 확인해야 한다고 진행자는 강조했다.

같은 테스트에서 제작자는 타임스퀘어를 돌아봤을 때 뒤쪽 공간이 바뀌었다고 설명했다. 정면은 그럴듯해도, 돌아왔을 때 장소가 달라지면 그 안에서 길을 찾거나 같은 지점으로 돌아오는 경험은 흔들린다.

게임 엔진은 건물이나 물체의 위치를 데이터로 저장해 두고, 카메라 방향이 바뀌면 그 정보를 바탕으로 화면을 다시 그린다. 진행자는 Genie처럼 다음 화면을 생성하는 방식에서도 돌아봤을 때 앞서 지나온 공간들이 이어져야 한다고 설명했다. 화면 하나하나가 그럴듯해도 장소가 계속 달라지면 공간을 기억하며 탐색하기 어려워진다.

둠 스타일 테스트에서 제작자는 괴물이 죽지 않고 자신도 피해를 받지 않았다고 말했다. 게임이 작동하려면 총이 괴물을 맞혔을 때 체력이 줄고, 그 결과가 다음 행동과 승패에 반영되어야 하며, 체력 같은 상태를 유지하면서 정해진 규칙에 따라 바꿔야 한다. 타임스퀘어 사례는 공간의 지속성을, 둠 사례는 행동 결과와 규칙이 이어지는지를 보여 준다는 것이 진행자의 정리다.

진행자는 방금 본 기능들을 제작 과정에 가져오면, 장면 초안을 시험하는 작업이 먼저 떠오른다고 말했다. 같은 상황에서 인물의 행동을 바꾸고, 카메라 위치를 바꾸고, 대사의 타이밍도 다르게 해 보는 것이다.

보통 클립을 만드는 흐름에서는 결과를 확인한 뒤에 수정 요청을 하게 된다. 진행 중인 장면에 개입할 수 있다면 상황을 계속 이어 가면서도 다른 선택을 시도해 볼 수 있다. 예를 들어 이 구도에서 인물이 말을 멈추면 어떨지를 글로 설명하는 대신 그 장면을 놓고 이야기할 수 있다는 것이다.

다음으로 확인할 점은 수정한 결과끼리 제대로 비교할 수 있는지다. 인물의 행동만 바꾸고 싶었는데 장소나 조명까지 달라져 버리면, 행동을 바꾼 효과를 제대로 판단하기 어렵다. 원하는 부분만 바꿔 여러 안을 시험할 수 있을수록 실제 제작 전에 회의에서 활용할 이유도 분명해진다.

제작자는 초현실적인 공포 분위기를 주문했고, TV 안으로 들어가 또 다른 TV로 이어지는 장면을 보여 주었다. 이런 연출에서는 공간이 낯설게 바뀌는 것 자체가 원하는 효과일 수 있다.

그러나 모든 변화가 좋은 결과가 되는 것은 아니다. 같은 인물이 계속 등장해야 하거나 특정 소품을 다음 장면까지 가져가야 한다면, 그 설정은 공간이 바뀌어도 유지돼야 한다. 진행자는 연출자가 요청한 변화와 원하지 않았는데 생긴 변화를 구분할 수 있어야 한다고 강조했다.

관람자의 선택에 따라 이야기가 달라지는 체험을 구상할 때도 같은 기준이 적용된다. 예상하지 못한 행동을 받아 이야기를 이어가면서도, 앞에서 벌어진 일과 등장인물 사이의 관계를 유지할 수 있는지를 봐야 한다. 새로운 장면을 만드는 능력이 실제 제작으로 이어지려면, 앞 단계의 맥락을 유지하면서 요청한 변화를 반영할 수 있어야 한다.

현재 Genie 4는 신뢰된 테스터를 대상으로 한 연구 프리뷰다. 구글은 Google AI Ultra와 Gemini API 등 초기 파트너를 대상으로 확대할 예정이라고 밝혔다. 다만 물체와 공간의 일관성, 긴 상호작용은 아직 개선 과제로 남아 있다.

진행자는 앞으로 시연이 더 나오면 멋진 장면을 본 다음 한 번 더 요구해 보고 싶다고 말했다. 자, 이 부분은 그대로 두고 이것만 바꿔 줘 같은 요청을 얼마나 안정적으로 받아내느냐가, 구경하기 좋은 세계를 반복해서 쓸 수 있는 도구로 만드는 기준이 될 것이라는 설명이다.