레몬슬라이스, 실시간 아바타로 인간 같은 AI 인터페이스 구현

레몬슬라이스의 시드니 프리마스 대표는 아바타 개발의 궁극적인 목표로 '튜링 테스트'를 언급했다. 이는 아바타가 인간과 상호작용할 때, 영상 통화에서 인간과 구별 불가능한 수준으로 구현하는 것을 의미한다. 이를 통해 사용자들은 AI 아바타가 아닌 실제 사람과 대화하는 듯한 경험을 하게 된다.

아바타 개발의 핵심적인 난제는 감정, 물체 상호작용, 미세 표정을 정확하게 구현하는 것이다. 또한, 아바타가 실제 인간처럼 느껴지도록 내부 상태를 형성하는 것 역시 중요하다. 이러한 요소들이 복합적으로 작용해야만, 아바타가 단순한 기계가 아닌 생동감 있는 존재로 인식될 수 있다.

레몬슬라이스는 테디 루스벨트 대통령의 아바타를 구현하는 프로젝트를 진행했다. 대통령 도서관 안에 실제 오벌 오피스 복제 공간을 만들고, 방문객이 아바타와 실시간으로 상호작용할 수 있도록 했다. 이 아바타는 8시간 동안 끊임없이 영상을 생성하며, 현재 16시간 구동 가능한 다음 버전을 개발 중이다.

인간은 생물학적으로 시각적 정보와 함께 사물을 가장 잘 이해하도록 설계되어 있다. 이 때문에 시각적 요소가 포함된 AI 인터페이스는 정보를 더욱 효과적으로 전달하고, 사용자에게 더 깊은 몰입감을 제공할 수 있다. 시각적 경험은 정보 이해도를 높이는 중요한 매개체 역할을 한다.

시드니 프리마스 대표는 장기적으로 AI와 인간 간의 대부분의 상호작용에 시각적 레이어가 도입될 것이라고 전망했다. 레몬슬라이스는 이러한 시각적 레이어를 구축하는 데 주력하고 있다. 이는 AI와의 소통이 단순한 음성이나 텍스트를 넘어, 실제 사람과 대화하는 듯한 시각적 경험으로 확장될 것임을 시사한다.

레몬슬라이스는 기술적으로 '세계 모델(world models)'을 활용하여 아바타를 개발한다. 이 세계 모델은 특히 인간의 행동과 표현에 초점을 맞춰 학습된다. 이를 통해 아바타는 인간의 복잡한 움직임과 미세한 표정 변화까지 자연스럽게 모방하고 생성할 수 있다.

세계 모델을 기반으로 한 아바타는 여러 가지 이점을 제공한다. 이 모델은 전신 움직임, 물체 상호작용, 장면 내 움직임, 그리고 미세 표정 및 감정에 이르기까지 복합적인 요소들을 자연스럽게 해결할 수 있는 능력을 갖추고 있다. 모델이 한 번 구축되면, 이 모든 복잡한 움직임과 표현들이 쉽게 발현되는 특성을 보인다. 이는 아바타가 단순한 애니메이션을 넘어 실제와 같은 생동감을 가질 수 있게 한다.

레몬슬라이스는 주로 API 레이어 역할을 수행한다. 즉, API를 제공하여 고객들이 자신들의 거대 언어 모델(LLM)과 음성 모델을 가져와 연결할 수 있도록 한다. 레몬슬라이스는 그 위에 시각적 레이어를 추가하여, 기존의 음성 기반 AI 에이전트에 시각적인 요소를 부여하는 역할을 한다. 이를 통해 음성만으로 소통하던 AI가 시각적 표현력을 갖춘 아바타로 확장될 수 있다.

비디오 모델 학습에서 가장 중요한 요소는 오디오 데이터이다. 오디오는 아바타의 감정과 얼굴 표정을 정확하게 구현하는 데 매우 중요한 역할을 한다. 소리의 톤과 억양에 담긴 정보가 시각적 표현과 긴밀하게 연결되어, 아바타가 더욱 자연스럽고 인간적인 모습을 보일 수 있게 한다.

대부분의 오디오 인코더는 주로 오디오북과 같이 단조롭고 감정이 적은 데이터로 학습된다는 한계를 가지고 있다. 이러한 인코더로는 표현력이 풍부한 아바타를 만들기 어렵다. 따라서 레몬슬라이스는 감정과 표현이 풍부한 아바타를 위해 맞춤형 오디오 임베딩을 개발하여 기존 오디오 인코더의 한계를 극복하고 있다.

일반적인 비디오 모델은 양방향으로 작동하여 미래와 과거의 정보를 모두 사용한다. 그러나 실시간 아바타의 경우, 미래 프레임이 존재하지 않으므로 오직 과거 정보만을 활용해야 한다. 이를 위해 레몬슬라이스는 어텐션 마스크를 사용하여 모델이 과거 정보에만 집중하도록 훈련시킨다. 이 방식은 아바타가 실시간으로 입력에 반응하며 자연스럽게 영상을 생성할 수 있도록 한다.

실시간 영상 생성을 가능하게 하기 위해, 레몬슬라이스는 30단계에 달하는 디노이징(denoising) 과정을 단 1단계로 압축한다. 이는 순수한 노이즈에서 곧바로 완전한 비디오 모델을 생성하는 것을 의미한다. 이러한 단계 단축은 아바타가 거의 즉각적으로 영상을 만들어낼 수 있도록 하여 실시간 상호작용을 지원하는 핵심 기술이다.

장시간 영상을 생성할 때 발생하는 주요 문제점은 에러 누적이다. 각 비디오 블록은 미세한 오류를 포함하며, 모델이 과거의 에러가 있는 블록을 참조하여 새로운 블록을 생성할 때 이 오류들이 누적된다. 시간이 지남에 따라 오류는 점점 더 커져 영상 품질을 저하시킨다. 이는 실시간 아바타가 장시간 동안 고품질 영상을 유지하기 어려운 근본적인 원인 중 하나이다.

이상적으로 비디오 모델은 끊임없이 작동해야 한다. 레몬슬라이스는 테디 루스벨트 아바타를 통해 8시간 동안 재설정 없이 연속적으로 프레임별 영상을 생성하는 데 성공했다. 이는 영상 생성 과정에서 에러가 누적되는 기술적 난제를 극복하고, 지속 가능한 고품질 아바타를 구현하기 위한 중요한 진전이다. 현재 16시간 동안 끊임없이 영상을 생성할 수 있는 아바타를 개발 중이며, 이는 실시간 아바타 기술의 상업적 활용 가능성을 크게 높일 것이다.