Google DeepMind, 음성-음성 AI 선도

이 이니셔티브는 다양한 플랫폼과 애플리케이션에서 원활한 상호작용이 가능한 보편적인 음성 에이전트를 구축하는 데 중점을 둡니다.

이러한 노력은 음성이 자연스럽고 직관적인 인터페이스 역할을 하는 AI 생태계를 만드는 데 필수적이며, 인간-컴퓨터 상호작용에 대한 Google DeepMind의 장기적인 비전을 구현합니다.

이러한 관점은 현재 애플리케이션을 넘어선 고급 음성 기술 개발을 주도합니다.

Gemini Live 및 Search와 같은 현재 음성 애플리케이션은 초기 기능을 보여주며, Google DeepMind는 이러한 사용 사례를 기업 및 클라우드 환경으로 크게 확장하여 다양한 맥락에서 사용자 경험을 향상시킬 계획입니다.

Tom Ouyang은 음성-텍스트 시스템의 진화를 상세히 설명하며, 약 2018년까지 이러한 시스템이 음향, 발음, 언어 모델을 포함한 수많은 개별 구성 요소에 의존했음을 지적합니다. 이 모듈식 접근 방식은 개발 및 배포를 위해 광범위한 도메인 지식을 요구했습니다.

2018년 이후, 업계는 보다 간소화된 종단간 시스템으로 전환하여 전문 도메인 지식의 필요성을 크게 줄였습니다. 그러나 이러한 전통적인 종단간 모델은 주로 기본적인 전사 작업에 국한되었으며, 종종 음성 언어 내의 톤, 감정 또는 편향과 같은 뉘앙스를 해석하지 못했습니다.

Google DeepMind의 Gemini 모델은 사전 훈련 단계부터 인터리브된 멀티모달 예시로 훈련된다는 점에서 고유한 멀티모달 방식으로 패러다임 전환을 나타냅니다. 이 기본적인 접근 방식은 오디오, 비디오 및 텍스트 입력을 통합된 토큰 공간으로 통합합니다.

Tom Ouyang은 이를 통해 모델이 단일 모달리티를 넘어 다양한 감각 정보를 전체적으로 처리할 수 있다고 설명합니다. 이러한 모델은 타임스탬프를 정확하게 주석 처리하면서 스토리를 요약하는 것과 같은 고급 기능을 시연하여 인간의 인식을 더욱 가깝게 모방하는 정교한 다중 감각 입력 처리의 토대를 마련합니다.

이는 실시간 해석에 어려움을 겪었던 기존의 계단식, 다중 구성 요소 시스템이 직면했던 역사적 과제를 극복했기 때문에 상당한 개선을 의미합니다. 새로운 모델의 통합 접근 방식은 즉석에서 강력하고 정확한 번역을 보장합니다.

향상된 번역 품질은 동적 환경에서 더욱 자연스럽고 효과적인 교차 언어 통신을 가능하게 하여 통신 격차를 즉시 해소합니다. 이 기능은 국제 비즈니스 회의에서부터 개인 상호작용에 이르기까지 광범위한 애플리케이션에 중요합니다.

언어를 지속적인 스트림으로 처리함으로써 모델은 즉각적이고 상황에 맞는 번역을 제공할 수 있어 이전의 복잡한 처리 파이프라인과 관련된 지연 없이 상호작용을 더욱 원활하고 효율적으로 만듭니다.