음성 에이전트: Siri부터 전이중 AI까지

파리에 본사를 둔 스타트업 그라디움은 Neil Zeghidour가 음성 기술에 중점을 두고 설립했습니다. 이 회사는 Moshi, Hibiki, 다양한 로컬 TTS(텍스트 음성 변환) 모델과 같은 주목할 만한 음성 모델을 개발해 온 비영리 연구소 QTI에서 나왔습니다. 이러한 기초 연구 배경이 그라디움의 음성 에이전트 기능 발전을 위한 현재 작업의 기반이 됩니다.

그라디움의 제품에는 TTS(텍스트 음성 변환) 서비스, API(애플리케이션 프로그래밍 인터페이스), 온디바이스 STT(음성 텍스트 변환) 기능이 포함됩니다. 이 회사의 핵심 전략은 다양한 오디오 관련 작업에 적용될 수 있는 강력한 파운데이션 모델을 개발하여 음성 상호작용의 지능과 자연스러움을 향상시키는 것입니다.

Siri의 아키텍처는 현대 대규모 언어 모델(LLM)의 복잡한 추론 기능 없이 작동하여 현저히 제약적이었습니다. Siri는 주로 자연어 이해와 기본적인 분류 규칙에 의존하여 개방형 대화보다는 특정 폐쇄형 사용 사례로 유용성이 제한되었습니다.

OpenAI의 오리지널 음성 모드는 2세대 음성 에이전트의 출현을 알렸으며, Siri의 경직된 분류 방식에서 LLM(대규모 언어 모델) 기반의 논리로의 주요 전환을 의미했습니다. 이러한 진화는 대화에 향상된 자연스러움을 가져와 더 개방적인 대화를 가능하게 했습니다. 그러나 이러한 초기 LLM 기반 시스템은 진정한 에이전트 기능을 종종 부족했으며, 심각한 지연 문제로 인해 실시간 상호 작용이 방해받는 경우가 많았습니다.

라이브 데모에서는 Gradium의 음성 모델로 코딩된 드라이브 스루 봇을 선보였는데, 이는 이전 세대보다 더 빠르고 원활한 상호 작용을 제공하도록 설계되었습니다. 이러한 발전은 지연 시간을 줄여 복잡하고 실제적인 대화 작업을 처리할 수 있는 매우 반응성이 뛰어난 시스템으로의 전환을 의미합니다.

초기 모델이 주로 질문에 응답했던 것과 달리, 이러한 고급 에이전트는 진행 중인 상호 작용을 추적하고, 특정 작업을 수행하며, 주문 처리나 결제 처리와 같은 실제 기능을 수행할 수 있습니다. 이러한 변화는 기본 Q&A에서 도구 사용을 통해 강화된 정교한 추론 및 계획으로의 전환을 나타내며, 실용적인 응용 분야를 위한 진정한 "음성 에이전트"가 되었습니다.

계단식 음성-음성 시스템은 개선되고 있지만, 인간 대화에 비해 여전히 더 높은 지연 시간을 겪어 상호 작용이 덜 자연스럽게 느껴집니다. 음성을 텍스트로 변환한 다음 다시 음성으로 변환하는 과정에서 근본적인 한계가 발생합니다. 이 과정은 종종 톤과 감정과 같은 비언어적 뉘앙스를 손실시켜 생성된 음성의 전반적인 자연스러움과 표현력을 손상시킵니다.

이러한 통합은 모델이 톤과 감정과 같은 비언어적 정보를 처리할 수 있게 하여 음성에서 향상된 자연스러움을 이끌어냅니다. 또한 이러한 모델은 상당한 지연 시간 개선을 이루어 상호 작용 속도를 인간 대화에 더 가깝게 만들었습니다.

이러한 음성 중심 모델의 근본적인 지능 기능은 직접 비교 시 여전히 제한적입니다. 이는 자연스러움과 지연 시간에서는 뛰어나지만, 복잡한 추론 및 이해 능력은 주로 텍스트 처리에 의존하는 모델에 미치지 못한다는 것을 의미합니다.

속도와 지연 시간에서 상당한 발전에도 불구하고, 현대 AI 음성 에이전트는 턴테이킹 통신에 의존하기 때문에 종종 '무전기'와 같은 특성을 보입니다. 이러한 반이중 모델은 지속적인 피드백과 동시 발화를 포함하는 인간 대화의 연속적이고 중첩되는 흐름을 시뮬레이션하는 데 본질적으로 실패합니다. 음성 중첩을 자연스럽게 할 수 없다는 것은 상호 작용을 인위적이고 거슬리게 만들며, 이는 순차적인 턴테이킹 시스템으로는 완전히 해결될 수 없는 근본적인 한계를 나타냅니다.

일반적인 전화 통화에서 인간은 시간의 최대 20%까지 서로의 말을 겹쳐 말하며 유연하고 편안한 대화 역학을 만듭니다. 이러한 지속적이고 동시적인 정보 교환은 공감 전달, 이해 확인 및 유동적인 대화 유지에 중요하며, 현재 대부분의 AI 음성 에이전트에는 이러한 요소가 부족합니다.

이러한 인코더는 원시 오디오 입력을 받아 텍스트가 임베딩되는 방식과 유사하게 매우 밀도 높고 압축된 표현으로 압축합니다. 이 과정은 LLM(대규모 언어 모델)이 오디오 데이터를 효과적으로 훈련하여 텍스트 정보를 처리하는 것과 훨씬 더 정교하게 음성을 이해하고 생성할 수 있도록 합니다.

이 아키텍처는 두 대화 참가자가 동시에 활성 또는 비활성 상태일 수 있도록 하여 인간 대화의 자연스러운 흐름을 재현합니다. 이 접근 방식은 현재 Thinking Machines와 같은 기술에서 상호 작용 모델에 사용되고 있으며, OpenAI의 양방향 모델에서도 활용되어 AI가 동시 발화와 더 복잡한 대화 역학을 처리하는 능력을 향상시킬 가능성이 있습니다.

전이중 모델은 다른 어떤 시스템보다 인간 대화를 더 가깝게 모방하여 음성 상호 작용에서 자연스러움의 정점을 나타냅니다. 그러나 현재 이 모델들은 종종 지능을 희생하여, 덜 자연스러운 음성-음성 모델보다도 능력이 떨어지는 것으로 판명되었으며, 음성-음성 모델 자체도 계단식 시스템보다 지능이 떨어집니다. 지속적인 과제는 높은 수준의 자연스러움을 유지하면서 동시에 모델의 핵심 지능을 발전시켜 원활한 대화 흐름과 정교한 추론 능력을 동시에 달성하는 것입니다.

음성 에이전트에 사용되는 최신 LLM(대규모 언어 모델)은 매우 지능적이지만, 대화에서는 자연스러움이 부족한 경우가 많습니다. 반대로 음성-음성 모델은 원시 추론 지능보다 자연스러움을 우선시합니다. 이는 LLM의 고정된 용량이 추가 모달리티를 처리하는 데 소모되어 필연적으로 핵심 지적 능력이 감소하기 때문에 발생합니다.

한 가지 경로는 모든 기능을 단일하고 점점 더 강력해지는 시스템에 통합하는 것을 목표로 하는 통합 음성-음성 모델을 확장하는 것입니다. 두 번째 경로는 모듈성에 중점을 두어 모델을 별개의 자연스러운 인터페이스와 분리된 견고한 추론 백엔드로 분할하여 각 구성 요소의 전문적인 최적화를 가능하게 합니다.

음성 AI 개발을 위한 우월한 대안은 'Moushiraq' 및 'Thinking Machine Interaction'과 같은 개념으로 대표되는 하이브리드 아키텍처 접근 방식입니다. 이 전략은 대화를 매우 자연스럽게 유지하는 것을 유일한 목적으로 하는 작고 잠재적으로 온디바이스 전이중 음성-음성 인터페이스를 활용하는 것을 포함합니다. 모든 복잡한 사고, 도구 호출, 추론 및 기타 에이전트 기능은 강력한 백그라운드 텍스트 LLM(대규모 언어 모델)에 위임됩니다. 이러한 분리를 통해 수백 개의 자연스러운 음성 인터페이스가 단일 비동기 백엔드를 쿼리할 수 있어 자연스러움과 계산 효율성을 모두 최적화할 수 있습니다.

잡담과 같은 간단한 대화 상호 작용을 위해 거대한 통합 모델을 실행하는 것은 경제적으로 비효율적이고 낭비적입니다. 또한 통합 모델은 일반적으로 사용자를 특정 백엔드 공급업체에 묶어 구성 요소를 사용자 지정하거나 전환할 수 있는 능력을 제한하여 개발자를 위한 장기적인 선택권을 제한합니다. 복잡한 통합 음성-음성 파이프라인에 대한 업데이트도 본질적으로 느리지만, 하이브리드 시스템은 자연스러운 인터페이스와 추론 백엔드의 보다 민첩한 개발 및 독립적인 최적화를 허용하여 더 비용 효율적이고 적응성이 뛰어난 솔루션이 됩니다.