모듈형 AI 프레임워크 기반 실시간 음성 에이전트

EliseAI는 자율주행차의 인지, 계획, 제어 시스템을 기반으로 실시간 음성 에이전트 아키텍처를 모델링합니다. 이 접근 방식은 복잡한 상호 작용을 관리 가능하고 전문화된 구성 요소로 분해하여 견고하고 효율적인 작동을 보장합니다.

실제 오디오 신호를 처리 가능한 데이터로 전사하는 것은 자율주행차가 환경을 해석하는 방식과 유사하게 인지 계층을 형성합니다. 언어 모델로 구동되는 계획 계층은 이러한 입력을 처리하여 적절한 응답을 생성하고, 제어 계층은 텍스트를 표현력 있는 오디오로 변환하여 원활한 음성 전달을 처리합니다.

EliseAI는 빠른 스트리밍 전사 장치인 Flux와 보다 정확하고 문맥이 풍부한 배치 전사 계층인 Scribe V2를 계층화하는 스트리밍 추측 전사 장치를 개발했습니다. 이 조합은 즉각적인 응답을 가능하게 하는 동시에 전사 정확성을 개선합니다.

Flux는 빠르고 초기 전사를 제공하여 에이전트가 상당한 지연 없이 사용자 입력을 처리하기 시작할 수 있도록 합니다. 동시에 Scribe V2는 동일한 오디오를 배치로 처리하여 더 넓은 문맥을 활용하여 Flux의 초기 부정확성을 수정합니다. 이 2계층 시스템은 사용자 발화를 이해하는 데 속도와 정확성을 모두 보장합니다.

수정 계층은 Scribe V2에서 더 정확하고 문맥을 인식하는 정보가 도착하는 즉시 오래된 스트리밍 텍스트를 적극적으로 취소합니다. 이 동적 수정 메커니즘은 에이전트의 이해가 실시간으로 발전하도록 보장하여 오해를 방지하고 시스템의 전반적인 응답성을 향상시킵니다.

이를 통해 메인 에이전트는 도구 호출이 이미 컨텍스트 내에서 이루어졌다고 가정하여 원활한 대화 흐름을 유지할 수 있습니다.

초기 생성 트리거를 통해 에이전트는 최종 사용자 입력을 기다리는 동안에도 응답 준비를 시작할 수 있습니다. 이러한 예측 처리는 내재된 지연을 가려 상호 작용이 사용자에게 더 즉각적이고 자연스럽게 느껴지도록 돕습니다.

이를 통해 에이전트의 응답은 항상 사용자의 의도에 대한 가장 정확한 이해를 기반으로 하며, 오래되거나 잘못된 정보가 사용되는 것을 방지합니다.

이 시스템은 이름과 날짜의 불일치를 해결하기 위해 음성 일치 및 컨텍스트 인식 오류 수정을 사용하여 정확성을 더욱 향상시킵니다. 에이전트는 사용자 발화가 종료되었음을 확인한 후에만 최종 응답을 내보내어 중단이나 성급한 응답을 방지합니다.

실시간 오디오 생성을 최적화하려면 에이전트가 가능한 한 빨리 오디오를 스트리밍하여 생성 지연 시간을 효과적으로 가려야 합니다. 여기에는 에이전트가 전체 텍스트 응답 생성을 마치기 전에도 오디오 재생을 시작하는 것이 포함됩니다.

이 기술은 처리 지연을 성공적으로 숨겨 상호 작용이 사용자에게 더 즉각적이고 자연스럽게 느껴지도록 합니다. 오디오 생성과 텍스트 생성을 오버랩함으로써 시스템은 더 부드럽고 반응성이 뛰어난 대화 경험을 만듭니다.

접두사 캐시는 에이전트의 출력 스트림을 모니터링하여 이전 상호 작용에서 오디오가 이미 생성된 단어 시퀀스를 식별합니다.

시스템은 캐시 조회를 트리거하기 전에 몇 단어가 생성될 때까지 기다립니다. 일치하는 항목이 발견되면 캐시된 오디오를 거의 즉시 재생할 수 있으므로 실시간 텍스트 음성 변환 합성이 필요 없습니다.

이를 통해 사전 생성된 오디오를 사용할 수 없는 경우에도 사용자 경험이 중단되지 않고 새로운 오디오가 즉석에서 합성됩니다.

Cartesia TTS는 전체 문장에 자연스러운 운율을 제공하여 인간과 유사한 대화 품질을 유지하는 데 사용됩니다. 시스템은 끊기거나 단절된 응답을 방지하기 위해 겹치는 오디오를 적극적으로 억제하여 원활한 청취 경험을 보장합니다.

이 과정에서 에이전트는 캐시된 오디오를 먼저 내보내고, 이어서 나머지 스트리밍 텍스트를 사용할 수 있게 되는 대로 내보냅니다. 이 계층화된 전달은 사용자가 기본 기술 전환을 인식하지 않고도 연속적이고 자연스러운 응답을 들을 수 있도록 합니다.

실시간 데모는 산부인과 예약 스케줄링과 관련된 자동 통화 시나리오를 선보였습니다. 에이전트는 보험 확인 및 스케줄링을 포함한 복잡한 상호 작용을 성공적으로 탐색하여 실제 적용 가능성과 견고성을 입증했습니다.

이 예시는 까다로운 대화 환경에서 스트리밍 및 캐싱 기술의 실질적인 적용을 효과적으로 강조했습니다. 자연어를 사용하여 다단계 프로세스를 처리하는 에이전트의 능력은 EliseAI의 아키텍처 혁신의 효능을 보여줍니다.

EliseAI는 고급 AI 솔루션을 중요한 생명 서비스에 적용하는 데 전념하고 있으며, 특히 주택 및 의료 부문에 중점을 둡니다. 이 회사는 실제 AI 애플리케이션을 통해 사람들의 삶에 실질적인 영향을 미치기 위해 베이 지역에서 운영 및 입지를 적극적으로 확장하고 있습니다.