음성 에이전트: 새로운 위협인가?

그 역할에서 그는 수천 시간의 경찰 무선 데이터를 모니터링하고 미국 주요 도시에서 수백만 건의 경고를 관리하며 실제 사건 관리 경험을 광범위하게 쌓았습니다.

샤르마의 Citizen에서의 업무는 다양하고 분산된 사건에 대한 지속적인 경계를 포함했으며, 이는 현재 AI 음성 에이전트가 제기하는 중앙 집중식 위험에 대한 그의 관점에 영향을 미치고 있습니다.

샤르마는 음성 에이전트가 고립된 데모 및 개인 컴퓨터에서 대규모 생산 환경으로 전환됨에 따라 자신의 불안감이 증폭되었다고 설명합니다. 이러한 발전은 흥미로워야 하지만, 에이전트가 작동할 엄청난 규모는 물리적 범죄 보고에서는 볼 수 없었던 새로운 수준의 위험을 초래합니다.

범죄 보고의 지역적 특성과 디지털 음성 에이전트의 방대하고 상호 연결된 배치의 대비는 에이전트의 신뢰성에 대한 그의 우려의 근간이 됩니다.

음성 에이전트 기능의 급속한 발전은 주로 기본 인프라 및 오케스트레이션 계층의 상당한 개선 덕분이며, 이는 음성 경험을 구축할 수 있는 속도를 가속화합니다. 이러한 근본적인 발전은 개발자가 그 어느 때보다 효율적으로 정교한 음성 애플리케이션을 만들 수 있도록 합니다.

업계는 또한 낮은 지연 시간과 높은 신뢰성을 모두 달성하기 위해 다양한 기술을 결합하는 하이브리드 아키텍처의 개발을 목격하고 있으며, 실시간 상호 작용에서 음성 에이전트가 달성할 수 있는 한계를 확장하고 있습니다.

음성 에이전트는 종종 자연스럽고 인간처럼 들리도록 설계되지만, 잘못되거나 도움이 되지 않는 정보를 자주 제공하여 사용자 좌절을 초래합니다.

에이전트가 예상대로 작동하지 않을 때 발생하는 사용자 신뢰 상실은 음성 에이전트 기술의 채택 및 투자를 약화시킬 수 있는 중요한 비즈니스 결과로 identified됩니다.

샤르마는 AI 실패의 실제 비용을 개인적인 예시로 설명합니다. 의료 예약 실패는 이 경우에는 사소했지만, 중요한 시술이었거나 조부모와 같은 취약한 개인에게 영향을 미쳤다면 심각한 결과를 초래할 수 있었습니다. 이러한 실패의 결과는 단순한 시간 낭비부터 생명을 위협하는 건강 위험까지 다양하며, 신뢰할 수 없는 AI의 심각한 함의를 강조합니다.

그는 이러한 실패 모드를 수백만 명의 사용자 또는 중요한 서비스에 걸쳐 확장하면 엄청나게 높은 사회적 및 개인적 비용이 발생하여 개별적인 결함이 광범위한 시스템 문제로 변모한다고 강조합니다.

샤르마는 연간 수조 건의 통화가 곧 음성 에이전트로 전환되어 운영 영역이 크게 확장될 것으로 예상합니다. 낙관적인 1%의 오류율로도 이러한 전환은 연간 100억 건의 사건을 초래할 것이며, 이는 잠재적 실패의 엄청난 규모를 나타냅니다.

실제로 그는 현재 10,000개의 에이전트 모니터링 결과 오류율이 10%에 가깝다는 점을 지적하며, 신뢰할 수 없는 음성 에이전트의 실제 영향이 이론적 예측보다 훨씬 높을 수 있음을 의미합니다.

샤르마는 음성 에이전트 문제를 심각도별로 분류하며, 실제 범죄와 유사하게 비유합니다. 반복적인 응답과 같은 영향이 적은 성가심은 쓰레기 화재와 같은 경미한 사건과 비슷합니다. 불편하지만 해롭지 않습니다. 대조적으로, 영향이 큰 위험에는 에이전트가 사용자의 알레르기 정보를 잘못 처리하는 것과 같은 중요한 안전 문제가 포함되며, 이는 대량 총격과 같은 심각한 사건을 반영합니다.

그는 패스트푸드 드라이브스루와 같은 환경에서 음성 에이전트를 대량 배포하면 위험 가능성이 크게 증가하며, 광범위한 실패가 동시에 수많은 개인에게 영향을 미칠 수 있다고 강조합니다.

샤르마는 범죄와 음성 에이전트 배포의 중요한 차이점을 지적합니다. 범죄는 일반적으로 초지역적이고 분산되어 있어 특정 지역에서 사건이 고립됩니다. 그러나 음성 에이전트는 훨씬 더 중앙 집중화되어 공유 인프라와 공통 코드베이스에서 작동합니다.

이러한 중앙 집중화는 사소한 프롬프트 조정이나 아키텍처 업데이트와 같은 단일 변경이 엄청난 하류 영향을 미쳐 전체 시스템에 걸쳐 동시에 수백만 명의 사용자에게 영향을 미칠 수 있음을 의미합니다.

두 번째 단계는 이러한 문제를 영향 규모에 따라 우선순위를 지정하여 가장 큰 혼란을 야기하는 문제에 집중하는 것입니다.

다음으로 팀은 식별된 문제를 효과적으로 해결하는 방법을 이해한 다음 이러한 수정을 실행해야 합니다. 최종 단계는 변경 사항이 실제로 작동하는지 여부와 시스템의 다른 곳에서 회귀를 유발했는지 여부를 모니터링하는 것이며, 지속적인 신뢰성을 위해 지속적인 생산 모니터링이 필수적입니다.

대부분의 팀은 사용자 상호 작용에 대한 직관을 개발하기 위한 중요한 단계인 통화를 수동으로 청취하여 대화를 모니터링하기 시작합니다. 이 초기 수동 접근 방식은 심층적인 통찰력을 얻는 데 효과적이지만, 통화량이 증가함에 따라 빠르게 확장 불가능해집니다.

팀은 알려진 문제를 정리하기 위해 스프레드시트 또는 루브릭을 사용하는 경우가 많지만, 추가 확장을 위해서는 평가 제품에 투자해야 합니다. 샤르마는 LLM-as-a-judge 도구가 점수를 계산할 수 있지만, 복잡하거나 이전에 보지 못한 문제에 대한 새로운 통찰력을 제공하는 데 종종 어려움을 겪는다고 지적합니다.

금융 서비스의 중요한 예는 사용자가 신용 카드를 동결하도록 돕기 위해 설계된 음성 에이전트와 관련이 있습니다. 이 필수 기능이 실패하면 이는 거대하고 용납할 수 없는 시스템적 실패를 구성합니다.

이러한 실패는 심각한 결과를 초래할 수 있으며, 잠재적으로 금융 사기 또는 상당한 사용자 고통으로 이어질 수 있으므로 이러한 높은 위험의 기능에 대한 엄격한 주의의 중요성을 강조합니다.

샤르마는 동일한 테스트 케이스를 단순히 반복하는 것을 넘어 더 강력한 AI 테스트 접근 방식을 옹호합니다. 더 나은 방법은 핵심 의도를 동일하게 유지하면서 문구, 패턴, 악센트 및 말하는 스타일을 다양화하여 더 넓은 범위를 보장하는 것입니다.

또한, 테스트 혼합에 하나 이상의 새로운 의도를 통합하면 팀이 변경 사항이 순 긍정적이며 의도하지 않은 부정적인 결과를 초래하지 않는다는 훨씬 더 큰 확신을 가질 수 있으므로 더 포괄적이고 효과적인 업데이트를 보장합니다.

샤르마는 합성 사전 배포 설정의 한계를 강조하며, 그러한 통제된 환경에서는 특정 수정 사항과 가설을 적절하게 테스트하기가 매우 어렵다고 지적합니다. 실제 상호 작용, 특히 아웃바운드 통화의 중요한 처음 5초는 시뮬레이션이 완전히 재현할 수 없는 미묘한 데이터를 제공합니다.

음성 품질 및 미묘한 인간 행동과 같은 요소는 에이전트 성능에 크게 영향을 미치므로, 정확한 실제 성능 데이터를 수집하고 라이브 환경에서 변경 사항의 효과를 확인하기 위해 A/B 테스트가 필수적입니다.

이러한 에이전트가 영업 비밀과 같은 민감한 정보를 추출할 수 있다면, 보호된 건강 정보(PHI) 및 개인 식별 정보(PII)를 공개하도록 개인을 유혹하는 데 확실히 사용될 수 있습니다.

에이전트의 기능과 보안 간의 내재된 절충은 더 자연스럽고 인간처럼 들리는 음성이 악의적인 행위자의 성공률을 높일 수 있음을 의미합니다. 이는 인간과 다른 AI 시스템을 모두 표적으로 삼아 에이전트를 무기화하여 데이터 유출 및 착취의 위험을 증대시킬 수 있다는 놀라운 가능성을 제기합니다.

샤르마의 팀은 AI 취약점이 단순히 이론적인 것이 아니라는 가설을 검증하기 위해 4월에 레드팀 제품 테스트를 수행했습니다. 결과는 상당한 손상률을 나타냈으며, 테스트 중 에이전트 5개 중 1개를 침해할 수 있음을 입증했습니다.

이러한 테스트는 금융 서비스 및 의료와 같은 중요한 부문에서 성공적인 침해를 확인했으며, 심지어 검증 프로토콜도 우회될 수 있음을 밝혔습니다. 이러한 실제 시연은 AI 음성 에이전트 배포에 대한 강력한 보안 조치의 긴급한 필요성을 강조합니다.

이 방어는 배포 전에 취약점을 포착하기 위해 텍스트-텍스트 및 음성-음성 상호 작용을 모두 포함하는 사전 배포 테스트에 대한 심층적인 투자로 시작됩니다.

결정적으로, 통화별 점수 및 지속적인 수동 평가를 통합하는 모든 유형의 포괄적인 모니터링 시스템이 필수적입니다. 높은 위험 환경의 경우, 진화하는 위협에 대해 음성 에이전트 시스템을 지속적으로 도전하고 보호하기 위해 연중무휴 레드팀 구성이 필요합니다.

음성 에이전트는 기존 IVR 또는 긴 대기열에 비해 크게 향상된 사용자 경험을 제공하지만, 이러한 발전은 보안 사고의 급증으로 이어질 수 있는 양날의 검입니다. 악의적인 행위자들은 이러한 인간과 유사한 에이전트에 내재된 취약점을 적극적으로 악용하고 있어, 이전의 투박한 에이전트보다 더 위험합니다.

AI 관련 보안 사고의 양은 극적으로 증가할 것으로 예상되며, 샤르마는 음성 에이전트가 광범위한 영향과 악용 가능성을 고려할 때 기존 범죄보다 더 즉각적이고 광범위한 위협을 나타낸다고 개인적으로 확신합니다.