더 스마트한 AI: 실행, 확인, 또는 중단?

그의 경력에는 Alexa와 Roku에서의 중요한 작업과 자신의 스타트업이 포함됩니다. 이러한 배경은 그에게 음성 사용자 인터페이스 설계 및 기술 구현에 대한 깊은 전문 지식을 제공하여 대화형 AI 개발의 핵심 인물이 되었습니다.

음성은 가장 자연스러운 인간-컴퓨터 인터페이스를 나타내며, 엄청난 힘과 편리함을 제공합니다. 그러나 음성 AI는 본질적으로 오류가 발생하기 쉽다는 것은 실수가 작동의 피할 수 없는 부분임을 의미합니다. AI 시스템이 대화형 봇에서 물리적 행동을 수행하는 구체화된 에이전트로 진화함에 따라 이러한 오류의 결과와 비용은 극적으로 증가하여 사소한 디지털 불편함에서 잠재적인 물리적 위험으로 전환됩니다.

AI가 순수한 대화형 봇에서 물리적 에이전트로 전환되면서 시스템 오류와 관련된 위험이 높아집니다. AI 시스템이 물리적 행동을 잘못 수행하면 그 결과는 디지털 실수보다 훨씬 더 심각합니다. 예를 들어, 로봇이 실수로 사용자의 시계를 쓰레기와 함께 버리는 것은 음성 비서가 단순히 잘못된 노래를 재생하는 것보다 훨씬 더 해로우며, 이는 구체화된 AI에서 강력한 오류 관리가 필요함을 강조합니다.

음성 AI 비서의 사용자 만족도를 높이는 두 가지 주요 방법이 있습니다. 첫 번째이자 가장 일반적으로 인식되는 방법은 기술적 정확성을 높이는 것으로, 기본 모델이 요청을 올바르게 해석하는 능력을 향상시키는 것을 포함합니다. Desai가 현재 활용도가 낮다고 주장하는 두 번째 방법은 별도의 '시스템 의사결정' 계층을 구현하는 것입니다. 이 계층은 순수한 정확성을 넘어 사용자 경험에 상당한 영향을 미칠 수 있는 별도의 제어 메커니즘을 나타냅니다.

시스템 정확도는 일반적으로 인간 주석이 달린 데이터와 비교하여 1,000개의 노래 요청과 같은 대규모 사용자 요청 데이터셋을 분석하여 측정됩니다. 가상의 시나리오에서 이러한 요청의 79%는 올바른 노래가 재생되는 결과를 가져와 시스템의 정확성을 나타낼 수 있습니다. 반대로 21%의 요청은 잘못된 노래로 이어져 현재 잘못 처리되고 사용자 불만에 기여하는 결과의 상당 부분을 강조합니다.

옳고 그름의 단순한 이진법을 넘어 AI 시스템은 '가설 거부' 행동을 통합할 수 있으며, 이는 종종 '중단' 또는 '거부' 행동으로 나타납니다. 이는 시스템이 충분한 확신이 없을 경우 행동을 진행하지 않기로 결정하고 대신 사용자에게 불확실성을 전달할 수 있음을 의미합니다. 예를 들어, AI는 잘못된 행동을 수행하여 실패하는 대신 "죄송합니다. 이해하지 못했습니다" 또는 "다시 말씀해주시겠어요?"라고 말할 수 있습니다.

AI 시스템은 생성된 각 가설에 0에서 1까지의 단일 신뢰 점수를 할당합니다. 이 점수는 사용자의 요청 해석에 대한 시스템의 확신도를 정량화합니다. 올바른 가설과 잘못된 가설 모두에 대한 이러한 신뢰 점수의 분포를 매핑함으로써 개발자는 시스템의 내재된 불확실성을 시각화할 수 있습니다.

중요한 단계는 시스템의 동작을 지시하는 임계값 'T'를 설정하는 것입니다. 신뢰 점수가 'T'를 초과하면 시스템은 작업을 진행하고, 그렇지 않으면 중단하거나 설명을 요청합니다.

이 임계값은 제어 메커니즘 역할을 하여 설계자가 잘못된 작업의 위험과 원활한 사용자 경험에 대한 욕구 사이의 균형을 맞출 수 있도록 합니다. 'T'를 조정하면 시스템이 응답을 더 지능적으로 관리할 수 있습니다.

궁극적으로 신뢰 점수는 불확실성을 관리하는 원칙적인 방법을 제공하여 AI 시스템이 단순한 이진 선택보다 더 미묘한 결정을 내릴 수 있도록 합니다. 이 체계적인 접근 방식은 좌절스러운 오류와 불필요한 확인을 줄여 전반적인 사용자 만족도를 향상시키는 것을 목표로 합니다.

Desai는 올바른 행동을 확인하는, 단순히 "예"라고 말하는 것이 AI를 명시적으로 수정하거나 "아니요" 후에 요청을 다시 진술해야 하는 것보다 사용자에게 덜 고통스럽다고 지적합니다. 이 구분은 '확인'이 겉으로는 온화해 보이지만 사용자 상호 작용을 늦추고 특히 '아니요' 시나리오에서 좌절스러울 수 있음을 강조합니다.

사용자 불만을 모델링하기 위해 다양한 결과에 휴리스틱 값을 할당합니다. 예를 들어, 단순한 확인('예')에는 '2'를, 수정('아니요')에는 '6'을 할당하여 시간 손실 또는 '아픔' 순간을 나타냅니다. 이 수치 표현은 수학적 비용 함수를 적용하여 이러한 사용자 고통의 순간을 최소화하는 것을 목표로 합니다.

이 비용 함수를 통해 AI 시스템은 정확성과 사용자 경험의 균형을 맞추는 최적의 임계값(예: 행동을 위한 T1, 확인을 위한 T2)을 계산할 수 있습니다. 히트맵으로 이를 시각화하여 시스템은 상호 작용의 전체 '비용'이 가장 낮은 지점을 식별합니다.

이 모델은 시스템 동작이 고통에 대한 주관적인 인식에 따라 어떻게 변화하는지 보여줍니다. 즉, 한 상황에서는 사소한 불편함(예: 잘못된 노래 재생)일 수 있는 것이 다른 상황에서는 주요 문제(예: 로봇이 물리적 오류를 범함)가 됩니다. 이를 통해 사용자 만족도를 최적화하기 위해 의사결정 임계값을 동적으로 조정할 수 있습니다.

정교한 행동 모델은 기본 모델의 정확성을 변경하지 않고도 사용자 경험을 극적으로 향상시킬 수 있습니다. 시스템 의사결정 프로세스를 최적화함으로써 AI 시스템은 사용자 만족도에서 상당한 이득을 얻을 수 있습니다. 이 접근 방식은 단순히 더 높은 순수 정확성을 목표로 하는 것을 넘어 시스템이 불확실한 상황에서 사용자와 지능적으로 상호 작용하는 방식에 중점을 둡니다. 이러한 모델의 실제 구현은 종종 실시간 학습된 의사결정 프로세스를 사용하여 사용자 피드백 및 상호 작용 패턴에 지속적으로 적응하여 동작을 개선합니다.

특정 값 및 인수는 모달리티에 따라 변경될 수 있지만, 다양한 결과에 비용을 할당하는 핵심 전제는 일관되게 유지됩니다. 예를 들어, 시각적 선택이 가능한 다중 모드 인터페이스에서는 사용자가 시스템의 이해를 시각적으로 확인할 수 있으므로 확인과 관련된 고통이 줄어들어 특정 상호 작용에 대한 비용 할당이 변경됩니다. 이러한 적응성은 다양한 AI 애플리케이션에서 사용자 경험을 맞춤형으로 최적화할 수 있도록 합니다.

AI의 미래는 디지털 및 물리적 작업을 모두 실행할 수 있는 시스템으로 점점 더 전환되고 있으며, 불확실성 하의 지능적인 의사결정이 가장 중요해지고 있습니다. Desai는 '불확실성 하의 더 스마트한 대화형 행동'을 핵심 정확성과는 다른 AI 설계의 중요하지만 종종 간과되는 '두 번째 조절 장치'로 식별합니다. 그는 이러한 정교한 의사결정을 통해 인터페이스 경험을 적절히 개선하지 못하면 상당한 병목 현상이 발생하여 AI 시스템의 광범위한 채택과 일상생활로의 성공적인 통합이 저해될 것이라고 경고합니다. 이 '두 번째 조절 장치'를 활용하는 것은 AI 시스템이 수용 가능하고 직관적인 사용자 경험을 달성하는 데 필수적입니다.