AI 생성 임상 기록, 위험한 누락 및 조작 위험성 제기

Sebastian Fox는 AI가 생성한 임상 기록이 환자의 두통을 일상적인 것으로 묘사하며 파라세타몰 복용 및 증상 지속 시 추적 관찰을 제안한 사례를 상세히 설명했습니다. 그러나 겉으로 보기에는 양호해 보이는 이 기록은 거대 세포 동맥염을 나타내는 중요한 증상인 턱 통증을 위험하게도 누락했습니다.

치료되지 않은 거대 세포 동맥염은 돌이킬 수 없는 시력 상실로 이어질 수 있습니다. AI 기록은 기술적으로 일관성이 있었지만, 중요한 진단 증상을 포착하지 못하여 AI가 일상적인 것처럼 보이는 누락을 통해 어떻게 '보이지 않는 위험'을 만들 수 있는지를 보여줍니다.

또 다른 실제 사례에서 20대 젊은 환자가 편도선염으로 치료를 받았습니다. AI 모델은 이 상황을 기록하면서 흉통, 존재하지 않는 당뇨병 진단, 환자가 복용한 적 없는 약물, 그리고 존재하지 않는 병원 주소 등 상당한 의료 세부 정보를 조작했습니다.

이러한 조작은 심각한 후속 결과를 초래했습니다. 환자는 나중에 AI가 생성한 잘못된 기록을 바탕으로 당뇨병성 눈 검사를 위해 잘못 소환되었습니다.

AI가 생성한 임상 기록에 대한 대규모 실제 연구에 따르면 약 20개 중 1개의 기록에 환자에게 심각한 해를 끼칠 수 있는 심각한 오류가 포함되어 있었습니다. 치명적인 오류 외에도 5개 중 1개의 기록에는 중요한 정보가 누락되어 있었습니다.

또한 10개 중 1개의 기록에는 AI가 원래 상호작용에 없던 정보를 조작한 환각이 포함되어 있었습니다. 이러한 통계는 의료 문서화에서 현재 AI 시스템이 제기하는 심각한 안전 위험을 강조합니다.

현재 AI가 생성한 임상 기록에 특화된 표준화된 부작용 보고 메커니즘이 부족하여 의료 시스템 전반에 걸쳐 이러한 문제를 체계적으로 추적하고 해결하기 어렵습니다.

시장 선두 앰비언트 스크라이브 3개를 테스트한 결과, 자동 감지 시스템이 위험한 오류를 식별하지 못하는 경우가 많다는 사실이 드러났습니다. Sebastian Fox는 대부분의 오류, 특히 위험이 큰 오류는 자동 감지 임계값 이하로 떨어지는 경우가 많다고 설명했습니다.

가장 치명적인 실패는 기록 내에서 완전히 일관성 있게 보이는 위험이 큰 누락으로, 자동 시스템이 잘못되었거나 누락된 것으로 플래그 지정하기 어렵게 만듭니다.

AI 모델은 임상 의사 결정을 크게 변경하는 미묘한 추론 오류를 범할 수 있습니다. 한 사례에서 환자는 단순히 두통이 '방금 시작됐다'고 말했지만, AI는 이를 '갑작스러운 발병'으로 기록했습니다.

갑작스러운 발병은 뇌출혈을 암시하는 중요한 위험 신호로, 전체 임상 검사를 변경하고 불필요하거나 잘못된 개입으로 이어질 수 있습니다. 또 다른 사례에서 AI는 의사와 환자가 동의한 항생제 시도 계획을 무시하고 추가 검사 계획을 기록하여 임상 맥락에 대한 근본적인 오해를 보여주었습니다.

Sebastian Fox는 임상 문서화에서 AI 오류가 전사 부정확성과 기록 생성 단계에서의 과도한 추론이라는 두 가지 주요 원인에서 비롯된다고 설명했습니다. 전사 오류에는 '휴마로그'를 '휴물린'으로, '갑상선 기능 항진증'을 '갑상선 기능 저하증'으로 잘못 듣는 등 비슷한 발음의 용어를 잘못 듣는 경우가 포함되며, 이는 치명적인 약물 또는 진단 오류로 이어질 수 있습니다.

반면에 생성 오류는 완벽한 전사에도 불구하고 발생할 수 있습니다. 이러한 오류에는 AI가 말하지 않은 정보를 추가하거나, 말한 정보를 변경하거나, 기록에 포함되어야 할 중요한 세부 정보를 누락하는 경우가 포함됩니다.

근본적인 과제는 AI의 유용한 재구성과 요약을 위험한 조작 또는 누락과 구별하는 데 있습니다. 이 구별은 환자 안전에 매우 중요합니다.

연사는 정확한 입력이 주어졌을 때에도 AI가 세부 사항을 '환각'하거나 조작하는 능력이 자동화된 임상 문서화의 신뢰성과 안전성을 보장하는 데 여전히 중요한 장애물이라고 강조했습니다.

임상 환경에서 AI를 효과적으로 평가하기 위해 Sebastian Fox는 3단계 반복 루프 프레임워크를 제안했습니다. 이 프레임워크는 가상 시나리오에 의존하기보다는 실제 시스템 출력에서 실제 실패 모드를 발견하는 것으로 시작합니다.

두 번째 단계는 인간 전문가가 이러한 출력을 어떻게 판단하는지 파악하는 것으로, 그들의 추론과 수정에 중점을 둡니다. 마지막으로, 시스템의 출력은 이러한 전문가의 판단과 비교하여 조정되며, 정확성에 대한 '표준'이 동적이며 진화한다는 이해를 바탕으로 평가 루프가 함께 움직여야 합니다.

Sebastian Fox는 평가 기준표가 고립되어 생성되어서는 안 되며 실제 시스템 성능에서 파생되어야 한다고 강조했습니다. 그는 실제 시스템 실패 모드는 본질적으로 무한하고 예측 불가능하기 때문에 '진공 상태에서' 기준표를 작성하는 것은 비효율적이라고 주장했습니다.

무엇이 잘못되었는지 정확히 식별하려면 AI 시스템을 생산 환경에 배포하고 실제 출력을 면밀히 검토해야 합니다. 유사한 오류를 클러스터링함으로써 실제 실패 모드가 자연스럽게 드러나며, 이전에 상상했던 오류만 잡아내는 합성 테스트 케이스로는 놓칠 수 있는 문제가 밝혀집니다.

전문가 판단을 포착할 때에는 단순한 점수를 넘어 인간 전문가가 제공하는 추론과 수정을 포함해야 합니다. Sebastian Fox는 이러한 질적 피드백이 AI 성능의 미묘한 차이를 이해하는 데 매우 중요하다고 설명했습니다.

시간이 지남에 따라 이러한 상세한 이유와 수정 사항을 수집하면 전문가가 시스템을 실제로 평가하는 방법에 대한 포괄적인 기록이 구축됩니다. 이 과정은 효과적이기 위해 지나치게 긴 검토 세션을 필요로 하지 않아 워크플로에 효율적인 통합이 가능합니다.

Sebastian Fox는 정적 기준표에 의존하기보다는 평가 기준을 '즉석에서' 동적으로 조합할 것을 권장했습니다. 각 AI 출력에 대해 평가 에이전트는 해당 사례에 특정한 모든 관련 맥락을 가져와야 합니다. 여기에는 이전에 평가되고 점수가 매겨진 유사한 출력에 대한 메모리, 적용 가능한 전문가 수정 사항, 관련 참조 문서 또는 지침이 포함됩니다.

이 접근 방식은 빠르게 구식이 되는 정적 기준표의 한계를 피하고 빈번하고 비용이 많이 드는 모델 재훈련의 필요성을 줄입니다. 동적 참조를 사용함으로써 평가 시스템은 진화하는 표준에 적응하고 AI 성능에 대한 더 정확한 평가를 제공할 수 있습니다.

Sebastian Fox는 적절한 맥락을 제공하면 진단 정확도가 어떻게 향상되는지 임상 사례를 통해 설명했습니다. 그는 위험 신호 누락으로 인해 일상적인 것으로 잘못 분류된 심한 두통 환자의 초기 사례를 언급했습니다.

AI 모델 자체는 유능하지만, 단순히 사례를 암기하는 것이 아니라 올바르게 추론하기 위해서는 적절한 맥락이 필요합니다. 모델에 관련 정보가 주어지고 특정 임상 표준에 따라 평가될 때, 놓친 위험 신호는 명확해집니다. 이는 그러한 오류를 잡는 것이 본질적으로 어렵지 않다는 것을 시사합니다. AI는 주어진 맥락에서 어떤 정보가 중요한지 이해하는 데 부족했을 뿐입니다.

Sebastian Fox는 평가 시스템 성능에 대한 비교 데이터를 제시하며, 강력한 상용 '심사자'는 임상 표준의 구체적이고 진화하는 맥락이 부족하여 중요한 세부 사항을 놓치는 경우가 많다고 강조했습니다. 정적 기준표는 처음에는 도움이 되지만, 의료 이해와 모범 사례가 시간이 지남에 따라 변화함에 따라 빠르게 구식이 되어 지속적인 개선에 비효율적입니다.

대조적으로, 실패 모드를 지속적으로 발견하고 전문가 판단에 따라 출력을 보정하는 동적 루프 기반 평가 시스템은 특정 데이터 세트에서 현저히 우수한 성능을 보였습니다. 이 접근 방식은 지속적인 학습과 적응을 가능하게 하여 AI가 현재 임상 현실 및 전문가 기대치와 일치하도록 보장합니다.

동적 루프 모델에 내재된 지속적인 학습은 진화하는 표준에 적응할 수 있도록 하여 시간이 지남에 따라 AI가 생성하는 임상 문서의 신뢰성과 안전성을 높입니다.

Sebastian Fox는 AI 평가가 한 번 구축하고 고정하는 활동이 될 수 없다고 강조하며 결론을 내렸습니다. 그는 임상 AI에서 '좋음'의 진정한 표준은 고정된 문서로 존재하는 것이 아니라 실제 출력에서 지속적으로 발견되고 그 지식을 가진 전문가에 의해 검증되어야 한다고 말했습니다.

이는 자유 형식의 전문가 의견과 지속적인 참여를 통해 원자재를 수집하여 평가 프로세스를 생생하고 적응적으로 유지해야 함을 의미합니다. 목표는 의료 행위의 동적인 특성을 반영하여 학습하고 조정하는 시스템을 구축하는 것입니다.