휴먼-인-더-루프 AI: 견고한 에이전트 구축

멜라니 워릭이 Ziggy라는 마스코트와 함께 시연한 것처럼 Google의 ADK와 Temporal은 통합되어 차량, 고객 및 배차 에이전트를 조율합니다. 이 시스템은 차량, 고객 및 배차 에이전트가 협력하여 작동하는 모습을 보여주었습니다.

이 시스템은 Google의 ADK를 Temporal과 통합하여 여러 에이전트의 오케스트레이션과 강력한 상태 추적을 가능하게 합니다. Temporal의 UI는 상위 워크플로우 내에서 이벤트 기록을 명확하게 시각화합니다.

전체 시스템 오류를 방지하기 위해 Temporal은 주문 변경과 같은 요청에 대해 인간 승인이 수신될 때까지 특정 작업을 일시 중지합니다.

Temporal은 특정 작업을 인간 입력에 대해 일시 중지하는 동안 나머지 시스템은 중단 없이 계속 작동하도록 합니다.

이 시스템은 인간 승인을 받은 후에만 업데이트를 처리하여 비동기 사용자 요청을 처리할 때 전체 시스템 오류를 방지합니다.

에이전트 루프는 자율 에이전트 설계의 핵심인 추론, 행동 및 관찰의 기본적인 행동을 기반으로 작동합니다.

'하네스'는 에이전트의 생산 환경으로의 전환을 용이하게 하는 중요한 아키텍처 구성 요소입니다. 하네스에 대한 논의에는 종종 모델, 도구, 메모리 및 보안 보호 장치의 포함 여부에 대한 논쟁이 포함됩니다.

하네스의 주요 기능은 이러한 자율 에이전트를 위한 구조화된 프레임워크를 제공하는 것입니다.

세 가지 개별 에이전트 루프가 플랫폼을 구동하며, 차량 에이전트는 Google 지도를, 고객 에이전트는 Google 검색을 사용하고, 배차 에이전트는 전체 결정을 처리합니다.

차량 에이전트는 Google 지도를 사용하여 운전자를 조사하고, 고객 에이전트는 Google 검색을 통해 주문을 조사합니다. 배차 에이전트는 차량 및 고객 에이전트의 입력을 모두 처리하여 배달 결정을 내립니다.

Temporal은 분산 시스템의 오류 처리 및 상태 관리를 표준화하고 내장된 기본 요소를 제공합니다.

이러한 기본 요소는 Python, TypeScript 및 Rust와 호환되며, 플랫폼은 소프트웨어 또는 관리형 서비스로 사용할 수 있습니다. 주요 구성 요소에는 작업자, 워크플로우 및 활동이 포함됩니다.

Temporal의 아키텍처에서 작업자는 코드 실행을 담당합니다.

워크플로우는 시스템 내의 단계를 추적하고 장기 실행 상태를 관리하며, 활동은 모델 또는 도구 호출과 같은 외부 시스템과의 상호 작용을 처리합니다.

인간 입력에 대한 직접 함수 호출은 분산 서비스에서 차단 위험을 초래하므로 대체 메커니즘을 사용하는 것이 필수적입니다.

두 가지 핵심 기본 요소인 대기 조건과 신호는 에이전트가 스레드 차단 없이 일시 중지하고 충돌 후 프로세스를 재개할 수 있도록 합니다.

이러한 시스템 기본 요소는 확장성을 향상시키고 비동기적 인간 상호 작용 관리에 중요한 타임아웃과 같은 내장 기능을 포함합니다.

Google의 ADK(Agent Development Kit)의 경우, 모델과 도구는 각각 `temporal_model` 및 `activity` 도구를 사용하여 래핑됩니다. 작업자는 Google ADK 플러그인과 같은 특정 프레임워크 플러그인을 전달하여 구성되며, 워크플로우는 프로세스 단계를 관리하고 활동은 모델 호출 및 도구 실행을 처리합니다.

`asyncio`로 구현된 대기 조건은 다른 코루틴을 중지하지 않고 특정 워크플로우의 실행을 일시 중지할 수 있도록 합니다.

이 일시 중지 동안 워크플로우는 메모리에서 제거되거나 시스템에 의해 '주차'됩니다. 인간 승인과 같은 외부 입력은 workflow.signal 함수를 통해 작업을 재개하기 위해 워크플로우로 다시 주입됩니다.

노드 호출을 활동으로, 프로세스 단계를 워크플로우로 처리함으로써 Temporal은 기본 프레임워크와 관계없이 LangChain을 포함한 도구 전반에 걸쳐 상태를 관리합니다.

그래프 설정에서 모델 호출과 같은 노드 호출은 활동으로 정의되고, 전체 프로세스 단계는 워크플로우로 구성됩니다. 워크플로우는 비결정론적으로 처리되는 활동과 대조적으로 엄격한 결정론을 유지합니다. 인터럽트 함수는 LangChain에서 대기 조건을 트리거하여 인간 신호가 도착할 때까지 프로세스를 유지합니다.

데모 아키텍처는 ADK에서 실행되는 고객 및 차량 에이전트와 LangGraph에서 작동하는 배차 에이전트를 특징으로 하며, Temporal은 전체 시스템에 걸쳐 통합되어 있습니다.

이 시스템은 각 주문에 대해 하위 워크플로우를 생성하여 프레임워크별 독립적인 평가를 보장합니다. 고가치 주문은 신호 메커니즘을 트리거하여 자율 에이전트 활동 후 인간 개입을 요구합니다.

인간 응답은 일반적으로 즉각적이지 않으므로 시스템은 다양한 지연에 적응해야 합니다.

시스템은 인간이 응답할 때까지 대기 조건에 들어가며, 이 인간 상호 작용은 몇 분, 며칠 또는 몇 주에 걸쳐 진행될 수 있습니다.

시스템 탄력성을 보장하기 위해 이벤트는 서비스 외부에 저장되어 작업자가 오프라인 상태가 될 때 데이터 손실을 방지합니다.

작업자가 돌아오면 이벤트 로그가 재생되어 시스템이 진행 상황을 잃지 않고 정확한 이전 상태를 복구할 수 있습니다.

그런 다음 에이전트는 이전에 완료된 작업을 다시 실행하지 않고 다음 필요한 단계를 식별하여 원활한 연속성을 보장할 수 있습니다.

잘못된 결정의 비용이 높을 때는 인간 개입이 우선되어야 하며, 이는 사례별 평가가 필요합니다.

개발자는 에이전트 자율성에 대한 열망과 확률 모델의 본질적인 신뢰성 부족 사이의 균형을 유지해야 합니다. 경고를 과도하게 사용하면 '경고 피로'로 이어져 사용자가 중요한 메시지를 무시할 수 있습니다. 신뢰 기반 시스템을 구축하려면 특정 문제 도메인 내에서 신중한 평가가 필요합니다.

워크플로우 일시 중지는 특정 기준이 충족될 때까지 실행을 중지하는 대기 조건 적용을 통해 관리됩니다.

인간 입력은 신호 메커니즘을 활용하여 워크플로우 실행을 진행하거나 재개합니다. 이러한 기본 요소는 기본 시스템이 온라인이든 오프라인이든 관계없이 안정적으로 작동하여 강력한 휴먼-인-더-루프 기능을 보장합니다.