로컬 에이전트 AI, 모바일 게임 접근성 향상

현재 AI는 제품 게임의 퍼즐 핵심 콘텐츠 생성에 사용되지 않습니다. 대신, 제시된 AI 통합의 초점은 실험적이고 탐색적인 응용 프로그램에 맞춰져 있습니다.

Shafik Quoraishee는 에이전트 게임 이론에 대한 현재 발표가 2025년 AI 엔지니어 세계 박람회에서 발표했던 이전 작업과 상당히 다르다고 밝혔습니다. 이전 강연은 Connections와 같은 게임의 솔버를 구축하기 위해 그래프 신경망(GNN)을 사용하여 게임 도전 과제의 의미론적 모호성을 다루는 데 초점을 맞췄습니다. 그러나 현재 논의는 의미론적 게임 솔버를 위한 GNN을 넘어 로컬 에이전트 이론의 더 넓은 범위로 확장됩니다.

팩맨은 유한 상태 기계로 알려진 시스템을 활용하여 게임에서 초기 AI 구현의 기초적인 예시로 사용됩니다. 이 잘 알려져 있지만 단순한 조건부 AI는 게임 내 조건에 따라 캐릭터 상태를 조정합니다. 예를 들어, 유령의 행동은 현재 게임 상태에 따라 추적 및 회피 모드 사이에서 동적으로 전환되며, 이는 게임에서 최초로 명명된 AI 기반 시스템 중 하나를 보여줍니다.

이 로컬 처리는 민감한 데이터가 외부로 전송되지 않고 장치에 남아 있으므로 사용자 개인 정보 보호도 강화합니다. 또한 온디바이스 AI는 완전한 오프라인 플레이를 가능하게 하여 지속적인 네트워크 연결의 필요성을 없애고 사용자 장치에서 직접 보다 효과적인 현지화된 개인화를 지원합니다.

강화 학습(RL) 모델은 정의된 환경 내에서 광범위한 시행착오를 통해 학습합니다. 이와 대조적으로 에이전트 모델은 언어와 비전을 활용하여 정보를 해석하고 작업을 실행하며, 의사 결정에 대한 독특한 아키텍처적 접근 방식을 나타냅니다.

에이전트 AI는 기존 모델과 다르게 작동하며, 주로 언어 및 비전 모델을 정보 공간에 대한 이해를 기반으로 작업을 실행하는 중앙 '두뇌'로 활용합니다. 이 시스템은 작업 기반 실행에 중점을 두며, 세계 모델에서 학습하는 대신 명시적인 도구 호출을 통해 작업을 수행합니다. 에이전트 루프는 목표 달성을 향한 진행 상황을 보장하기 위해 지속적인 평가 주기를 포함합니다.

스페이스 인베이더에 에이전트 시스템을 구현하기 위해 게임은 여러 가지 개별 작업으로 분해되어야 했습니다. 에이전트는 적의 공격을 피하고, 총을 쏘고, 총알 궤적에 따라 함선을 왼쪽이나 오른쪽으로 이동하는 것과 같은 특정 기능을 수행합니다. 이 명령 기반 AI 아키텍처는 딥 Q 네트워크와 같은 접근 방식에 대한 대안을 제공하여 모듈식 및 명시적 작업 실행을 가능하게 합니다.

모바일 장치의 제한된 RAM 예산은 AI 모델의 파라미터 크기를 제한하므로 효율적인 메모리 관리를 위해 상태 기록 압축이 중요합니다. '멈춤' 또는 눈에 띄는 성능 저하를 방지하고 부드러운 사용자 경험을 보장하기 위해 16밀리초의 프레임 예산을 유지하는 것도 필수적입니다. 또한 에이전트의 지속적인 처리는 배터리 소모에 대한 우려를 제기하므로 전력 소비를 최소화하기 위한 신중한 최적화가 필요합니다.

개발자는 모바일 장치에 로컬 에이전트를 배포할 때 공간, 시간, 에너지라는 세 가지 주요 자원 기반 제약 조건 사이에서 지속적으로 협상해야 합니다. 시스템이 효과적으로 작동하려면 이러한 모든 제약 조건을 신중하게 고려해야 합니다. 가중치 있는 유연한 제약 조건을 구현하여 유연성을 우선시하고, 시스템이 다양한 요소의 긴급성에 따라 적응할 수 있도록 할 수 있습니다. 예를 들어, 배터리 수명은 임계 수준에 도달하면 유연하지 않은 제약 조건이 될 수 있으며, 에이전트 활동에 대한 즉각적인 조정이 필요합니다.

시간이 지남에 따라 크게 개선된 시선 추정 기술의 통합은 새로운 상호 작용 패턴을 허용하고 게임 반응성을 향상시킵니다. 이 기능은 접근성에 중요할 뿐만 아니라 새로운 형태의 게임 플레이를 가능하게 합니다. 이를 구현하려면 컨볼루션 신경망(CNN) 또는 비전 트랜스포머를 포함한 앙상블 모델이 필요하며, 모바일 장치에서 직접 실시간 이미지 이해의 미래를 위한 길을 닦습니다.

ARC AGI-3와 같은 벤치마크에서 알 수 있듯이 현재 AI 모델, 특히 액션 공간에서의 AI 모델은 여전히 인간 지능을 따라잡고 있습니다. 로컬 장치 제약은 정교한 AI 처리에 사용할 수 있는 전력을 제한함으로써 이러한 격차를 더욱 악화시킵니다. 모바일 환경에 맞게 모델 크기가 제한되면 지능 기능이 필연적으로 감소하여 엣지 장치에 고급 AI를 도입하는 데 지속적인 과제가 있음을 강조합니다.

이 분야는 광범위한 환경별 훈련 없이도 뛰어난 성능을 발휘하는 일반화된 에이전트 아키텍처로 전환되고 있습니다. 이러한 에이전트는 인간 플레이어와 유사하게 솔루션을 발견할 수 있도록 광범위하게 설계되었습니다. Google Seema 프레임워크는 이러한 접근 방식의 대표적인 예로 인용되며, 에이전트가 특정 환경에 맞게 사전 프로그래밍되는 것이 아니라 다양한 환경에 적응할 수 있는 일반적인 이해력을 가집니다.

에이전트 시스템은 장치와 상호 작용하여 자동화된 테스트를 수행할 뿐만 아니라 정적 테스트가 놓칠 수 있는 문제를 비상적으로 찾아냄으로써 접근성 테스트를 크게 향상시킬 수 있습니다. 예를 들어, 이러한 에이전트는 대화 상자와 같은 UI 요소가 배경에서 선택을 고정시켜 사용자 상호 작용을 방해하는 '포커스 트랩'을 식별할 수 있습니다. 이는 정적 접근성 테스트에서 보다 동적이고 반응적인 비상 테스트 방법으로의 중요한 전환을 나타냅니다.

AI는 WCAG 2.2와 같은 지침을 준수하면서 의도적으로 접근성 결함이 포함된 조작된 웹사이트 또는 애플리케이션을 만드는 데 활용될 수 있습니다. 개발자는 인공 환경 내에서 이러한 특정 위반을 포착하도록 설계된 테스트 스위트를 구축할 수 있습니다. 이 방법은 기존 시스템 내에서 격리된 모듈 테스트를 허용하여 장치 UI와의 에이전트 상호 작용을 통해 규정 준수를 확인하기 위한 목표 접근 방식을 제공합니다.

에이전트는 게임 개발에서 두 가지 기능을 수행합니다. 통합 검사 및 포커스 순서 모니터링을 위한 자동화된 테스터 역할을 하는 동시에 난이도와 같은 주관적인 측정 항목에 대한 자연어 피드백을 제공합니다. 이를 통해 에이전트 분석을 기반으로 게임 플레이 균형을 실시간으로 조정할 수 있습니다. 또한 에이전트는 캐릭터 진행 및 대화 명확성을 테스트하여 논리적 흐름과 플레이어 이해를 보장할 수 있습니다.

UX 테스트를 위해 모든 프레임에서 추론을 실행하는 것은 로컬 및 원격 모델 모두에게 계산적으로 비용이 많이 듭니다. 동적 사용자 경험은 표준 접근성 위반을 효과적으로 감지하기 위해 비전 기반 모니터링을 필요로 합니다. 개발자는 철저함과 성능의 균형을 맞추기 위해 스크린샷과 게임 상태 변경을 결합한 하이브리드 접근 방식을 고려해야 합니다. 궁극적으로 완벽주의 테스트 전략은 포괄적인 범위를 보장하기 위해 종종 비전 기반 에이전트 시스템을 필요로 합니다.