오픈AI 아스트라, 스스로 컴퓨터 조작

이달 초 공개된 오픈AI의 새 모델 GPT-6 아스트라가 전문가용 3D 소프트웨어를 조작하고 게임 내 캐릭터를 제어하는 시연 영상을 선보였다.

아스트라는 사용자의 명령에 따라 엑셀 메뉴를 탐색하고 함수를 입력하며 결과까지 검증하는 모습을 보였다.

스크린스팟 프로 테스트 결과, 아스트라는 버튼 탐색 및 클릭 정확도를 검증하며 이전 모델인 GPT 5.6의 76.9% 대비 92.7%까지 성능을 끌어올렸다. 오픈AI는 AI가 화면을 잘못 읽어 사람이 개입하는 오류를 줄이고 판단력을 높였다고 설명했다.

스크린스팟 프로 테스트를 통해 버튼 탐색 및 클릭 정확도가 검증되었고, 오류를 줄여 사람의 개입 없이도 작업을 안정적으로 수행한다.

아스트라는 전자 회로도를 입력받아 키캐드(KiCad)라는 전문 프로그램을 직접 열어 부품을 배치하고 구리 배선으로 연결하는 PCB 레이아웃 작업을 수행했다.

또한 블렌더로 집을 모델링한 후 언리얼 엔진 5로 전환하는 다중 도구 연동을 통해 전문가용 툴 안에서 최종 결과물을 생성하는 능력을 입증했다.

플레이콘은 아스트라를 활용해 유니티, 고닷 엔진과 연동하여 그래픽 뼈대인 그레이박스를 기반으로 서로 다른 테마의 게임 세 개를 만들게 했다.

이 과정에서 이전 모델인 GPT 5.6을 사용했을 때보다 엔지니어가 직접 수동으로 고쳐야 하는 작업이 50%나 줄었으며, 공간 추론 능력을 통한 요소 배치와 오류 자가 수정이 가능했다.

아스트라는 시각적 판단을 넘어 하나의 목표를 오래 유지하며 작업을 이어가는 능력이 크게 개선되었다.

이는 짧은 단기 작업뿐만 아니라 복잡한 장기 프로젝트까지 수행할 수 있도록 확장되어 AI 에이전트의 실질적 실무 투입 가능성을 높인다.

OS월드 벤치마크 테스트에서 아스트라는 72.6%의 성공률을 기록해 65.7%에 그친 GPT 5.6을 앞섰다. 단순히 작동 시간을 늘리는 것보다 AI가 스스로 실패를 수정하며 목표를 수행하는 능력이 장기 작업의 핵심이라는 평가다.

OS월드 벤치마크 테스트에서 GPT 5.6은 65.7%의 성공률을 기록했으나, 아스트라는 같은 테스트에서 72.6%의 성공률을 달성하며 개선된 자율성을 보였다.

아스트라의 실제 사용 사례에서는 작업 시간이 하루 단위로 늘어났다.

펫 시몬스가 진행한 낙수장 3D 모델링 작업은 부분적인 인간 개입 하에 29시간이 소요되었고, 매슈 슈머는 매니저 루프 방식을 활용해 일주일간 언리얼 엔진 프로젝트를 성공적으로 수행했다.

매니저 루프는 관리 AI가 팀장 역할을 하며 실행 AI들에게 단계를 배분하는 효율적인 작업 방식이다.

연구진은 아스트라에 목표와 소스 코드, 분석 도구만 제공하고 방향을 지시하지 않은 채 사이버 보안 취약점 탐색을 맡겼다.

아스트라는 브라우저의 알려지지 않은 취약점을 직접 찾아내고 실제 작동하는 공격 방법까지 만들어 내는 데 약 29시간이 걸렸다.

이는 AI가 시행착오를 거치면서 하나의 목표를 완수하는 과정을 오랜 시간 동안 스스로 이어갈 수 있음을 보여준다.

아스트라는 계산 레이어를 여러 번 통과시켜 추론의 깊이를 더하는 순환 깊이 방식을 통해 내부 계산 능력을 향상시켰다.

기억력 보완을 위해 작업 노트를 따로 기록하고 필요시 과거 사용 기록을 검색하며, 중요하지 않은 작업은 사용자 답변 없이 처리하고 핵심 결정만 승인 요청을 통해 진행한다.

이러한 변화로 사람이 중간에서 다시 방향을 잡아 줘야 하는 지점이 뒤로 밀리면서 AI에게 한 번에 맡길 수 있는 작업의 길이가 늘어나는 중이다.

AI 에이전트가 업무 하나를 통째로 위임받으려면 컴퓨터를 보고 행동하는 능력과 이를 오래 반복하는 능력이 결합되어야 한다.

AI가 화면을 읽고 도구를 실행하며 결과를 확인하는 컴퓨터 조작 능력, 그리고 목표를 잊지 않고 시행착오를 거치며 작업을 유지하는 장기 반복 능력이 필수적이다.