아인슈타인 아레나: 협력적 AI 에이전트, 복잡한 문제 해결 및 커널 최적화에서 신기록 수립

"고차원에서는 겹치지 않는 구의 최대 개수를 계산하는 것이 실제로 매우 어렵습니다."

"고차원에서는 겹치지 않는 구의 최대 개수를 계산하는 것이 실제로 매우 어렵습니다."

이는 1980년의 582개 구, 2022년 수학자의 592개 개선, 2023년 DeepMind의 593개 구라는 기록을 크게 향상시켰습니다.

이러한 돌파구는 AI 에이전트 간의 능동적인 협업의 힘을 보여주며, 에이전트들은 며칠 만에 새로운 솔루션을 구축할 수 있었습니다.

"알파 제로와 함께, 에이전트들이 실제 환경에서 적극적으로 협력할 수 있게 함으로써, 며칠 만에 11차원에서 604개의 겹치지 않는 구를 생성할 수 있다는 새로운 솔루션을 처음으로 구축할 수 있었습니다."

여러 AI 에이전트 간의 협업은 GPT-5.5와 같은 단일 모델이 혼자서 처리할 수 없는 문제를 해결하는 데 중요합니다. 아인슈타인 아레나는 에이전트가 정보를 공유하고 서로의 솔루션을 반복적으로 개선할 수 있도록 함으로써 이를 용이하게 합니다.

에이전트는 '계보 추적'을 활용하여 협업 노력을 추적하고 최적화하여 이전 시도를 기반으로 돌파구를 마련할 수 있도록 합니다.

"여러 에이전트 간의 협업은 정말 중요합니다. 그리고 여기에서 우리는 에이전트가 어떻게 협력하고 서로의 솔루션을 취하여 개선하고 더 최적화하여 이러한 돌파구에 도달하는지에 대한 일종의 계보 추적이 있음을 보여줄 수 있습니다."

시스템은 실시간 리더보드를 통해 실시간 피드백을 제공하여 에이전트가 더 나은 솔루션을 찾도록 안내합니다.

프로파일링, 메모리 또는 정밀도에 중점을 둔 특수 에이전트 페르소나를 사용하면 최적의 커널 개선 사항을 식별하고 구현하는 팀 효율성을 더욱 향상시킵니다.

"우리는 이 리더보드 형태로 에이전트에게 실시간 피드백을 제공할 것입니다. 이 커널 설정에서는 다양한 페르소나를 가진 에이전트를 두는 것이 매우 유용하다는 것을 발견했습니다."

AI 에이전트는 페이지 주의 메커니즘에 사용되는 커널을 포함하여 생산 등급 AI 커널에서 종종 두 배 이상에 달하는 상당한 속도 향상을 성공적으로 달성했습니다. 이러한 개선된 커널은 현재 Together AI의 생산 환경에 적극적으로 배포되고 있습니다.

이 프레임워크는 다양한 하드웨어 유형 및 구성에 걸쳐 일반화된 응용을 위해 설계되었으며, 최적화된 솔루션의 광범위한 적용 가능성을 보장합니다.

"에이전트는 또한 협력하여 이러한 생산 커널 중 일부에서 때때로 두 배 이상의 상당한 속도 향상을 가져왔습니다."

"우리는 이것을 데이터 과학 짐(DS Gym)이라고 부릅니다. 이것은 우리가 데이터 과학 에이전트를 평가하고 훈련하기 위해 만든 통합 환경과 같은 것입니다."

이 설정은 Docker 컨테이너를 통한 병렬 테스트를 가능하게 합니다.

"따라서, 이 DS Gym 환경에서 우리는 또한 다양한 데이터 세트와 작업의 통합 목록을 큐레이션하고 만들었습니다. 그렇죠? 이 데이터 세트는 많은 다른 설정을 아우를 수 있습니다. 그리고 에이전트는 우리가 가지고 있는 이러한 다양한 데이터 세트와 통합 인터페이스와 코드 실행을 통해 상호 작용할 수 있습니다."

널리 사용되는 많은 데이터 과학 벤치마크는 '지름길'에 취약하며, 기본 데이터에 관여하지 않고도 작업을 해결할 수 있어 상당한 신뢰성 문제를 드러냅니다.

연구원들은 기존 벤치마크의 20%에서 50%의 작업이 이러한 지름길을 통해 해결될 수 있어 에이전트 능력의 진정한 평가를 저해한다는 것을 발견했습니다.

"하지만 우리는 기존에 널리 사용되는 많은 벤치마크가 실제로 많은 문제를 가지고 있다는 것을 빠르게 깨달았습니다. 그리고 큰 문제 중 하나는 그들이 실제로 지름길에 매우 취약하다는 것입니다."

벤치마크 취약점에 대응하기 위해 DS Gym 팀은 최근 출판된 논문에서 파생된 과학 분석 작업과 활성 Kaggle 대회에서 파생된 예측 모델링 작업을 포함하여 자체 벤치마크를 신중하게 큐레이션했습니다.

이러한 작업은 강력함과 지름길 솔루션 방지를 보장하기 위해 인간 과학자와 전문가의 엄격한 검토를 거칩니다.

"그래서 그것을 해결하기 위해 우리는 과학 분석과 예측 모델링 모두를 위한 우리만의 벤치마크를 신중하게 큐레이션했습니다."

DS Gym은 생물학, 물리학, 경제학을 포함한 수많은 과학 분야에 걸쳐 12가지가 넘는 작업을 포함합니다. 현재 최첨단 모델은 이러한 작업에서 50% 미만의 정확도를 달성하고 있으며, 이는 벤치마크가 아직 포화되지 않았음을 나타냅니다.

이 낮은 정확도는 큐레이션된 작업의 도전적인 특성과 데이터 과학 에이전트 커뮤니티 내에서 개선 및 개발을 위한 상당한 여지가 있음을 강조합니다.

"그래서 DS Gym 전체에서 우리는 실제로 12가지가 넘는 다른 작업을 만들었습니다. 이들은 생물학에서 물리학, 경제학에 이르는 수십 가지의 다른 과학 분야에 걸쳐 있습니다."

이 과정은 생성된 궤적이 에이전트의 성공적인 코드 실행을 정확하게 반영하도록 보장합니다.

이러한 미세 조정을 통해 소규모 모델은 동급 최고 성능을 달성하고 로컬 머신에서 효율적으로 작동하여 고급 AI 기능에 대한 접근성을 민주화할 수 있습니다.

"그래서 우리가 여기서 한 가지는 DS Gym에서 실제로 실행 검증된 모든 궤적을 생성하는 것입니다. 이는 에이전트가 생성한 궤적이 에이전트의 코드를 실제로 실행하여 검증되었음을 의미합니다."

연구에 따르면 특정 에이전트 워크플로우를 설계하는 것에서 인프라와 인센티브를 정의하는 지능형 환경을 만드는 것으로 패러다임이 전환되고 있습니다. 이 접근 방식은 에이전트가 점점 더 도전적인 문제를 보다 효과적으로 해결하도록 동기를 부여합니다.

모델 설계에서 에이전트 워크플로우, 그리고 이제 환경 설계로의 이러한 진화는 AI 에이전트에서 더 큰 창의성과 문제 해결 능력을 발휘하고 있습니다.

"하지만 우리 연구가 보여주는 것은 우리가 이미 다음 단계로 나아가고 있다는 것입니다. 여기서 당신은 워크플로우나 특정 에이전트를 설계하려고 하는 것이 아닙니다. 우리가 정말로 하고 싶은 것은 에이전트가 점점 더 도전적인 문제를 해결하도록 동기를 부여하는 인프라와 인센티브의 집합인 환경을 설계하는 것입니다."