MiniMax M3, AI 에이전트를 위한 100만 토큰 컨텍스트 공개

M3의 핵심 기능은 복잡한 정보를 처리하는 능력을 크게 향상시키는 매우 긴 100만 토큰 컨텍스트 창 지원입니다.

이 시스템은 인덱스 브랜치를 사용하여 높은 수준의 컨텍스트 중요도를 선택적으로 식별하고 우선순위를 지정하여 정보 처리를 간소화합니다. 동시에 희소 어텐션 브랜치는 선택된 블록에 대해 특정 계산을 실행하여 모델 크기와 컨텍스트 길이 모두에서 효율적인 확장을 가능하게 합니다.

이전 MiniMax 모델인 M1 및 01은 주로 문서 요약과 같은 수동적 작업에 대해 최대 천만 개의 토큰을 처리할 수 있었습니다. 그러나 MiniMax는 컨텍스트 길이를 확장하면 특히 사용자 상호작용을 위한 중요한 새로운 기능을 잠금 해제한다는 것을 깨달았습니다. 이러한 전환은 에이전트가 전체 환경과 상호작용하고, 모든 도구 응답을 처리하고, 여러 라운드의 대화에 참여할 수 있도록 하여 더 짧은 컨텍스트 창으로는 최신 에이전트 애플리케이션에 불충분하게 만듭니다.

MiniMax의 연구 경로는 '조 단위 토큰' 컨텍스트를 향한 확장 논의를 포함하여 훨씬 더 긴 컨텍스트 길이를 탐색하는 것을 포함합니다. 이 야심찬 목표는 아키텍처 설계와 하드웨어 효율성 모두에서 상당한 발전을 필요로 할 것입니다. 초장문 컨텍스트 창의 개발은 AI의 심오한 새로운 기능을 잠금 해제할 수 있는 매우 흥미로운 연구 분야로 간주됩니다.

회사의 CEO는 첫날부터 모든 비전을 이해하고 모든 모달리티를 출력할 수 있는 멀티모달 모델을 계획했습니다. 멀티모달 설계에 대한 이러한 근본적인 약속은 ChatGPT의 공개 출시 이전부터 시작되었습니다.

MiniMax는 방대한 사용자에게 AI를 제공하기 위해 간단한 API를 넘어 사용자 친화적인 인터페이스의 필요성을 인정합니다. MiniMax는 현재 200개국에서 3억 명 이상의 사람들에게 도달하고 약 1백만 개의 기업에 서비스를 제공합니다. 이러한 광범위한 도달 범위는 다양한 사용자가 모델을 효과적으로 경험할 수 있도록 잘 설계된 애플리케이션과 시나리오의 중요성을 강조합니다.

MiniMax는 오픈 소스 철학에 전념하며, 모델을 오픈 소스 형식으로 계속 게시할 계획입니다. 모델 연구팀과 MiniMax의 개인들은 모델을 향상시키고 개선하기 위한 오픈 소스 커뮤니티의 협력적인 힘을 믿습니다. 커뮤니티의 피드백과 풀 리퀘스트는 나중 모델 버전 개발에 매우 ​​귀중한 기여로 간주됩니다.

MiniMax는 멀티모달리티, 특히 다양한 모달리티를 처음으로 통합하는 데 있어 야심찬 미래 목표를 가지고 있습니다. 팀은 추론 능력과 현재 버전에서 발생하는 '초기 문제'에 대한 사용자 피드백을 적극적으로 통합하고 있습니다. 이들은 멀티모달 경험을 개선하기 위해 이러한 과제를 해결하는 데 집중하고 있습니다.

예를 들어, 이러한 에이전트는 PowerPoint 프레젠테이션이나 보고서를 읽는 것과 같은 비정형 데이터를 처리하도록 훈련될 수 있습니다. 또한 장편 비디오 콘텐츠를 이해하여 비디오 튜토리얼을 시청하여 코딩 도구를 효과적으로 사용하는 방법을 배우는 등 도구와 상호작용할 수 있습니다.

MiniMax는 AI 연구 워크플로우를 자동화하기 위해 자체 내부 연구 하네스를 개발했습니다. 이러한 도구를 통해 M3를 포함한 모델은 다른 모델을 훈련하고 데이터를 자동으로 생성할 수 있습니다. M3 모델은 더 긴 시간 범위 및 커널 최적화와 관련된 시나리오에서 특히 효과적인 것으로 입증되어 AI 개발 프로세스를 개선하는 데 유용성을 보여주었습니다.

이 접근 방식은 AI 애플리케이션을 위한 훨씬 더 복잡한 작업과 고급 기능을 잠금 해제할 것으로 예상됩니다. 또한 멀티 에이전트 시스템은 현재 모델의 강점과 한계를 모두 식별하여 M3.1에 대한 진행 중인 작업을 포함하여 향후 개발을 안내하는 데 도움이 될 수 있습니다.