Weights & Biases, ARIA 에이전트 공개

스위니는 조지아 공과대학교에서 ML 및 강화 학습 분야 배경을 가지고 있으며, 이전에 트위터의 ML 스택 PM을 역임했습니다.

ARIA는 AI 및 ML 워크플로우를 향상시키도록 설계되었으며, 그 기능, 기술 아키텍처 및 이러한 시스템을 제품화하기 위한 모범 사례를 설명하는 프레젠테이션이 진행되었습니다.

프레젠테이션 아젠다는 ARIA 자체와 AI 및 ML 워크플로우를 강화하는 능력에 대한 개요로 시작하여 세 부분으로 나뉘었습니다. 라이브 데모는 자동 연구 기능을 선보였고, 이어서 Weights & Biases와 CoreWeave가 ARIA와 그 기반 아키텍처를 어떻게 구축했는지에 대한 심층 분석이 이어졌습니다.

Weights & Biases는 다양한 제품군을 제공하지만, 주로 모델 훈련, 추론, 그리고 AI 프로젝트 관리를 위한 통합 '위브 스택(weave stack)' 기능으로 잘 알려져 있습니다.

작업 공간은 지표 추적과 함께 200개 이상의 훈련 작업을 표시하여 ARIA가 코드를 자율적으로 다운로드하고, 작업을 설정하고, GPU를 관리하고, 하이퍼파라미터를 반복하는 능력을 보여주었습니다.

ARIA는 위험한 아키텍처 수정보다는 더 안전한 하이퍼파라미터 변경을 선택하여 새로운 실험 배치를 수행하기 위해 셸 호출을 시작했습니다.

팀 스위니는 쿠버네티스 클러스터 터미널 출력을 통해 실험의 실시간 실행을 시연하며, 데모가 실시간으로 진행되고 있음을 강조했습니다.

Weights & Biases Launch는 컴퓨팅 클러스터를 연결하여 에이전트 기반 작업이 GPU를 사용하여 장기 실행 실험을 실시간으로 관리할 수 있도록 합니다.

에이전트는 연구 과정에서 고성능 실행을 요약하고 배치 크기와 같은 주요 변수를 분리하여 팀 온보딩 및 패턴 식별을 용이하게 했습니다.

에이전트는 배치 크기를 중요한 매개변수 레버로 식별하고, 새로운 유망한 모델 제품군을 발견했으며, 인간 연구자가 발견하는 데 일반적으로 몇 시간 또는 며칠이 걸리는 아키텍처 레시피를 강조했습니다.

ARIA는 차트, 그래픽, 매개변수 중요도 플롯을 포함하여 '강화된 마크다운 파일'로 묘사되는 W&B 보고서를 생성합니다.

이 에이전트는 W&B 작업 공간 및 독점 차트를 구축하고 관리하도록 맞춤 조정되어 실험 데이터에 대한 포괄적인 시각적 이해를 제공합니다.

ARIA는 W&B 생태계 내에서 데이터 과학 동반자로 기능하며, 운영 메커니즘을 처리하여 연구자를 보완하도록 설계되었습니다. 이 시스템은 기본 요소를 이해하고 연구 노력을 공동 조종하도록 처음부터 구축되었습니다.

Weights & Biases는 iOS 앱에서 ARIA를 출시한다고 발표하여 사용자가 튜닝 작업을 원격으로 관리할 수 있도록 했습니다. 궁극적인 목표는 완전히 자동화된 엔드투엔드 연구 플랫폼으로 발전하는 것입니다.

이 아키텍처는 웹 및 iOS 클라이언트를 특징으로 하며, 이는 API 서버와 통신하고, API 서버는 데이터를 데이터베이스에 저장합니다. 이 데이터는 작업을 관리하는 '워커 하네스'에 의해 처리됩니다.

워커 하네스는 Python 및 셸 실행을 위한 샌드박스와 통합되고, LLM 공급자와 연결되며, 효율적인 작업을 위해 Weights & Biases Launch와 같은 장기 실행 워크로드 도구를 활용합니다.

Weights & Biases Weave는 100%의 추적을 로깅하여 철저한 팀 분석을 가능하게 합니다.

이 광범위한 로깅은 오프라인 분석을 가능하게 하여 연구자들이 특정 동작을 식별하고 모델 개선을 위한 단위 테스트(작업)를 생성하는 데 도움을 줍니다.

개선 루프는 가설을 형성하고, 후보 에이전트를 테스트하고, 결과를 평가하여 프로덕션 모델을 업데이트하고, 시스템의 지속적인 개선을 보장합니다.

'스팬 뷰(spans view)'는 도구 호출, LLM 호출 및 추론 블록을 구별하기 위해 다른 색상과 모양을 사용하여 추적 토폴로지의 시각적 지표를 제공합니다. 이를 통해 팀은 내부 상호 작용을 필터링하고 검토하며 에이전트의 의사 결정 과정을 이해할 수 있습니다.

이 자기 참조 분석을 통해 팀은 UI 내에서 직접 개선 권장 사항을 생성하여 ARIA의 성능과 기능을 지속적으로 향상시킬 수 있습니다.

Weave에는 프로덕션 트래픽에 대해 실시간으로 실행되는 '시그널(Signals)'이라는 통합 LLM 심판 경험이 포함되어 있습니다. 이 심판들은 '사용자 불만 순간' 또는 '저품질 응답'과 같은 이벤트를 추적합니다.

이러한 자동화된 마커는 연구팀이 행동을 클러스터링하는 데 도움을 주어 에이전트의 향후 반복을 위한 수정 및 개선 사항을 우선 순위화할 수 있도록 합니다.

LLM 심판은 모델이 생성한 통찰력의 정확성과 흥미 수준을 결정합니다.

또한, 규칙 기반 심판은 효율성을 확인하며, 특히 도구 호출 제한 준수 여부를 확인합니다. 약 200개의 태스크가 야간에 실행되는 평가 스위트로 클러스터링되어 지속적인 평가를 제공합니다.

Weave는 대화형 대시보드를 통해 시간 경과에 따른 평가 지표를 추적하여 의사 결정에 도움이 되는 야간 평가 결과에서 명확한 성능 플롯을 제공합니다.

후보 모델은 프로덕션 모델의 72%에 비해 73%의 점수를 달성하는 것으로 관찰되었으며, 이러한 지표가 새로운 모델 버전을 프로덕션으로 푸시하는 데 필요한 신뢰를 어떻게 제공하는지 보여줍니다.

에이전트 지향적인 관찰 가능성에 투자하는 것은 단순한 성능 문제를 넘어 '행동 버그'를 식별하고 에이전트 상호 작용에 대한 더 깊은 이해를 보장하는 데 중요합니다.

태스크와 평가는 새로운 형태의 CI/CD로 취급되어야 하며, 연구자를 스크럼 팀에 통합하여 개발 및 배포 프로세스를 간소화해야 합니다. LLM 심판이 놓칠 수 있는 미묘한 행동적 뉘앙스를 포착하려면 인간의 감독이 필수적입니다.

메모리를 과도하게 설계하는 것을 피하고 에이전트에 관련 비즈니스 도메인 컨텍스트 및 데이터를 제공하는 데 집중하는 것이 중요합니다. 매주 말에 팀으로 최고의 추적과 최악의 추적을 정기적으로 검토하는 것은 지속적인 개선을 위해 중요합니다.

이 모델은 5.833의 결과를 달성하여 이전 벤치마크인 5.831에 거의 근접했으며, 자율 실험의 효과를 입증했습니다. 플랫폼은 밤새 추가 실험을 계속 실행하고 있습니다.