스탠포드, 자체 개선 AI 에이전트 과정 업데이트

과정 구조 및 프로젝트 제안 또한 새로운 방법론을 통합하기 위해 철저히 개정되었습니다.

최종 성적에 중요한 과정 운영 방식에 중점을 두어 학생들이 프로그램에 대한 업데이트된 요구 사항과 기대치를 인지하도록 합니다.

컴퓨팅 확장을 통한 테스트 손실 감소는 더 정확하고 유능한 AI 모델로 이어집니다.

이 원칙은 GPT-3와 같은 모델 개발에 중요한 역할을 했으며, 이후 ChatGPT, PaLM, Gemini와 같은 발전을 이끌었습니다. 이러한 스케일링 법칙은 대규모 언어 모델 분야에서 나타난 상당한 진보를 뒷받침합니다.

이 현상은 이러한 모델이 이전에는 AI에 불가능하다고 여겨졌던 복잡한 작업을 수행할 수 있도록 합니다.

Few-shot learning(소수 학습)은 이러한 모델을 더욱 향상시켜 명시적인 미세 조정 없이도 최소한의 예시로 새로운 작업에 적응할 수 있도록 합니다. Chain-of-thought 프롬프트는 또 다른 중요한 기술로, 모델이 인간의 사고 과정을 모방하여 복잡한 문제를 순차적인 추론 단계로 분해하여 해결할 수 있도록 합니다.

이 기술은 모델이 단순히 해결책을 암기하는 것이 아니라, 답에 도달하는 근본적인 과정을 이해하고 학습하도록 돕습니다.

효과적이지만, 일반적으로 80억에서 100억 개 미만의 매개변수를 가진 작은 모델은 이 기술을 완전히 활용하는 데 어려움을 겪는 경우가 많습니다. 이는 지난 한 해 동안 AI에서 관찰된 많은 발전에 매우 중요한 속성이었습니다.

AI에서 고품질 솔루션을 생성하는 것은 모델의 핵심 기능에 효과적으로 접근하기 위해 추론을 확장하는 데 달려 있습니다. 잠재적 답변의 방대한 공간 때문에 트리 또는 무작위 탐색과 같은 간단한 탐색 방법은 비효율적입니다.

인간의 창의성은 광범위하지만, 인간의 결과물과 모델 생성 모두 사용 가능한 시도 횟수에 의해 제약됩니다. 이 비교는 효과적인 문제 해결을 모방하기 위한 AI의 탐색 메커니즘을 최적화하는 과제를 강조합니다.

병렬 샘플링은 여러 시도를 동시에 생성할 수 있도록 하여 지연 시간을 효과적으로 줄이는 상당한 이점을 제공합니다. 이 접근 방식은 빠른 반복 또는 다양한 솔루션 탐색이 필요한 작업에 유용합니다.

그러나 이러한 이점은 병렬화에 따라 총 컴퓨팅 비용이 증가하므로 상당한 비용 Trade-off(균형점)를 수반합니다. 지연 시간 감소와 비용 간의 최적의 균형은 작업의 복잡성과 사용 가능한 컴퓨팅 리소스에 따라 달라집니다.

AI 모델에서 일반적으로 1.2를 초과하는 높은 온도 값을 설정하면 유용한 다양성보다는 비일관적이거나 무의미한 결과가 나오는 경우가 많습니다. 이는 온도가 높아지면 생성 중 토큰 선택의 무작위성이 증가하여 모델의 일관성이 깨지기 때문입니다.

연구자들은 출력의 다양성과 논리적 일관성 유지 사이의 균형을 맞추기 위한 최적의 온도 튜닝을 적극적으로 연구하고 있습니다. 목표는 생성된 텍스트의 품질을 저하시키지 않으면서 창의성을 향상시키는 것입니다.

이는 추론 중 더 많은 계산이 특정 작업에서 성능을 직접적으로 향상시킨다는 것을 나타냅니다.

이러한 스케일링 동작은 논리 집중 작업에서 GPT-4o와 같은 기본 모델보다 뛰어난 추론 모델에서 특히 분명합니다. 논리적 문제 해결에 효과적이지만, 이러한 개선 사항이 창의적인 글쓰기 또는 기타 주관적인 영역에서 성능 향상으로 반드시 이어지는 것은 아닙니다. 경험적 증거는 전용 추론 아키텍처가 평가 중 최적화된 컴퓨팅 할당으로부터 실질적으로 이점을 얻는다는 개념을 뒷받침합니다.

AI 모델의 추론 능력은 일반적으로 모델 크기에 따라 확장되므로, 대규모 모델이 복잡한 논리적 추론에 더 능숙합니다. 모델은 자신이 생성한 추론 흔적을 선호하는 경향이 있어 다단계 프로세스의 전반적인 일관성에 영향을 미칩니다.

대규모 모델이 고급 추론 능력으로 선호되지만, 더 작고 효율적인 모델은 요약 또는 최종 답변 생성과 같은 후속 작업에 효과적으로 배포될 수 있습니다. 이 접근 방식은 모델 크기를 작업 복잡성에 맞춰 리소스 할당을 최적화합니다.

이러한 한계는 모델이 작업 복잡성에 관계없이 고정된 샘플링 속도를 사용하는 경우가 많다는 것을 의미합니다.

미래의 발전은 복잡성에 대한 내재적 감각을 가진 보상 모델을 통합하여 적응형 샘플링을 안내하고 AI 시스템이 컴퓨팅 리소스를 더 효율적으로 할당할 수 있도록 할 수 있습니다. 이러한 접근 방식은 모델이 어려운 문제에 더 많은 노력을 기울이고 간단한 문제에는 덜 기울일 수 있도록 할 것입니다.

기본적인 방법인 Prompt Chaining(프롬프트 체이닝)은 큰 문제를 관리 가능한 하위 작업으로 분해하여 순차적으로 처리합니다.

라우팅은 작업의 특성에 따라 적절한 워크플로우로 작업을 지시하여 효율적인 리소스 활용을 보장함으로써 복잡성 관리를 도입합니다. 병렬화는 연구 또는 작업 분해의 동시 실행을 허용하여 전체 프로세스를 가속화합니다. 종종 '관리자' 역할을 하는 중앙 LLM인 오케스트레이터는 단계를 계획하고 일관된 실행을 보장하며, 단위 테스트와 같은 검증자는 특히 코드 및 규칙 기반 도메인에서 정확성을 유지합니다.

코딩 에이전트의 기본 아키텍처는 최근 몇 년 동안 크게 일관되게 유지되었습니다. 신뢰성 향상은 주로 더 강력한 모델의 배포와 강화 학습(RL)의 발전으로 인해 주도되었습니다.

검증 가능한 보상을 통한 RL은 모델 성능을 안내하는 데 효과적인 것으로 입증되어 보다 견고하고 정확한 코딩 에이전트로 이어졌습니다. 또한 훈련 시간 스케일링은 긍정적인 결과를 보여 이러한 시스템의 전반적인 신뢰성과 효율성을 향상시킵니다. 이러한 요소들이 결합되어 자동화된 코드 생성 및 유지 관리에서 상당한 발전에 기여합니다.

O3와 같은 고급 모델은 정교한 End-to-End(종단 간) 계획 및 다단계 추론 기능을 통해 포괄적인 결론에 도달할 수 있습니다.

이러한 Agentic System(에이전트 시스템)은 코드 마이그레이션, 소프트웨어 버전 업그레이드 및 데이터 엔지니어링 프로세스와 같은 반복적이고 복잡한 작업에 특히 유용합니다. End-to-End Goal Completion(종단 간 목표 달성)은 Agentic Workflow(에이전트 워크플로우)의 유용성과 효과를 평가하는 현재 벤치마크 역할을 합니다.

연구 에이전트는 수학 및 과학 분야 전반에 걸쳐 과학자들이 복잡한 문제를 해결하는 데 점점 더 많은 도움을 주고 있습니다. 이러한 AI 도구는 광범위한 웹 기반 합성 능력으로 인해 인간 전문가가 간과할 수 있는 새로운 아이디어를 브레인스토밍하고 생성하는 데 탁월합니다.

아이디어 생성 외에도 이러한 에이전트는 실험 반복 및 원고 개선을 지원하여 연구 프로세스를 크게 간소화합니다. 환각이 여전히 존재하지만, 다양한 아이디어가 유익한 브레인스토밍 단계에서의 유용성은 줄어들지 않습니다. 이는 과학적 발견에서 AI가 창의적인 파트너로 등장하는 것을 의미합니다.

이번 학기 CS329A 과정 커리큘럼에는 이전과는 다른 세 가지 숙제가 포함됩니다. 채점 정책은 균등하게 분할되어 숙제에 50%, 주요 과정 프로젝트에 50%가 할당됩니다.

학생들은 단순한 응용 프로그램 개발보다는 연구 중심 과제에 중점을 두는 프로젝트를 위해 2~4명의 팀을 구성하는 것이 좋습니다. 이러한 강조는 학생들이 고급 AI 개념에 참여하고 해당 분야에 기여하도록 합니다.

이 행사에는 업계 전문가들이 참석하여 학생들이 전문가들에게 자신의 연구를 선보일 기회를 제공합니다.

학생들은 학술적 및 직업적 성장을 촉진하기 위해 과정 프로젝트를 학회 수준의 논문으로 발전시키는 것이 적극 권장됩니다. 이 최종 발표회 참석은 모든 참가자에게 필수입니다.