DigitalOcean, 모델 라우팅 공개: 품질 저하 없이 AI 비용 3배 절감

현재 많은 개발자들은 일반적인 벤치마크를 기반으로 최고 성능의 모델을 우선시하는데, 아르차나 카마스(Archana Kamath)는 이러한 접근 방식을 “잘못된 본능”이라고 설명합니다. 이 방법은 종종 개별 작업의 특정 컨텍스트와 요구 사항을 간과하여 비효율적인 리소스 할당으로 이어집니다. 모델 라우팅은 이러한 단일 모델 습관에 대한 동적인 대안을 제공하여 보다 맞춤화되고 비용 효율적인 AI 솔루션을 가능하게 합니다.

카마스는 다음과 같이 말했습니다. "오늘 강연은 모델 라우팅에 관한 것이며, 특히 대부분의 사람들이 모델을 선택하는 방식, 즉 벤치마크 정상에 오르기 위해 노력하는 것이 실제로 잘못된 본능인 이유에 대한 것입니다."

첫째, 급증하는 인프라 비용과 예산 제약으로 인해 AI 리소스 지출을 최적화하는 것이 중요해졌습니다. 둘째, '모든 작업에 단일 모델' 접근 방식은 모델 기능이 작업 복잡성과 일치하지 않아 불필요한 비용과 지연 시간을 초래할 수 있으므로 종종 과잉 지출로 이어집니다.

마지막으로, 그리고 가장 중요한 것은 단일 모델에 의존하는 것과 관련된 위험입니다. 모델 라우팅은 페일오버 메커니즘을 활성화하여 주 모델이 중단되더라도 지속적인 작동을 보장함으로써 이를 완화합니다. 카마스는 강조했습니다. "제가 말씀드리고 싶은 첫 번째는 비용입니다. 지출이 폭증하고 있습니다... 두 번째는 적합성입니다. 모든 작업에 단일 모델은 과잉 지출일 가능성이 높습니다... 그리고 세 번째이자 저에게 가장 중요한 것은 위험입니다."

아르차나 카마스(Archana Kamath)가 설명하듯이, 보편적으로 '최고'의 모델은 없습니다. 최적의 선택은 전적으로 특정 요청에 따라 달라집니다. 분류 및 레이블링과 같은 간단한 작업에는 작은 개방형 모델이 종종 충분하고 비용 효율적입니다. 인라인 코드 완성은 최소한의 지연 시간을 보장하기 위해 빠른 라우팅을 통해 이점을 얻으며, 중간 크기 모델은 코드 생성 및 버그 수정과 같은 더 복잡한 작업에 적합합니다.

최첨단 모델은 정밀도와 신뢰성이 가장 중요한 엄격한 코드 검토 및 보안 분석과 같은 고위험 애플리케이션을 위해 예약되어 있습니다. 카마스는 이를 강조하며 말했습니다. "단일 최고의 모델은 없습니다. 올바른 모델은 실제 요청에 따라 다릅니다."

아르차나 카마스(Archana Kamath)가 강조했듯이, '올바른' 모델을 정의하는 것은 단순한 성능 점수와 공개 순위표를 넘어섭니다. 모델의 적합성은 작업별 목표, 시스템 프롬프트, 비용 예산 및 지연 시간 요구 사항의 복합적인 조합입니다. 이러한 요소들은 작업 자체와 본질적으로 연결되어 있기 때문에 일반적인 벤치마크로는 적절하게 포착할 수 없습니다.

궁극적으로 최종 사용자 선호도 또한 가장 적절한 모델을 결정하는 데 중요한 역할을 하여 선택된 솔루션이 실제 운영 요구 사항 및 기대치에 부합하도록 합니다. 카마스는 강조했습니다. "요청에 적합한 모델을 만드는 것은 무엇입니까? 이는 어떤 공개 순위표도 실제로 인코딩할 수 없는 혼합입니다. 왜냐하면 그것은 작업 자체이기 때문입니다."

기존의 자동 라우팅 솔루션은 개발자에게 불투명한 “블랙박스”처럼 느껴져 결정 과정을 이해하거나 신뢰하기 어려웠습니다. 타일러 길램(Tyler Gillam)은 DigitalOcean이 이러한 투명성 부족을 해결하기 위해 라우팅 아키텍처를 다르게 구축했다고 설명했습니다. 그들의 시스템은 개방형 프록시 플레인과 목적에 맞게 구축된 라우팅 모델을 사용하여 모델 선택 방식의 투명성을 높입니다.

DigitalOcean의 핵심 가치 중 하나는 특정 공급업체에 얽매이지 않는 것입니다. 이는 그들의 개방형 접근 방식에 반영됩니다. 길램은 다음과 같이 말했습니다. "많은 빌더들이 이전에 자동 라우팅을 시도했지만, 문제는 블랙박스처럼 느껴진다는 것이었습니다… 우리는 아키텍처 수준에서 다르게 구축했습니다… 특정 공급업체에 얽매이지 않는 것이 DigitalOcean의 핵심 가치입니다."

사용자는 비용, 지연 시간, 원하는 품질 수준, 선호 모델 또는 모델 선택을 지시하는 엄격한 규칙과 같은 선호도를 정의할 수 있습니다. 이 컨텍스트는 라우터에서 각 개별 요청에 가장 적합한 모델을 선택하는 데 사용됩니다.

타일러 길램(Tyler Gillam)은 다음과 같이 설명했습니다. "워크로드에 중요한 것, 즉 비용, 지연 시간, 품질, 선호 모델 또는 엄격한 규칙을 설명하면 라우터가 해당 컨텍스트를 사용하여 요청당 올바른 모델을 선택합니다." 라우팅 모델은 200밀리초 이내에 이러한 결정을 처리하며, 라우팅 서비스 자체는 추가 비용 없이 제공되어 접근성과 효율성을 향상시킵니다.

DigitalOcean 모델 라우팅의 핵심 가치는 사용자 정의 가능성에 있습니다. 사용자는 단일 공급업체에 얽매이지 않고 라우팅 전략을 맞춤화하고 평가하며 지속적으로 개선할 수 있습니다. 이러한 유연성은 강력한 최첨단 모델을 효과적으로 사용하면서 지능적인 선택을 통해 지연 시간을 줄일 수 있도록 합니다. 아르차나 카마스(Archana Kamath)는 “이것은 특정 공급업체에 얽매이지 않고 사용자 정의, 평가 및 개선할 수 있는 라우팅입니다.”라고 강조했습니다.

사용자 정의 규칙과 지속적인 평가를 활용하여 조직은 AI 시스템이 항상 최적으로 작동하고 변화하는 요구 사항에 적응하며 정적 모델 사용 및 특정 공급업체에 얽매이는 제약을 피할 수 있습니다.

사용자는 단순히 작업을 설명하고 비용 효율성 또는 낮은 지연 시간과 같이 가장 중요한 것을 지정합니다. 이 접근 방식은 시스템이 운영 우선 순위에 부합하도록 보장합니다.

의사 결정 트리 규칙은 이러한 사전 설정 구성 위에 계층화되어 모델 선택에 대한 세분화된 제어를 제공할 수 있습니다. 또한 평가를 통한 지속적인 피드백 루프는 지속적인 최적화에 필수적이며, 라우터가 최상의 결과를 제공하기 위해 지속적으로 학습하고 적응하도록 보장합니다. 아르차나 카마스(Archana Kamath)는 다음과 같이 요약했습니다. "따라서 여러분이 선호하는 것을 가져오면 우리는 그것을 존중합니다. 자연어로 작업을 설명하고 비용, 지연 시간 및 작업 설명과 같이 중요한 것을 설정합니다."

DigitalOcean의 라우팅 시스템은 특정 작업을 위한 다양한 동적 모델 선택 전략을 제공합니다. 소프트웨어 엔지니어링의 경우, 사전 설정은 작업을 버그 수정, 코드 생성 및 테스트 작성으로 분류하여 대상 모델 선택을 가능하게 합니다. 수동 순위는 사용자가 기본 모델(예: GLM 5.2)을 강제하고 선호 모델을 사용할 수 없는 경우 자동 페일오버를 제공하는 강력한 옵션입니다.

또는 '가장 빠른' 선택 정책은 지난 30분 동안 최고의 지연 시간을 보인 모델을 동적으로 선택하여 속도를 최적화합니다. 타일러 길램(Tyler Gillam)은 이를 다음과 같이 설명했습니다. "GLM 5.2가 다운되지 않는 한 항상 GLM 5.2로 라우팅하고 싶기 때문에 이 수동 순위 옵션을 사용합니다. ... 이 경우 '가장 빠른' 선택 정책을 사용합니다."

실시간 비교를 통해 모델 라우팅을 통한 성능 향상을 시연했습니다. 단일 프리미엄 모델(Claude 3 Opus)과 코드 관련 작업을 위한 라우팅 구성이 대결했습니다. 라우팅 모델은 지속적으로 낮은 지연 시간과 크게 감소된 비용을 보여주었습니다. 라우터는 각 코딩 프롬프트의 미묘한 요구 사항에 따라 Llama 3와 같은 특정 모델을 지능적으로 선택하여 품질 저하 없이 효율성을 최적화했습니다.

타일러 길램(Tyler Gillam)은 다음과 같이 현저한 차이를 강조했습니다. "아래로 스크롤하면, 이것은 명확합니다. 그렇죠? 이 모델은 Opus에 비해 엄청나게 빠르고 엄청나게 저렴합니다." 이 실제 테스트는 정적 프리미엄 모델 사용에 비해 동적 모델 선택의 실질적인 이점을 강조했습니다.

비용 및 속도 최적화가 품질 저하로 이어지지 않도록 라우팅 성능은 비교 측정 지표를 사용하여 엄격하게 검증됩니다. 라우팅 모델의 정확성을 Claude 3 Opus와 같은 프리미엄 모델과 비교 평가했습니다. 라우팅 설정은 90%의 정확성을 달성하여 프리미엄 모델의 95% 정확성과 매우 근접했습니다.

타일러 길램(Tyler Gillam)은 다음과 같이 설명했습니다. "라우터의 점수는 90%, Opus의 정확성은 95%로 매우 유사합니다. 사실, 이는 심사위원의 오차 범위 내에 있습니다." 이는 상당한 비용 효율성과 낮은 토큰 사용량은 출력 품질의 눈에 띄는 손실 없이 허용 가능한 오차 범위 내에서 달성될 수 있음을 보여주었습니다.

타일러 길램(Tyler Gillam)은 OpenDevin을 실행하는 두 개의 터미널을 비교했습니다. 하나는 단일 모델(Claude Opus)로 구성되었고, 다른 하나는 DigitalOcean의 소프트웨어 엔지니어링 라우터를 활용했습니다. 복잡한 기능 요청 중 실시간 관찰은 라우팅 구성의 뛰어난 속도와 효율성을 강조했습니다.

라우터는 단일 애플리케이션 빌드의 수명 주기 동안 동적으로 다른 모델을 할당하여 진행 중인 개발 프로세스 내에서 다양한 작업 요구 사항에 적응하는 능력을 입증했습니다. 길램은 설정을 다음과 같이 설명했습니다. "여기 OpenCode를 실행하는 두 개의 터미널이 있습니다. 왼쪽에는 Claude Opus를 사용하는 단일 모델 접근 방식이 있습니다. 오른쪽에는 OpenCode를 구성하여 소프트웨어 엔지니어링 라우터에 요청을 보냅니다."

반면에 Claude Opus와 같은 단일 프리미엄 모델을 모든 작업에 사용하는 것은 작업의 복잡성이나 특정 요구 사항에 관계없이 지속적으로 높은 비용과 지연 시간을 발생시킵니다. 타일러 길램(Tyler Gillam)은 다음과 같이 설명했습니다. "여기서 핵심 차이점은 왼쪽에 있는 모든 요청이 동일한 프리미엄 모델로 간다는 것입니다. 거의 모든 작업에서 비용과 지연 시간이 높게 유지될 것입니다. 오른쪽에서는 라우터가 작업에 따라 모델을 선택합니다."

작업 유형에 따라 모델을 동적으로 선택함으로써 라우터는 더 간단한 작업에 대해 더 효율적인 소형 모델을 활용하고, 고급 기능이 진정으로 필요한 경우에만 프리미엄 모델을 예약할 수 있습니다. 이러한 지능적인 할당은 리소스가 최적으로 사용되도록 보장하며, 유사한 품질을 유지하면서 운영 비용을 크게 절감합니다.

소프트웨어 엔지니어링 라우터를 통한 세션은 8센트의 비용이 발생한 반면, Claude Opus와의 직접 세션은 25센트가 들었습니다. 이러한 상당한 차이는 동적 모델 선택의 재정적 효율성을 강조합니다.

타일러 길램(Tyler Gillam)은 다음과 같이 확인했습니다. "소프트웨어 엔지니어링 라우터는 세션에 8센트만 지출한 반면, Opus는 직접 25센트를 지출했습니다. 따라서 우리는 비용에서 약 3배의 차이가 있으며, 지금까지 매우 유사한 품질을 보였습니다." 이는 지능형 라우팅이 운영 비용을 극적으로 절감하면서도 유사한 품질을 제공할 수 있음을 보여줍니다.

시연이 끝나면서 비용-성능 이점의 확장성이 더욱 명확해졌습니다. 라우터의 총 세션 비용은 14센트였고, 프리미엄 모델(Opus) 세션은 44센트를 기록하여 상당한 비용 이점을 더욱 확고히 했습니다. 또한 라우팅 세션 내에서 단계별로 지연 시간이 최적화되어 작업 전반에 걸쳐 효율적인 처리가 보장되었습니다.

타일러 길램(Tyler Gillam)은 결과를 다음과 같이 요약했습니다. "라우터의 총 세션 비용은 14였고, Opus의 총 세션 비용은 44였습니다. 따라서 이 시점에서 비용이 훨씬 낮다는 것을 알 수 있습니다. 지연 시간은 단계별로 최적화되었고, 품질은 전반적으로 매우 유사하게 유지됩니다." 이러한 효율성 향상은 단순히 단발적인 사건이 아니라 작업 규모가 커질수록 계속 증가하여 지능형 라우팅을 대규모 AI 운영을 위한 중요한 도구로 만듭니다.

라우팅 시스템은 요청당 200밀리초 미만의 의사 결정 지연 시간을 달성하며 빠르게 의사 결정을 처리합니다. 이러한 속도는 라우팅을 위해 특별히 구축된 맞춤형 전문가 혼합(mixture-of-experts) 모델에 의해 제공되며, 시스템이 각 쿼리에 대한 최적의 모델을 효율적으로 결정할 수 있도록 합니다. 이 아키텍처는 기존 애플리케이션 코드를 변경할 필요 없이 고성능을 보장합니다.

아르차나 카마스(Archana Kamath)는 다음과 같이 설명했습니다. "라우팅 결정 및 요청당 200밀리초 미만. 라우팅을 위해 특별히 구축된 맞춤형 전문가 혼합 모델에서 실행됩니다." 기본 기술은 Plano를 통해 오픈 소스화되어 투명성과 커뮤니티 개발을 촉진했습니다.

평가는 선택된 모델이 특정 사용 사례에서 효과적으로 작동하고 관련 테스트를 통과함을 입증하는 데 중요합니다. 캐싱은 동일한 쿼리에 대해 동일한 답변에 대해 반복적인 요금이 발생하지 않도록 하여 중복 비용을 방지합니다.

아르차나 카마스(Archana Kamath)는 이러한 추가 계층을 다음과 같이 설명했습니다. "라우팅은 기본 계층입니다. 실제 목적지는 아닙니다. 그리고 그 위에 일반적으로 세 가지를 구축합니다. 첫 번째는 올바른 모델이 사용 사례 및 테스트와 잘 작동함을 입증하기 위한 평가입니다. 캐싱은 동일한 답변에 대해 매번 두 번 이상 지불하는 것을 막기 위한 것입니다. 그리고 개인화는 라우터가 시간이 지남에 따라 팀에 효과적인 것을 학습하도록 하기 위한 것입니다." 개인화는 라우터가 시간이 지남에 따라 팀 선호도를 학습하고 적응하여 성능과 관련성을 지속적으로 최적화할 수 있도록 합니다.

연사들은 순위표 기반 모델 선택을 넘어설 것을 주장하며, 벤치마크는 모델 유용성의 부분적인 관점만을 제공한다고 말합니다. 아르차나 카마스(Archana Kamath)는 단일 '최고'의 모델은 없지만, 특정 요청에 대한 '올바른' 모델이 있다고 주장합니다. 이 접근 방식은 일반적인 성능 지표보다 사용자 선호도와 작업 컨텍스트를 우선시합니다.

카마스는 다음과 같이 결론지었습니다. "단일 최고의 모델은 없습니다. 요청에 대한 올바른 모델만 있을 뿐이며, 벤치마크는 이야기의 일부만 알려줄 것입니다. 여러분의 선호도가 나머지를 알려줄 것입니다." 불가지론적 아키텍처는 특정 공급업체에 얽매이지 않음으로써 이러한 철학을 더욱 강화하여 개발자에게 AI 노력에 있어 더 큰 유연성과 제어권을 제공합니다.