버그 때문에 모델이 거꾸로 말했어요

많은 최적화가 간단하지만, 일부 제안은 완전한 통합을 위해 사용자 정의 커널 개발을 필요로 하므로, 기본적인 모델 구현보다 과정이 더 복잡해집니다. 이는 종종 성능을 미세 조정하기 위해 저수준 CUDA 프로그래밍 환경을 파고드는 것을 포함합니다.

예를 들어, 'because'라는 단어가 다시 나타나면서 루프 또는 지연된 데이터 검색을 나타냈습니다. 이 동작은 GPU 스트림 동기화에 근본적인 문제가 있음을 시사하며, 작업이 의도된 순서대로 완료되지 않았음을 암시했습니다.

이는 행렬 곱셈에는 텐서 코어를, 요소별 연산, 감소 및 제곱근에는 CUDA 코어를 활용하는 것을 포함합니다. 표준 순차 실행에서는 한 작업이 완료되어야 다음 작업이 시작될 수 있으므로 이러한 병렬 처리가 종종 유휴 대기 시간으로 인해 방해받습니다.

조인이 발생했을 때 한 스트림이 작업을 완료하지 못한 경우가 많았고, 이로 인해 모델이 행렬 곱셈 버퍼에서 이전의 미완성 데이터를 읽게 되었습니다. 단위 테스트에서는 유사한 혼란도를 보여 초기에는 문제를 가렸지만, 모델 출력이 데이터 불일치를 명확하게 나타낸 더 긴 생성 테스트에서 진정한 실패가 드러났습니다.

이 수정은 후속 작업(예: 스케일링 후)이 두 스트림 모두 작업을 완료할 때까지 명시적으로 기다리도록 보장했습니다. 다운스트림 프로세스가 미완성 메모리를 읽는 것을 방지함으로써 모델의 토큰 생성 시퀀스가 수정되었습니다.

트랜스포머 트릭 저장소는 이러한 최적화를 위한 코드를 제공하지만, 일부는 최적의 통합을 위해 여전히 사용자 정의 커널 개발이 필요합니다. 현재 진행 중인 실험은 부분에서 완전까지 다양한 수준의 커널 융합을 테스트하여 가장 효율적인 구성을 식별하는 것을 포함합니다.

가중치 폴딩을 포함하여 구현된 최적화는 기존 AI 개발 도구 및 워크플로와 원활하게 통합되도록 설계되었습니다. 이는 개발자가 프로세스를 재창조하거나 솔루션을 처음부터 구축할 필요를 없애줍니다. 특히, 최적화는 `torch.compile`과 호환되며 양자화된 모델과도 기능을 유지하여 파괴적인 변경보다는 새로운 체크포인트처럼 작동합니다.

이러한 최적화 기술을 구현하기 위한 세부 정보 및 코드는 트랜스포머 트릭 저장소에서 확인할 수 있습니다. 이 리소스는 다양한 대수적 트릭과 더 깊은 이해를 위한 관련 연구 논문을 참조합니다.

이 기능은 해커톤에서 특히 유용했으며, 참가자들이 복잡한 글루 코드 없이 사용자 정의 모델이나 체크포인트를 배포할 수 있도록 했습니다. 이는 연구에서 배포로의 전환을 간소화합니다.

이 환경은 연구자들이 기본 추론 기능을 소유하지 않는 임대 추론 엔드포인트의 한계를 극복합니다. 이는 다른 방법으로는 어렵거나 불가능한 심층적인 커널 수준 실험을 가능하게 합니다.

공유 GPU에 소규모 모델을 배포하기 위한 더 스마트한 큐잉 메커니즘을 구현하면 하드웨어 활용을 최적화하여 운영 비용을 크게 절감할 수 있습니다. 이 접근 방식은 동일한 GPU에서 모델을 전환할 수 있도록 하여 각 모델에 전용 GPU 리소스를 사용하는 비용을 피할 수 있습니다. API 기반 구성은 이러한 프로세스를 더욱 단순화하여 전문 인프라 엔지니어의 필요성을 없앱니다.