Krea.ai, 대규모 생성 모델 훈련에 필요한 데이터 처리 및 품질 관리 기법 공개

Krea.ai는 수십억 개의 이미지를 포함하는 대규모 데이터셋을 효율적으로 처리하기 위해 '분류기 증류(Classifier Distillation)' 기법을 활용합니다. 이 기법은 기존의 크고 복잡한 분류기 대신, 학습된 대규모 모델의 지식을 아주 작은 SigLip 분류기로 압축하여 사용합니다. 이는 방대한 데이터를 처리할 때 GPU 사용 효율성을 극대화하기 위한 필수적인 과정입니다.

데이터셋 내의 불필요한 데이터를 효과적으로 걸러내기 위해 희소 오토인코더(Sparse Autoencoder) 기반의 비지도 태깅 시스템이 구축되었습니다. 이 시스템은 이미지에서 주요 특징을 자동으로 추출하고, 이를 통해 워터마크나 경계면 아티팩트와 같이 모델 학습에 방해가 되는 요소를 식별하여 제거합니다. 이러한 데이터 필터링 과정은 모델의 학습 효율성과 최종 성능에 직접적인 영향을 미칩니다. 이 기술은 모델이 오염된 데이터를 학습하여 원치 않는 특징을 생성하는 것을 방지하는 데 중요한 역할을 합니다.

모델이 광범위한 세계 지식을 학습하도록 하기 위해 위키백과(Wikipedia)가 주요 정보원으로 활용되었습니다. 특히 위키백과의 '페이지 랭크(Page Rank)' 알고리즘을 사용해 중요도가 높은 개념들을 선별하고, 이를 바탕으로 모델이 반드시 알아야 할 핵심 정보를 데이터셋에 포함하도록 텍스트 및 임베딩 검색을 수행했습니다. 이 접근 방식은 단순히 많은 데이터를 학습하는 것을 넘어, 모델이 '무엇이 중요한지'를 이해하고 학습할 수 있도록 돕습니다.

Krea.ai는 모델의 최종 품질이 데이터셋의 품질에 의해 결정된다는 점을 강조했습니다. 이를 위해 30~40개에 달하는 맞춤형 분류기(custom classifiers)와 다양한 휴리스틱(heuristics)을 복합적으로 활용하여 데이터셋을 신중하게 구성했습니다. 데이터 준비가 완료되면 모델의 성능은 이미 대부분 결정된 것이나 다름없다는 설명입니다.

Krea.ai는 256에서 1K 해상도까지 단계적으로 학습을 진행하는 독자적인 파이프라인을 사용합니다. 먼저 낮은 해상도에서 텍스트와 이미지 간의 의미론적 관계를 깊이 학습하여 모델의 전반적인 이해도를 높입니다. 이후 높은 해상도 단계에서는 이미지의 세부적인 구조와 디테일을 학습하여 최종적인 이미지 품질을 향상시킵니다. 이러한 다단계 학습 방식은 모델이 광범위한 스타일과 디테일을 정확하게 표현할 수 있도록 돕습니다.