VLM, 직접 구축해야 효율적

개발자들이 비전 언어 모델(VLM)을 모든 비전 애플리케이션에 사용하려 하지만, 이러한 접근 방식은 실시간 처리에 적합하지 않다고 머브 노얀이 지적했다.

특정 작업에 최적화된 RFDTR과 같은 모델이 범용 VLM보다 뛰어난 성능을 보이며, 효율적인 비전 애플리케이션 구축을 위해서는 직접적인 개발이 필수적이라고 강조했다.

오픈 소스 모델을 상업적으로 활용할 경우 라이선스 검토가 필수적이며, YOLO와 같은 일부 모델은 AGPL 3.0 라이선스로 인해 배포 시 라이선스 비용이 발생할 수 있다고 머브 노얀은 밝혔다.

이러한 문제를 피하기 위해 Apache 2.0 또는 MIT 라이선스를 사용하는 모델을 선택하는 것이 바람직하며, 모델 선택 시 라이선스뿐만 아니라 성능 및 벤치마크 결과도 함께 고려해야 한다.

로컬 및 원격 Hugging Face 인프라를 기반으로 한 Vibe Vision은 배치 처리와 서버리스 라우팅을 지원해 비용 효율을 극대화한다. 머브 노얀이 개발한 이 툴킷은 Maziar의 작업에 착안해 VLM을 라벨러와 평가자로 운용하며 대규모 이미지 데이터셋을 자동으로 구축한다.

이 시스템은 라벨링, 평가, 학습 기능을 갖추고 있으며 로컬 및 원격 환경(Hugging Face) 인프라를 모두 지원한다.

또한 배치 처리와 서버리스 라우팅을 통해 비용을 최적화하며 효율적인 데이터 처리 파이프라인을 제공한다.

자동화 학습 파이프라인은 이미지 데이터셋에 라벨을 지정하고 Gemma 4, LFM 2.5와 같은 다중 모델에 입력한다.

연구 결과에 따르면 작은 크기의 모델들을 앙상블 하는 것이 개별 VLM 점수 부여의 한계를 극복하고 정확도를 향상시키는 데 더 효과적이었다.

이 과정에는 이미지 내 바운딩 박스를 검증하고 승인 여부를 결정하는 평가 단계가 포함된다.

이는 배치 처리와 Deep Infra, Hugging Face와 같은 저렴한 인프라를 활용하고, RFDTR과 같은 소형 모델을 사용해 학습 효율을 극대화했기 때문이다.

도로 표지판 감지 문제에서는 정답 어노테이션과 비교하여 평균 정밀도 50% 이상을 달성하며 파이프라인의 유효성을 입증했다.

문서 파싱에서는 DocVQA 데이터셋을 활용해 이미지, 표, 서명 추출 기능을 구현했으며, RFDTR 백본의 뛰어난 일반화 성능 덕분에 서명 감지 등에서 높은 정확도를 보였다.

비전 에이전트 구축 시 판단 균형이 중요하며, 여러 모델의 합의를 기다리기보다 한 모델이라도 승인하면 데이터로 활용하는 것이 효율적이다.

모델이 생성한 프롬프트는 사람이 최종 검토해야 하는 필수 과정을 거쳐야 하며, 코딩 에이전트의 한계로 인해 교통 표지판 수평 뒤집기 등 상식에 어긋나는 데이터 증강을 방지하는 기능을 구현해야 한다.

특화된 컴퓨터 비전 모델 툴킷은 Falcon Perception 모델을 통해 제로 샷 분할을 수행하며, 이 모델은 Apache 2.0 라이선스를 사용하고 파라미터 수가 6억 개에 불과하다.

SAPIEN은 사람의 주요 특징점 검출 및 깊이 추정에 적합하며, MoonDreamer 3와 MM Grounding DINO는 제로 샷 검출에 활용된다.

하드웨어 사양에 맞춰 모델 크기를 선택할 수 있어 다양한 환경에 유연하게 대응할 수 있다.

심사자가 직접 박스를 수정하는 대신 모델 간 IoU 병합을 도입해 세그멘테이션과 객체 탐지 과정을 자동화한다. 자연어 처리가 까다로운 산업 현장에서도 이미지 기반 기술이 실질적 대안이 될 것이라 내다봤다.

또한 IoU 병합 기능을 통해 심사자가 박스를 수정하는 대신 모델 간 IoU 병합으로 자동화를 구현하고, 세그멘테이션 지원 및 허깅페이스 저장소를 통한 지속적인 튜토리얼 제공을 계획하고 있다.

개발자는 VLM 자체 학습보다 특정 현장에 맞춘 모델을 엣지에 배포하는 기술적 난제 해결에 집중해야 한다는 지적이 나온다.