MiniMax H3 비디오 편집 기능 심층 분석

이번 시간에 사용할 모델은 텐 에로스 모델로, Wan 2.2 모델과 Krea 2 모델의 데이터를 추출하여 그라프트 방식으로 결합한 하이브리드 모델이다. 이 모델은 미니맥스 h3 모델과 머지하여 구현되었으며, 참조 이미지 아이덴티티의 일관성을 유지하는 데 중점을 둔다.

텐 에로스 모델의 용량은 약 40기가바이트로 일반적인 가정용 컴퓨터에서는 다소 부담이 될 수 있는 크기다. 이 모델을 사용하기 위해서는 Models 폴더 내 diffusion 모델즈 하위 폴더에 저장해야 한다.

미니맥스 h3 레이턴트 업스케일러 커스텀 노드는 고해상도 영상을 생성하는 데 필수적이며, 작업을 진행하기 전에 반드시 설치해야 한다. 이 노드는 저해상도로 구도와 형태를 생성한 후 고해상도로 업스케일하는 방식으로 작동한다. FP16 업스케일 모델 활용이 권장되며, 레이턴트 업스케일 모델즈 폴더에 저장해야 한다.

워크플로우의 핵심 노드는 미니맥스 h3 레퍼런스 투 비디오 노드이다. 이 노드는 참조 이미지, 참조 비디오, 그리고 프롬프트까지 모두 입력받아 h3 모델에 최적화된 컨디셔닝을 출력하는 역할을 한다.

미니맥스 h3 모델의 공식 GitHub에서는 자체적으로 최적화된 프롬프트 작성 방법을 스킬로 제작하여 제공하고 있다. ChatGPT와 같은 인공지능에게 이 스킬의 링크와 참조 영상, 참조 이미지를 함께 제공하여 프롬프트를 작성하게 하면, 수동 입력 대신 상세하고 고품질의 프롬프트를 손쉽게 생성할 수 있다.

저해상도 영상의 해상도는 메가픽셀을 0.2로 매우 낮게 설정할 수 있다. 터보 모델을 사용하는 경우, 총 8스텝 중 저해상도 샘플링에는 4스텝만 사용하여 생성 시간을 효율적으로 단축할 수 있다.

원본 영상과 비교했을 때, 영상에서 인물만 정확하게 변경되었고 배경과 주변 사물은 모두 잘 유지되었다. 새로운 인물에게 원본 인물의 움직임이 그대로 이식되었으며, 움직임에 따른 의상의 상호작용이나 자연광 처리도 매우 자연스럽게 적용되었다.