반응형
이미지, 비디오, 텍스트 넣어서 계단식 구조로 4k로 비디오 생성
한줄 요약 : base model로 저해상도 비디오 latent 생성하고 이를 다시 lightweight super-resolution models = UniMMVSR 에 넣어서 초고해상도 latent 생성후 VAE 디코딩
고해상도 비디오의 어려움: 비디오 생성 파운데이션 모델(foundation models)이 발전하고 있지만, 2K, 4K와 같은 초고해상도 비디오를 직접 생성하는 것은 막대한 계산 비용
• 캐스케이드 패러다임: 이 문제를 해결하기 위해, 대용량 기본 모델이 저해상도 비디오를 생성하고, 경량의 VSR 모델이 후속적으로 미세한 디테일을 합성하는 stage-wise cascading 패러다임이 해결책으로 제시
• 기존 VSR의 한계: 기존의 캐스케이드 VSR 연구들은 주로 텍스트-투-비디오(T2V) 작업에만 국한되어 있었으며, 텍스트 외에 이미지나 다른 비디오와 같은 추가적인 생성 조건(hybrid)을 활용하지 못했다. 멀티모달 비디오 생성에서 충실도(fidelity)를 유지하는 데 필수적인 요소
2. UniMMVSR의 핵심 기술 및 아키텍처
UniMMVSR은 저해상도 비디오뿐만 아니라 텍스트, 다중 ID 이미지, 참조 비디오 등 다양한 하이브리드 조건을 활용하여 비디오 초해상도를 달성하는 프레임워크
A. Unified Conditioning
UniMMVSR은 세 가지 일반적인 비디오 생성 작업(T2V, TI2V 생성, 텍스트 프롬프트 비디오 editing)에 초점을 맞추어 다양한 조건을 효과적으로 통합
1. 저해상도 비디오 (LR Video) 통합: 저해상도 비디오는 최종 고해상도(HR) 비디오와 픽셀 수준의 시공간적 대응 관계를 가지므로, 이 정보를 노이즈가 추가된 High Resolution 잠재 벡터에 **채널 연결(channel concatenation, CC)**을 통해 직접 통합
2. 시각적 참조 (Visual References) 통합: 다중 ID 이미지 및 참조 비디오와 같은 시각적 참조는 **토큰 연결(token concatenation, TC)**을 사용하여 타겟 비디오 토큰과 통합 이는 모든 참조 토큰들이 트랜스포머 블록 내의 3D 셀프 어텐션 모듈을 통해 단일 통합 시퀀스로 처리되게 하여, 정보의 양방향 흐름을 보장
3. Separated Conditional RoPE: Low Resolution 비디오가 시각적 참조(예: ID 이미지, 참조 비디오)와 완벽하게 정렬되지 않을 수 있음 -> 조건 토큰에 대해 타겟 비디오 토큰과 구별되는 개별적인 RoPE (Rotary Position Embedding) 범위를 할당. 이는 모델이 픽셀 정렬에 의존하기보다 맥락과 상관관계를 기반으로 참조를 활용하도록 유도하여 robustness을 높인다.
B. SDEdit 기반의 맞춤형 열화 파이프라인
기본 모델의 저해상도 출력에는 고주파 디테일 부족이나 시각적 참조에 대한 불충분한 충실도(low fidelity)와 같은 열화(degradation) 패턴
• SDEdit 열화 (Degradation): 이러한 기본 모델의 출력 특성을 시뮬레이션하기 위해, text-to-video 기본 모델을 사용한 SDEdit 기법(Stochastic Differential Equations)을 기반으로 맞춤형 열화 파이프라인을 개발
• 이 파이프라인은 훈련 데이터의 LR 비디오가 HR 비디오와 구조적으로 엄격하게 정렬되는 것을 방지하고, 저해상도 출력에서 발생하는 **불충분한 참조 반응(insufficient reference response)**을 시뮬레이션
C. 훈련 전략 및 성과
• 훈련 순서: 작업 난이도에 따라 "어려움에서 쉬움으로(difficult-to-easy)" 진행하는 훈련 전략, 복잡한 멀티모달 작업(예: 비디오 편집)이 T2V 작업보다 수렴 속도가 빠르므로, 어려운 작업을 먼저 학습한 다음 더 쉬운 작업에 효과적으로 적응하도록
• 데이터 전이 효과: 고품질 훈련 데이터가 하위 작업들 간에 전이될 수 있음 -> 이로 인해 복잡한 모달리티 작업을 위한 고품질 데이터 수집 부담이 줄어듬
• 주요 성과: UniMMVSR은 기존의 VSR 방법들보다 우수한 디테일을 생성하고 멀티모달 조건에 대한 높은 적합성을 유지, 효율적인 계산 오버헤드로 멀티모달 조건이 안내하는 4K 비디오 생성
3. 정량적/정성적 평가
• 정량적 평가 결과, UniMMVSR은 시각적 품질(Visual Quality) 지표(MUSIQ, QAlign, DOVER)와 주제 일관성(Subject Consistency) 지표(CLIP-I, DINO-I) 모두에서 최신 기존 방법들보다 우수하거나 경쟁적인 성능
• 특히, 텍스트 안내 비디오 편집 작업에서는 비편집 영역에 대해 참조 비디오와 높은 픽셀 수준의 fidelity 및 구조적 유사성(PSNR, SSIM)을 유지했습니다.
• 정성적 비교에서도 UniMMVSR은 기존 방법들이 흐릿한 디테일을 생성하는 반면, (예: 개의 털, 얼굴 구조) 등 텍스처와 디테일을 성공적으로 합성
반응형