[Tune-A-VideKO] - 한국어 기반 One-shot Tuning of diffusion for Text-to-Video 모델

Github: https://github.com/KyujinHan/Tune-A-VideKO/tree/master

GitHub - KyujinHan/Tune-A-VideKO: 한국어 기반 One-shot video tuning with Stable Diffusion

Tune-A-VideKO-v1-5🏄: https://huggingface.co/kyujinpy/Tune-A-VideKO-v1-5

kyujinpy/Tune-A-VideKO-v1-5 · Hugging Face

Tune-A-VideKO-anything😍: https://huggingface.co/kyujinpy/Tune-A-VideKO-anything

kyujinpy/Tune-A-VideKO-anything · Hugging Face

Tune-A-VideKO-disney🤩: https://huggingface.co/kyujinpy/Tune-A-VideKO-disney

kyujinpy/Tune-A-VideKO-disney · Hugging Face

---

Introduction

Tune-A-VideKO

안녕하세요! Computer vision에 관심이 많은 Kyujin입니다!😄😄

 

저번에 한국어 기반으로 text-to-image를 수행하는 모델인 KO-stable-diffusion-anything을 제작하여 공유를 하였는데, 

KO-stable-diffusion-anything을 제작하게 된 이유가 바로 해당 모델을 제작하고 싶은 마음이 컸기 때문이었습니다😉

오늘 제가 새롭게 디자인하여 공유할 모델은 Tune-A-VideKO입니다! 🎥🤗

 

Base line이 되는 모델은 ICCV 2023에 올라온 Tune-A-Video라는 text-to-video 모델로, diffusion을 활용하여 기존의 video를 text와 함께 One-shot tuning을 하여서 video generation을 수행하게 됩니다.

 

Tune-A-VideKO 모델은 기존에 사전 훈련된 Korean-stable-diffusion을 활용하여 One-shot tuning을 진행한 후, 한국어 text를 넣어서 DDIM으로 video generation을 합니다!

 

해당 모델의 장점은 많은 데이터셋이 필요없고, 간단한 하나의 video만으로 다양한 한국어 caption에 대한 video generation을 이끌어낼 수 있다는 점인 것 같습니다!📸📸

Tune-A-Video 모델을 보자마자 바로 한국어로 만들어보고 싶은 생각이 들었고, KO-stable-diffusion을 만들고 난 후 바로 작업에 들어갔습니다..ㅎㅎ😅

 

Github에 코드와 huggingface에 모델을 올려두었으니, 많은 관심 부탁드립니다!!😁😁

긴 글 읽어주셔서 감사합니다.

+) 간단한 Tune-A-Video 논문 리뷰는 https://kyujinpy.tistory.com/98 해당 링크에서 확인하실 수 있습니다..!

---

Results

흰색 옷을 입은 남자가 바다를 걷고 있습니다

자동차가 만화 스타일로 도로를 달리고 있습니다

Github에 가시면 더 많은 결과를 보실 수 있습니다!

---

2023.08.18 Kyujinpy 작성

---

+) 8/20 huggingface models trend 1 페이지에 kyujinpy가 5개나!!