Github: https://github.com/KyujinHan/KO-stable-diffusion-anything
GitHub - KyujinHan/KO-stable-diffusion-anything: Diffusion-based korean text-to-image generation model
Diffusion-based korean text-to-image generation model - GitHub - KyujinHan/KO-stable-diffusion-anything: Diffusion-based korean text-to-image generation model
github.com
KO-anything-v4-5: https://huggingface.co/kyujinpy/KO-anything-v4-5
kyujinpy/KO-stable-diffusion-anything · Hugging Face
Fantasy.ai is the official and exclusive hosted AI generation platform that holds a commercial use license for Anything V4.0, you can use their service at https://Fantasy.ai/ Note Examples Prompt: 걸작, 최고 품질, 1소녀, 흰 머리, 고양이 귀,
huggingface.co
KO-stable-diffusion-disney: https://huggingface.co/kyujinpy/KO-stable-diffusion-disney
kyujinpy/KO-stable-diffusion-disney · Hugging Face
This model can be loaded on the Inference API on-demand.
huggingface.co
KO-stable-diffusion-anything: 한국어 기반의 stable-diffusion-disney와 KO-anything-v4-5
안녕하세요. Computer vision과 NLP에 관심이 많은 Kyujin입니다!
저는 Vision 분야 중에서도 Diffusion을 엄청 좋아하는 만큼 generative AI에 엄청난 관심이 있습니다. 최근 Polyglot의 등장으로 한국형 LLM을 만들고자 하는 시도가 많아지는 것에 감명을 받아서, 한국어 기반의 text-to-image를 수행하는 diffusion을 만들고 싶은 마음에 KO-stable-diffusion을 만들게 되었습니다..ㅎㅎ
해당 모델은 bingsu님의 CLIP을 보고 감명을 받아서 제작하게 되었습니다.
Bingsu's CLIP: https://huggingface.co/Bingsu/clip-vit-large-patch14-ko
위의 모델은 knowledge distillation을 기반으로, 한국어-영어 번역 데이터셋을 학습한 CLIP 모델입니다.
해당 korean-CLIP을 기존의 diffusion 모델의 tokenizer와 text-encoder로 넣어서 한국어 기반의 stable-diffusion을 만들 수 있었습니다!!
기본적인 구조로 stable-diffusion을 이용하기 때문에 UNet 구조이고 DDPM으로 학습한 후 DDIM으로 sampling하는 방식으로 진행됩니다.
KO-stable-diffusion-disney는 한국어 caption을 넣으면 disney 스타일의 image를 생성해주고, KO-anything-v4-5는 anime 스타일의 image를 생성해줍니다.
Github와 Huggingface에 들어가시면 코드와 모델을 자유롭게 다운받아서 이용하실 수 있으니 많은 관심 부탁드립니다 ㅎㅎ
추후에 해당 모델을 이용하여 video를 one-shot으로 tuning하는 모델을 제작하고 있는데 공유해보도록 하겠습니다.
긴 글 읽어주셔서 감사합니다!
2023.08.16 Kyujinpy 작성.
+) Stable-diffusion KR 공유: https://www.facebook.com/groups/1394143228095187/permalink/1450877709088405/
Facebook에 로그인
Notice 계속하려면 로그인해주세요.
www.facebook.com
8/17: HuggingFace에 model trending에 올라왔다!!!
'AI > CV project' 카테고리의 다른 글
| [DDPM 코드 리뷰] (6) | 2023.12.30 |
|---|---|
| [Tune-A-VideKO] - 한국어 기반 One-shot Tuning of diffusion for Text-to-Video 모델 (0) | 2023.08.18 |
| [OpenFlaminKO] - Polyglot-KO를 활용한 한국어 기반 MultiModal 도전기! (0) | 2023.08.16 |
| [VDE 논문 리뷰] - Vehicle Distance Estimation from a Monocular Camera for Advanced Driver Assistance Systems (7) | 2023.01.09 |
| D-NeRF를 이용한 Real dataset(real scene video) 학습하기 (5) | 2022.12.27 |
