Kyujinpy (152) 썸네일형 리스트형 [OpenFlaminKO] - Polyglot-KO를 활용한 한국어 기반 MultiModal 도전기! Github: https://github.com/Marker-Inc-Korea/OpenFlaminKO OpenFlamingo: https://github.com/mlfoundations/open_flamingo GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models. An open-source framework for training large multimodal models. - GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models. github.com Op.. [Tune-A-Video 논문 리뷰] One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation *Tune-A-Video를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! Tune-A-Video paper: [2212.11565] Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation (arxiv.org) Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation To replicate the success of text-to-image (T2I) generation, recent works employ large-scale video datasets to train a text-to-video (T.. [DDIM 논문 리뷰] - DENOISING DIFFUSION IMPLICIT MODELS *DDIM를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! DDIM paper: [2010.02502] Denoising Diffusion Implicit Models (arxiv.org) Denoising Diffusion Implicit Models Denoising diffusion probabilistic models (DDPMs) have achieved high quality image generation without adversarial training, yet they require simulating a Markov chain for many steps to produce a sample. To accelerate sampling, we present denoising d.. [DDPM 논문 리뷰] - Denoising Diffusion Probabilistic Models *DDPM를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! DDPM paper: https://arxiv.org/abs/2006.11239 Denoising Diffusion Probabilistic Models We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound arxiv.org DDPM.. [DeepL] python을 이용한 한국어 번역 자동화 코드 (Not Pro and API. Using selenium) References: https://github.com/KyujinHan/Korean_selenium_DeepL GitHub - KyujinHan/Korean_selenium_DeepL: DeepL을 통한 한국 번역 자동화 코드 DeepL을 통한 한국 번역 자동화 코드. Contribute to KyujinHan/Korean_selenium_DeepL development by creating an account on GitHub. github.com # DeepL을 이용한 자동화 코드를 만들었습니다. # Api 필요없이, 단순 코드만 돌리면 바로 사용 가능합니다. # 기존에 있는 pip install {deep-cli, deepl, deepl-translate} 패키지들이 한국어를 지원하지 않고, 구글.. RuntimeError: Cannot writeback when the parameter shape changes 해당 에러는 모델을 돌리는 도중, backpropagation을 진행할 때 모델의 파라미터 shape이 같아야하는데 다를 때 일어나는 것이다. 에러를 어떻게 해결할까!? 일단 위의 system file을 따라서 위의 함수로 들어간다! if src_tensor is not None and src_tensor.shape != expected_shape: # NOTE: Gradient shape mismatch is not possible in practice since # the gradient shape is enforced to match that of the parameter and # we already check for parameter shape mismatch. raise RuntimeError.. RuntimeError: no support for _allgather_base in Gloo process group 에러가 일어난 곳: https://github.com/mlfoundations/open_flamingo/tree/main/open_flamingo/train Openflamingo model을 gloo로 설정해서 돌리는데 해당 부분에서 에러가 일어났다. 검색을 해보니, _allgather_base함수가 nccl에서 작동되지 않는다고 한다... 어떻게 해결해야할까!? Method: [torch_list] 형태로 all_gather 이용하기 해당 문제를 풀기 위해서는 일단 _exec_order_utils.py라는 system file로 들어와야 한다. 그리고 해당 파일에서 밑의 코드와 같은 부분을 찾을 수 있다! world_num_valid_indices = torch.zeros(self.world_size.. AttributeError: 'GatedCrossAttentionBlock' object has no attribute 'clip_grad_norm_' 에러가 일어난 곳: https://github.com/mlfoundations/open_flamingo/tree/main/open_flamingo/train Openflamingo model을 nccl없이 gloo만 해서 훈련하고자 노력중인데 해당 에러를 만났다. 어떻게 해결해야할지 2시간을 헤매다가 해결방법을 찾았다! Method: torch framework의 clip_grad_norm_ 이용하기 Flamingo class이다. 해당 class에서 밑의 코드와 같은 부분을 찾을 수 있다! # set up clip_grad_norm_ function def clip_grad_norm_(max_norm): self.perceiver.clip_grad_norm_(max_norm) for layer in s.. [DeepL pro 이용하기] - Rapid API 이용 References: https://onigiri.kr/posts/Rapid-API%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-DeepL-API-%EC%82%AC%EC%9A%A9%EA%B8%B0/ Rapid API 를 이용한 DeepL API 사용기 개인프로젝트에 번역기능이 필요로 해서 최근에 좋은 번역 결과를 보여주고 있는 DeepL 을 사용하고자 했다. onigiri.kr 8월달에 DeepL pro 한국에 정식 출시된다는데... 해야할 작업이 있기에 일단 한달만 Rapid API 이용해서...(?) RuntimeError: Invalid scalar type ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 30788) of binary DDP를 할려는데, gpu가 1개라서 FDSP로 실행시키고, gloo type으로 했는데 Model을 불러오는데 Invalid type error라는 에러가 자꾸 뜬다.. 어떻게 해결해야할까!? Method: 내부 로직 수정 C 드라이브 안으로 들어가서, 가상환경 안에 있는 내부 python code에서 버그가 일어난 곳이다. 여기 보면 nn.ModuleList에서 추가할 때 type이 이상하다는 걸 의미하는 것 같다. 그래서 wrap() function을 전부 지워주었다. 그랬더니 넘어가서 해결은 일단 되었는데, DDP 작동에 있어서 해결이 될지는 모르겠다... +) GPU memory 터져서 훈련도 잘되는지는 모르겠는데.. 나중에 랩실 서버로 돌려서 훈련되면 추가적으로 공유하겠습니다..ㅎㅎ 2023... [VAE 논문 리뷰] - Auto-Encoding Variational Bayes *VAE 수학적 지식을 리뷰하기 글입니다! 궁금하신 점은 댓글로 남겨주세요! *(통계학, 확률론 지식이 있다고 가정합니다.) VAE paper: https://arxiv.org/pdf/1312.6114.pdf Contents 1. Simple Introduction 2. Mathematical Method - Intractable - Variation lower bound - Reparametrization trick Simple Introduction VAE는 컴퓨터 비전 분야에 한 획을 그은 방법론이다. 특히 image generation 분야에서는 엄청나다고 할 수 있다. 요즘은 VAE보다 훨씬 진보된 모델 diffusion이 자리를 아예 잡고 있어서 해당 논문을 이해하지 않는다면 최신 트렌드를 따.. Markov chain(마르코프 연쇄; markov process) Markov chain은 마르코프 연쇄, Markov process로 불린다. 이것은 이산시간 확률과정이라고 표현할 수 있다. (여기서 확률과정이라는 것은 어떤 사건이 발생할 확률이 변화하는 과정이다.) 마르코프 특성은 과거 상태에와 현재 상태가 있을 때, 미래 상태는 과거 상태와 독립적으로 현재 상태에 의해서 결정된다는 것이다. 상태 변이 확률은 어떤 상태에서 다음 단계의 상태로 변화할 때의 확률을 말한다. 이전 1 ··· 3 4 5 6 7 8 9 ··· 13 다음
