Kyujinpy (148) 썸네일형 리스트형 [DeepL] python을 이용한 한국어 번역 자동화 코드 (Not Pro and API. Using selenium) References: https://github.com/KyujinHan/Korean_selenium_DeepL GitHub - KyujinHan/Korean_selenium_DeepL: DeepL을 통한 한국 번역 자동화 코드 DeepL을 통한 한국 번역 자동화 코드. Contribute to KyujinHan/Korean_selenium_DeepL development by creating an account on GitHub. github.com # DeepL을 이용한 자동화 코드를 만들었습니다. # Api 필요없이, 단순 코드만 돌리면 바로 사용 가능합니다. # 기존에 있는 pip install {deep-cli, deepl, deepl-translate} 패키지들이 한국어를 지원하지 않고, 구글.. RuntimeError: Cannot writeback when the parameter shape changes 해당 에러는 모델을 돌리는 도중, backpropagation을 진행할 때 모델의 파라미터 shape이 같아야하는데 다를 때 일어나는 것이다. 에러를 어떻게 해결할까!? 일단 위의 system file을 따라서 위의 함수로 들어간다! if src_tensor is not None and src_tensor.shape != expected_shape: # NOTE: Gradient shape mismatch is not possible in practice since # the gradient shape is enforced to match that of the parameter and # we already check for parameter shape mismatch. raise RuntimeError.. RuntimeError: no support for _allgather_base in Gloo process group 에러가 일어난 곳: https://github.com/mlfoundations/open_flamingo/tree/main/open_flamingo/train Openflamingo model을 gloo로 설정해서 돌리는데 해당 부분에서 에러가 일어났다. 검색을 해보니, _allgather_base함수가 nccl에서 작동되지 않는다고 한다... 어떻게 해결해야할까!? Method: [torch_list] 형태로 all_gather 이용하기 해당 문제를 풀기 위해서는 일단 _exec_order_utils.py라는 system file로 들어와야 한다. 그리고 해당 파일에서 밑의 코드와 같은 부분을 찾을 수 있다! world_num_valid_indices = torch.zeros(self.world_size.. AttributeError: 'GatedCrossAttentionBlock' object has no attribute 'clip_grad_norm_' 에러가 일어난 곳: https://github.com/mlfoundations/open_flamingo/tree/main/open_flamingo/train Openflamingo model을 nccl없이 gloo만 해서 훈련하고자 노력중인데 해당 에러를 만났다. 어떻게 해결해야할지 2시간을 헤매다가 해결방법을 찾았다! Method: torch framework의 clip_grad_norm_ 이용하기 Flamingo class이다. 해당 class에서 밑의 코드와 같은 부분을 찾을 수 있다! # set up clip_grad_norm_ function def clip_grad_norm_(max_norm): self.perceiver.clip_grad_norm_(max_norm) for layer in s.. [DeepL pro 이용하기] - Rapid API 이용 References: https://onigiri.kr/posts/Rapid-API%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-DeepL-API-%EC%82%AC%EC%9A%A9%EA%B8%B0/ Rapid API 를 이용한 DeepL API 사용기 개인프로젝트에 번역기능이 필요로 해서 최근에 좋은 번역 결과를 보여주고 있는 DeepL 을 사용하고자 했다. onigiri.kr 8월달에 DeepL pro 한국에 정식 출시된다는데... 해야할 작업이 있기에 일단 한달만 Rapid API 이용해서...(?) RuntimeError: Invalid scalar type ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 30788) of binary DDP를 할려는데, gpu가 1개라서 FDSP로 실행시키고, gloo type으로 했는데 Model을 불러오는데 Invalid type error라는 에러가 자꾸 뜬다.. 어떻게 해결해야할까!? Method: 내부 로직 수정 C 드라이브 안으로 들어가서, 가상환경 안에 있는 내부 python code에서 버그가 일어난 곳이다. 여기 보면 nn.ModuleList에서 추가할 때 type이 이상하다는 걸 의미하는 것 같다. 그래서 wrap() function을 전부 지워주었다. 그랬더니 넘어가서 해결은 일단 되었는데, DDP 작동에 있어서 해결이 될지는 모르겠다... +) GPU memory 터져서 훈련도 잘되는지는 모르겠는데.. 나중에 랩실 서버로 돌려서 훈련되면 추가적으로 공유하겠습니다..ㅎㅎ 2023... [VAE 논문 리뷰] - Auto-Encoding Variational Bayes *VAE 수학적 지식을 리뷰하기 글입니다! 궁금하신 점은 댓글로 남겨주세요! *(통계학, 확률론 지식이 있다고 가정합니다.) VAE paper: https://arxiv.org/pdf/1312.6114.pdf Contents 1. Simple Introduction 2. Mathematical Method - Intractable - Variation lower bound - Reparametrization trick Simple Introduction VAE는 컴퓨터 비전 분야에 한 획을 그은 방법론이다. 특히 image generation 분야에서는 엄청나다고 할 수 있다. 요즘은 VAE보다 훨씬 진보된 모델 diffusion이 자리를 아예 잡고 있어서 해당 논문을 이해하지 않는다면 최신 트렌드를 따.. Markov chain(마르코프 연쇄; markov process) Markov chain은 마르코프 연쇄, Markov process로 불린다. 이것은 이산시간 확률과정이라고 표현할 수 있다. (여기서 확률과정이라는 것은 어떤 사건이 발생할 확률이 변화하는 과정이다.) 마르코프 특성은 과거 상태에와 현재 상태가 있을 때, 미래 상태는 과거 상태와 독립적으로 현재 상태에 의해서 결정된다는 것이다. 상태 변이 확률은 어떤 상태에서 다음 단계의 상태로 변화할 때의 확률을 말한다. [Window] bitsandbytes download - PEFT using LoRA(QLoRA) 드디어... LLM을 PEFT 방식을 이용해서 훈련시킬려고 하는데, bitsandbytes가 linux만 지원한다는 얘기만 잔뜩 있고 도움이 되는 글들을 못 찾아서 디버깅하는데만 5시간 쏟은 것 같다... 요즘 LLM fine-tuning하면 LoRA와 QLoRA가 대세이고, 또 이것을 양자화해서 memory의 효율성을 가져가는게 트렌드인데 이 양자화를 해서 memory를 아낄려면 8-bit, 4-bit로 weight를 설정하고 float과 상호성을 띄도록 만들어줘야 하는데 여기 필요한 모듈 중 하나가 바로 bitsandbytes이다... 방법1) bitsandbytes-windows-webui github https://github.com/jllllll/bitsandbytes-windows-webui .. [Instant-NGP 논문 리뷰] - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding *이 글의 목표: Hash-encoding 완전 이해하기!!! (부셔버려!!) *Instant-NGP를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! Instant-NGP paper: nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf Instant-NGP github: GitHub - NVlabs/instant-ngp: Instant neural graphics primitives: lightning fast NeRF and more GitHub - NVlabs/instant-ngp: Instant neural graphics primitives: lightning fast NeRF and more Instant neural graph.. [Instant-stylization-NeRF 논문 리뷰] - Instant Neural Radiance Fields Stylization *Instant Neural Radiance Fields Stylization를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! Instant Neural Radiance Fields Stylization paper: [2303.16884] Instant Neural Radiance Fields Stylization (arxiv.org) Instant Neural Radiance Fields Stylization We present Instant Neural Radiance Fields Stylization, a novel approach for multi-view image stylization for the 3D scene. Our approach models a neural radian.. [LoRA 논문 리뷰] - LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS *LoRA를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! LoRA paper: https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxi.. 이전 1 ··· 3 4 5 6 7 8 9 ··· 13 다음
