llm (13) 썸네일형 리스트형 [AutoRAG 소개] - 자동으로 최적의 RAG 파이프라인을 찾아주는 자동화 툴 *RAG를 위한 모든 것! AutoRAG!! AutoRAG github: https://github.com/Marker-Inc-Korea/AutoRAG GitHub - Marker-Inc-Korea/AutoRAG: RAG AutoML Tool - Find optimal RAG pipeline for your own data. RAG AutoML Tool - Find optimal RAG pipeline for your own data. - GitHub - Marker-Inc-Korea/AutoRAG: RAG AutoML Tool - Find optimal RAG pipeline for your own data. github.com MarkrAI RAG Model: https://huggingface.co.. [MoE 논문 리뷰] - Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity *MoE를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! MoE paper: https://arxiv.org/abs/2101.03961 Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity In deep learning, models typically reuse the same parameters for all inputs. Mixture of Experts (MoE) defies this and instead selects different parameters for each incoming example. The result is a sparsely-activated mode.. [🌸Sakura-SOLAR] - SOLAR 10.7B 모델을 base로 하여 merge와 DPO 방법론을 활용한 LLM Github: https://github.com/KyujinHan/Sakura-SOLAR-DPO GitHub - KyujinHan/Sakura-SOLAR-DPO: Sakura-SOLAR-DPO: Merge, SFT, and DPO Sakura-SOLAR-DPO: Merge, SFT, and DPO. Contribute to KyujinHan/Sakura-SOLAR-DPO development by creating an account on GitHub. github.com 🌸Huggingface: https://huggingface.co/kyujinpy/Sakura-SOLAR-Instruct kyujinpy/Sakura-SOLAR-Instruct · Hugging Face Sakura-SOLAR-Instr.. [Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning] 강좌 링크: https://bit.ly/40NbECx Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning | 패스트캠퍼스 LLM 리더보드 세계 1위의 시각으로 배우는 논문 선별 노하우과 모델 파이프라인 구축 방법! fastcampus.co.kr 안녕하세요! Ko-LLM 리더보드에서 Ko-platypus 모델을 올렸던 kyujin입니다! 제가 이번에 좋은 기회를 얻게 되어서, upstage와 함께 LLM 강의를 준비하게 되었습니다..!!!! 훌륭하신 많은 분들과 함께 작업할 수 있어서 너무 영광이고, 좋은 기회인 만큼 정말 열심히 준비하고 있습니다 ㅎㅎ LLM의 여러 지식과 최근에 유행하는 PEFT 방법론 부터, fine-tuning 실습을 통해 .. [🐳KO-LLM 첫 50 돌파🥮] 안녕하세요! 최근 Ko-platypus와 Ko-openorca로 인사드렸던 kyujin 입니다😊 KoR-Orca-Platypus-13B 모델이 Open KO-LLM 리더보드에서 처음으로 average 점수 50을 돌파하였습니다🎉🎉 Ko-platypus와 Korean-OpenOrca를 훈련시키고 리더보드에 올리면서 많은 걸 느끼고 경험할 수 있었던 것 같습니다 ㅎㅎ 해당 모델에 관심 있으신 분들은 밑에 github 링크를 통해서 상세한 정보를 확인하실 수 있습니다! 감사합니다🤗🤗 Ko-platypus: https://github.com/Marker-Inc-Korea/KO-Platypus Ko-OpenOrca: https://github.com/Marker-Inc-Korea/Korean-OpenOrca [🐳Korean-OpenOrca Model 등장🐳] 🐳Github🐳: https://github.com/Marker-Inc-Korea/Korean-OpenOrca GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca - GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca github.com 🐳HuggingFace🐳: https://huggingface.co/kyujinpy/K.. [Poly-platypus-ko] - Polyglot-ko + Ko-Platypus HuggingFace: https://huggingface.co/MarkrAI/kyujin-Poly-platypus-ko-12.8b Github1: https://github.com/Marker-Inc-Korea/KO-Platypus GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platy [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model - GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platy🥮] Korean-Open-platypus.. [9/28 오전 8시 리더보드 1등, 4등] Open KO-LLM 리더보드 후기 Leaderboard: Open Ko-LLM Leaderboard - a Hugging Face Space by upstage Open Ko-LLM Leaderboard - a Hugging Face Space by upstage huggingface.co KO-platypus: https://github.com/Marker-Inc-Korea/KO-Platypus GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platy [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model.. [KO-Platy🥮] - Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model 🥮Github🥮: https://github.com/Marker-Inc-Korea/KO-Platypus GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus - GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus github.com 🥮Huggingface🥮: https://huggingface.co/kyujinp.. [OpenFlaminKO] - Polyglot-KO를 활용한 한국어 기반 MultiModal 도전기! Github: https://github.com/Marker-Inc-Korea/OpenFlaminKO OpenFlamingo: https://github.com/mlfoundations/open_flamingo GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models. An open-source framework for training large multimodal models. - GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models. github.com Op.. RuntimeError: Invalid scalar type ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 30788) of binary DDP를 할려는데, gpu가 1개라서 FDSP로 실행시키고, gloo type으로 했는데 Model을 불러오는데 Invalid type error라는 에러가 자꾸 뜬다.. 어떻게 해결해야할까!? Method: 내부 로직 수정 C 드라이브 안으로 들어가서, 가상환경 안에 있는 내부 python code에서 버그가 일어난 곳이다. 여기 보면 nn.ModuleList에서 추가할 때 type이 이상하다는 걸 의미하는 것 같다. 그래서 wrap() function을 전부 지워주었다. 그랬더니 넘어가서 해결은 일단 되었는데, DDP 작동에 있어서 해결이 될지는 모르겠다... +) GPU memory 터져서 훈련도 잘되는지는 모르겠는데.. 나중에 랩실 서버로 돌려서 훈련되면 추가적으로 공유하겠습니다..ㅎㅎ 2023... [Window] bitsandbytes download - PEFT using LoRA(QLoRA) 드디어... LLM을 PEFT 방식을 이용해서 훈련시킬려고 하는데, bitsandbytes가 linux만 지원한다는 얘기만 잔뜩 있고 도움이 되는 글들을 못 찾아서 디버깅하는데만 5시간 쏟은 것 같다... 요즘 LLM fine-tuning하면 LoRA와 QLoRA가 대세이고, 또 이것을 양자화해서 memory의 효율성을 가져가는게 트렌드인데 이 양자화를 해서 memory를 아낄려면 8-bit, 4-bit로 weight를 설정하고 float과 상호성을 띄도록 만들어줘야 하는데 여기 필요한 모듈 중 하나가 바로 bitsandbytes이다... 방법1) bitsandbytes-windows-webui github https://github.com/jllllll/bitsandbytes-windows-webui .. 이전 1 2 다음
