PEFT (2) 썸네일형 리스트형 [Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning] 강좌 링크: https://bit.ly/40NbECx Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning | 패스트캠퍼스 LLM 리더보드 세계 1위의 시각으로 배우는 논문 선별 노하우과 모델 파이프라인 구축 방법! fastcampus.co.kr 안녕하세요! Ko-LLM 리더보드에서 Ko-platypus 모델을 올렸던 kyujin입니다! 제가 이번에 좋은 기회를 얻게 되어서, upstage와 함께 LLM 강의를 준비하게 되었습니다..!!!! 훌륭하신 많은 분들과 함께 작업할 수 있어서 너무 영광이고, 좋은 기회인 만큼 정말 열심히 준비하고 있습니다 ㅎㅎ LLM의 여러 지식과 최근에 유행하는 PEFT 방법론 부터, fine-tuning 실습을 통해 .. [Window] bitsandbytes download - PEFT using LoRA(QLoRA) 드디어... LLM을 PEFT 방식을 이용해서 훈련시킬려고 하는데, bitsandbytes가 linux만 지원한다는 얘기만 잔뜩 있고 도움이 되는 글들을 못 찾아서 디버깅하는데만 5시간 쏟은 것 같다... 요즘 LLM fine-tuning하면 LoRA와 QLoRA가 대세이고, 또 이것을 양자화해서 memory의 효율성을 가져가는게 트렌드인데 이 양자화를 해서 memory를 아낄려면 8-bit, 4-bit로 weight를 설정하고 float과 상호성을 띄도록 만들어줘야 하는데 여기 필요한 모듈 중 하나가 바로 bitsandbytes이다... 방법1) bitsandbytes-windows-webui github https://github.com/jllllll/bitsandbytes-windows-webui .. 이전 1 다음
