window (2) 썸네일형 리스트형 [Window] bitsandbytes download - PEFT using LoRA(QLoRA) 드디어... LLM을 PEFT 방식을 이용해서 훈련시킬려고 하는데, bitsandbytes가 linux만 지원한다는 얘기만 잔뜩 있고 도움이 되는 글들을 못 찾아서 디버깅하는데만 5시간 쏟은 것 같다... 요즘 LLM fine-tuning하면 LoRA와 QLoRA가 대세이고, 또 이것을 양자화해서 memory의 효율성을 가져가는게 트렌드인데 이 양자화를 해서 memory를 아낄려면 8-bit, 4-bit로 weight를 설정하고 float과 상호성을 띄도록 만들어줘야 하는데 여기 필요한 모듈 중 하나가 바로 bitsandbytes이다... 방법1) bitsandbytes-windows-webui github https://github.com/jllllll/bitsandbytes-windows-webui .. [wget 설치] - FileNotFoundError: [WinError 2] 지정된 파일을 찾을 수 없습니다(2). (MPS-Net 실행 에러) FFMPEG를 깔아서 실행되나 싶었더니, 갑자기 또 해당 에러가 발생했다. 후.. 이번에는 무엇이 문제일까? 원인 찾기 - 일단 terminal error를 통해서 multi_person_traker에 있는 mpt.py를 들어가보자. - Terminal error를 보니 여기 있는 YOLOv3를 만들 때 문제가 있는 것 같다. - 그러면 terminal에 경로를 따라서, yolov3/yolo.py에 들어가보자. - Terminal에서 출력된 downloading url 링크를 찾아내었다. - 해당 function을 보니, cmd에서 wget이라는 것을 실행시킬려고 한다. - ffmpeg처럼 wget도 설치를 해줘야 할 것이라고 느낌이 들었다. wget 설치 https://eternallybored.org.. 이전 1 다음
