RuntimeError: Error(s) in loading state_dict for Model - [LoRA fine-tuning 코드 직접 제작 꿀팁(에러 해결)] -

https://stackoverflow.com/questions/63057468/how-to-ignore-and-initialize-missing-keys-in-state-dict

Bug 내용 예시

 

간혹가다가, fine-tuning할 때 기존 Pre-trained weight에 없는 가중치(LoRA와 같은)를 추가하고 싶을 때 어떻게 해야할까요??

 

그냥 model class에 추가하면 새롭게 trainable layers를 추가하면:

RuntimeError: Error(s) in loading state_dict for Model:에러를 마주칩니다!

 

이때 단순하게, load_state_dict에 strict=False를 추가하면 아주 쉽게 해결 완료!

self.dit3d.load_state_dict(ckpt['model_state'], strict=False)
# DiT-3D 예시

---