[🌸Sakura-SOLAR] - SOLAR 10.7B 모델을 base로 하여 merge와 DPO 방법론을 활용한 LLM

Sakura

Github: https://github.com/KyujinHan/Sakura-SOLAR-DPO

GitHub - KyujinHan/Sakura-SOLAR-DPO: Sakura-SOLAR-DPO: Merge, SFT, and DPO

 

🌸Huggingface: https://huggingface.co/kyujinpy/Sakura-SOLAR-Instruct

kyujinpy/Sakura-SOLAR-Instruct · Hugging Face

 

---

 

안녕하세요!

(주)미디어그룹사람과숲과 (주)마커에서 지원받아 LLM 연구를 하고 있는 kyujinpy입니다!😄😄

 

최근에 SOLAR-10.7B 모델이 Depth-Up-Scaling 방법론을 활용하여 Open LLM 리더보드에서 1등을 달성하였습니다..!

Depth-Up-Scaling을 통해서 서로 다른 모델의 파라미터를 공유하면서 보다 높은 정확도를 낼 수 있었던 것 같습니다.😉

 

또한, 최근에 새로운 강화학습 방법인 DPO와 모델들의 파라미터 값을 서로 공유하는 merge(slerp) 방법을 통해 모델의 성능을 많이 이끌어 내는 것을 보면서, SOLAR 모델을 활용하여서 좋은 성능을 내는 모델 튜닝에 도전하게 되었습니다..!

 

## Merge

Merge(slerp)방법은 mergekit이라는 github에서 쉽게 구현이 가능합니다!

SLERP은 Spherical Linear Interpolation의 약자로, 구면 선형 보간법이라고 합니다!

단순한 euclidean 평면에서 구하는 거리계산과는 다른데 검색하시면 많은 정보들이 나와서 쉽게 이해하실 수 있습니다!

 

저는 slerp method를 아래의 2개의 모델에 적용해보았습니다!😋

- SOLAR-10.7b-Instruct-v1.0

- SauerkrautLM-SOLAR-Instruct

이렇게 해서 만들어진 모델이 🌸Sakura-SOLAR-Instruct🌸 입니다!

 

## DPO

DPO 방법은 directly preference optmization의 약자입니다!

해당 방법론은, 두 모델 간의 대답 분포도를 비교하여서 사용자가 원하는 대답으로 분포를 맞춰주는 방법이라고 생각하시면 편합니다! (자세한 내용은 논문을 참고하시면 좋습니다! 수식에 익숙하신 분들이라면 KL-divergence를 떠올리셔도 좋습니다 ㅎㅎ)

 

최근에 모델을 올리기 위해 여러가지 open source models을 보면서, 저와 같이 자원이 부족한 사람들이 학습하기 적합한 dpo 데이터셋을 제 나름대로 추려봤습니다! 😋

- Intel/orca_dpo_pairs

- argilla/distilabel-math-preference-dpo

- unalignment/toxic-dpo-v0.1

저는 여기서 orca_dpo와 math_dpo를 이용했습니다!

toxic_dpo도 이용하고 싶었지만, 이것은 다른 사람들의 시도로 남겨두겠습니다..🙃🙃

 

여러 DPO 데이터셋을 활용해서 만든 모델의 리스트는 아래와 같습니다! 😋

- Math_dpo

-> 🌸 kyujinpy/Sakura-SOLAR-Instruct-DPO-v1

-> 🌸 kyujinpy/Sakura-SOLAR-Instruct-DPO-v2

 

- Orca_dpo

-> 🌸 kyujinpy/Sakura-SOLRCA-Instruct-DPO

 

- Orca_dpo + Math_dpo

-> 🌸 kyujinpy/Sakura-SOLRCA-Math-Instruct-DPO-v1

-> 🌸 kyujinpy/Sakura-SOLRCA-Math-Instruct-DPO-v2

 

모델을 만들 때, 가장 고민했던 점은 hyperparameters 였습니다..!

하이퍼 파라미터에 대한 정보를 얻기 위해, 밤새도록 모델의 open source에 나와있는 정보들과 과거 log 기록들을 살펴보았고, 제가 시도했던 경험들까지 모두 종합하여 어느정도 경우의 수를 만들었습니다 😇😇

 

이것을 바탕으로, 여러 하이퍼 파라마터들을 실험 정신으로 각각의 모델에 적용을 해보았습니다!😍

자세한 하이퍼 파리미터는 github에 모두 공개했습니다! 여러분들에게 하나의 인사이트가 되었으면 좋겠습니다🥰🥰

 

## 마무리

KO-LLM 리더보드에 이어서 EN-LLM 리더보드도 1등을 달성해보는 경험을 했다니..정말 감사할 따름입니다. (물론 고충도 많았지만요..! ㅎㅎ)

저와 같이 연구하고 응원하는 모든 분들께 감사드리고, 또 아낌없이 지원해주시는 (주)미디어그룹사람과숲과 (주)마커에도 감사함을 표합니다🤗🤗

 

다음에도 더 좋은 오픈소스 모델로 찾아뵐 수 있도록 노력하겠습니다🤩🤩

감사합니다!