[Gukbap-LLM🍚] - 오픈소스 LLM으로 자체 데이터셋 생성해서 SOTA 달성하기

Gukbap Models🍚

• HumanF-MarkrAI/Gukbap-Qwen2-7B
• HumanF-MarkrAI/Gukbap-Mistral-7B
• HumanF-MarkrAI/Gukbap-Gemma2-9B

---

Introduction

오픈소스 LLM만으로 데이터를 생성하여 GPT-4를 넘어 한국어 최고 레벨을 달성🔥

안녕하세요! 오랜만에 LLM 프로젝트로 인사드리는 kyujinpy 입니다🤗

작년에 무수히 많은 일들이 있었는데요..! 마커 AI는 자체 데이터셋과 LLM을 만드는데 집중을 하고 있는 중입니다!🤔

저희가 가장 심각하게 보고 있는 문제는 바로, 'OpenAI 의존성' 입니다!

 

오늘날 수많은 여러 SOTA 모델들은 해왜/국내를 모두 포함하여 private model (ChatGPT, GPT4 등)을 활용하여 생성한 데이터를 통해 LLM 훈련을 진행하고 있습니다. 가장 대표적인 예시로는, Orca, Ultrafeedback, OpenHermes 등등이 있습니다.

 

하지만, 저희는 위와 같은 흐름이 언젠가는 private model의 이용 약관에 위배될 수도 있다고 생각했습니다. 대표적으로 OpenAI의 license에는 다음과 같은 말이 명시되어 있습니다: "⚠️사용 제한: OpenAI의 경쟁하기 위한 서비스를 만드는 것.⚠️" 

즉, private model을 통해 만든 데이터로는 저작권이나 권한이 종속되어 있기 때문에 언젠가 문제가 발생할 수 있습니다.

 

하지만 저희가 이번에 발표한, Gukbap-LLM은 private model이 아닌 open-source model을 통해 데이터를 생성하여 보다 자유로운 자체 LLM을 만들었다는 점에 큰 의의가 있습니다!😎😎

---

 

How to solve?

저희는 해당 문제를 풀기 위해서, 여러 논문을 기반으로 2가지 관점에서 집중있게 바라보았습니다

• 훈련에 필요한 최적의 데이터 개수 (LIMA)
• Open-source model로 고품질의 데이터 생성 방법 (WizardLM-2)

자체 데이터셋을 가지는 것은 생각보다 어려운 일입니다. 데이터를 가공하는 것과 증강하는데 수많은 인력과 시간이 필요하고, 데이터가 고품질이라는 것에 대한 기준이 무엇인지도 정의해야하기 때문입니다.

반면, 공개되어 있는 여러 데이터셋은 성능이 보장되고 개수도 무수히 많지만, 상업적 이용이 불가능하거나 ChatGPT or GPT4로 대부분 생성되어 제약없이 활용하기가 매우 힘듭니다.

 

Evolving system

이러한 상황에서 저희는 데이터 생성 기법을 WizardLM 논문에서 영감을 받았습니다.

WizardLM에서는 'evolving' 데이터 증강기법을 소개하고 있습니다!🦾

적은 개수의 SEED dataset을 훈련이 아주 잘된 LLM을 통해서, 나무가 뿌리를 뻗어나가듯이, 데이터의 개수를 증강시키는 것입니다! 중요한 포인트는 데이터가 증강될 때, 다양한 주제와 도메인을 포함하고, 더 깊은 질문으로 뻗어나갈 수 있도록 prompt를 설정하는 것입니다!

 

하지만 api 키나 서버를 빌려서 LLM을 통해 데이터를 생성하는데 시간과 비용이 발생하니, LIMA 논문을 통해서 데이터 개수에 대한 힌트를 얻었습니다.

LIMA는 LLM을 훈련시키는데 1,000개의 training 데이터셋과 50개의 validation set을 활용하여도 충분하다는 것을 보여주었고, 저희는 이를 바탕으로 소규모 데이터셋으로 LLM을 훈련시키는 것으로 목표를 설정하게 되었습니다.💪

 

WizardLM + LIMA 방법론을 통해서,

500개의 SEED dataset을 자체적으로 만들고, WizardLM-2 모델을 통해서 1849개의 training-set과 200개의 validation-set을 자체적으로 제작하여 공개된 open-source model를 fine-tuning 하였습니다!

 

저희가 만든 Gukbap-Mistral, Qwen2, Gemma2 모델은 SFT 방법만 활용하여 훈련시켰고,

logickor 리더보드에서 평가를 진행한 결과, 한국어 기반 LLM SOTA를 달성하게 되었습니다!✌️

---

Logickor Leaderboard

저희는 Gukbap-LLM 모델의 우수성을 입증하기 위해서, logickor 리더보드를 통해 모델의 개별 성능을 측정했습니다

Models	싱글턴 / 멀티턴 (zero-shot)	특이사항
HumanF-MarkrAI/Gukbap-Gemma2-9B	8.93 / 8.62	한국어 LLM SOTA
HumanF-MarkrAI/Gukbap-Qwen2-7B	7.02 / 6.38	<7B LLM 이하 SOTA
HumanF-MarkrAI/Gukbap-Mistral-7B	6.40 / 5.71	Mistral 기반 한국어 LLM SOTA

 

저희가 만든 각각의 모델들은 새로운 인사이트를 제공했습니다! 각 base-model에서 새로운 SOTA 성능을 기록했다는 점에서 큰 의의가 있었고, 더불어 Gemma2 기반의 Gukbap LLM은 SOTA 성능을 보였습니다!

 

또한, 일부 지표에서 openai의 GPT4 및 google의 gemini-1.5를 뛰어넘었다는 점에서도 '제약없는 자체 LLM으로 GPT4와 비슷한 성능을 가질 수 있다'는 가능성을 보여주었다고 생각합니다.

*다양한 모델에 대한 성능평가는 Logickor link에서 확인하실 수 있습니다!

---

앞으로도 좋은 연구를 위해서 계속 열심히 하겠습니다!

긴 글 읽어주셔서 감사합니다 🤗 🤗

---

2024.09.15 kyujinpy 작성