[Gukbap-LMM🍚] - 오직 텍스트 데이터셋만으로 한국어 기반 LMM 제작하기

Gukbap-LMM Series Models

• HumanF-MarkrAI/Gukbap-Gemma2-9B-VL🍚: https://huggingface.co/HumanF-MarkrAI/Gukbap-Gemma2-9B-VL
• HumanF-MarkrAI/Gukbap-Qwen2-34B-VL🍚: https://huggingface.co/HumanF-MarkrAI/Gukbap-Qwen2-34B-VL

Gukbap-LMM Training Code☀️

Training Code (github): https://github.com/Marker-Inc-Korea/KO-LMM-FFT

GitHub - Marker-Inc-Korea/KO-LMM-FFT: Korean Large MultiModal FFT Code

---

Introduction

오직 텍스트 데이터셋만으로 해외 LMM을 한국어 기반 LMM으로 튜닝하기🔥

안녕하세요! 어느덧 2025년이 지나고 2월이 넘어서 오랜만에 인사드립니다!🤗

요즘에는 LLM보다 LMM의 인기가 더더욱 많아지고 있는 것 같고, 저도 Multi-Modal에 관심이 워낙 많은지라, 최근에 논문리뷰도 많이하고 여러 모델들을 follow-up을 하고 있습니다!

 

저희 Markr.AI 팀의 최근 연구 목적은 "해외 고성능 사전훈련 모델의 한국어화"입니다. 해외 거대 기업들은 수많은 GPU를 활용하여 LMM을 개발하고 있습니다. 이에 따라 일부 오픈소스 LMM 중에 영어 능력으로 GPT-4o를 뛰어넘은 사례들이 있지만, 대부분 한국어 글 생성 능력이 많이 떨어졌습니다.

 

그러다보니, 해외 LMM을 baseline으로 하여 한국어 LMM을 만들 수 있는 방법이 무엇일까?에 대한 질문이 생겨났고 이를 바탕으로 한국어 LMM을 제작해보기로 하였습니다!😎😎

 

여기서 가장 중요하게 본 포인트들은 다음과 같습니다.

• 대량의 이미지-텍스트로 구성된 다량의 고품질 한국어 기반 데이터셋을 만들어내는게 가능할까?
• 기존 LMM의 성능을 유지하면서, 한국어 VLM 벤치마크에서 성능 향상을 이끌어 낼 수 있을까?

첫번째 포인트에 대해서, 제 스스로의 답은 아쉽게도 '불가능'이었습니다. 

하지만 기존 연구들에서는 LMM을 제작하거나 튜닝할 때, image-text가 pair한 데이터셋을 많이 활용했기 때문에 연구 방향성에 큰 고민이 생겼습니다.🤔🤔

 

여기서 저는 '만약 기존 LMM의 멀티모달 능력을 유지한채로 말하는 방식(언어)만 바꿀 수 있다면, 이미지 데이터셋을 학습하지 않아도 괜찮지 않을까?'라는 생각을 하게 되었습니다.

위의 아이디어를 바탕으로, 기존에 자체적으로 제작한 한국어 데이터셋 2k만으로 해외 LMM을 튜닝하여 한국어 LMM을 제작하게 되었습니다!!😎

• 텍스트 데이터셋 제작에 대한 자세한 설명은: [Gukbap-LLM] 포스트를 확인해주세요!

결과적으로, 해외 및 국내 VLM 벤치마크 대부분에서 기존 baseline의 image understanding 능력을 유지하면서, 한국어 기반으로 글을 생성하는 능력을 평가하는 K-LLAVA-W에서 드라마틱한 성능 향상을 이끌어내었습니다!

 

결론적으로 저희가 얻은 인사이트는 '오직 텍스트 데이터셋만으로 훈련하여도, LMM의 이미지 이해 능력은 유지한채 한국어로 말하는 능력을 향상시킬 수 있다'라는 것이었습니다.✌️✌️

 

자세한 방법은 아래 챕터에서 소개해드리겠습니다!

*해당 프로젝트는 미디어그룹사람과숲과 AICA(광주센터) 지원을 받아 Markr.AI 팀에서 연구했습니다

---

How to train the LMM?

Ovis2 구조

저희의 목표는 '해외 LMM의 성능을 유지하면서, 한국어 능력을 갖춘 LMM'을 만드는 것입니다.

따라서, 기존 해외 오픈소스 LMM 중 Ovis1.6-Gemma2-8B와 Ovis2-34B 모델을 baseline으로 잡아 연구를 수행했습니다!

 

LMM을 훈련할 때, 저희는 '오직 텍스트 데이터셋'만 이용하는 것이 핵심이기 때문에 visual-encoder 부분을 freeze하고 오직 LLM 부분만 trainable하게 훈련을 진행했습니다!

또한 이미지가 없더라도, instruction text에 <image> token을 추가하여 학습했고 이미지 부분에는 zero로 구성된 벡터를 넣어서 훈련이 되도록 하였습니다!😎

(*실제로 <image> token을 빼고 훈련했을 떄, 성능 저하가 발생하는 것을 내부적으로 확인했습니다!)

 

모델의 훈련 하이퍼파라미터는 Ovis 논문을 토대로 설정하여 full-finetuning 전략으로 Ovis 모델을 튜닝하였습니다!

자세한 모델 훈련 코드와 구조는, 🔥KO-LMM-FFT github🔥에 전부 공개를 했습니다.🤗

 

위에 언급된 방법으로 훈련된 🍚Gukbap-LMM🍚은 해외 LMM 벤치마크에서 성능이 거의 유지될 뿐만 아니라, 한국어 LMM 벤치마크에서 성능이 향상되는 결과를 보여주었습니다.

 

벤치마크에 대한 자세한 결과는 다음 챕터에서 소개하겠습니다!

---

VLM Evaluation

저희가 만든 Gukbap-LMM들의 성능을 측정하기 위해 아래의 2가지 평가 데이터셋을 활용했습니다.

• VLMEvalKit: 해외 LMM 벤치마크 평가코드
• NCSoft가 제공한 한국어 LMM 벤치마크 데이터: K-MMBench, K-MMStar, K-DTCBench, K-LLAVA-W

Model	K-MMBench	K-MMStar	K-DTCBench	K-LLAVA-W	Average
Gukbap-Qwen2-34B-VL🍚	89.10	68.13	77.08	69.00	75.83
Gukbap-Gemma2-9B-VL🍚	80.16	54.20	52.92	63.83	62.78
Ovis2-34B	89.56	68.27	76.25	53.67	71.94
Ovis1.6-Gemma2-9B	52.46	50.40	47.08	55.67	51.40
VARCO-VISION-14B	87.16	58.13	85.42	51.17	70.47

*벤치마크 구현 코드는 KoVLMEval에서 확인할 수 있습니다!

*해외 LMM 결과는 각 모델의 huggingface repo를 확인해주세요!

 

위 성능표는 한국어 LMM 벤치마크에 대해서 내부적으로 평가한 결과입니다!

아쉽게도 데이터셋 평가 코드와 관련하여 NCSoft가 공개한 정보가 없었기에, 내부적으로 코드를 구현하여 테스트를 하였습니다.

 

첫번째로, 해외 고성능 사전 훈련 모델(baseline)을 기준으로 Gukbap-VL(ours)의 결과를 살펴보겠습니다.

• 9B 모델의 경우, 모든 벤치마크에서 성능이 향상됨.😎
• 34B 모델의 경우, 대부분 벤치마크의 성능이 비슷하게 유지되었고 K-LLAVA-W에서 드라마틱한 향상을 보임.😎

두번째로, VARCO-Vision-14B를 기준으로 Gukbap-VL(ours)의 결과를 비교해보겠습니다.

• 두 모델의 성능을 비교했을 때, Gukbap-VL 모델이 VARCO-Vision 모델보다 image understanding가 높다는 것을 확인함.
• 특히 한국어 답변 생성 능력 평가인 K-LLAVA-W에서 차이가 많이 발생하는데, 이는 Gukbap-VL 모델의 한국어 생성 능력과 답변 품질이 비교적 뛰어나다는 것을 시사함.😎

종합적으로, 저희 Gukbap-VL 모델은 한국어 VLM 벤치마크에서 SOTA 성능을 달성했습니다!🤗

또한 VARCO-Vision -14B의 테크니컬 페이퍼를 보면, 이미지 이해 능력이 GPT-4o 수준과 거의 비슷하다고 보여지는데, 이를 근거로 저희 Gukbap-VL 모델도 GPT-4o 수준에 거의 도달한 것으로 생각이 듭니다.

 

Figure. 한국어 답변 능력 향상 예시.

실제로 위의 예시를 보면, Ovis2-34B 모델의 한국어 답변 능력은 매우 보기도 어려울 뿐만 아니라 반복되는 문장들이 계속해서 나오는 문제점이 있습니다. 반면에, 🍚Gukbap-Qwen2-34B-VL 모델은 매우 깔끔하고 정돈한 한국어 답변을 생성하는 것을 확인할 수 있습니다.

 

결과적으로, 저희의 연구 결과는 '텍스트 데이터셋만으로' 해외 고성능 사전 훈련 모델의 이미지 이해 능력을 유지하면서, 한국어 답변 생성 능력을 향상시킬 수 있다는 점'을 명확하게 시사하고 있습니다!🔥

---

이렇게 얻은 인사이트가, 대량의 image-text 데이터셋이 아니더라도 충분히 해외 LMM을 한국어 LMM으로 튜닝할 수 있다는 가능성을 보여주고 있는 것 같습니다!✌️

 

한가지 아쉬웠던 점은, GPU 부족으로 인해 context_length를 2048까지 밖에 설정하지 못했다는 점입니다..😭😭

만약 더 풍부한 자원이 생긴다면, 8k 이상의 한국어 LMM도 오픈소스로 공개해보도록 하겠습니다!

 

앞으로도 좋은 연구를 위해서 계속 열심히 하겠습니다!

긴 글 읽어주셔서 감사합니다 🤗 🤗

---

2025.02.24. kyujinpy 작성.

- 2월이 가기전에 블로그 포스팅 하나 작성하기 성공! ㅎㅎ