HuggingFace: https://huggingface.co/kyujinpy/CoT-llama-2k-7b
kyujinpy/CoT-llama-2k-7b · Hugging Face
CoT-llama2-7B More detail repo(Github): CoT-llama2 Model Details Model Developers Kyujin Han (kyujinpy) Input Models input text only. Output Models generate text only. Model Architecture CoT-llama2 is an auto-regressive language model based on the LLaMA2 t
huggingface.co
Dataset: https://huggingface.co/datasets/kyujinpy/KoCoT_2000
kyujinpy/KoCoT_2000 · Datasets at Hugging Face
"목록 ['q', '4793', '8295', '2801', 'M', '599', 'r', 'D', 'C', 'X', 'Y', '969','2303, q, O, y, L ,689, 9043 , W ,9609 , D , R'f,'c,'2277,'p'L,'L'1393]가 주어집니다,'U']\n목록의 숫자 수(숫자가 아닌 요소의 0 제외)를 계산하면 4793
huggingface.co
Github: https://github.com/Marker-Inc-Korea/CoT-llama2
- Github(CoT-llama-2k-7b): https://github.com/Marker-Inc-Korea/CoT-llama2
- KO-LLM LeaderBoard: Open Ko-LLM Leaderboard - a Hugging Face Space by upstage
- Blog: https://kyujinpy.tistory.com/103
안녕하세요!
(주)마커와 (주)미디어그룹사람과숲의 오픈소스 LLM 연구 컨소시엄의 지원을 받아서 연구하고 있는 Kyujin입니다😁
최근 LIMA와 Kaist에서 제작한 약 180만개의 CoT 데이터셋을 보면서 "데이터의 개수보다 품질이 더 중요하지 않을까?"라는 생각을 하게 되었습니다.
이를 동기부여 삼아서, Kaist-CoT 데이터셋 중 약 2000개의 데이터셋을 추출하여서 llama-2-ko를 fine-tuning시키게 되었습니다. 결과적으로 최근에 열린 KO-LLM 리더보드에서 9/28일 기준 4등을 달성하게 되었습니다🙂🙂
<모델 설명>
LIMA 논문을 기반으로 2000개의 데이터셋을 선별하여 DeepL API를 활용해 번역하였고, training hyperparameter를 선정하였습니다.
Colab A100 GPU를 활용하여 llama-2-ko를 Chain-of-Thought 방식으로 fine-tuning하여 훈련을 완료하였습니다!
해당 모델의 성능적인 결과가 나쁘지 않다는 점을 통해서, 데이터의 품질을 높인다면 sLLM도 충분히 높은 성능을 낼 수 있다는 가능성을 확인한 것 같아서 앞으로의 LLM 방향성이 기대가 됩니다!!
긴 글 읽어주셔서 감사합니다!!🥰
'AI > LLM project' 카테고리의 다른 글
| [Poly-platypus-ko] - Polyglot-ko + Ko-Platypus (0) | 2023.10.02 |
|---|---|
| [KoT-platypus2] - CoT + KO-platypus2 (0) | 2023.09.30 |
| [KO-Platy🥮] - Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model (0) | 2023.09.01 |
| [DeepL] python을 이용한 한국어 번역 자동화 코드 (Not Pro and API. Using selenium) (0) | 2023.07.27 |
| [KoChatGPT 코드 리뷰] - KoChatGPT: ChatGPT fine tuning with korean dataset (0) | 2023.05.18 |
