AI/LLM project (13) 썸네일형 리스트형 [Gukbap-LLM🍚] - 오픈소스 LLM으로 자체 데이터셋 생성해서 SOTA 달성하기 Gukbap Models🍚HumanF-MarkrAI/Gukbap-Qwen2-7BHumanF-MarkrAI/Gukbap-Mistral-7BHumanF-MarkrAI/Gukbap-Gemma2-9BIntroduction오픈소스 LLM만으로 데이터를 생성하여 GPT-4를 넘어 한국어 최고 레벨을 달성🔥안녕하세요! 오랜만에 LLM 프로젝트로 인사드리는 kyujinpy 입니다🤗작년에 무수히 많은 일들이 있었는데요..! 마커 AI는 자체 데이터셋과 LLM을 만드는데 집중을 하고 있는 중입니다!🤔저희가 가장 심각하게 보고 있는 문제는 바로, 'OpenAI 의존성' 입니다! 오늘날 수많은 여러 SOTA 모델들은 해왜/국내를 모두 포함하여 private model (ChatGPT, GPT4 등)을 활용하여 생성한 .. [AutoRAG 소개] - 자동으로 최적의 RAG 파이프라인을 찾아주는 자동화 툴 *RAG를 위한 모든 것! AutoRAG!! AutoRAG github: https://github.com/Marker-Inc-Korea/AutoRAG GitHub - Marker-Inc-Korea/AutoRAG: RAG AutoML Tool - Find optimal RAG pipeline for your own data. RAG AutoML Tool - Find optimal RAG pipeline for your own data. - GitHub - Marker-Inc-Korea/AutoRAG: RAG AutoML Tool - Find optimal RAG pipeline for your own data. github.com MarkrAI RAG Model: https://huggingface.co.. [🌸Sakura-SOLAR] - SOLAR 10.7B 모델을 base로 하여 merge와 DPO 방법론을 활용한 LLM Github: https://github.com/KyujinHan/Sakura-SOLAR-DPO GitHub - KyujinHan/Sakura-SOLAR-DPO: Sakura-SOLAR-DPO: Merge, SFT, and DPO Sakura-SOLAR-DPO: Merge, SFT, and DPO. Contribute to KyujinHan/Sakura-SOLAR-DPO development by creating an account on GitHub. github.com 🌸Huggingface: https://huggingface.co/kyujinpy/Sakura-SOLAR-Instruct kyujinpy/Sakura-SOLAR-Instruct · Hugging Face Sakura-SOLAR-Instr.. [Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning] 강좌 링크: https://bit.ly/40NbECx Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning | 패스트캠퍼스 LLM 리더보드 세계 1위의 시각으로 배우는 논문 선별 노하우과 모델 파이프라인 구축 방법! fastcampus.co.kr 안녕하세요! Ko-LLM 리더보드에서 Ko-platypus 모델을 올렸던 kyujin입니다! 제가 이번에 좋은 기회를 얻게 되어서, upstage와 함께 LLM 강의를 준비하게 되었습니다..!!!! 훌륭하신 많은 분들과 함께 작업할 수 있어서 너무 영광이고, 좋은 기회인 만큼 정말 열심히 준비하고 있습니다 ㅎㅎ LLM의 여러 지식과 최근에 유행하는 PEFT 방법론 부터, fine-tuning 실습을 통해 .. [Kosy🍵llama] - Noisy embedding 방식을 활용한 llama2 fine-tuning Github: https://github.com/Marker-Inc-Korea/KoNEFTune GitHub - Marker-Inc-Korea/KoNEFTune: Random Noisy Embeddings with fine-tuning 방법론을 한국어 LLM에 간단히 적용할 Random Noisy Embeddings with fine-tuning 방법론을 한국어 LLM에 간단히 적용할 수 있는 Kosy🍵llama - GitHub - Marker-Inc-Korea/KoNEFTune: Random Noisy Embeddings with fine-tuning 방법론을 한국어 LLM에 간단히 적용할 수 있는 github.com Huggingface: https://huggingface.co/kyujinpy/Ko.. [🐳KO-LLM 첫 50 돌파🥮] 안녕하세요! 최근 Ko-platypus와 Ko-openorca로 인사드렸던 kyujin 입니다😊 KoR-Orca-Platypus-13B 모델이 Open KO-LLM 리더보드에서 처음으로 average 점수 50을 돌파하였습니다🎉🎉 Ko-platypus와 Korean-OpenOrca를 훈련시키고 리더보드에 올리면서 많은 걸 느끼고 경험할 수 있었던 것 같습니다 ㅎㅎ 해당 모델에 관심 있으신 분들은 밑에 github 링크를 통해서 상세한 정보를 확인하실 수 있습니다! 감사합니다🤗🤗 Ko-platypus: https://github.com/Marker-Inc-Korea/KO-Platypus Ko-OpenOrca: https://github.com/Marker-Inc-Korea/Korean-OpenOrca [🐳Korean-OpenOrca Model 등장🐳] 🐳Github🐳: https://github.com/Marker-Inc-Korea/Korean-OpenOrca GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca - GitHub - Marker-Inc-Korea/Korean-OpenOrca: OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca github.com 🐳HuggingFace🐳: https://huggingface.co/kyujinpy/K.. [Poly-platypus-ko] - Polyglot-ko + Ko-Platypus HuggingFace: https://huggingface.co/MarkrAI/kyujin-Poly-platypus-ko-12.8b Github1: https://github.com/Marker-Inc-Korea/KO-Platypus GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platy [KO-Platy🥮] Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model - GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platy🥮] Korean-Open-platypus.. [KoT-platypus2] - CoT + KO-platypus2 HuggingFace: https://huggingface.co/kyujinpy/KoT-platypus2-7B kyujinpy/KoT-platypus2-7B · Hugging Face KoT-platypus2 CoT + KO-platypus2 = KoT-platypus2 Model Details Model Developers Kyujin Han (kyujinpy) Input Models input text only. Output Models generate text only. Model Architecture KoT-platypus2-7B is an auto-regressive language model based on the LLaM huggingface.co Github: https://github... [CoT-llama2] - Chain-of-thought 방식을 활용하여 llama2-ko를 fine-tuning HuggingFace: https://huggingface.co/kyujinpy/CoT-llama-2k-7b kyujinpy/CoT-llama-2k-7b · Hugging Face CoT-llama2-7B More detail repo(Github): CoT-llama2 Model Details Model Developers Kyujin Han (kyujinpy) Input Models input text only. Output Models generate text only. Model Architecture CoT-llama2 is an auto-regressive language model based on the LLaMA2 t huggingface.co Dataset: https://huggingf.. [KO-Platy🥮] - Korean-Open-platypus를 활용하여 llama-2-ko를 fine-tuning한 KO-platypus model 🥮Github🥮: https://github.com/Marker-Inc-Korea/KO-Platypus GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus - GitHub - Marker-Inc-Korea/KO-Platypus: [KO-Platypus] Korean-Open-Platypus 번역 데이터셋을 활용한fine-tuning Platypus github.com 🥮Huggingface🥮: https://huggingface.co/kyujinp.. [DeepL] python을 이용한 한국어 번역 자동화 코드 (Not Pro and API. Using selenium) References: https://github.com/KyujinHan/Korean_selenium_DeepL GitHub - KyujinHan/Korean_selenium_DeepL: DeepL을 통한 한국 번역 자동화 코드 DeepL을 통한 한국 번역 자동화 코드. Contribute to KyujinHan/Korean_selenium_DeepL development by creating an account on GitHub. github.com # DeepL을 이용한 자동화 코드를 만들었습니다. # Api 필요없이, 단순 코드만 돌리면 바로 사용 가능합니다. # 기존에 있는 pip install {deep-cli, deepl, deepl-translate} 패키지들이 한국어를 지원하지 않고, 구글.. 이전 1 2 다음
