Нээлттэй эхийн хиймэл оюуны хамгийн том талбар болох Hugging Face Hub дээр монгол инженер, судлаачдын сургасан болон нарийвчлан тохируулсан (fine-tune) 250 гаруй монгол хэлний загвар байршаад байна. Дэлхийн суурь загварууд монгол хэлний залгамал бүтэц, үгийн үндэс болон кирилл үсгийн токенчлол дээр алдаа гаргах нь элбэг тул дотоодын хөгжүүлэгчид үгийн санг өргөтгөх (vocabulary extension), үргэлжлүүлэн сургах (continued pre-training) болон зааварчилгааны тохируулга (LoRA/QLoRA instruction tuning) хийх замаар монгол хэлний нээлттэй экосистемийг бүрдүүлж байна.

1. Орчин үеийн харилцан ярианы LLM загварууд (Gemma 3, Llama 3, Qwen 2.5)

Сүүлийн үеийн нээлттэй жинтэй их хэлний загваруудыг монгол хэл дээр бодит мэдлэгтэй, эх сурвалжаас иш татан хариулдаг болгох чиглэлд хэд хэдэн томоохон ажил хийгджээ:

  • munkhbayar-batkhuu/gemma-3-4b-mongolian (v14.7): Хөгжүүлэгч Б.Мөнхбаяр Google-ийн Gemma-3-4B суурь загварыг гар аргаар цуглуулсан монгол эх бичвэрийн корпус дээр 14 үе шаттайгаар үргэлжлүүлэн сургаж (CPT), улмаар RAG буюу баримтад тулгуурлан хариулах, эх сурвалжид байхгүй зүйлийг зохиож ярихгүй байх («мэдэхгүй» гэж хариулах) зааварчилгааны 7 дахь удаагийн тохируулгыг хийжээ. Мөн локал компьютерт шууд ажиллуулах GGUF хувилбар нь нээлттэй гарсан байна.
  • munkhbayar-batkhuu/Llama-3.2-3B-Instruct-Mongolian: Meta компанийн Llama-3.2-3B-Instruct загварыг цэвэрлэсэн монгол Alpaca өгөгдлийн сан (saillab/alpaca-mongolian-cleaned) дээр LoRA аргаар сургасан бөгөөд монгол хэлний MM-Eval шалгуураар өгүүлбэр зүй 35.33 хувь, утга зүй 37.37 хувийн үзүүлэлт авсан байна.
  • Dorjzodovsuren/Mongolian_Llama3-v0.1 ба v1.1: Хөгжүүлэгч Dorjzodovsuren нь Meta-Llama-3-8B болон Llama-3.1-8B загваруудыг QLoRA ба Unsloth технологиор монгол, англи хэл дээр зааварчилгаа дагах, дүрд тоглох болон гадаад хэрэгсэл дуудах чадвартай болгон сургасан анхдагч 8K контекст урттай загварууд юм.
  • ErkaMarka/mongolian-qwen-7b-chatbot (болон Qwen-3B, Mistral-7B, Gemma2-9B): Qwen2.5-7B-Instruct суурь загварын үгийн санд (tokenizer) монгол хэлний хамгийн түгээмэл үг, аймаг сум болон газар усны нэр, товчилсон үгсээс бүрдсэн 9,500 орчим шинэ монгол токен нэмж, Eduge монгол мэдээний 75,000 гаруй нийтлэл дээр LoRA (rank=32, alpha=64) аргаар сургасан харилцан ярианы агент.
  • onlysainaa/gemma3-12b-unsloth-finetuned: 12 тэрбум параметртэй Gemma-3-12B-IT загварыг монгол хэл дээрх алгебр, математикийн бодлогын өгөгдлийн сан (onlysainaa/integralmn-algebra) дээр Unsloth болон TRL сан хэрэглэн сургасан загвар.
  • bilguun/gemma-3n-E2B-it-audio-en-mn: Google-ийн олон төрөлт (multimodal) Gemma-3n архитектурыг монгол-англи дуу хоолой болон бичвэр хосолсон өгөгдөл дээр сургасан загвар.
  • gmunkhtur/llama3-secret-history ба Billyyy/extended_llama_mongolian: «Монголын нууц товчоо» зэрэг түүхэн эх сурвалж дээр сургасан Llama 3 загвар болон Llama, BLOOMZ-3B загваруудын үгийн санг монгол хэлээр өргөтгөсөн (Billyyy/mongolian_tiny_llama, llama-mn-lora_8B) туршилтын загварууд.

2. Үүсгэгч суурь загварууд, орчуулга ба бичиг хөрвүүлэлт (GPT-2, mGPT, mT5, NLLB)

Монгол бичвэр үүсгэх, яруу найраг зохиох, олон хэлний орчуулга хийх болон үндэсний бичигт хөрвүүлэх чиглэлээр дараах загварууд хамгийн олон удаа татагджээ:

  • bayartsogt/mongolian-gpt2 ба goryden/gpt2-mn: Судлаач Я.Баярцогт болон хамтрагчдын Flax/JAX аяны хүрээнд монгол хэл дээр сургасан анхны GPT-2 загвар, мөн 32,000 монгол үгийн сантай тайлбар толийн өгөгдөл дээр сургасан goryden/gpt2-mn, Ochiroo/tiny_mn_gpt загварууд.
  • Tsengel-mn/mgpt-mongolian ба nllb-1.3b/3.3b-mongolian: 1.3 тэрбум параметртэй монгол mGPT загвар болон CTranslate2 (int8) хурдасгалтай NLLB-1.3B, NLLB-3.3B, MADLAD-400-3B монгол орчуулгын загварууд (мөн Billyyy/mn_nllb_3.3B_continue).
  • buyna771/mt5-mongolian-poetry-phase2 ба mt5-poetry-style-transfer: Монгол шүлэг, яруу найргийн хэв маяг хөрвүүлэх болон толгой, сүүл холбосон шүлэг үүсгэх зориулалтаар mT5 ба T5-large загваруудыг нарийвчлан сургасан цуврал.
  • Бичиг ба авиа хөрвүүлэгчид: Кириллээс үндэсний монгол бичиг рүү хөрвүүлэх onlysainaa/cyrillic_to_script-t5-model, галиг хөрвүүлгийн Dorjzodovsuren/Mongolian_transliteration_v3 болон бичвэрийг авиа зүйн галигт буулгах bilguun/mn-g2p-t5-small загварууд.

3. Монгол RAG системд зориулсан Embedding ба Encoder загварууд (BERT, RoBERTa, E5, MiniLM)

Их хэлний загварыг байгууллагын дотоод баримт бичиг, хууль тогтоомжтой холбоход (RAG) монгол өгүүлбэрийн утгыг вектор огторгуйд зөв буулгах кодлогч загварууд шийдвэрлэх үүрэгтэй:

  • gmunkhtur/paraphrase-multilingual-minilm-l12-v3-mn ба mn_v2: 77,000 гаруй монгол өгүүлбэрийн хос дээр сургасан, сард 150,000 гаруй удаа татагдсан хамгийн түгээмэл монгол Sentence-Transformers вектор шигтгээний (embedding) загвар.
  • toorgil/mongolian-e5-finetuned: intfloat/multilingual-e5-large загварыг 997,125 мөр бүхий монгол мэдээ, баримтын сан дээр MultipleNegativesRankingLoss функцээр нарийвчлан сургасан өндөр нарийвчлалтай хайлтын загвар.
  • tugstugi/bert-large-mongolian-uncased ба bayartsogt/mongolian-roberta-large: Монгол хэлний цахим боловсруулалтын суурь болсон BERT (tugstugi, enod, sharavsambuu), RoBERTa болон ALBERT (bayartsogt) загварууд, мөн srglnjmb, Blgn94, Baljinnyam, Enkhbold, tergel нарын хөгжүүлсэн нэрлэсэн нэгж таних (NER) загварууд багтаж байна.