Mimari Mistral-v0.3 tabanlı. 8.192 token bağlam uzunluğu (yaklaşık 20 A4 sayfası) sunuyor. Tasarım tercihleri (batch, optimizer, LR) LLaMA-3 teknik dokümanındaki yaklaşımlarla uyumlu.

EĞİTİM SÜRECİ

45 günde, H100/H200 GPU’larda eğitildi. 500 GB temiz ve tekilleştirilmiş Türkçe veriyle ön eğitim; ardından 1 milyon örnekle ince ayar yapıldı. Bilgi kesim tarihi Mart 2024.

DONANIM VE DAĞITIM

Verimlilik odaklı tasarım sayesinde RTX 3090 / RTX A4000 gibi 16 GB VRAM’li ekran kartlarında çalışabiliyor. Kurum içi konuşlandırma için düşük maliyetli bir seçenek olarak konumlanıyor.

PERFORMANS İDDİASI

Türkçe görevlerde (özellikle dilbilgisi düzeltme ve özetleme) çok daha büyük modelleri geride bıraktığı belirtiliyor. Türkçe’nin yapısal/anlamsal özelliklerini daha iyi kavradığı vurgulanıyor.

TOKENİZASYON YENİLİKLERİ

Türkçe’ye özel RegEx tabanlı ön işleme: satır sonları, noktalama ve sayılar ayrı token’lar. Metinleri %38–%98 daha az token ile temsil edebildiği, dolayısıyla daha uzun metinleri daha hızlı ve düşük maliyetle işleyebildiği ifade ediliyor.

KÜÇÜK SÜRÜM: KUMRU-2B

Donanım Haber'in haberine göre, Aynı mimarinin 2B parametreli, açık kaynak versiyonu. ~4,8 GB bellekle çalışıyor; mobil dahil hafif cihazlarda kullanılabiliyor. Hugging Face üzerinden erişim açık.