Ön eğitim, bir modelin göreve özel hiçbir uyarlama yapılmadan önce, çok büyük ve genel bir veri kümesi üzerinde geçirdiği ilk eğitim aşamasıdır. Dil modellerinde bu aşamada model tek bir şey yapıyor: metindeki bir sonraki token'ı tahmin etmeye çalışıyor. Doğru cevap zaten metnin devamında yazdığı için elle etiketlenmiş veri gerekmiyor.
Bu basit görev, dolaylı olarak çok şey öğretiyor. Dilbilgisi, kelimelerin birlikte kullanım biçimi, olguların metinde nasıl ifade edildiği ve akıl yürütme kalıpları hep bu tahmin döngüsünden çıkıyor. Aşama pahalı: haftalar süren eğitim, binlerce GPU ve büyük bir veri işleme hattı gerektiriyor. Bu yüzden ön eğitimi yapan kuruluş sayısı sınırlı, ekiplerin çoğu hazır bir modelin üzerine ekleme yapıyor.
Sonrasında gelen aşamalar farklı işler yapıyor. Gözetimli ince ayar modeli istenen çıktı biçimine yaklaştırıyor, RLHF ise davranışı insan tercihlerine göre ayarlıyor. Ön eğitim ise modelin ne bildiğini belirliyor.
Somut bir örnek: bir modelin eğitim verisi belirli bir tarihte kesiliyor. O tarihten sonra çıkan bir ürün hakkında soru sorulduğunda model cevabı bilmiyor, çünkü ön eğitim sırasında böyle bir metin görmemiş. Bu boşluk ince ayarla değil, RAG gibi getirme yöntemleriyle kapatılıyor.
Verinin bileşimi doğrudan sonuca yansıyor. Türkçe metnin oranı düşükse Türkçe performans da düşük kalıyor.