Gözetimli ince ayarlama, ön eğitimden çıkmış bir modeli etiketli örneklerle belirli bir göreve ya da belirli bir davranış biçimine uyarlamaktır. Model dili zaten biliyor, burada öğrendiği şey istenen çıktının nasıl görünmesi gerektiği.
Veri, giriş ve beklenen çıkış çiftlerinden oluşuyor. Sohbet asistanları için bu çiftler insanların yazdığı örnek diyaloglar oluyor: kullanıcı ne soruyor ve iyi bir yanıt nasıl görünüyor. Görev odaklı uyarlamalarda ise çiftler doğrudan işten geliyor, mesela sözleşme metni ve ondan çıkarılması gereken alanlar. Eğitim sırasında modelin tüm ağırlıkları güncellenebiliyor ya da LoRA gibi yöntemlerle yalnızca küçük bir ek katman eğitiliyor.
RLHF akışında bu adım başlangıç aşaması oluyor. Model önce gözetimli ince ayarla istenen biçime yaklaştırılıyor, ardından tercih verisiyle eğitilen bir ödül modeli devreye giriyor.
Somut bir örnek: bir sigorta şirketi, poliçe sorularını yanıtlayan bir asistan kuruyor. Genel model doğru ama fazla uzun ve genel geçer yanıtlar veriyor. Şirketin kendi destek ekibinin yazdığı 2.000 soru-cevap çiftiyle ince ayar yapıldığında yanıtlar hem kısalıyor hem şirketin terminolojisine oturuyor.
Riski dar kalmak. Küçük ve tek biçimli bir kümeyle yapılan ince ayar, modelin o kümenin dışındaki sorularda daha kötü çalışmasına yol açabiliyor, bu yüzden genel yetenek ayrı bir setle kontrol ediliyor.