Ödül modeli, bir dil modelinin ürettiği yanıtlara puan veren ayrı bir modeldir. Görevi cevabı üretmek değil, üretilen cevapların hangisinin daha iyi olduğunu söylemektir. Bu puan sonrasında pekiştirmeli öğrenme döngüsünde ana modeli istenen davranışa doğru çeken sinyal olarak kullanılır.
Eğitim genelde insan tercihleriyle başlıyor. Aynı isteme birkaç farklı yanıt üretiliyor, bir grup değerlendirici bunları iyiden kötüye sıralıyor ve ödül modeli bu sıralamaları tahmin etmeyi öğreniyor. Yeterince örnek gördükten sonra, daha önce hiç görmediği bir yanıt çiftinde de hangisinin tercih edileceğini kestirebiliyor. RLHF akışında insan değerlendiricinin yerini bu noktada ödül modeli alıyor, çünkü her eğitim adımında insana sormak pratikte mümkün değil.
Ödül modelleri asistan davranışını şekillendiren yerlerde karşımıza çıkıyor. Yardımcı olma, talimata uyma, gereksiz reddi azaltma ve zararlı içerikten kaçınma gibi ölçmesi zor nitelikler tek bir kayıp fonksiyonuyla yazılamadığı için, tercih verisinden öğrenilen bir puanlayıcıya devrediliyor.
Somut bir örnek: bir müşteri destek asistanına "iade sürecim ne kadar sürer" diye soruluyor. Model iki yanıt üretiyor. Biri politikayı adım adım özetliyor ve süre aralığı veriyor, diğeri konuyu genel geçer bir nezaket cümlesiyle geçiştiriyor. Ödül modeli ilkine yüksek, ikincisine düşük puan veriyor. Eğitim ilerledikçe model ilk tarz yanıtları daha sık üretmeye başlıyor.
Sınırı da burada. Ödül modeli yalnızca kendisine gösterilen tercihleri öğrenir. Değerlendirici grubu uzun yanıtları sistematik olarak beğeniyorsa, model de gereksiz uzun yazmayı öğrenebilir. Bu yüzden ödül modelinin puanları ayrı bir doğrulama setiyle takip ediliyor.