Aşırı kullanım cezası, bir dil modelinin aynı kelimeleri ve kalıpları tekrar tekrar üretmesini engellemek için kod çözme sırasında uygulanan bir düzeltmedir. Model bir token'ı seçtikten sonra, aynı token'ın bir sonraki adımdaki olasılığı düşürülüyor. Ceza her tekrarda biraz daha artıyor.
İki yaygın biçimi var. Varlık cezası, token metinde bir kez geçtiyse sabit bir miktar düşüyor. Sıklık cezası ise token kaç kez geçtiyse o kadar düşürüyor, dolayısıyla ısrarlı tekrarları daha sert cezalandırıyor. İkisi de API tarafında sayısal parametre olarak ayarlanıyor ve genelde sıfırla iki arasında bir değer alıyor.
Cezaya ihtiyaç duyulmasının nedeni, üretimin adım adım ilerlemesi. Model kendi yazdığını girdi olarak geri okuduğu için, bir kalıba girdiğinde o kalıbı pekiştirmeye devam edebiliyor. Cezasız üretimde uzun metinlerde aynı cümlenin döngüye girdiği görülüyor.
Somut bir örnek: 20 farklı ürün için açıklama üreten bir akışta, ceza kapalıyken metinlerin çoğu "Bu ürün, kullanıcılarına" kalıbıyla başlıyor. Sıklık cezası küçük bir değere ayarlandığında açılış cümleleri çeşitleniyor.
Değeri fazla yükseltmek ters etki yapıyor. Ceza arttıkça model, metnin gerçekten ihtiyaç duyduğu kelimelerden de kaçınmaya başlıyor. Marka adının tekrar etmesi gereken bir ürün metninde bu, adın ikinci kez geçmediği tuhaf cümlelere yol açıyor.