Transformer çözücüsü, transformer mimarisinin çıktıyı üreten yarısıdır. Görevi, o ana kadar var olan bilgiye bakarak dizideki bir sonraki token'ı tahmin etmek. GPT ailesindeki modeller yalnızca bu yarıdan oluşuyor, bu yüzden decoder'ın davranışı doğrudan üretken modellerin davranışı demek.
Çözücüyü kodlayıcıdan ayıran şey maskeleme. Her token yalnızca kendisinden önce gelenlere dikkat edebiliyor, sonrasına bakması engelleniyor. Bu kısıt olmasaydı model eğitim sırasında cevabı kopyalar ve üretim yeteneği öğrenmezdi. Kodlayıcı ve çözücünün birlikte kullanıldığı çeviri modellerinde ise ikinci bir dikkat katmanı bulunuyor ve bu katman kaynak metnin kodlanmış temsiline bakıyor.
Üretim adım adım ilerliyor. Çözücü bir token üretiyor, ürettiğini girdinin sonuna ekliyor ve döngü tekrar başlıyor. Aynı hesabın her adımda baştan yapılmaması için önceki adımların anahtar ve değer temsilleri önbellekte tutuluyor, uzun yanıtlarda hızın büyük bölümü buradan geliyor.
Somut bir örnek: bir kod tamamlama aracında geliştirici for i in ra yazdığında çözücü, o ana kadarki dosya içeriğine ve satırın kendisine bakarak nge( devamını yüksek olasılıkla üretiyor. Devam ettikçe her yeni karakter bir sonraki tahmini daralttığı için öneri giderek isabetli hâle geliyor.
Maskeleme nedeniyle çözücü geriye dönüp kendi çıktısını düzeltemiyor. Erken verilen kötü bir karar, dizinin geri kalanını da etkilemeye devam ediyor.