Otoregresyon, bir değişkenin gelecekteki değerini kendi geçmiş değerlerinden tahmin etme yaklaşımıdır. İstatistikte zaman serisi modellerinin temelini oluşturuyor. Bugünün satışını dünkü, önceki günkü ve daha eski satışlara bakarak tahmin eden bir model otoregresif bir modeldir.
Dil modellerinde aynı fikir metne uygulanıyor. Model bir sonraki token'ı, o ana kadar üretilmiş tüm token'lara bakarak tahmin ediyor. Ürettiği token girdinin sonuna ekleniyor ve döngü tekrar başlıyor. GPT ailesi bu şekilde çalışıyor, bu yüzden bu modellere otoregresif model deniyor. Metnin soldan sağa üretilmesinin ve modelin yazdığını geri dönüp düzeltememesinin sebebi de bu.
Yaklaşımın gücü basitliğinde. Karmaşık bir çıktı, her adımda tek bir kararla üretiliyor ve her karar öncekilerin üzerine kuruluyor. Zayıflığı da aynı yerde: erken bir adımdaki hata sonraki adımlara taşınıyor ve birikiyor.
Somut bir örnek: bir perakende zincirinde haftalık talep tahmini yapılıyor. Otoregresif model geçmiş haftaların satışını kullanarak gelecek haftayı tahmin ediyor. Model kendi tahminini bir sonraki adımın girdisi olarak kullandığında, dört hafta ilerideki tahmin belirgin biçimde daha belirsiz oluyor, çünkü aradaki her adımın hatası taşınıyor.
Zaman serisinde otoregresyonun bir varsayımı var: geçmişteki desenin geçerliliğini koruması. Yapıda kırılma olduğunda model bunu hemen yakalayamıyor.