Bağlam penceresi, bir modelin tek bir istek sırasında dikkate alabildiği token bütçesidir. İstem, konuşma geçmişi, getirilen belgeler ve modelin üreteceği yanıt bu bütçeyi paylaşıyor. Sınır aşıldığında en eski kısımlar düşüyor, dolayısıyla model kendisine hiç verilmemiş bir bilgi gibi davranıyor.
Büyüklük modelden modele değişiyor ve kelimeyle değil token'la sayılıyor. Türkçe metin İngilizceye göre daha fazla token'a bölündüğü için, aynı pencere Türkçede daha az içerik alıyor. Uzun bir PDF'i tek seferde vermek isteyen bir akış bu yüzden beklenenden erken sınıra çarpıyor.
Pencerenin bir maliyeti var. Transformer'da dikkat hesabı dizi uzunluğunun karesiyle büyüdüğü için uzun bağlam hem pahalı hem yavaş. Ayrıca pencere büyük olsa bile modelin ortadaki bilgiye verdiği ağırlık düşebiliyor, uzun belgelerde bu etki ölçülebiliyor.
Somut bir örnek: bir destek asistanı kullanıcıyla 60 mesajlık bir konuşma yürütüyor. Otuzuncu mesajdan sonra pencere dolmaya başlıyor ve baştaki hesap numarası bağlamdan düşüyor. Kullanıcı sonraki mesajda "aynı hesapta" dediğinde model neyi kastettiğini bilmiyor. Çözüm eski turları özetleyip kritik alanları her istekte tekrar eklemek oluyor.
Maksimum yanıt uzunluğuyla karıştırılmaması gerekiyor. Bağlam penceresi toplam bütçe, maksimum yanıt uzunluğu ise bu bütçenin çıktıya ayrılan kısmı.
