Few-shot learning, bir modelin yeni bir görevi çok az örnekle öğrenmesidir. Klasik makine öğreniminde bir sınıfı öğretmek için binlerce örnek gerekiyor. Burada iki ile beş arası örnek yeterli oluyor, çünkü model zaten geniş bir ön eğitimden geçmiş ve genel örüntüleri biliyor.
Dil modellerinde bu, eğitim değil istem meselesi. İsteme birkaç giriş ve beklenen çıkış çifti yazılıyor, ardından yeni girdi ekleniyor. Model örneklerdeki deseni okuyup aynı biçimde devam ediyor. Ağırlıklar değişmiyor, öğrenme yalnızca bağlam penceresinin içinde gerçekleşiyor. Bu yüzden aynı isteme daha iyi örnekler koymak, sonucu ince ayardan daha ucuza iyileştirebiliyor.
Örneklerin seçimi sonucu belirliyor. Örnekler görevin sınır durumlarını gösteriyorsa model o durumları da doğru yapıyor. Hepsi kolay ve benzer örneklerse model zor girdilerde tökezliyor. Sıralama bile etkili oluyor, son örnek genelde daha fazla ağırlık taşıyor.
Somut bir örnek: gelen müşteri e-postalarını aciliyet düzeyine ayıran bir akış kuruluyor. İsteme her seviyeden birer gerçek e-posta ve etiketi konuyor. Model yeni e-postaları bu üç örneğe bakarak etiketliyor, ayrı bir sınıflandırıcı eğitmeye gerek kalmıyor.
Sınırı bağlam bütçesi. Örnek sayısı arttıkça istem uzuyor, maliyet ve gecikme yükseliyor. Görev karmaşıksa bir noktadan sonra ince ayar daha ekonomik hâle geliyor.
