Upstream sampling, bir modelden tek bir yanıt almak yerine birkaç yanıt üretip aralarından en iyisini seçme yöntemidir. Üretim rastgele bir örnekleme içerdiği için aynı istem farklı çıktılar veriyor. Bu yöntem, o çeşitliliği bir avantaja çeviriyor.
Seçim adımı farklı ölçütlere dayanabiliyor. Bir ödül modeli yanıtları puanlayabiliyor, bir doğrulayıcı çıktının biçimsel kurallara uyup uymadığını kontrol edebiliyor, ya da yanıtların birbiriyle tutarlılığına bakılabiliyor. Matematik ve kod gibi doğrulanabilir görevlerde birden çok çözüm üretip çoğunluğun vardığı sonucu almak belirgin bir kazanç sağlıyor.
Aynı fikir eğitim tarafında da kullanılıyor. Üretilen yanıtlar sıralandıktan sonra en iyileri gözetimli ince ayar verisi hâline getiriliyor, böylece model kendi en iyi çıktılarından öğreniyor.
Somut bir örnek: bir kod asistanı bir fonksiyon yazıyor. Tek yanıt yerine beş yanıt üretiliyor, her biri mevcut test paketiyle çalıştırılıyor ve testleri geçen ilk çözüm kullanıcıya gösteriliyor. Kullanıcı açısından tek bir cevap var, arkada beş deneme yapılmış oluyor.
Maliyet doğrudan artıyor. Beş yanıt beş kat token demek, bu yüzden yöntem genelde hata maliyetinin yüksek olduğu ve doğrulamanın ucuz olduğu yerlerde kullanılıyor.