Soru yanıtlama, bir sisteme doğal dilde sorulan soruya doğrudan cevap üretilmesini hedefleyen NLP görevidir. Arama motorundan farkı çıktının biçimi. Arama bir bağlantı listesi döndürüyor, soru yanıtlama ise sorunun kendisine karşılık gelen cevabı veriyor.
İki temel yaklaşım var. Çıkarımsal soru yanıtlamada cevap verilen bir belgenin içinde geçiyor ve model yalnızca hangi metin aralığının cevap olduğunu işaretliyor. Üretken yaklaşımda ise model cevabı kendi cümleleriyle yazıyor. Kapalı kitap kurulumda model yalnızca kendi ağırlıklarındaki bilgiyi kullanıyor, açık kitap kurulumda ise önce bir getirme adımı çalışıyor ve cevap getirilen belgelerden üretiliyor. Bugünkü kurumsal uygulamaların çoğu bu ikinci biçimde, yani RAG akışıyla çalışıyor.
Değerlendirme cevabın doğru olup olmadığıyla sınırlı kalmıyor. Cevabın kaynağa dayanıp dayanmadığı, sorunun cevapsız kalması gerektiğinde modelin bunu söyleyip söylemediği ve gereksiz uzunluk da ölçülüyor.
Somut bir örnek: bir yazılım şirketinin dokümantasyonuna bağlı asistana "bu özellik hangi planda var" diye soruluyor. Sistem ilgili fiyatlandırma sayfasını getiriyor ve cevabı oradan üretiyor, ayrıca kaynağı gösteriyor. Kullanıcı cevabı tek tıkla doğrulayabiliyor.
En sık görülen hata, cevapsız kalması gereken soruya emin bir cevap üretmek. Bu yüzden sistemlerin "bilmiyorum" diyebilmesi ayrı bir gereksinim olarak ele alınıyor.
