Vektör araması hızlıdır, çünkü ayrı ayrı hesaplanmış iki gömme vektörünü karşılaştırır. Sorgu ile doküman hiçbir zaman gerçekten karşılaşmaz. Bu bağımsızlık bir milyon dokümanda milisaniyelerle arama yapmayı mümkün kılar. Aynı bağımsızlık, ilk on sonucun çoğu zaman yanlış sırada gelmesinin de nedenidir.
Reranker sırayı düzeltir. Genelde bir cross-encoder kullanılır. Sorguyu ve tek bir aday dokümanı birlikte okuyup tek bir alaka puanı üreten küçük bir transformer'dır. İki metin aynı attention geçişini paylaştığı için model, dokümanın vektör uzayında benzer bölgede durup durmadığına değil, tam olarak bu soruyu yanıtlayıp yanıtlamadığına bakabilir.
Standart kalıp şudur: elli ila yüz aday ucuza getirilir, yeniden sıralanır ve ilk beşi prompt'a konur. Pahalı model her zaman kısa bir liste gördüğü için maliyet sınırlı kalır.
Retrieval tabanlı sistemlerde tek başına en büyük kalite kazancı çoğu zaman bu adımdadır. RAG sonuçları zayıf diyen ekipler sık sık doğru dokümanı getirip dokuzuncu sıraya gömüyor.
Maliyet tarafında dikkat edilecek nokta aday sayısıdır. Cross-encoder her aday için ayrı bir geçiş yapar, dolayısıyla yüz aday elli adayın iki katı sürer. Çoğu kurulumda elli aday ile yüz aday arasındaki kalite farkı küçüktür. Doğru sayıyı kendi değerlendirme setinizde ölçerek bulmak, latency bütçesini boşa harcamayı engeller.