Production trafiği tekdüze değildir. Bir destek asistanı gerçekten zor vakalardan oluşan uzun bir kuyruk ve "çalışma saatleriniz nedir" gibi çok kalabalık bir baş kısım görür. Her isteği sınır modeline yönlendirmek, kolay olanlar için de sınır fiyatı ödemek demektir.
Yönlendirici model havuzunun önünde durur ve her isteğin nereye gideceğine karar verir. Basit yönlendiriciler kural kullanır. Uzunluk, tespit edilen niyet, araç gerekip gerekmediği, isteği hangi müşteri segmentinin attığı. Öğrenen yönlendiriciler etiketli trafik üzerinde küçük bir sınıflandırıcı eğitir ve ucuz modelin kabul edilebilir yanıt verip vermeyeceğini tahmin eder. Kademeli yönlendiriciler önce küçük modeli dener, güven kontrolü ya da doğrulayıcı yanıtı reddederse yukarı yükseltir.
Önemli olan ölçüm ortalama maliyet değildir. Aşağı yönlendirilen isteklerdeki kalite tabanıdır. Çünkü en zor kayıtlarınızı yanlış ele alarak yüzde altmış tasarruf eden bir yönlendirici, maliyeti sadece destek tarafına taşımıştır.
Çoğu ekip bir kuralla başlar, her yönlendirme kararını sonucuyla birlikte loglar ve trafik deseni netleştiğinde bu logla daha iyisini eğitir.
Yönlendiricinin kendisi de bir gecikme kaynağıdır. Sınıflandırma adımı yüz milisaniye sürüyorsa, kazandığınız maliyet kullanıcının hissettiği hızdan bir şey götürüyor demektir. Bu yüzden yönlendirici modelin küçük ve hızlı olması, hatta bazı durumlarda yerel çalışması tercih ediliyor.