Son on yılın büyük bölümünde daha iyi modelin yolu daha büyük bir eğitim koşusundan geçiyordu. Test zamanı hesaplama bu bütçenin bir kısmını sorunun sorulduğu ana taşır. Model yanıt vermeden önce daha uzun düşünebilir, birkaç aday yanıt üretebilir ya da kendi çalışmasını kontrol edebilir.
İşin çoğunu üç mekanizma yapar. Uzatılmış muhakeme zincirleri modelin karar vermeden önce ara adımları yazmasına izin verir. Paralel örnekleme çok sayıda deneme üretir ve aralarından çoğunluk oyuyla ya da ayrı bir doğrulayıcı modelle seçim yapar. Yinelemeli revizyonda model kendi taslağını eleştirip yeniden yazar.
Bunu bir araştırma yönüne çeviren gözlem, getirinin kendi başına bir ölçeklendirme yasası gibi davranmasıdır. Yarışma matematiği ya da kod gibi cevabı kontrol edilebilir problemlerde, orta boy bir modelin uzun düşünmesi çok daha büyük bir modelin anında verdiği yanıtı geçebiliyor.
Maliyet servis faturasına ve latency'e yazılır. Bu yüzden production sistemleri genelde yalnızca zor istekleri pahalı yola yönlendirir.
Ürün tarafında bu yaklaşımın görünen yüzü bekleme süresidir. Kullanıcı yanıtın neden geciktiğini bilmiyorsa uzun düşünme süresi kalite değil hata gibi hissettirir. Düşünme adımını arayüzde göstermek, ilerlemeyi akıtmak ve hangi soruların pahalı yola gittiğini kullanıcıya sezdirmek bu maliyeti katlanılabilir kılıyor.