Prompt mühendisliği bir talimatın nasıl ifade edileceğini sorar. Bağlam mühendisliği pencerede ne olması gerektiğini sorar. Uygulamalar tek prompt'tan çok turlu çalışan ve araç çağıran agent'lara geçtikçe zor olan ikinci soru oldu.
İşin büyük kısmı bütçeleme. Pencere sabit sayıda token tutar ve her şey aynı yer için yarışır. Sistem talimatları, araç tanımları, getirilen dokümanlar, konuşma geçmişi, önceki araç çıktıları. Pencereyi doldurmak kolaydır ve genelde yanlıştır. Uzun context'ler ortada performans kaybeder ve maliyet her token'la birlikte büyür.
Pratik kararlar şöyle görünür. Getirilen parçalardan kaç tanesi yerini hak ediyor, beş mi yirmi mi. Kırkıncı tur, üçüncü turu birebir mi yoksa özet olarak mı taşımalı. On dört araç tanımının hepsi her çağrıda mı yükleniyor, yoksa yalnızca bu görevin ulaşabileceği olanlar mı. Modellerin başa ve sona daha güvenilir dikkat verdiği bilindiğine göre talimat veriye göre nerede duruyor.
Pencereyi yönetilen bir kaynak gibi ele alan ve her bölüme ölçülü bütçe veren ekipler, orta boy bir modelden, doğrudan daha uzun bağlamlı modele uzanan ekiplerden çoğu zaman daha fazlasını alıyor.