Test verisi, bir modelin eğitimi tamamen bittikten sonra performansını ölçmek için bir kez kullanılan, eğitim sırasında hiç görülmemiş veri kümesidir. Buradaki kritik nokta ayrılığın korunması. Model bu örneklerden hiçbir şey öğrenmiyor, sadece üzerinde sınanıyor.
Veri genelde üçe bölünüyor. Eğitim seti parametreleri öğretiyor, doğrulama seti hiperparametre seçimi ve erken durdurma için kullanılıyor, test seti ise en sonda tek bir kez çalıştırılıyor. Doğrulama setine defalarca bakıldığı için o küme zamanla dolaylı biçimde kirleniyor, bu yüzden nihai rakamın test setinden gelmesi gerekiyor.
Uygulamada asıl risk sızıntı. Aynı kayıt hem eğitimde hem testte bulunuyorsa, ya da test örnekleri eğitim örneklerinin kopyası niteliğindeyse, ölçüm gerçekte olduğundan iyi görünüyor. Zaman serisi verisinde bölme rastgele değil tarihe göre yapılıyor, çünkü geleceğe ait bir kaydı eğitime koymak modelin canlıda sahip olmayacağı bir bilgiyi vermek demek.
Somut bir örnek: bir bankada kredi başvurularını değerlendiren bir model geliştiriliyor. Bölme rastgele yapıldığında test skoru yüksek çıkıyor. Bölme başvuru tarihine göre yapıldığında skor belirgin düşüyor, çünkü model artık yalnızca geçmişe bakarak gelecek üç ayı tahmin ediyor. İkinci rakam gerçek performansa daha yakın.
Test seti bir kere harcanıyor. Sonuca bakıp modeli değiştirmek ve aynı test setinde tekrar denemek, o kümeyi doğrulama setine dönüştürüyor.