Doğrulama, bir modelin eğitimde görmediği verilerle sınanarak ne kadar iyi öğrendiğinin ölçülmesidir. Eğitim verisindeki başarı tek başına bir şey söylemiyor, çünkü model o örnekleri ezberleyerek de yüksek skor alabiliyor. Gerçek soru, daha önce görmediği bir kayıtta ne yapacağı.
Süreç eğitimin içine yerleşiyor. Her dönemin sonunda model doğrulama kümesinde çalıştırılıyor ve skor kaydediliyor. Eğitim kaybı düşerken doğrulama kaybı yükselmeye başladığı an aşırı uyumun başladığı an oluyor. Ayarlar da bu skora bakılarak seçiliyor: öğrenme oranı, katman sayısı, düzenlileştirme miktarı ve eğitimin ne zaman durdurulacağı.
Veri az olduğunda çapraz doğrulama kullanılıyor. Küme beş parçaya bölünüyor, her turda bir parça doğrulama görevi görüyor ve beş skorun ortalaması alınıyor. Böylece sonuç, tek bir şanslı bölmeye bağlı kalmıyor.
Somut bir örnek: bir e-ticaret sitesinde ürün kategorisi tahmin eden bir model kuruluyor. Rastgele bölmede doğrulama doğruluğu yüksek çıkıyor. Aynı ürünün farklı varyantları hem eğitimde hem doğrulamada bulunduğu için skor yanıltıcı. Bölme ürün ailesi düzeyinde yapıldığında skor düşüyor ve gerçek performansa yaklaşıyor.
Doğrulama skoru nihai rakam değil. Ayarlar defalarca bu kümeye göre seçildiği için, son ölçüm hiç dokunulmamış bir test setinden alınıyor.