Varyans, bir makine öğrenimi modelinin eğitim verisindeki küçük değişikliklere ne kadar tepki verdiğini anlatır. Yüksek varyanslı bir model, eğitim setinden birkaç örnek çıkarıldığında belirgin biçimde farklı tahminler üretiyor. Düşük varyanslı bir model ise veri değişse de yaklaşık aynı şeyi söylüyor.
Kavram tek başına değil, bias ile birlikte anlam kazanıyor. Bias modelin sistematik olarak yanlış yerde durması, varyans ise kararsız olması. Basit bir model genelde yüksek bias ve düşük varyans gösteriyor, çok esnek bir model ise tersi. Aşırı uyum dediğimiz durum tam olarak yüksek varyansın görünen yüzü: model eğitim verisini ezberliyor, içindeki gürültüyü de kural sanıyor ve yeni veride tökezliyor.
Uygulamada varyansı düşürmek için birkaç yol kullanılıyor. Daha fazla eğitim verisi toplamak, düzenlileştirme eklemek, model karmaşıklığını azaltmak ve rastgele orman gibi topluluk yöntemleriyle birden çok modelin tahminini ortalamak bunların başında geliyor.
Somut bir örnek: bir e-ticaret sitesinde iade riskini tahmin eden bir karar ağacı, derinliği sınırlanmadığında eğitim setinde neredeyse kusursuz sonuç veriyor. Aynı model canlıda tutarsız çalışıyor, çünkü ağaç tek tek siparişlere özel dallar öğrenmiş durumda. Derinlik sınırlandığında eğitim başarısı düşüyor ama canlıdaki tahminler istikrar kazanıyor.
Ölçmek için eğitim ve doğrulama skorları arasındaki fark takip ediliyor. Aradaki makas açıldıkça varyans sorunu büyüyor demektir.
