Düzenlileştirme, modelin eğitim verisini ezberlemesini zorlaştırarak aşırı uyumu azaltan tekniklerin ortak adıdır. Fikir basit: modele yalnızca hata yapmanın değil, gereğinden karmaşık olmanın da bir bedeli olduğunu öğretmek. Bu bedel kayıp fonksiyonuna eklenen bir ceza terimiyle veriliyor.
En yaygın iki biçim L1 ve L2. L2 ağırlıkların karelerini cezalandırıyor ve onları sıfıra doğru çekiyor, böylece hiçbir özelliğin tek başına aşırı ağırlık kazanması engelleniyor. L1 mutlak değerleri cezalandırıyor ve bazı ağırlıkları tam olarak sıfıra indiriyor, bu da dolaylı bir özellik seçimi anlamına geliyor. Sinir ağlarında dropout da aynı işi görüyor: eğitim sırasında rastgele nöronlar kapatılıyor, model tek bir yola bağımlı kalamıyor. Erken durdurma ve veri büyütme de bu ailenin içinde sayılıyor.
Ayarın gücü bir denge meselesi. Ceza çok zayıfsa model yine ezberliyor, çok güçlüyse veriyi öğrenemiyor ve yetersiz uyum çıkıyor. Doğru değer doğrulama skoruna bakılarak seçiliyor.
Somut bir örnek: bir bankada 80 değişkenle kredi riski tahmini yapılıyor. Düzenlileştirmesiz modelde eğitim skoru çok yüksek, canlıda tutarsız. L1 cezası eklendiğinde 80 değişkenin 23'ünün ağırlığı sıfıra iniyor ve model hem sadeleşiyor hem canlıda istikrar kazanıyor.
Düzenlileştirme veri eksikliğini kapatmıyor. Örnek sayısı gerçekten yetersizse, ceza terimi yalnızca sorunu görünmez kılıyor.