Ölçeklendirme yasaları, bir dil modelinin performansının model boyutu, eğitim verisi miktarı ve harcanan hesap gücüyle nasıl değiştiğini tarif eden ampirik ilişkilerdir. Bir teori değil, çok sayıda deneyden çıkarılmış gözlem. Kayıp değeri bu üç girdi büyüdükçe düzenli bir eğriyle düşüyor ve eğri şaşırtıcı biçimde öngörülebilir kalıyor.
Pratik değeri planlamada. Küçük ölçekli deneylerden çıkan eğriye bakarak, çok daha büyük bir modelin ne kadar veri ve ne kadar hesapla eğitilmesi gerektiği tahmin edilebiliyor. DeepMind'ın Chinchilla çalışması bu noktada bir düzeltme yaptı ve o güne kadarki büyük modellerin boyutlarına göre yetersiz veriyle eğitildiğini gösterdi. Sonuç olarak sektör bir süre daha küçük ama daha çok veri görmüş modellere yöneldi.
Eğrinin bir sınırı da var. Kayıp düşmeye devam ediyor ama getiri azalıyor, yani iki katı hesap iki katı iyileşme getirmiyor. Ayrıca kayıptaki düzenli düşüş, ürün tarafındaki yeteneklerin de aynı düzenlilikte artacağı anlamına gelmiyor.
Somut bir örnek: bir ekip belirli bir bütçeyle model eğitecek. Ölçeklendirme eğrisi, aynı bütçeyi daha büyük bir modele değil daha uzun eğitime ve daha fazla veriye ayırmanın daha düşük kayıp vereceğini söylüyor. Karar deneyle değil eğriyle veriliyor.
Yasalar veri kalitesini hesaba katmıyor. Tekrarlı ve düşük kaliteli veriyle büyütmek eğrinin vaat ettiği kazancı vermiyor.