Damıtma, büyük ve pahalı bir modeli alıp onunla daha küçüğünü eğitme işidir. Öğretmen model bir girdi kümesi için çıktı üretir, öğrenci ise orijinal etiketler yerine bu çıktılar üzerinde eğitilir.
Bunun sıfırdan eğitimden daha iyi çalışmasının nedeni öğretmenin cevabının biçimidir. Sert etiket "bu bir kedi" der. Öğretmenin tam olasılık dağılımı ise "kedi 0.86, vaşak 0.09, köpek 0.02" der ve sınıflar arasındaki ilişkiyi sessizce taşır. Hinton'ın 2015 tarihli makalesi buna öğretmenin çıktısındaki karanlık bilgi adını verdi.
Dil modeli tarafında fikir genişledi. Ekipler artık sadece son token'ları değil, muhakeme izlerini, araç kullanım kararlarını ve reddetme davranışını da damıtıyor. Yaygın kalıp şudur: pahalı bir sınır modeli birkaç yüz bin gerçek production prompt'u üzerinde çalıştırılır, iyi yanıtlar ayıklanır ve çok daha küçük bir açık model bu set üzerinde ince ayardan geçirilir.
Sonuç, zor görevlerde öğretmene nadiren yetişir. Sizin gerçekten servis ettiğiniz dar görevde ise çoğu zaman yetişir ve maliyetin onda birine iner.
Kurum içinde damıtmayı düşünen ekipler için kritik nokta veri tarafındadır. Öğretmenin çıktılarını kullanma hakkı sağlayıcının kullanım şartlarına bağlıdır ve birçok ticari sağlayıcı çıktılarıyla rakip model eğitilmesini açıkça yasaklar. Teknik iş başlamadan önce bu maddeyi okumak, sonradan atılacak bir eğitim koşusunu baştan engeller.