Çevrim dışı pekiştirmeli öğrenme, modelin ortamla canlı etkileşime girmeden, önceden toplanmış sabit bir kayıt kümesinden politika öğrenmesidir. Klasik pekiştirmeli öğrenmede ajan deneme yapıyor, sonucu görüyor ve buna göre düzeliyor. Burada deneme hakkı yok. Elde yalnızca geçmişte alınmış kararlar ve bu kararların sonuçları var.
Bu kısıt bazı alanlarda zorunluluk. Sağlıkta, finansta, endüstriyel kontrolde ve otonom sürüşte modelin canlıda rastgele hamle denemesi kabul edilemez, çünkü yanlış hamlenin maliyeti gerçek. Böyle durumlarda geçmiş operasyon kayıtları veri kümesi hâline getiriliyor ve öğrenme bunun üzerinde yapılıyor.
Asıl teknik zorluk dağılım kayması. Model, veri kümesinde hiç denenmemiş bir eylemin çok iyi olduğunu tahmin edebiliyor, ama bu tahmini doğrulayacak hiçbir kayıt yok. Algoritmalar bu yüzden politikayı veride görülmüş davranışlara yakın tutmaya zorluyor ve gözlenmemiş eylemlere aşırı iyimser değer atamayı cezalandırıyor.
Somut bir örnek: bir çağrı merkezinde geçmiş 400 bin görüşmenin kaydı var. Hangi durumda müşteriye indirim önerildiği, ne zaman üst kademeye aktarıldığı ve sonucun ne olduğu kayıtlı. Çevrim dışı öğrenme bu kayıtlardan bir yönlendirme politikası çıkarıyor, canlıya alınmadan önce de ayrı bir dönemin kayıtlarıyla sınanıyor.
Sonucun kalitesi tamamen kayıtların çeşitliliğine bağlı. Geçmişte hep aynı karar verilmişse, model alternatifin daha iyi olup olmadığını öğrenemiyor.