Moderasyon araçları, bir yapay zeka uygulamasına giren ve çıkan metni politikaya göre kontrol eden bileşenlerdir. Amaç modeli daha akıllı yapmak değil, üretilen içeriğin uygulamanın kurallarının dışına çıkmasını yakalamak. Kontrol iki yönlü çalışıyor: kullanıcının yazdığı istem de, modelin ürettiği yanıt da inceleniyor.
Çoğu sağlayıcı bunu ayrı bir sınıflandırma servisi olarak sunuyor. Metin gönderiliyor, servis nefret söylemi, taciz, kendine zarar, şiddet ve cinsel içerik gibi kategoriler için puan döndürüyor. Uygulama bu puanlara bakarak isteği reddediyor, yanıtı gizliyor ya da içeriği insan incelemesine düşürüyor. Yanına genelde kural tabanlı filtreler, kara listeler ve oran sınırlayıcılar da ekleniyor.
Araçlar en çok kullanıcıya açık yüzeylerde gerekiyor. Herkese açık bir sohbet asistanı, kullanıcı yorumu üreten bir akış, topluluk içeriğini özetleyen bir servis ya da çocuklara yönelik bir uygulama bunların başında geliyor.
Somut bir örnek: bir forumun yeni üye mesajlarını özetleyen asistanı, alıntıladığı mesajın içindeki hakaret cümlesini olduğu gibi çıktıya taşıyor. Çıkış moderasyonu bu yanıtı işaretliyor ve özet, ilgili cümle çıkarılarak yeniden üretiliyor.
Sınırları gerçekçi tutmak gerekiyor. Sınıflandırıcılar bağlamı her zaman doğru okumuyor, tıbbi ya da hukuki bir metni yanlış kategoriye alabiliyor. Bu yüzden eşikler ürüne göre ayarlanıyor ve itiraz yolu açık bırakılıyor.