Metin sınıflandırma, bir metin parçasını önceden tanımlanmış kategorilerden birine ya da birkaçına atayan NLP görevidir. Kategori kümesi baştan belli. Model metni okuyup hangi kutuya gireceğine karar veriyor, bazen tek etiket veriyor bazen birden fazla etiketi birlikte atıyor.
Uygulamadaki yaygın biçimleri spam tespiti, duygu analizi, konu etiketleme, destek taleplerinin yönlendirilmesi ve içerik moderasyonu. Klasik yaklaşımda metin sayısal özelliklere çevriliyor ve lojistik regresyon ya da destek vektör makinesi gibi bir sınıflandırıcı eğitiliyor. Bugün genelde bir dil modelinin temsilleri kullanılıyor, çünkü bağlamı ve eşanlamlıları kendiliğinden yakalıyor.
Zorluk çoğu zaman modelde değil etiket şemasında. Kategoriler birbirine yakınsa etiketleyiciler farklı kararlar veriyor ve model bu tutarsızlığı öğreniyor. Dengesiz dağılım da sık görülüyor: örneklerin yüzde 95'i bir kategorideyse, hiçbir şey yapmayan bir model bile yüzde 95 doğruluk gösteriyor.
Somut bir örnek: bir bankanın çağrı merkezine gelen yazılı talepler 14 kategoriye ayrılıyor. Model kurulduktan sonra iki kategori sürekli birbirine karışıyor. İnceleme, o iki kategorinin tanımının insanlar için de belirsiz olduğunu gösteriyor. Şema birleştirilerek 13 kategoriye inildiğinde doğruluk belirgin yükseliyor.
Ölçüm için doğruluk tek başına yeterli değil. Kategori başına kesinlik ve duyarlılık bakılmadan, az örnekli kategorilerdeki başarısızlık görünmüyor.