Linguistic annotation, bir metne dilbilimsel bilgi katmanları eklenmesidir. Kelimelerin konuşma parçası etiketleri, cümledeki dilbilgisel bağımlılıklar, kök ve ek ayrımı, cümle sınırları ve söz dizimsel yapı bu katmanlara giriyor. Amaç, insanın doğal olarak sezdiği yapıyı makinenin okuyabileceği biçimde kaydetmek.
İşin çıktısı etiketli bir külliyat oluyor. Bu külliyat hem NLP modellerinin eğitim verisi olarak kullanılıyor hem de dilbilim araştırmalarında ölçüm malzemesi oluyor. Türkçe için hazırlanan ağaç bankaları bunun tipik örneği: cümleler biçimbirim düzeyinde çözümlenip bağımlılık ilişkileriyle işaretleniyor.
İşaretleme kalitesi bir şema meselesi. Aynı cümleyi iki dilbilimci farklı çözümleyebiliyor, bu yüzden projeler önce ayrıntılı bir kılavuz yazıyor, sonra aynı metinleri birden fazla kişiye işaretletip aralarındaki uyumu ölçüyor. Uyum düşükse sorun genelde etiketleyicide değil kılavuzda oluyor.
Somut bir örnek: Türkçe için bir bağımlılık ayrıştırıcısı eğitilecek. Elde 5.000 cümlelik işaretli bir küme var. Modelin başarısı doğrudan bu kümenin tutarlılığına bağlı, çünkü model kılavuzdaki kararları öğreniyor, dilin kendisini değil.
Büyük dil modelleri bu katmanları ayrı bir adım olarak üretmiyor. Yine de işaretli külliyatlar değerlendirme ve hata analizi için kullanılmaya devam ediyor.