Token, bir dil modelinin metni işlerken kullandığı en küçük birimdir. Model kelimelerle değil token'larla çalışıyor. Bir token bazen tam bir kelimeye, bazen kelimenin bir parçasına, bazen tek bir karaktere ya da noktalama işaretine karşılık geliyor.
Bölme işini tokenizer yapıyor ve genelde alt kelime yöntemleri kullanılıyor. Sık geçen kelimeler tek token kalıyor, nadir kelimeler parçalara ayrılıyor. Bu sayede model daha önce hiç görmediği bir kelimeyi de işleyebiliyor, çünkü parçalarını tanıyor. Her token bir sayıya eşleniyor ve model bu sayılar üzerinden çalışıyor.
Türkçede token sayısı İngilizceye göre belirgin yüksek çıkıyor. Ekler kelimeyi uzattığı ve tokenizer'lar çoğunlukla İngilizce ağırlıklı veriyle kurulduğu için, aynı anlamı taşıyan Türkçe metin daha fazla token tutuyor. Bunun doğrudan iki sonucu var: bağlam penceresine daha az içerik sığıyor ve API maliyeti artıyor.
Somut bir örnek: "kitaplarımızdan" tek bir kelime ama tokenizer bunu üç ya da dört parçaya bölebiliyor. Aynı anlamı taşıyan İngilizce "from our books" ifadesi ise üç kelime olmasına rağmen üç token olarak kalabiliyor.
Token sayımı planlamanın parçası. Bir akışın maliyetini ve gecikmesini tahmin etmek için istem ve yanıtın token uzunluğu ölçülüyor, sonra bu sayı çağrı hacmiyle çarpılıyor.
