Self-attention, bir dizideki her token'ın diğer token'lara ne kadar dikkat etmesi gerektiğini hesaplayan mekanizmadır. Transformer mimarisinin çalışma prensibi buna dayanıyor. Her token kendi temsilini, dizideki diğer token'ların ağırlıklı bir karışımıyla yeniden kuruyor.
Hesap üç vektörle yapılıyor. Her token için sorgu, anahtar ve değer vektörleri üretiliyor. Bir token'ın sorgusu diğerlerinin anahtarlarıyla çarpılıyor, çıkan skorlar normalize ediliyor ve bu skorlarla değer vektörleri toplanıyor. Sonuçta token, kendisiyle ilgili olan token'lardan bilgi çekmiş oluyor. Çok başlı dikkat aynı işlemi paralel olarak birkaç kez yapıyor, böylece farklı ilişki türleri ayrı başlıklarda yakalanabiliyor.
Önemi mesafeden bağımsız çalışmasında. Tekrarlayan ağlarda iki kelime arasındaki bağ, aradaki mesafe arttıkça zayıflıyordu. Self-attention'da cümlenin başındaki kelimeyle sonundaki kelime arasındaki bağ tek adımda kuruluyor.
Somut bir örnek: "Sipariş ettiğim ayakkabı geldi ama numarası küçük geldi" cümlesinde "numarası" kelimesinin neye ait olduğunu anlamak için modelin "ayakkabı" kelimesine ağırlık vermesi gerekiyor. Dikkat ağırlıkları incelendiğinde bu bağın gerçekten kurulduğu görülebiliyor.
Maliyeti hesabın büyüklüğü. Her token her token'la karşılaştırıldığı için işlem sayısı dizi uzunluğunun karesiyle artıyor, uzun dizilerde bu ciddi bir yük hâline geliyor.