Seq2seq modeller, bir diziyi girdi alıp başka bir diziyi çıktı veren sinir ağlarıdır. Girdi ve çıktının uzunluğu aynı olmak zorunda değil. Yedi kelimelik bir cümle on iki kelimelik bir çeviriye dönüşebiliyor, bu esneklik mimarinin varlık sebebi.
Yapı iki parçadan oluşuyor. Kodlayıcı girdiyi okuyup sabit boyutlu bir temsile sıkıştırıyor, çözücü bu temsile bakarak çıktıyı adım adım üretiyor. İlk kuşak modeller tekrarlayan sinir ağları kullanıyordu ve uzun cümlelerde bilgi kaybı yaşanıyordu, çünkü tüm cümle tek bir vektöre sığdırılmak zorundaydı. Dikkat mekanizmasının eklenmesi bunu çözdü: çözücü her adımda girdinin farklı bölümlerine bakabilir hâle geldi. Transformer mimarisi de bu çizginin devamı.
Görev listesi geniş. Makine çevirisi, metin özetleme, soru yanıtlama, dilbilgisi düzeltme, konuşmanın metne çevrilmesi ve kod üretimi aynı kalıba oturuyor. Ortak nokta girdinin de çıktının da sıralı olması.
Somut bir örnek: bir e-ticaret sitesinde satıcıların girdiği düzensiz ürün başlıkları standart bir biçime çevriliyor. Girdi "kirmizi kadin spor ayakkabi 38 numara", çıktı marka, kategori, renk ve beden alanlarını içeren düzenli bir başlık oluyor. Model kural yazmadan bu dönüşümü örneklerden öğreniyor.
Değerlendirme çıktının tek doğrusu olmadığı için zor. Çeviri ve özetlemede BLEU ve ROUGE gibi ölçütler kullanılıyor, ama bunlar da anlam yakınlığını tam yakalamıyor.