Çok modlu yapay zeka, metin, görüntü, ses ve video gibi farklı veri türlerini tek bir modelde birlikte işleyen sistemleri anlatır. Ayrı modellerin çıktısını birleştirmekten farklı. Burada girdiler ortak bir temsil uzayına çevriliyor, böylece model bir fotoğraftaki nesneyle o fotoğrafı anlatan cümleyi aynı düzlemde karşılaştırabiliyor.
Mimari genelde her mod için bir kodlayıcıyla başlıyor. Görüntü bir görsel kodlayıcıdan, metin bir dil kodlayıcısından geçiyor ve çıkan temsiller aynı boyutlu vektörlere hizalanıyor. Eğitim sırasında eşleşen görüntü ve açıklama çiftleri birbirine yaklaştırılıyor, eşleşmeyenler uzaklaştırılıyor. Bu hizalama sayesinde model, daha önce görmediği bir görüntüyü metinle tarif edilen bir kategoriye yerleştirebiliyor.
Kullanım alanları hızla genişledi. Bir ekran görüntüsündeki hatayı okuyup açıklamak, faturayı fotoğraftan yapılandırılmış veriye çevirmek, videodaki sahneyi metinle aramak ve sesli soruya görselle cevap vermek bunların içinde.
Somut bir örnek: bir e-ticaret sitesinde ürün fotoğrafları var ama açıklamalar eksik. Çok modlu bir model fotoğrafa bakıp rengi, malzemeyi ve kesim tipini metne çeviriyor, ekip de bu çıktıyı düzenleyerek katalog alanlarını dolduruyor. İş, fotoğrafları tek tek inceleyip elle yazmaktan çıkıyor.
Hata biçimi de tek modlu modellerden farklı. Model görüntüde olmayan bir detayı metne ekleyebiliyor, bu yüzden çıktı kritik alanlarda insan kontrolünden geçiyor.
