RAG Hazırlığı ve Kaynak Korpus Değerlendirmesi

Bir korpus ancak örneklenen kaynaklar hedef soruları, kayıtlı yetki, erişim, güncellik, kapsam ve sorumluluk koşulları altında yanıtlayabildiğinde RAG geliştirmesine gerçekten hazır oluyor.

Kaynak envanteri dolu görünebilir ama önemli soruların karşılığı belgelerde bulunmayabilir. Korpustan örnek alıyor, erişimi ve yanıtlanabilirliği test ediyor, RAG geliştirmesinden önce tamamlanması gereken işleri çıkarıyoruz. Elinizde hazırlık dosyası, önceliklendirilmiş korpus açıkları, iyileştirme sorumluları ve geliştirmeye geçme, use case'i daraltma ya da bekleme konusunda açık bir karar kalıyor.

Bu çalışmayı konuşalımAna hizmeti inceleyin
RAG Hazırlığı ve Kaynak Korpus Değerlendirmesi illüstrasyonu: bir doküman hattını bir getirim sistemine bağlayan ekip

Birlikte çalıştığımız 500'den fazla markadan birkaçı

Tüm referansları gör
  • A101
  • Red Bull
  • Güven Hastanesi
  • MNG Kargo
  • HangiKredi
  • Gusto
  • Lezzet
  • Amazon
  • BMW
  • Shell
  • Hyundai
  • PepsiCo
  • MediaMarkt
  • Decathlon
  • Trendyol
  • Hepsiburada
  • Sahibinden.com
  • Bayer
  • Sanofi
  • EY
  • KPMG
  • DenizBank
  • Acıbadem Sağlık Grubu
  • Abdi İbrahim

Adımların sırası ve her adımı kimin onayladığı

Çalışma şeklimiz

Önce kullanıcıların sistemden beklediği soruları netleştiriyoruz. Bu soruları temsili kaynaklarda arıyor, açıkları kaydediyor ve her use case için ayrı bir hazırlık kararı çıkarıyoruz.

  1. Değerlendirme sınırını netleştir

    Hangi use case'leri değerlendireceğimizi, bunları temsil eden kaynakları, kaynaklardan sorumlu kişileri ve geliştirmeye geçiş kararını kimin vereceğini netleştiriyoruz. Karar sınırını ve use case'leri bilgi sorumlunuz onaylar.

  2. Korpusu incele

    Örneklemde kaynak güvenilirliğini, erişimi, yapıyı, metadata'yı, kaliteyi, kapsamı, güncelliği ve yanıtlanabilirliği inceliyoruz. Eksik izin veya tartışmalı kaynak sorumluluğu açık olarak kayda geçiyor. Hangi açığın gerçek olduğuna, hangisinin eksik kanıttan kaynaklandığına kaynak sorumlunuz karar verir.

  3. Hazırlığı ve istisnaları test et

    Gerçek sorular ve zor istisnalar, korpusun nerede yeterli kaldığını ve nerede dağıldığını gösteriyor. Önerilen use case'in incelenen kanıtın dışına sessizce taşınıp taşınmadığını da kontrol ediyoruz. Hangi use case'in geçtiğine, iyileştirme gerektirdiğine veya durması gerektiğine adı belli yetkiliniz karar verir.

  4. İyileştirme yolunu önceliklendir

    Korpus işlerini karar sırasına koyuyor, her kritik açığa bir sorumlu ve inceleme tarihi bağlıyoruz. İyileştirme, kapsamı daraltma, geliştirmeye geçme veya bekleme kararını yetkiliniz veriyor. İyileştirme, kapsam daraltma, devam ya da durma kararını yetkiliniz verir.

Adı konmuş, sizde kalan çıktılar

Elinize geçenler

Sonuç, kullanılabilecek kaynak yollarını onarım isteyenlerden, daha dar bir use case gerektirenlerden ve kanıtı eksik kalanlardan ayırıyor.

  • Yol haritası

    RAG hazırlık dosyası ve korpus iyileştirme planı

    Use case bazında hazırlık kararı ile kaynak yetkisi, erişim, yapı, kalite, kapsam, güncellik ve yanıtlanabilirlik bulguları.

  • Risk kaydı

    Örneklenen korpus açıkları ve kaynak bağımlılığı envanteri

    Örneklenen kanıt, değerlendirme varsayımları, ekipler arası bağımlılıklar, açık sorular ve kritik istisnalar.

  • Test kanıtı

    Korpus hazırlığı ve kritik istisna bulguları

    Yanıtlanabilirlik, kapsam, güncellik, erişim ve diğer kritik korpus kesitlerini değerlendiren test vakaları ile bulgular.

  • Karar kaydı

    Kabul edilen hazırlık durumu ve inceleme listesi

    Kabul edilen hazırlık durumunu, iyileştirme koşullarını, sorumluları, açık riskleri ve bir sonraki inceleme tarihini kaydeder.

Kapsam ve dürüst sınırlar

Bu çalışmanın size uyduğu durumlar

Geliştirme fikri belli olduğu hâlde kaynakların niteliği, erişimi veya sorumluları net değilse önce bu değerlendirmeyi yapıyoruz.

Şu durumlarda iyi bir seçim

  • Öncelikli sorular ve kaynak sorumluları belli, ama temsili belgeler korpusun bu soruları yanıtlayabildiğini henüz göstermiyor.
  • Korpus envanteri dolu görünüyor, ama erişim, güncellik, kapsam veya yanıtlanabilirlik planlanan use case'leri yine de engelleyebiliyor.
  • Korpus iyileştirmeleri birikiyor, ama RAG geliştirmesine geçiş kararını verecek kişi sıralanmış bir iyileştirme yolu göremiyor.
  • Kaynak yetkisi ve erişim kayda giriyor, ama yapı, kalite, kapsam, güncellik ve yanıtlanabilirlik aynı değerlendirmede sınanmıyor.
  • Temsili kaynak türleri bulunuyor, ama bağımlılıklar ve kritik hata vakaları korpus hazırlık kanıtında görünmüyor.
  • Hazırlık testleri açıkları gösteriyor, ama iyileştirme öncelikleri, sorumlular ve geliştirme kararı tek kayıtta birleşmiyor.
  • Bir use case hazır işaretleniyor, ama korpus iyileştirme veya RAG geliştirmeye geçiş incelenen sınırı yine aşıyor.

Şu durumlarda başka bir çalışma daha doğru

  • Korpusun yanıtlanabilirlik bulgularını düzenleyici başvuru ya da denetim belirlemesi olarak kullanmak istiyorsunuz. Hukuki etki ile sertifikasyon kararı kendi uzmanlarınızda kalıyor.
  • Korpusun bugünkü ve gelecekteki her soruyu yanıtlamasını bekliyorsunuz, ama değerlendirme yalnızca örneklenen kaynakları ve hedef use case'leri kapsıyor.
  • Korpus iyileştirmesi, yeni veri edinimi veya production uygulaması istiyorsunuz, çünkü bu değerlendirme hazırlık tesliminde tamamlanıyor.

Bunlardan biri sizin durumunuza daha yakınsa, buradan başlayın: Ana hizmeti inceleyin

AI'ı production'a taşıyan mühendisler

Zeo'nun kod yazıp teslim eden tarafı burası. Kıdemli mühendislerimiz agent, chatbot ve RAG sistemleri geliştiriyor, çevrelerindeki otomasyon ve veri işlerini üstleniyor, sistemler canlıya çıktıktan sonra da işletmeyi sürdürüyor. 2011'den beri 500'den fazla markayla çalıştık.

Bu konuda ürettiğimiz içerikler

YazıDidem HimmetliVeri Analizinde Yapay Zeka Asistanlarının Gücünü En Üst Düzeye Çıkarma

Kullandığımız araçlar

Bu işin arkasındaki araçlar

  • LlamaIndex

    örnek corpus'u gerçek sorularla sınayan hızlı geçici index

  • Chroma

    örnek corpus'un test için yüklendiği hafif yerel vector store

  • Voyage AI

    retrieval hatasının corpus'tan mı modelden mi geldiğini ayırıyor

  • Ragas

    hazırlık kararının dayandığı ölçülebilir yanıtlanabilirlik puanını doğrudan üretiyor

  • Jupyter

    kanıt şeffaflığını herkesin yeniden çalıştırabileceği açık bir hesaplamaya dönüştürüyor

  • Label Studio

    belirsiz corpus kaygılarını kayda alınmış somut hatalara dönüştürüyor

Sonraki adım

Geliştirmeden önce korpusun neyi destekleyebildiğine karar verin

Öncelikli soruları, temsili bir kaynak örneğini ve bu kaynaklardan sorumlu kişileri paylaşın. Geliştirme kararını taşıyacak kapsamda bir hazırlık değerlendirmesi tasarlayalım.
Zeo ile konuşun

Karar vermeden önce

Sık duyduğumuz sorular

Hangi girdi ve erişimlere ihtiyaç duyuyorsunuz?

Hedeflenen bilgi ihtiyaçları, korpus envanteri, kaynakların yetkisi ve bunlardan sorumlu kişiler, erişim koşulları, sahadan örnekler, mevcut kısıtlar, baseline kanıtı ve sonucu kabul edecek yetkili gerekir. Hassas bir kaynağa amacını, erişim sınırını, saklama kuralını ve sorumlusunu tanımlamadan dokunmayız.

Zeo'nun AI agent'ları çalışmaya nasıl katılır?

Agent'lar belge yapısını çıkarmaya, korpus kanıtını kümelemeye ve kapsam karşılaştırmasına yardımcı olur. Kaynakları, etiketleri ve sonuçları adı belli bir Zeo uzmanı doğrular. Hazırlık durumu, iyileştirme önceliği ve geliştirmeye geçiş kararı yetkilinizde kalır.

Korpusun hazır olduğuna nasıl karar veriyorsunuz?

Değerlendirme kabul adımlarındaki geçiş oranına, kritik istisnaların kapanmasına, kaynak güvenilirliği, erişim, yapı, kalite, kapsam, güncellik ve yanıtlanabilirlik boyunca kanıt kapsamına ve kararın ne kadar sürede verildiğine bakıyoruz. Ölçüleri use case ve kritik kesit bazında yorumluyoruz. Genel bir geçiş, yanıtsız kalan öncelikli bir soruyu ya da sorumlusu olmayan bir kaynağı gizleyemez.

Bu değerlendirme neleri garanti etmez?

Korpusun her soruyu yanıtlayacağını, işletmeden sorumlu bir ekip olmadan güncel kalacağını ya da hukuki yükümlülükleri karşılayacağını kanıtlamaz. Bulgular, değerlendirme sırasında örneklediğimiz kaynaklar, hedeflenen use case'ler, erişim koşulları ve mevcut kanıtla sınırlıdır. İyileştirme ve production uygulaması ayrı bir çalışmadır.