Dokümanlar retrieval'ın istediği boyutta gelmez. Kırk sayfalık bir sözleşme tek bir dosyadır, ama fesih maddesiyle ilgili bir soru dosyayı değil o paragrafı ister. Chunking, kesiklerin nereye geleceğine karar veren adımdır.
Sabit boyutlu parçalama her birkaç yüz token'da bir keser ve küçük bir örtüşme bırakır. Böylece sınırın iki yanına düşen bir cümle bir yerde bütün olarak durur. Kaba ve hızlı bir yöntemdir, düz metinde iş görür. Yapısal parçalama ise dokümanı takip eder: başlıklar, liste maddeleri, tablo satırları, fonksiyon tanımları. Semantik parçalama konunun gerçekten değiştiği yeri ölçüp oradan keser.
Herkesin ayarladığı denge boyuttadır. Küçük parçalar hassas gömme çıkarır ve tam ihtiyacınız olan cümleyi getirir, sonra modele o cümleyi yorumlayacak kadar çevre bırakmaz. Büyük parçalar bağlamı taşır ama gömmeyi seyreltir ve retrieval onları kaçırmaya başlar.
Tek bir stratejiden daha çok işe yarayan iki pratik var. Komşu parçalar arasında küçük bir örtüşme bırakın ve her parçaya doküman başlığını ve bölüm başlığını iliştirin. Böylece getirilen paragraf neye ait olduğunu söylemeye devam eder.