چانکینگ

Chunking تقسیم سند به بخش‌های کوچک‌تر برای ذخیره‌سازی و بازیابی است. در RAG به‌جای ارسال سند طولانی، بخش مرتبط‌تر در اختیار مدل قرار می‌گیرد.

قطعه کوچک ممکن است زمینه را از دست بدهد و قطعه بزرگ اطلاعات نامرتبط و هزینه توکن را افزایش دهد.

اگر سند حقوقی وسط یک بند شکسته شود، Chunk کوچک ممکن است شرط مهم را جدا کند. مرزبندی باید با ساختار متن متناسب باشد.

نمونه کوتاه

chunks = [text[i:i+500] for i in range(0, len(text), 450)]

برای تکمیل بحث، ارتباط این مفهوم را با تولید تقویت‌شده با بازیابی و بردارسازی معنایی بررسی کنید.

تقسیم متن برای RAG

اندازه Chunk باید با ساختار سند و نوع پرسش سازگار باشد. برش تصادفی وسط یک جدول یا یک بند قانونی ممکن است متن لازم برای جواب را از بین ببرد. حفظ متادیتا و پیوند هر Chunk به سند اصلی مهم است.