کوانتیزه‌سازی

Quantization وزن‌ها یا محاسبات مدل را با دقت عددی کمتر نمایش می‌دهد، برای مثال FP32 به INT8. این کار می‌تواند اندازه مدل و مصرف حافظه را کاهش دهد.

کاهش دقت ممکن است افت کیفیت ایجاد کند و اثر آن باید روی وظایف واقعی ارزیابی شود.

مدل INT8 معمولاً حافظه کمتری از نسخه FP32 مصرف می‌کند، اما باید خطای آن روی همان Test Set ارزیابی شود.

کاهش دقت عددی چه هزینه‌ای دارد؟

تبدیل وزن‌های مدل از FP16 به INT8 یا INT4 می‌تواند حافظه و زمان اجرا را کاهش دهد، اما کیفیت بعضی وظایف ممکن است افت کند. قبل از استقرار باید ارزیابی روی دیتاست مرتبط انجام شود.