استنتاج مدل

Inference مرحله استفاده از مدل آموزش‌دیده برای تولید پیش‌بینی بر اساس ورودی جدید است، مانند اجرای مدل تشخیص تصویر روی تصویر تازه.

در Inference معمولاً وزن‌ها به‌روزرسانی نمی‌شوند. تاخیر، توان عملیاتی و هزینه هر درخواست از معیارهای مهم‌اند.

این مفهوم در یک پروژه واقعی

در Inference مدل وزن‌های آموزش‌دیده را برای پیش‌بینی روی ورودی جدید به کار می‌برد. کاهش Latency در این مرحله ممکن است با Batch یا Quantization انجام شود.

نمونه کوتاه

model.eval()
with torch.inference_mode():
    prediction = model(inputs)

استنتاج با آموزش مدل فرق دارد

در استنتاج وزن‌های مدل معمولاً ثابت‌اند و مدل از روی ورودی جدید خروجی می‌سازد. Latency، Throughput، مصرف VRAM و هزینه هر درخواست معیارهای مهم سرویس‌دهی‌اند.