Model Monitoring به بررسی مستمر کیفیت و رفتار مدل پس از استقرار گفته می‌شود. این پایش می‌تواند تاخیر، خطا، تغییر توزیع ورودی، کیفیت خروجی و هزینه را در بر بگیرد.
در پروژه چه کاربردی دارد؟
اگر مدل قیمت‌گذاری در یک فصل جدید داده‌هایی کاملاً متفاوت دریافت کند، پایش باید تغییر را نشان دهد تا تیم درباره ارزیابی یا بازآموزی تصمیم بگیرد.
بدون برچسب واقعی، برخی معیارهای کیفیت با تاخیر قابل محاسبه هستند و باید از سیگنال‌های جانشین با احتیاط استفاده کرد.
درک تفاوت این موضوع با قابلیت مشاهده‌پذیری و متریک به انتخاب راهکار مناسب‌تر کمک می‌کند.
چه چیزهایی در پایش مدل مهم‌اند؟
علاوه بر Latency و Error Rate سرویس استنتاج، توزیع ویژگی‌ها، کیفیت خروجی واقعی و احتمال Drift باید پایش شوند. برای بسیاری از مدل‌ها برچسب واقعی با تاخیر دریافت می‌شود و ارزیابی فوری ممکن نیست.