Prompt Injection حملهای است که در آن ورودی مخرب تلاش میکند دستورهای سامانه هوش مصنوعی را منحرف کند یا باعث افشای اطلاعات و اجرای اقدام ناخواسته شود. این ورودی میتواند مستقیماً از کاربر یا بهصورت غیرمستقیم از یک سند بازیابیشده وارد شود.
دستورهای سیستم بهتنهایی مرز امنیتی قابلاعتماد نیستند. جداسازی داده از دستور، محدودسازی ابزارها، کنترل مجوز سمت سرور، بررسی خروجی و تایید انسانی برای عملیات حساس ضروری است.
متن بازیابیشده از اینترنت ممکن است حاوی دستور مخرب باشد که مدل را به افشای اطلاعات سوق میدهد. سند بیرونی باید داده تلقی شود، نه دستور معتبر.
در همین واژهنامه، اجنت هوشمند و اجنتیک ورکفلو از مفاهیم مرتبط هستند.
پیش از اعتماد به نتیجه، داده آزمون مستقل و معیار متناسب با مسئله تعریف کنید. خروجی ظاهراً قانعکننده همیشه به معنی عملکرد قابلاعتماد نیست.