Attention به مدل اجازه می‌دهد هنگام پردازش یک بخش ورودی، اهمیت بخش‌های دیگر را محاسبه کند. در Transformer بردارهای Query، Key و Value برای تعیین وزن‌ها به کار می‌روند.
Attention تمرکز آگاهانه انسان نیست، عملیاتی ریاضی برای وزن‌دهی به اطلاعات است.
در جمله‌ای با چند مرجع، Attention به مدل کمک می‌کند هنگام پردازش یک توکن، اطلاعات توکن‌های دیگر را وزن‌دهی کند. این وزن‌ها توضیح قطعی تصمیم مدل نیستند.
درک تفاوت این موضوع با مدل زبانی بزرگ و ترنسفورمر به انتخاب راهکار مناسب‌تر کمک می‌کند.
کار Attention چیست؟
Attention برای هر موقعیت وزن ارتباط با موقعیت‌های دیگر را محاسبه می‌کند. این وزن‌ها لزوماً توضیح علّی تصمیم مدل نیستند و نباید بدون تحلیل بیشتر آن‌ها را تفسیر قطعی کنیم.