Self-Attention نوعی Attention است که کوئری، Key و Value از همان توالی ورودی ساخته می‌شوند، هر توکن می‌تواند اطلاعات توکن‌های دیگر را در نمایش خود لحاظ کند.
در مدل‌های خودبازگشتی، ماسک علّی مانع استفاده از توکن‌های آینده هنگام پیش‌بینی توکن بعدی می‌شود.
این مفهوم در یک پروژه واقعی
Self-Attention اجازه می‌دهد نمایش یک Token تحت تاثیر Tokenهای دیگر همان توالی باشد. در تولید خودبازگشتی، Mask مانع دیدن توکن‌های آینده می‌شود.
درک تفاوت این موضوع با مدل زبانی بزرگ و ترنسفورمر به انتخاب راهکار مناسب‌تر کمک می‌کند.
پیش از اعتماد به نتیجه، داده آزمون مستقل و معیار متناسب با مسئله تعریف کنید. خروجی ظاهراً قانع‌کننده همیشه به معنی عملکرد قابل‌اعتماد نیست.