ترنسفورمر

Transformer معماری شبکه عصبی‌ای است که سازوکار Attention را در مرکز پردازش توالی قرار می‌دهد و وابستگی میان بخش‌های ورودی را مدل می‌کند.

گونه‌های انکودر، دیکودر و Encoder-Decoder رایج‌اند. بسیاری از مدل‌های مولد خودبازگشتی از دیکودر استفاده می‌کنند.

نکته‌ای که در پروژه‌ها اهمیت دارد

Transformer با Attention می‌تواند ارتباط توکن‌های دور از هم را مدل کند. هزینه محاسبه Attention در توالی‌های طولانی از دغدغه‌های طراحی است.

در همین واژه‌نامه، مدل زبانی بزرگ و سازوکار توجه از مفاهیم مرتبط هستند.

ترنسفورمر چه مزیتی دارد؟

سازوکار Attention به مدل امکان می‌دهد ارتباط بخش‌های مختلف دنباله را پردازش کند. معماری ترنسفورمر در مدل‌های زبانی و بینایی استفاده می‌شود، اما هزینه Attention در توالی‌های بلند نیازمند بهینه‌سازی است.