مفهوم Self-Attention در BERT

‏BERT بر اساس معماری ترانسفورماتور است که از چندین لایه از ماژول های رمزگذار و رمزگشا تشکیل شده است. هر ماژول شامل یک لایه توجه به خود و یک لایه تغذیه به جلو است. لایه توجه به خود در ماژول رمزگذار به BERT اجازه می دهد تا متن هر کلمه را از هر دو جهت، چپ و راست رمزگذاری کند.این امر به BERT امکان می دهد تا ظرافت ها و ظرافت های زبان طبیعی را به تصویر بکشد. لایه توجه به خود در ماژول رمزگشا به BERT اجازه می دهد تا خروجی های منسجم و مرتبط را با توجه به ورودی و خروجی های قبلی تولید کند.

توجه به خود مکانیزمی است که به شبکه عصبی اجازه می دهد تا یاد بگیرد که چگونه بر مرتبط ترین قسمت های یک دنباله ورودی تمرکز کند. برای هر جفت عنصر در دنباله، بر اساس شباهت و اهمیت آنها، امتیازی را محاسبه می کند. سپس، از این امتیازها برای ایجاد یک نمایش وزنی از دنباله استفاده می کند، که روابط و وابستگی های بین عناصر را نشان می دهد. توجه به خود می‌تواند ورودی‌های با طول متغیر را مدیریت کند، وابستگی‌های دوربرد را مدل‌سازی کند، و نمایش‌های معنایی غنی ایجاد کند.

* مرجع انگلیسی: سایت 👇

در مدل BERT، Self-Attention یا توجه به خود یکی از مفاهیم اصلی و کلیدی است که باعث می‌شود مدل بتواند روابط و وابستگی بین کلمات را حتی در فواصل دور در یک جمله به‌خوبی درک کند.

Self-Attention چیست؟

Self-Attention مکانیزمی است که به هر کلمه در یک جمله اجازه می‌دهد به سایر کلمات جمله نگاه کند و تشخیص دهد کدام کلمات برای درک معنی آن مهم‌ترند.

مثلاً در جمله:

 "The cat sat on the mat because it was tired."

کلمه "it" به "the cat" اشاره دارد. مکانیزم self-attention کمک می‌کند مدل بفهمد که "it" به "cat" برمی‌گردد، نه "mat" یا چیز دیگری.

چگونه کار می‌کند؟

به‌طور ساده، در Self-Attention:

1. هر کلمه به بردارهای query، key و value تبدیل می‌شود.

2. با مقایسه‌ی query یک کلمه با key سایر کلمات، مدل تشخیص می‌دهد چقدر باید به هر کلمه دیگر توجه کند.

3. سپس این وزن‌ها روی بردارهای value اعمال می‌شوند تا نمایش جدیدی از کلمه بر اساس سایر کلمات ساخته شود.

چرا مهم است؟

برخلاف مدل‌های سنتی که فقط به کلمات قبلی یا بعدی نگاه می‌کردند (مثل RNN یا LSTM)،

Self-Attention در BERT به کل جمله به‌صورت هم‌زمان نگاه می‌کند.

این باعث می‌شود وابستگی‌های معنایی بین کلمات — حتی اگر از هم دور باشند — به خوبی درک شوند.

همچنین چون BERT دوطرفه (Bidirectional) است، هم به کلمات قبلی و هم بعدی توجه می‌کند، که قدرت درک عمیق‌تری به آن می‌دهد.

جمع‌بندی:

Self-Attention به BERT اجازه می‌دهد تا:

بفهمد چه کلماتی به هم وابسته‌اند،

رابطه‌ها و ارجاع‌ها را تشخیص دهد،

و نمایشی عمیق‌تر و معنایی‌تر از جمله بسازد.

🧠 Self-Attention در BERT یعنی چی؟

Self-Attention (توجه به خود) یه سازوکاره که به مدل کمک می‌کنه روابط بین تمام کلمات یک جمله رو در نظر بگیره.
به زبان ساده، می‌گه:

«برای فهمیدن یه کلمه، لازمه به همهٔ کلمات دیگه هم نگاه کنم، چون ممکنه معنای این کلمه به اون‌ها بستگی داشته باشه.»

🧩 مثال ساده:

جمله:

«کتاب را به علی داد چون او آن را خواسته بود.»

مدل باید بفهمه «او» به کی برمی‌گرده؟ «علی» یا یه شخص دیگه؟
Self-Attention کمک می‌کنه تا مدل بتونه همهٔ کلمات جمله رو با هم مقایسه کنه و تصمیم بگیره «او» به علی اشاره داره.

🧬 در BERT چه اتفاقی می‌افته؟

BERT از لایه‌های متعددی از Self-Attention استفاده می‌کنه. در هر لایه، مدل نگاه می‌کنه که هر کلمه چقدر به بقیه کلمات وابسته هست.

مدل برای هر کلمه ۳ چیز می‌سازه:

Query (پرسش)Key (کلید)Value (مقدار)

و بعد یه جور امتیاز برای ارتباط هر کلمه با بقیه حساب می‌کنه. مثلاً:

"کلمه «او» چقدر با «علی» مرتبطه؟"
"کلمه «کتاب» چقدر با «داد» مرتبطه؟"

🔄 خلاصه فرایند Self-Attention:

1. هر کلمه به کلمات دیگه نگاه می‌کنه
2. با وزن‌های متفاوت ازشون اطلاعات می‌گیره
3. معنای هر کلمه رو در بستر جمله می‌سازه

🤖 چرا Self-Attention مهمه؟

1. چون برخلاف مدل‌های قدیمی، فقط به کلمات قبلی یا بعدی نگاه نمی‌کنه — به همهٔ کلمات با هم نگاه می‌کنه!
2. اجازه می‌ده مدل:
   • وابستگی‌های دور رو بفهمه
   • ترتیب کلمات رو بهتر درک کنه (با کمک positional encoding)
   • اطلاعات معنایی پیچیده رو کشف کنه

📌 در یک جمله:

Self-Attention قلب تپنده‌ی BERT است؛ روشی که به مدل اجازه می‌دهد هر کلمه را با توجه به کل جمله درک کند و ارتباط‌های معنایی بین آن‌ها را به‌دقت استخراج نماید.