Masked Language Modeling در مدل‌هایی مانند BERT و Causal Language Modeling

Masked Language Modeling (MLM) و Causal Language Modeling (CLM) دو رویکرد اصلی در مدل‌سازی زبان هستند که تفاوت‌ها و کاربردهای متفاوتی دارند:

1. جهت‌مندی در پیش‌بینی:
   • MLM: مدل به صورت دوطرفه عمل می‌کند و می‌تواند به کلمات قبل و بعد از توکن مخفی شده توجه کند. این ویژگی باعث درک عمیق‌تر از متن می‌شود15.
   • CLM: مدل به صورت تک‌جهته عمل کرده و فقط به کلمات قبلی توجه می‌کند. این روش برای پیش‌بینی کلمه بعدی در یک توالی استفاده می‌شود37.
2. روش آموزش:
   • MLM: برخی از توکن‌ها در متن ورودی مخفی می‌شوند (مانند "[MASK]")، و مدل سعی می‌کند آنها را بر اساس متن اطراف پیش‌بینی کند15.
   • CLM: مدل توکن بعدی را به صورت ترتیبی بر اساس توکن‌های قبلی پیش‌بینی می‌کند3.
3. کاربردها:
   • MLM بیشتر برای وظایف درک زبان (Language Understanding) مانند طبقه‌بندی متن، تشخیص موجودیت‌های نامدار، و پاسخگویی به سوالات استفاده می‌شود15.
   • CLM عمدتاً برای تولید زبان (Language Generation) مانند تولید متن، تکمیل خودکار، و ترجمه ماشینی کاربرد دارد37.

• MLM (مانند BERT):
  • تحلیل احساسات
  • تشخیص موجودیت‌های نامدار
  • پاسخگویی به سوالات
  • تطبیق معنایی جملات
• CLM (مانند GPT):
  • تولید متن خلاقانه
  • تکمیل متن
  • خلاصه‌سازی
  • ترجمه ماشینی

MLM برای وظایف مرتبط با درک زبان مناسب‌تر است، زیرا از زمینه دوطرفه بهره می‌برد. CLM در تولید متن طبیعی و وظایف ترتیبی بهتر عمل می‌کند، زیرا ترتیب زمانی کلمات را حفظ می‌کند. هر دو رویکرد مکمل یکدیگر هستند و بسته به نیاز کاربردی انتخاب می‌شوند.

مدل‌های زبانی مانند BERT و GPT از دو روش متفاوت برای آموزش استفاده می‌کنند:

 مدل‌سازی زبانی ماسک‌شده (Masked Language Modeling - MLM)

 و

 مدل‌سازی زبانی علّی (Causal Language Modeling - CLM). این دو روش در نحوه پردازش و پیش‌بینی کلمات تفاوت دارند که منجر به کاربردهای متفاوت می‌شوند.

 در این روش، برخی از کلمات ورودی به صورت تصادفی ماسک می‌شوند و مدل باید این کلمات مخفی‌شده را با استفاده از زمینه اطراف پیش‌بینی کند.

ویژگی‌ها:
پردازش دوطرفه: مدل به کلمات قبل و بعد از کلمه ماسک‌شده توجه می‌کند، که به درک عمیق‌تری از زمینه منجر می‌شود.

کاربرد:این روش  بیشتر در وظایف درک زبانی مانند طبقه‌بندی متن، پاسخ به سوالات و شناسایی موجودیت‌های نام‌دار استفاده می‌شود.

مدل‌سازی زبانی علّی (CLM):

 در این روش، مدل به صورت ترتیبی و از چپ به راست، کلمه بعدی را با توجه به کلمات قبلی پیش‌بینی می‌کند.
ویژگی‌ها:

پردازش یک‌طرفه: مدل فقط به کلمات قبل از کلمه جاری توجه می‌کند، که برای تولید متن مناسب است.

کاربردها: بیشتر در وظایف تولید متنی مانند تکمیل جمله، ترجمه ماشینی و تولید متن استفاده می‌شود.

تفاوت‌ها :

BERT (MLM): به دلیل پردازش دوطرفه، برای وظایفی که نیاز به درک عمیق متن دارند، مانند پاسخ به سوالات و شناسایی موجودیت‌ها، مناسب است.

GPT (CLM): به دلیل توانایی در تولید متن به صورت روان و طبیعی، برای وظایفی مانند تولید محتوا، تکمیل جملات و مکالمات مصنوعی مناسب است.

همچنین، ترکیبی از این دو روش نیز وجود دارد که به مدل‌ها اجازه می‌دهد از مزایای هر دو بهره‌مند شوند. برای مثال، مطالعه‌ای نشان داده است که ترکیب MLM و CLM می‌تواند عملکرد مدل را در وظایف مختلف بهبود بخشد.