معنی اصطلاحات تخصصی در یادگیری ماشین :

در یادگیری ماشین، دو نوع معمول از منظم‌سازی (Regularization) برای جلوگیری از overfitting (آموزش بیش از حد مدل به داده‌های آموزش) وجود دارد که به L1 Regularization و L2 Regularization معروف هستند. این اصطلاحات به تغییرات خاصی در مدل‌ها برای بهبود کارایی آن‌ها اشاره دارند.

1. L1 Regularization (منظم‌سازی L1):

تعریف: در L1 Regularization، یک مجازات به مقدار مطلق ضرایب مدل (weights) اضافه می‌شود.

هدف: به کاهش مقدار ضرایب وزن مدل کمک می‌کند و ممکن است برخی از ضرایب را صفر کند.

این باعث می‌شود که برخی از ویژگی‌ها به طور کامل نادیده گرفته شوند (مقدار وزن آن‌ها صفر می‌شود)، که به‌طور غیرمستقیم به انتخاب ویژگی‌ها کمک می‌کند.

این روش ویژگی‌های غیرضروری را از مدل حذف می‌کند و به نوعی به انتخاب ویژگی کمک می‌کند.

معادله: برای یک مدل خطی، L1 Regularization به شکل زیر به تابع هزینه (loss function) اضافه می‌شود:

\text{Loss} = \text{Loss}_{\text{original}} + \lambda \sum |w_i|

 تابع هزینه اصلی مدل است.

 وزن‌های مدل هستند.

 پارامتر منظم‌سازی است که قدرت منظم‌سازی را تعیین می‌کند.

ویژگی‌ها:

به کاهش تعداد ویژگی‌های انتخابی کمک می‌کند.

اسپارسیتی (sparsity) در مدل ایجاد می‌کند، یعنی مدل ممکن است دارای پارامترهای صفر باشد.

---

2. L2 Regularization (منظم‌سازی L2):

تعریف: در L2 Regularization، یک مجازات به مربع ضرایب وزن اضافه می‌شود.

هدف: به جلوگیری از بزرگ شدن ضرایب وزن کمک می‌کند، اما برخلاف L1، ضرایب را به صفر نمی‌رساند، بلکه آن‌ها را به مقدار کوچکتری نزدیک می‌کند.

این روش بیشتر به کاهش پیچیدگی مدل کمک می‌کند و معمولاً منجر به مدل‌هایی با ضرایب کوچک می‌شود.

معادله: برای یک مدل خطی، L2 Regularization به شکل زیر به تابع هزینه (loss function) اضافه می‌شود:

\text{Loss} = \text{Loss}_{\text{original}} + \lambda \sum w_i^2

 تابع هزینه اصلی مدل است.

 وزن‌های مدل هستند.

 پارامتر منظم‌سازی است که قدرت منظم‌سازی را تعیین می‌کند.

ویژگی‌ها:

به کاهش اندازه وزن‌ها و جلوگیری از بزرگ شدن آن‌ها کمک می‌کند.

از صفر شدن وزن‌ها جلوگیری می‌کند.

کمتر به انتخاب ویژگی‌ها می‌پردازد و فقط وزن‌ها را تنظیم می‌کند.

---

تفاوت‌های اصلی بین L1 و L2 Regularization:

1. L1 Regularization ممکن است وزن‌های برخی ویژگی‌ها را صفر کند و بنابراین به انتخاب ویژگی (Feature Selection) کمک می‌کند.

2. L2 Regularization وزن‌ها را به مقدار کوچکتر هدایت می‌کند و به کاهش پیچیدگی مدل کمک می‌کند، اما هیچ‌گاه وزن‌ها را صفر نمی‌کند.

---

انتخاب بین L1 و L2:

اگر هدف شما انتخاب ویژگی‌ها و ساده‌سازی مدل است، از L1 Regularization استفاده کنید.

اگر هدف شما جلوگیری از بزرگ شدن ضرایب و کاهش پیچیدگی مدل است، از L2 Regularization استفاده کنید.

گاهی اوقات نیز می‌توان از ترکیب L1 و L2 (که به آن Elastic Net گفته می‌شود) استفاده کرد تا از مزایای هر دو استفاده شود.