تعریف " Learning Rate " در یادگیری ماشین

نرخ یادگیری مؤلفه‌ای است که تعیین می‌کند با چه سرعتی اطلاعات جدید جایگزین اطلاعات قدیمی در وزن‌های یک مدل یادگیری می‌شود. تنظیم مناسب این نرخ می‌تواند به مدل کمک کند تا به‌طور مؤثرتری یاد بگیرد و به همگرایی برسد، اما انتخاب نادرست آن می‌تواند به یادگیری کند یا حتی ازبین‌رفتن همگرایی بینجامد.

سلام

نرخ یادگیری

سرعت یادگیری

نرخ یادگیری مشخص می کند که یک مدل تا چه حد باید پارامترهای خود را در پاسخ به خطایی که در طول آموزش مرتکب می شود تنظیم کند.

انتخاب نرخ یادگیری مناسب، برای موفقیت یک مدل یادگیری ماشینی بسیار مهم است.

اگر نرخ یادگیری خیلی بالا باشد، مدل ممکن است از راه حل بهینه فراتر رود و نتواند همگرا شود.

 اگر نرخ یادگیری خیلی کم باشد، ممکن است زمان زیادی طول بکشد تا مدل  همگرا شود یا حتی در یک راه حل غیربهینه گیر کند.