نرخ یادگیری

در یادگیری ماشینی و آمار، نرخ یادگیری یک پارامتر تنظیم در یک الگوریتم بهینه سازی است که اندازه گام هر تکرار را هنگام حرکت به سمت حداقل یک تابع زیان تعیین می کند. [ ۱] این پارامتر روی میزان رونویسی اطلاعات کسب شده بر اطلاعات قدیمی تاثیر می گذارد، به همین دلیل به صورت استعاری نمایش می دهد که مدل یادگیری ماشین به چه سرعتی «یادمی گیرد». در ادبیات کنترل تطبیقی، به نرخ یادگیری بهره گفته می شود. [ ۲]
برای تنظیم یک نرخ یادگیری، بین پرت شدن و نرخ همگرایی یک موازنه هست. درحالیکه جهت کاهشی معمولا از گرادیان تابع زیان تعیین می شود، نرخ یادگیری تعیین می کند که یک گام در آن جهت چقدر بزرگ است. اگر نرخ یادگیری خیلی بزرگ باشد، روی حداقل یک جهش انجام می شود، اما اگر نرخ یادگیری خیلی کوچک باشد، یا میزان همگرایی بسیار طولانی می شود یا در داخل حداقل محلی ناخواسته گیر خواهیم کرد. [ ۳]
برای دسترسی به همگرایی سریع تر، جلوگیری از نوسان، و گیر افتادن در حداقل محلی ناخواسته، باید نرخ یادگیری را در حین یادگیری تغییر داد، یا براساس یک برنامه نرخ یادگیری یا به کمک یک نرخ یادگیری تطبیقی باید آن را متغیر کرد. [ ۴] نرخ یادگیری و تنظیمات آن می تواند بر اساس پارامتر تغییر کند، که در این حالت یک ماتریس قطری است که می توان آن را به صورت یک تقریب به وارون ماتریس هسین در روش نیوتون تفسیر کرد. [ ۵] نرخ یادگیری با اندازه گام که توسط جستجوی خط در روش های شبه - نیوتون و دیگر الگوریتم های بهینه سازی تعیین می شود، مرتبط است. [ ۶] [ ۷]
نرخ اولیه را می توان به صورت پیش فرض سامانه قرار داد یا می توان آن را به کمک فنونی انتخاب کرد. [ ۸] یک برنامه نرخ یادگیری، در واقع نرخ یادگیری را در مدت یادگیری تغییر می دهد، و به صورت معمول بین تکرارها/دوره ها تغییر می کند. این کار معمولا توسط دو پارامتر انجام می شود: زوال و تکانه. تعداد بسیار متنوعی برنامه نرخ یادگیری وجود دارد، اما معمول ترین آن ها زمان - بینان، گام - بنیان، و نمایی است. [ ۴]
از پارامتر زوال برای قرار دادن یادگیری در محل مناسب و جلوگیری از نوسان استفاده می شود، این حالت وقتی اتفاق می افتد که نرخ یادگیری ثابت بسیار زیاد یک پرش یادگیری جلو و عقب روی حداقل ایجاد می کند، که این توسط یک فراپارامتر کنترل می شود.