گرادیان کاهشی تصادفی

[ ۱] گرادیان کاهشی تصادفی ( به انگلیسی: Stochastic Gradient Descent ) ( اغلب به اختصار SGD خوانده می شود ) روشی مبتنی بر تکرار برای بهینه سازی یک تابع مشتق پذیر به نام تابع هدف ( تابع هزینه ) است که یک تقریب تصادفی از روش گرادیان کاهشی می باشد. در حقیقت گرادیان کاهشی تصادفی الگوریتمی در اختیار ما قرار می دهد که طی چند حلقهٔ تکرار مقدار کمینه یک تابع و مقادیری را که با ازای آن ها تابع کمینه مقدار خود را می گیرد، بدست بیاوریم. به تازگی مقاله ای[ ۲] ابداع این روش را به هربرت رابینز و ساتِن مونرو ( به انگلیسی: Herbert Robins and Sutton Monro ) برای انتشار مقاله ای در باب گرادیان کاهشی تصادفی در سال ۱۹۵۱ نسبت داده است. تفاوت گرادیان کاهشی تصادفی با گرادیان کاهشی استاندارد در این است که برخلاف گرادیان کاهشی استاندارد که برای بهینه سازی تابع هدف از تمام داده های آموزشی استفاده می کند، گرادیان کاهشی تصادفی از گروهی از داده های آموزشی که به طور تصادفی انتخاب می شود برای بهینه سازی استفاده می کند. این روش در مسائل آماری و یادگیری ماشین کاربرد فراوانی دارد.
در برآوردهای آماری و یادگیری ماشین معمولاً مسائلی به وجود می آید که در آن ها نیاز است تابعی مانند f از داده های آماری با یک یا چند پارامتر ( به شکل ضریب یا اشکال دیگر ) تعریف کنیم و سپس این پارامترها را طوری مشخص کنیم که مجموع ( یا میانگین ) مقادیر تابع f به ازای تک تک داده های آماری، حداقل مقدار ممکن خود بشود. فرض کنید مجموعه ای از داده های آماری داریم و تابع f را برای این داده ها فقط بر حسب یک پارامتر θ تعریف کرده ایم، در این صورت با دادن داده i ام از مجموعهٔ داده ها به تابع f یک تابع از θ بدست می آوریم که آن را J i ( θ ) می نامیم. حال مسئله به پیدا کردن θ ای که عبارت زیر را کمینه می کند، ساده می شود:
J ( θ ) = ( 1 n ) ∑ i = 1 n J i ( θ )
یا به عبارت دیگر:
J ( θ ) = E
که J ( θ ) همان تابع هدف یا تابع هزینه است.
برای حل چنین مسئله ای از گرادیان کاهشی استاندارد یا در مواردی از گرادیان کاهشی تصادفی استفاده می شود. در آمار کلاسیک زمینه هایی مثل کمترین مربعات یا برآورد درست نمایی بیشینه، مسائلی مشابه در باب کمینه سازی مجموع جملات مطرح می شود. همچنین مسئلهٔ مینیمم سازی جمع جملات در اصل کمینه سازی خطر تجربی ( Empirical risk minimization ) نیز مطرح می شود.