کاهش گرادیان ( انگلیسی: Gradient descent ) الگوریتم بهینه سازی مرتبهٔ اول از نوع الگوریتم های تکرار شونده است. برای یافتن کمینهٔ محلی یک تابع با استفاده از این الگوریتم، گام هایی متناسب با منفی گرادیان ( یا گرادیان تخمینی ) تابع در محل فعلی برداشته خواهد شد. اگر در استفاده از این الگوریتم، گام هایی متناسب با جهت مثبت گرادیان برداشته شود، به بیشینهٔ محلی تابع نزدیک می شویم که به این فرایند افزایش گرادیان گفته می شود. اگر تابع محدب یا مقعر باشد به بیشینه جهانی می رسیم. [ ۱] بسیاری از مسائل یادگیری ماشینی محدب هستند و ازین رو گرادیان کاهشی جواب بهینه را در این مسائل تولید می کند. [ ۱]
فرض می کنیم تابعی چند متغیره به اسم F ( x ) داریم که مشتق پذیر است و هدف یافتن یک نقطه x است که تابع را به حداقل ممکن برساند. برای نقطه a جهتی که مقدار تابع با بیشترین شیب به صورت محلی کاهش پیدا می کند، خلاف جهت گرادیان تابع در آن نقطه یعنی بردار − ∇ F ( a ) است.
الگوریتم گرادیان کاهشی به صورت متناوب هر بار مقداری در خلاف جهت گرادیان حرکت می کند به این معنی که a n + 1 = a n − γ ∇ F ( a n ) . در اینجا γ مقداری است که هربار الگوریتم در خلاف جهت گرادیان حرکت می کند. معمولاً این مقدار بسیار کوچک است.
برای توابع محدب هر بار مقدار تابع یا کمتر می شود یا ثابت می ماند به این معنی که F ( a 0 ) ≥ F ( a 1 ) ≥ F ( a 2 ) ≥ ⋯
با نزدیک شدن به نقطه بهینه، از آنجا که گرادیان به صفر نزدیک می شود مقادیر a n به ثبات می رسند و تغییر محسوسی نمی کنند.
تصور کنید در حال اسکی بازی هستید! هر چقدر شیب بیشتر باشد، در هر لحظه طول بیشتری را لیز خواهید خورد! در روش نزول شیب، هر چه شیب بیشتر باشد، طول گام در جهت مخالف بیشتر خواهد شد. دربارهٔ پرسپترون یک لایه:
Δ w = − η ∂ E ∂ w
فرض کنید می خواهیم کمینه تابع f ( x 1 , x 2 ) = ( 1 − x 1 ) 2 + 100 × ( x 2 − x 1 2 ) 2 را با استفاده از الگوریتم کاهش گرادیان پیدا کنیم.
گرادیان این تابعِ دومتغیّریه این بردار است:
∇ f ( x 1 , x 2 ) =
معادله الگوریتم گرادیان کاهشی به شکل پایین خواهد بود، برای γ مقدار 0. 1 را در نظر گرفته ایم، ورودی در مرحله n است و ورودی در مرحله n + 1 است:
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلففرض می کنیم تابعی چند متغیره به اسم F ( x ) داریم که مشتق پذیر است و هدف یافتن یک نقطه x است که تابع را به حداقل ممکن برساند. برای نقطه a جهتی که مقدار تابع با بیشترین شیب به صورت محلی کاهش پیدا می کند، خلاف جهت گرادیان تابع در آن نقطه یعنی بردار − ∇ F ( a ) است.
الگوریتم گرادیان کاهشی به صورت متناوب هر بار مقداری در خلاف جهت گرادیان حرکت می کند به این معنی که a n + 1 = a n − γ ∇ F ( a n ) . در اینجا γ مقداری است که هربار الگوریتم در خلاف جهت گرادیان حرکت می کند. معمولاً این مقدار بسیار کوچک است.
برای توابع محدب هر بار مقدار تابع یا کمتر می شود یا ثابت می ماند به این معنی که F ( a 0 ) ≥ F ( a 1 ) ≥ F ( a 2 ) ≥ ⋯
با نزدیک شدن به نقطه بهینه، از آنجا که گرادیان به صفر نزدیک می شود مقادیر a n به ثبات می رسند و تغییر محسوسی نمی کنند.
تصور کنید در حال اسکی بازی هستید! هر چقدر شیب بیشتر باشد، در هر لحظه طول بیشتری را لیز خواهید خورد! در روش نزول شیب، هر چه شیب بیشتر باشد، طول گام در جهت مخالف بیشتر خواهد شد. دربارهٔ پرسپترون یک لایه:
Δ w = − η ∂ E ∂ w
فرض کنید می خواهیم کمینه تابع f ( x 1 , x 2 ) = ( 1 − x 1 ) 2 + 100 × ( x 2 − x 1 2 ) 2 را با استفاده از الگوریتم کاهش گرادیان پیدا کنیم.
گرادیان این تابعِ دومتغیّریه این بردار است:
∇ f ( x 1 , x 2 ) =
معادله الگوریتم گرادیان کاهشی به شکل پایین خواهد بود، برای γ مقدار 0. 1 را در نظر گرفته ایم، ورودی در مرحله n است و ورودی در مرحله n + 1 است:
wiki: گرادیان کاهشی