در یادگیری ماشین، بهینه سازی ابرپارامترها ( به انگلیسی: Hyperparameter Optimization ) یا میزان سازی ابرپارامتر ها ( به انگلیسی: Hyperparameter Tuning ) مسئله ی یافتن یک مجموعه ٔ بهینه از ابرپارامتر ها برای یک الگوریتم یادگیری است. [ ۱] یک ابرپارامتر، پارامتری است که با استفاده از مقدار آن، فرایند یادگیری کنترل می شود. در مقابل آن، مقادیر سایر پارامترها ( معمولاً وزن گره ها ) از طریق آموزش بدست می آیند.
برای عمومی سازی و تعمیم از الگو داده های مختلف، مدل های یکسان یادگیری ماشین می توانند به اعمال انواع محدودیت ها، وزن ها و نرخ های یادگیری متفاوتی نیاز داشته باشند که آن ها را ابرپارامتر می نامیم. این ابرپارامتر ها باید به گونه ای تنظیم شوند تا مسئله ٔ یادگیری ماشین به صورت بهینه حل شود. مسئله ٔ بهینه سازی ابرپارمتر ها، یک چندتایی مرتب از ابرپارامترها پیدا می کند که به کمک آن ها مدل بهینه ای پیدا شود، به گونه ای که مقدار یک تابع زیان از پیش تعیین شده را بر روی داده های مستقل کمینه کند. [ ۲] تابع هدف یک چندتایی مرتب از ابرپارامترها را گرفته و مقدار زیان را برمی گرداند. [ ۲] برای تخمین این تعمیم کارایی، اغلب از روش اعتبارسنجی متقابل استفاده می شود. [ ۳]
روش سنتی اجرای بهینه سازی ابرپارامتر ها، جستجوی شبکه ای بوده که در اصل یک جستجوی فراگیر، در زیرمجموعه ای از فضای ابرپارامترهای الگوریتم یادگیری که به صورت دستی مشخص می شود، است. یک الگوریتم جستجوی شبکه ای باید توسط سنجه ای از کاریی راهنمایی شود، که معمولاً از اجرای روش اعتبارسنجی متقابل بر روی مجموعه داده های آموزشی، [ ۴] یا مجموعه داده های اعتبارسنجی که از پیش کنار گذاشته شده است، [ ۵] سنجیده می شود.
از آنجایی که امکان دارد فضای پارامترهای یک یادگیرندهٔ ماشینی، شامل مقادیر حقیقی یا مقادیر بی کران برای برخی از پارامتر هایش باشد، در این موارد، گسسته سازی و تعیین کران پیش از اجرای جستجوی شبکه ای ضروری است.
برای نمونه، یک بردار ماشین بردار پشتیبانی رده بندی کننده با حاشیهٔ نرم، با استفاده از هستهٔ تابع پایهٔ شعاعی، حداقل دو ابرپارامتر دارد که برای عملکرد مناسب بر روی داده های دیده نشده، نیازمند بهینه سازی و میزان سازی می باشد: یک ثابت تنظیم C و یک ابرپارامتر هسته γ . هر دوی این پارامترها پیوسته هستند، پس برای اینکه بتوانیم جستجوی شبکه ای را انجام دهیم، یک مجموعهٔ متناهی از مقادیر منطقی و معقول را برای هر یک از آن ها تعریف می کنیم:
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفبرای عمومی سازی و تعمیم از الگو داده های مختلف، مدل های یکسان یادگیری ماشین می توانند به اعمال انواع محدودیت ها، وزن ها و نرخ های یادگیری متفاوتی نیاز داشته باشند که آن ها را ابرپارامتر می نامیم. این ابرپارامتر ها باید به گونه ای تنظیم شوند تا مسئله ٔ یادگیری ماشین به صورت بهینه حل شود. مسئله ٔ بهینه سازی ابرپارمتر ها، یک چندتایی مرتب از ابرپارامترها پیدا می کند که به کمک آن ها مدل بهینه ای پیدا شود، به گونه ای که مقدار یک تابع زیان از پیش تعیین شده را بر روی داده های مستقل کمینه کند. [ ۲] تابع هدف یک چندتایی مرتب از ابرپارامترها را گرفته و مقدار زیان را برمی گرداند. [ ۲] برای تخمین این تعمیم کارایی، اغلب از روش اعتبارسنجی متقابل استفاده می شود. [ ۳]
روش سنتی اجرای بهینه سازی ابرپارامتر ها، جستجوی شبکه ای بوده که در اصل یک جستجوی فراگیر، در زیرمجموعه ای از فضای ابرپارامترهای الگوریتم یادگیری که به صورت دستی مشخص می شود، است. یک الگوریتم جستجوی شبکه ای باید توسط سنجه ای از کاریی راهنمایی شود، که معمولاً از اجرای روش اعتبارسنجی متقابل بر روی مجموعه داده های آموزشی، [ ۴] یا مجموعه داده های اعتبارسنجی که از پیش کنار گذاشته شده است، [ ۵] سنجیده می شود.
از آنجایی که امکان دارد فضای پارامترهای یک یادگیرندهٔ ماشینی، شامل مقادیر حقیقی یا مقادیر بی کران برای برخی از پارامتر هایش باشد، در این موارد، گسسته سازی و تعیین کران پیش از اجرای جستجوی شبکه ای ضروری است.
برای نمونه، یک بردار ماشین بردار پشتیبانی رده بندی کننده با حاشیهٔ نرم، با استفاده از هستهٔ تابع پایهٔ شعاعی، حداقل دو ابرپارامتر دارد که برای عملکرد مناسب بر روی داده های دیده نشده، نیازمند بهینه سازی و میزان سازی می باشد: یک ثابت تنظیم C و یک ابرپارامتر هسته γ . هر دوی این پارامترها پیوسته هستند، پس برای اینکه بتوانیم جستجوی شبکه ای را انجام دهیم، یک مجموعهٔ متناهی از مقادیر منطقی و معقول را برای هر یک از آن ها تعریف می کنیم:
wiki: بهینه سازی ابرپارامترها