جستجو شبکه ای

روش سنتی اجرای بهینه سازی ابرپارامتر ها، جستجوی شبکه ای بوده که در اصل یک جستجوی فراگیر، در زیرمجموعه ای از فضای ابرپارامترهای الگوریتم یادگیری که به صورت دستی مشخص می شود، است. یک الگوریتم جستجوی شبکه ای باید توسط سنجه ای از کاریی راهنمایی شود، که معمولاً از اجرای روش اعتبارسنجی متقابل بر روی مجموعه داده های آموزشی، یا مجموعه داده های اعتبارسنجی که از پیش کنار گذاشته شده است، سنجیده می شود.
از آنجایی که امکان دارد فضای پارامترهای یک یادگیرندهٔ ماشینی، شامل مقادیر حقیقی یا مقادیر بی کران برای برخی از پارامتر هایش باشد، در این موارد، گسسته سازی و تعیین کران پیش از اجرای جستجوی شبکه ای ضروری است. جستجوی شبکه ای بر روی مقادیر مختلف دو ابرپارامتر. برای هر ابرپارامتر، ۱۰ مقدار مختلف در نظر گرفته شده است، پس در مجموع ۱۰۰ ترکیب مختلف ارزیابی و مقایسه شده اند. خطوط تراز آبی نواحی که نتایج قوی داشته اند و خطوط تراز سرخ نواحی که نتایج ضعیف داشته اند را نمایان می کنند.
برای نمونه، یک بردار ماشین بردار پشتیبانی رده بندی کننده با حاشیهٔ نرم، با استفاده از هستهٔ تابع پایهٔ شعاعی، حداقل دو ابرپارامتر دارد که برای عملکرد مناسب بر روی داده های دیده نشده، نیازمند بهینه سازی و میزان سازی می باشد: یک ثابت تنظیم   و یک ابرپارامتر هسته . هر دوی این پارامترها پیوسته هستند، پس برای اینکه بتوانیم جستجوی شبکه ای را انجام دهیم، یک مجموعهٔ متناهی از مقادیر منطقی و معقول را برای هر یک از آن ها تعریف می کنیم:
حال جستجوی شبکه ای به ازای هر جفت   حاضر در ضرب کارتزین این دو مجموعه، یک ماشین بردار پشتیبانی را آموزش داده و عملکرد آن ها را بر روی یک مجموعه از داده های اعتبارسنجی از پیش کنار گذاشته شده ( یا روش اعتبارسنجی متقابل درونی بر روی مجموعهٔ داده های آموزشی، که در این صورت چندین ماشین بردار پشتیبانی به ازای هر جفت آموزش داده می شوند ) ، ارزیابی می کند. در نهایت الگوریتم جستجوی شبکه ای، ابرپارامتر هایی که به ازای آن ها بیشترین امتیاز در مرحلهٔ اعتبارسنجی بدست آمده است را به عنوان خروجی برمی گرداند.
جستجوی شبکه ای از مشقت بعدچندی رنج می برد ولی به علت اینکه ابرپارامترهایی که ارزیابی می کند عمداً مستقل از هم هستند، به آسانی می توان آن را به صورت موازی پردازش کرد.