بیش برازش ( به انگلیسی: Overfitting ) [ ۱] به پدیدهٔ نامطلوبی در آمار گفته می شود که در آن درجه آزادی مدل بسیار بیشتر از درجه آزادی واقعی انتخاب شده و در نتیجه اگرچه مدل روی داده استفاده شده برای یادگیری بسیار خوب نتیجه می دهد، اما بر روی داده جدید دارای خطای زیاد است. انتخاب درجه آزادی مناسب به کمک وارسی اعتبار ( Cross - validation ) و تنظیم کردن ( Regularization ) از راه های مقابله با این پدیده است. [ ۲]
احتمال بیش برازش به این دلیل وجود دارد که معیار برازش مدل با معیاری که برای ارزیابی آن به کار می رود یکسان نیست. به این مفهوم که معمولاً برای برازش مدل کارایی آن بر روی یک مجموعه نمونه های برازش بیشینه می شود. در صورتی که برای سنجش مؤثر بودن مدل نه تنها کارایی آن بر روی نمونه های برازش را می سنجند بلکه توانایی مدل بر روی نمونه هایی دیده نشده نیز در نظر گرفته می شود. بیش برازش زمانی اتفاق می افتد که مدل در هنگام برازش به جای "یادگیری" داده ها شروع به "حفظ کردن" آن ها می کند.
برای مثال در تحلیل رگرسیون هنگامی که تعداد درجه مدل از تعداد داده های که سعی در یادگیری آن داریم بیشتر باشد معمولا بیش برازش اتفاق می افتد.
در یادگیری ماشین معمولا مدل روی دادگان آموزش٬ آموزش می بیند و هدف این است که بتواند روی دادگان آزمایشی عملکرد خوبی داشته باشیم. پدیده ی بیش برازش باعث می شود روی دادگان آموزش عملکرد بسیار خوبی داشته باشد اما روی دادگان اعتبارسنجی و آزمایش عملکرد بسیار بدی داشته باشد. هنگامی که تعداد دادگان آموزش کم است و یا درجه آزادی مدل زیاد است احتمال این پدیده بیشتر می شود.
به عنوان یک مثال ساده یک دادگان از یک وبسایت سفارش آنلاین را در نظر بگیرید. این دادگان شامل نوع کالای خریده شده٬ ساعت خرید کالا و مشخصات کاربر است و هدف مدل پیش بینی کالا ی خریداری شده توسط یک کاربر است. یک مدل ممکن است با حفظ کردن ساعت خرید کالا و نوع آن بتواند روی دادگان آموزش دقت بالایی کسب کند. در صورتی که این مدل نمی تواند عملکرد خوبی روی داده ای بیرون از دادگان آمورش داده باشد زیرا هیچ یادگیری ای روی مشخصات کاربر نداشته است و ساعت خرید و نوع کالا ویژگی های مناسبی برای این دادگان نیستند.
با بالا بردن درجه ی مدل می توان قدرت مدل را رگرسیون را بیشتر کرد. براحتی می توان در تصویر زیر بیش برازش را دید. خط قرمز یک چندجمله درجه ۵ و خط سیاه یک چندجمله از درجه ۱ یک است. مدل چندجمله درجه ۵ روی دادگان دچار پدیده ی بیش برازش شده است. یک روش درست کردن این مشکل استفاده از تکنیک تنظیم کردن ( Regularization ) است.
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفاحتمال بیش برازش به این دلیل وجود دارد که معیار برازش مدل با معیاری که برای ارزیابی آن به کار می رود یکسان نیست. به این مفهوم که معمولاً برای برازش مدل کارایی آن بر روی یک مجموعه نمونه های برازش بیشینه می شود. در صورتی که برای سنجش مؤثر بودن مدل نه تنها کارایی آن بر روی نمونه های برازش را می سنجند بلکه توانایی مدل بر روی نمونه هایی دیده نشده نیز در نظر گرفته می شود. بیش برازش زمانی اتفاق می افتد که مدل در هنگام برازش به جای "یادگیری" داده ها شروع به "حفظ کردن" آن ها می کند.
برای مثال در تحلیل رگرسیون هنگامی که تعداد درجه مدل از تعداد داده های که سعی در یادگیری آن داریم بیشتر باشد معمولا بیش برازش اتفاق می افتد.
در یادگیری ماشین معمولا مدل روی دادگان آموزش٬ آموزش می بیند و هدف این است که بتواند روی دادگان آزمایشی عملکرد خوبی داشته باشیم. پدیده ی بیش برازش باعث می شود روی دادگان آموزش عملکرد بسیار خوبی داشته باشد اما روی دادگان اعتبارسنجی و آزمایش عملکرد بسیار بدی داشته باشد. هنگامی که تعداد دادگان آموزش کم است و یا درجه آزادی مدل زیاد است احتمال این پدیده بیشتر می شود.
به عنوان یک مثال ساده یک دادگان از یک وبسایت سفارش آنلاین را در نظر بگیرید. این دادگان شامل نوع کالای خریده شده٬ ساعت خرید کالا و مشخصات کاربر است و هدف مدل پیش بینی کالا ی خریداری شده توسط یک کاربر است. یک مدل ممکن است با حفظ کردن ساعت خرید کالا و نوع آن بتواند روی دادگان آموزش دقت بالایی کسب کند. در صورتی که این مدل نمی تواند عملکرد خوبی روی داده ای بیرون از دادگان آمورش داده باشد زیرا هیچ یادگیری ای روی مشخصات کاربر نداشته است و ساعت خرید و نوع کالا ویژگی های مناسبی برای این دادگان نیستند.
با بالا بردن درجه ی مدل می توان قدرت مدل را رگرسیون را بیشتر کرد. براحتی می توان در تصویر زیر بیش برازش را دید. خط قرمز یک چندجمله درجه ۵ و خط سیاه یک چندجمله از درجه ۱ یک است. مدل چندجمله درجه ۵ روی دادگان دچار پدیده ی بیش برازش شده است. یک روش درست کردن این مشکل استفاده از تکنیک تنظیم کردن ( Regularization ) است.
wiki: بیش برازش