بوستینگ یک فرا الگوریتم ترکیبی در حوزه یادگیری ماشین است که برای کاهش عدم توازن و همچنین واریانس به کار می رود. [ ۱] این روش در یادگیری با نظارت مورد استفاده قرار گرفته و از خانواده الگوریتم های یادگیری ماشین گروهی به شمار می رود. این تکنیک، روشی برای تبدیل سیستمهای یادگیری ضعیف به قوی بر اساس ترکیب نتایج طبقه بندهای مختلف است. [ ۲] ایده اولیه این روش بر اساس سؤال مطرح شده توسط کیرنس و شجاع ( ۱۹۸۸، ۱۹۸۹ ) به وجود آمده است:[ ۳] [ ۴] آیا می توان با ترکیب مجموعه ای از سیستم های یادگیری ضعیف یک سیستم یادگیری قوی ایجاد نمود؟
سیستم یادگیری ضعیف، یادگیرنده ای است که به عنوان یک طبقه بند، تنها کمی بهتر از حالت تصادفی عمل می نماید ( برچسب نمونه ها را بهتر از تصادفی حدس می زند ) . در مقابل یادگیرنده قوی طبقه بندی است که به تنهایی می تواند برچسب نمونه ها را خوبی پیش بینی نماید.
هرچند که بوستینگ در قالب الگوریتمیک قرار ندارد ولی اکثر الگوریتم هایی که بر پایه بوستینگ طراحی شده اند، یادگیرنده های ضعیف را به صورت تکرار شونده آموزش داده و به مجموعه قبلی اضافه می نماید تا در نهایت به یک طبقه بند قوی دست یابد. یادگیرنده های ضعیف در حین اضافه شدن به مجموعه، وزن دهی می شوند که این وزن دهی معمولاً بر اساس میزان دقت در طبقه بندی نمونه هاست. پس از اضافه شدن هر طبقه بند، نمونه های موجود ( داده ها ) نیز وزن دهی می گردند ( وزنشان اصلاح می گردد ) . وزن دهی نمونه ها به صورتی است که در هر مرحله، وزن نمونه هایی که به صورت صحیح طبقه بندی می شوند کاهش یافته و وزن نمونه هایی که به درستی طبقه بندی نشده اند، بیشتر می شود تا در مراحل بعدی ( توسط یادگیرنده های جدید ) بیشتر مورد توجه بوده و با دقت بیشتری طبقه بندی گردند؛ بنابراین تمرکز یادگیرنده های ضعیف جدید، بیشتر بر روی داده هایی خواهد بود که سیستم در مراحل قبلی قادر به طبقه بندی صحیح آنها نبوده است. این روش می تواند نتایج بسیار قوی از خود به جا بگذارد به گونه ای که در مسائلی چون جستجوی تصویر حتی از روش های مبتنی بر شبکه عصبی و ماشین بردار پشتیبانی نیز بهتر عمل کند. [ ۵]
در تصویر سمت چپ صفحه می توانید شکل کلی الگوریتم بوستینگ را مشاهده کنید.
مراحل الگوریتم:
• به تمامی نمونه ها وزن برابر داده می شود.
• وزن نمونه هایی که در یادگیرنده ضعیف کنونی به درستی دسته بندی نشده اند افزایش و بقیه نمونه ها کاهش می یابد.
• وزن تمامی نمونه ها نرمالایز می شود به گونه ای که مجموع وزن همه نمونه ها یک شود و مرحله ۲ به تعداد دفعات مشخصی یا تا زمانی که همه نمونه ها به درستی دسته بندی شوند تکرار می شوند.
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفسیستم یادگیری ضعیف، یادگیرنده ای است که به عنوان یک طبقه بند، تنها کمی بهتر از حالت تصادفی عمل می نماید ( برچسب نمونه ها را بهتر از تصادفی حدس می زند ) . در مقابل یادگیرنده قوی طبقه بندی است که به تنهایی می تواند برچسب نمونه ها را خوبی پیش بینی نماید.
هرچند که بوستینگ در قالب الگوریتمیک قرار ندارد ولی اکثر الگوریتم هایی که بر پایه بوستینگ طراحی شده اند، یادگیرنده های ضعیف را به صورت تکرار شونده آموزش داده و به مجموعه قبلی اضافه می نماید تا در نهایت به یک طبقه بند قوی دست یابد. یادگیرنده های ضعیف در حین اضافه شدن به مجموعه، وزن دهی می شوند که این وزن دهی معمولاً بر اساس میزان دقت در طبقه بندی نمونه هاست. پس از اضافه شدن هر طبقه بند، نمونه های موجود ( داده ها ) نیز وزن دهی می گردند ( وزنشان اصلاح می گردد ) . وزن دهی نمونه ها به صورتی است که در هر مرحله، وزن نمونه هایی که به صورت صحیح طبقه بندی می شوند کاهش یافته و وزن نمونه هایی که به درستی طبقه بندی نشده اند، بیشتر می شود تا در مراحل بعدی ( توسط یادگیرنده های جدید ) بیشتر مورد توجه بوده و با دقت بیشتری طبقه بندی گردند؛ بنابراین تمرکز یادگیرنده های ضعیف جدید، بیشتر بر روی داده هایی خواهد بود که سیستم در مراحل قبلی قادر به طبقه بندی صحیح آنها نبوده است. این روش می تواند نتایج بسیار قوی از خود به جا بگذارد به گونه ای که در مسائلی چون جستجوی تصویر حتی از روش های مبتنی بر شبکه عصبی و ماشین بردار پشتیبانی نیز بهتر عمل کند. [ ۵]
در تصویر سمت چپ صفحه می توانید شکل کلی الگوریتم بوستینگ را مشاهده کنید.
مراحل الگوریتم:
• به تمامی نمونه ها وزن برابر داده می شود.
• وزن نمونه هایی که در یادگیرنده ضعیف کنونی به درستی دسته بندی نشده اند افزایش و بقیه نمونه ها کاهش می یابد.
• وزن تمامی نمونه ها نرمالایز می شود به گونه ای که مجموع وزن همه نمونه ها یک شود و مرحله ۲ به تعداد دفعات مشخصی یا تا زمانی که همه نمونه ها به درستی دسته بندی شوند تکرار می شوند.
wiki: بوستینگ