در تئوری احتمالات و یادگیری ماشین ، مسئله راهزن چند دست مسئله ای است که در آن مجموعه محدود ثابتی از منابع باید بین گزینه های رقیب تخصیص داده شود. انتخاب ها به گونه ای که سود مورد انتظار آنها را به حداکثر برساند، زمانی که ویژگی های هر انتخاب در زمان تخصیص فقط تا حدی شناخته شده است و ممکن است با گذشت زمان یا با تخصیص منابع به آن انتخاب، بهتر شناخته شود. < /ref> این یک مسئله کلاسیک یادگیری تقویتی است که مسئله معاوضه اکتشاف – بهره برداری را توصیف می زند. این نام از تصور یک قمارباز در ردیف دستگاه های بازی گرفته شده است، که باید تصمیم بگیرد که با کدام دستگاه ها بازی کند، هر دستگاه را چند مرتبه بازی کند و به چه ترتیبی بازی کند، و آیا با دستگاه فعلی ادامه دهد یا دستگاه دیگری را امتحان کند. [ ۱] مسئله راهزن چند دست در دسته بندی برنامه ریزی تصادفی قرار می گیرد.
در این مسئله، هر دستگاه یک پاداش تصادفی را از یک توزیع احتمال خاص برای آن دستگاه ارائه می کند، که این توزیع از قبل مشخص نیست. هدف قمارباز به حداکثر رساندن مجموع پاداش های به دست آمده از طریق دنباله ای از کشیدن اهرم ها است. [ ۲] [ ۳] معاوضه اساسی ای که قمارباز در هر آزمایشی با آن روبرو می شود، بین «استثمار» از دستگاهی است که بالاترین بازدهی مورد انتظار را دارد و «اکتشاف» برای به دست آوردن اطلاعات بیشتر در مورد بازدهی مورد انتظار دستگاه های دیگر است. مبادله بین اکتشاف و بهره برداری در یادگیری ماشین بررسی شده است. در عمل، راهزن چند دست برای مدل سازی مسائلی مانند مدیریت پروژه های تحقیقاتی در یک سازمان بزرگ، مانند یک بنیاد علمی یا یک شرکت داروسازی، استفاده شده است. [ ۲] [ ۳] در نسخه های اولیه مسئله، قمارباز بدون هیچ دانش اولیه در مورد دستگاه ها شروع می کند.
هربرت رابینز در سال 1952، با درک اهمیت مسئله، استراتژی های انتخاب جمعیت همگرا را در "برخی از جنبه های طراحی متوالی آزمایش ها" ساخت. [ ۴] یک قضیه، شاخص گیتینز ، که برای اولین بار توسط جان سی منتشر شد، یک سیاست بهینه برای به حداکثر رساندن پاداش مورد انتظار ارائه می دهد. [ ۵]
مسئله راهزن چند دست، عاملی را مدل می کند که به طور همزمان تلاش می کند دانش جدیدی ( «اکتشاف» ) به دست آورد و تصمیمات خود را بر اساس دانش موجود ( «استثمار» ) بهینه کند. عامل تلاش می کند تا این دو وظیفه رقابتی را متعادل کند تا ارزش کلی آنها را در بازه زمانی در نظر گرفته شده به حداکثر برساند. کاربردهای عملی زیادی از مسئله راهزن وجود دارد، به عنوان نمونه:
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفدر این مسئله، هر دستگاه یک پاداش تصادفی را از یک توزیع احتمال خاص برای آن دستگاه ارائه می کند، که این توزیع از قبل مشخص نیست. هدف قمارباز به حداکثر رساندن مجموع پاداش های به دست آمده از طریق دنباله ای از کشیدن اهرم ها است. [ ۲] [ ۳] معاوضه اساسی ای که قمارباز در هر آزمایشی با آن روبرو می شود، بین «استثمار» از دستگاهی است که بالاترین بازدهی مورد انتظار را دارد و «اکتشاف» برای به دست آوردن اطلاعات بیشتر در مورد بازدهی مورد انتظار دستگاه های دیگر است. مبادله بین اکتشاف و بهره برداری در یادگیری ماشین بررسی شده است. در عمل، راهزن چند دست برای مدل سازی مسائلی مانند مدیریت پروژه های تحقیقاتی در یک سازمان بزرگ، مانند یک بنیاد علمی یا یک شرکت داروسازی، استفاده شده است. [ ۲] [ ۳] در نسخه های اولیه مسئله، قمارباز بدون هیچ دانش اولیه در مورد دستگاه ها شروع می کند.
هربرت رابینز در سال 1952، با درک اهمیت مسئله، استراتژی های انتخاب جمعیت همگرا را در "برخی از جنبه های طراحی متوالی آزمایش ها" ساخت. [ ۴] یک قضیه، شاخص گیتینز ، که برای اولین بار توسط جان سی منتشر شد، یک سیاست بهینه برای به حداکثر رساندن پاداش مورد انتظار ارائه می دهد. [ ۵]
مسئله راهزن چند دست، عاملی را مدل می کند که به طور همزمان تلاش می کند دانش جدیدی ( «اکتشاف» ) به دست آورد و تصمیمات خود را بر اساس دانش موجود ( «استثمار» ) بهینه کند. عامل تلاش می کند تا این دو وظیفه رقابتی را متعادل کند تا ارزش کلی آنها را در بازه زمانی در نظر گرفته شده به حداکثر برساند. کاربردهای عملی زیادی از مسئله راهزن وجود دارد، به عنوان نمونه:
wiki: راهزن چند دست