در فلسفه و هوش مصنوعی ( AI ) ، مشکل کنترل هوش مصنوعی مسئله ای است که چگونه می توان یک عامل فوق هوشمند ساخت که به سازندگانش کمک کند و در عین حال، از ساختن ناخواسته ابر هوشی که به سازندگانش آسیب می زند، جلوگیری کرد. مطالعه این موضوع با ابن ابده پیش می رود که بشر مجبور است قبل از ایجاد هرگونه ابر هوشی، این مسئله کنترل را حل کند، زیرا یک ابرهوش با طراحی ضعیف ممکن است تصمیم منطقی بگیرد که کنترل محیط خود را به دست آورد و اجازه ندهد که سازندگانش آن را پس از فعال شدنش اصلاح کنند. [ ۱] علاوه بر این، برخی از محققان عقیده دارند که راه حل های مشکل کنترل، در کنار پیشرفت های دیگر در مهندسی ایمن هوش مصنوعی، [ ۲] ممکن است کاربردهای جدیدی برای هوش مصنوعی عادی ( غیر فوق هوشمند ) موجود هم پیدا کند. [ ۳]
رویکردهای اصلی برای مسئله کنترل شامل:
۱ - ترازبندی: در تلاش است تا اهداف تعریف شده سیستم هوش مصنوعی با اهداف و ارزش های انسانی یکی باشد،
۲ - کنترل توانایی : هدف آن کاهش ظرفیت سیستم AI برای آسیب رساندن به انسان یا به دست آوردن کنترل است. پیشنهادهای کنترل قابلیت به طور کلی قابل اعتماد نیستند یا برای حل مشکل کنترل کافی در نظر گرفته نمی شوند، بلکه به عنوان مکمل ها با ارزشی برای تلاش های همسویی در نظر گرفته می شوند.
سیستم های AI ضعیف موجود را می توان به راحتی کنترل کرد زیرا که می توان آنها در صورت بدرفتاری به راحتی خاموش و اصلاح کرد. با این وجود، یک فوق هوشمندی با طراحی اشتباه ( طبق تعریف، در حل مشکلات عملی که در طی رسیدن به اهدافش با آنها روبرو می شود، باهوش تر از انسان است ) می فهمد که با دادن این اجازه به خودش که خاموش شود یا تغییر کند، ممکن است در توانایی رسیدن به اهدافش اخلالی به وجود آید؛ بنابراین اگر فوقِ هوشمند تصمیم به مقاومت در برابر خاموشی و تغییر بگیرد، آنگه اگر برنامه نویسان این موضوع را پیشبینی نکرده باشند یا اگر شرایط یکسانی برای شکست دادن برنامه نویسان داشته باشد، آنگاه ( طبق تعریف ) به اندازه کافی هوشمند است تا برنامه نویسانش را گول بزند. به طور کلی، تلاش برای حل مسئله کنترل پس از ایجاد ابرهوش احتمالاً ناکام خواهد بود زیرا یک ابرهوش، احتمالاً توانایی برنامه ریزی استراتژیکی برتری نسبت به انسان را خواهد داشت و در شرایط مساوی، احتمال آنکه در یافتن راه های تسلط بر انسان ها موفق تر باشد بیشتر از احتمال این که انسان ها پس از ساختنش تلاش کنند تا راه هایی برای کنترل آن پیدا کنند، خواهد بود. مسئله کنترل این سؤال را می پرسد: برنامه نویسان چه اقداماتی به عنوان پیشگیری باید انجام دهند تا از نافرمانی فاجعه بار ابرهوش جلوگیری کرد؟
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفرویکردهای اصلی برای مسئله کنترل شامل:
۱ - ترازبندی: در تلاش است تا اهداف تعریف شده سیستم هوش مصنوعی با اهداف و ارزش های انسانی یکی باشد،
۲ - کنترل توانایی : هدف آن کاهش ظرفیت سیستم AI برای آسیب رساندن به انسان یا به دست آوردن کنترل است. پیشنهادهای کنترل قابلیت به طور کلی قابل اعتماد نیستند یا برای حل مشکل کنترل کافی در نظر گرفته نمی شوند، بلکه به عنوان مکمل ها با ارزشی برای تلاش های همسویی در نظر گرفته می شوند.
سیستم های AI ضعیف موجود را می توان به راحتی کنترل کرد زیرا که می توان آنها در صورت بدرفتاری به راحتی خاموش و اصلاح کرد. با این وجود، یک فوق هوشمندی با طراحی اشتباه ( طبق تعریف، در حل مشکلات عملی که در طی رسیدن به اهدافش با آنها روبرو می شود، باهوش تر از انسان است ) می فهمد که با دادن این اجازه به خودش که خاموش شود یا تغییر کند، ممکن است در توانایی رسیدن به اهدافش اخلالی به وجود آید؛ بنابراین اگر فوقِ هوشمند تصمیم به مقاومت در برابر خاموشی و تغییر بگیرد، آنگه اگر برنامه نویسان این موضوع را پیشبینی نکرده باشند یا اگر شرایط یکسانی برای شکست دادن برنامه نویسان داشته باشد، آنگاه ( طبق تعریف ) به اندازه کافی هوشمند است تا برنامه نویسانش را گول بزند. به طور کلی، تلاش برای حل مسئله کنترل پس از ایجاد ابرهوش احتمالاً ناکام خواهد بود زیرا یک ابرهوش، احتمالاً توانایی برنامه ریزی استراتژیکی برتری نسبت به انسان را خواهد داشت و در شرایط مساوی، احتمال آنکه در یافتن راه های تسلط بر انسان ها موفق تر باشد بیشتر از احتمال این که انسان ها پس از ساختنش تلاش کنند تا راه هایی برای کنترل آن پیدا کنند، خواهد بود. مسئله کنترل این سؤال را می پرسد: برنامه نویسان چه اقداماتی به عنوان پیشگیری باید انجام دهند تا از نافرمانی فاجعه بار ابرهوش جلوگیری کرد؟
wiki: مسئله کنترل هوش مصنوعی