Information entropy در سیستم ها به چه معناست ؟

سلام، آنتروپی اطلاعات (Information entropy) در سیستم‌ها به معنای اندازه‌گیری میزان عدم قطعیت یا تصادفی بودن اطلاعات است. به عبارت دیگر، هرچه آنتروپی یک سیستم بیشتر باشد، ابهام و عدم قطعیت در مورد اطلاعات آن سیستم بیشتر است. این مفهوم توسط کلود شانون در نظریه اطلاعات معرفی شده است و به عنوان معیاری برای اندازه‌گیری میزان اطلاعات موجود در یک پیام یا سیستم استفاده می‌شود.