در نظریه احتمالات و نظریه اطلاعات، اطلاعات متقابل بین دو متغیر تصادفی معیاری برای نشان دادن میزان وابستگی متقابل آن دو متغیر می باشد. به بیان دیگر در حقیقت این معیار «میزان اطلاعات» به دست آمده ( مثلاً در واحد بیت ) در مورد یک متغیر تصادفی از طریق متغیر تصادفی دیگر را نشان می دهد. مفهوم اطلاعات متقابل ذاتاً مرتبط با آنتروپی یک متغیر تصادفی که میزان اطلاعات موجود در یک متغیر تصادفی را نشان می دهد، می باشد.
اطلاعات متقابل میزان شباهت بین توزیع مشترک p ( X , Y ) و ضرب احتمال های حاشیه ای یعنی p ( X ) p ( Y ) را مشخص می سازد.
اطلاعات متقابل بین دو متغیر تصادفی X و Y را به صورت زیر می توان تعریف نمود:
I ( X ; Y ) = ∑ y ∈ Y ∑ x ∈ X p ( x , y ) log ( p ( x , y ) p ( x ) p ( y ) )
که در رابطه فوق p ( x , y ) تابع توزیع احتمال مشترک X و Y ، و p ( x ) و p ( y ) تابع های توزیع احتمال حاشیه ای به ترتیب X و Y می باشند.
در صورتی که متغیرهای تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می گردد:
I ( X ; Y ) = ∫ Y ∫ X p ( x , y ) log ( p ( x , y ) p ( x ) p ( y ) ) d x d y
که در رابطهٔ فوق اکنون p ( x , y ) تابع چگالی احتمال مشترک X و Y ، و p ( x ) و p ( y ) تابع های چگالی احتمال حاشیه ای به ترتیب X و Y می باشند.
اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.
اطلاعات متقابل میزان اطلاعاتی که بین X و Y مشترک است را انداره می گیرد. اطلاعات متقابل نشان می دهد تا چه میزان دانستن یکی از این متغیرها میزان ابهام ما در مورد دیگری را کاهش می دهد. مثلاً اگر X و Y مستقل باشند، در این صورت دانستن X هیچ اطلاعاتی در مورد Y به ما نمی دهد ( و بر عکس ) ، بنا بر این اطلاعات متقابلشان صفر است. از طرف دیگر، اگر X یک تابع قطعی ( deterministic ) از Y و Y یک تابع قطعی ( deterministic ) از X باشد، در این صورت تمام اطلاعاتی که X با خود حمل می کند، در Y هم هست، دانستن X مقدار Y را مشخص می کند و بر عکس. در نتیجه در این حالت اطلاعات متقابل برابر میزان ابهام در Y ( یا X ) ، یعنی آنتروپی Y ( یا X ) می باشد.
اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک X و Y ، در مقایسه با توزیع مشترک X و Y تحت فرض استقلال، به دست می آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه گیری می کند:
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفاطلاعات متقابل میزان شباهت بین توزیع مشترک p ( X , Y ) و ضرب احتمال های حاشیه ای یعنی p ( X ) p ( Y ) را مشخص می سازد.
اطلاعات متقابل بین دو متغیر تصادفی X و Y را به صورت زیر می توان تعریف نمود:
I ( X ; Y ) = ∑ y ∈ Y ∑ x ∈ X p ( x , y ) log ( p ( x , y ) p ( x ) p ( y ) )
که در رابطه فوق p ( x , y ) تابع توزیع احتمال مشترک X و Y ، و p ( x ) و p ( y ) تابع های توزیع احتمال حاشیه ای به ترتیب X و Y می باشند.
در صورتی که متغیرهای تصادفی پیوسته باشند، رابطه به صورت زیر بر اساس انتگرال معین دوگانه تعریف می گردد:
I ( X ; Y ) = ∫ Y ∫ X p ( x , y ) log ( p ( x , y ) p ( x ) p ( y ) ) d x d y
که در رابطهٔ فوق اکنون p ( x , y ) تابع چگالی احتمال مشترک X و Y ، و p ( x ) و p ( y ) تابع های چگالی احتمال حاشیه ای به ترتیب X و Y می باشند.
اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.
اطلاعات متقابل میزان اطلاعاتی که بین X و Y مشترک است را انداره می گیرد. اطلاعات متقابل نشان می دهد تا چه میزان دانستن یکی از این متغیرها میزان ابهام ما در مورد دیگری را کاهش می دهد. مثلاً اگر X و Y مستقل باشند، در این صورت دانستن X هیچ اطلاعاتی در مورد Y به ما نمی دهد ( و بر عکس ) ، بنا بر این اطلاعات متقابلشان صفر است. از طرف دیگر، اگر X یک تابع قطعی ( deterministic ) از Y و Y یک تابع قطعی ( deterministic ) از X باشد، در این صورت تمام اطلاعاتی که X با خود حمل می کند، در Y هم هست، دانستن X مقدار Y را مشخص می کند و بر عکس. در نتیجه در این حالت اطلاعات متقابل برابر میزان ابهام در Y ( یا X ) ، یعنی آنتروپی Y ( یا X ) می باشد.
اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک X و Y ، در مقایسه با توزیع مشترک X و Y تحت فرض استقلال، به دست می آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه گیری می کند:
wiki: اطلاعات متقابل