طبقه بندی خطی

در زمینه یادگیری ماشینی، هدف دسته بندی آماری استفاده از ویژگی های یک شی برای شناسایی رده ( یا گروه ) آن است. یک دسته بندی کننده خطی یا طبقه بندی کننده خطی ( به انگلیسی: Linear classification ) با اتخاذ یک تصمیم طبقه بندی بر اساس مقدار ترکیب خطی ویژگی ها به این هدف دست می یابد. ویژگی های یک شی نیز به عنوان مقادیر ویژگی شناخته می شوند و معمولاً در یک بردار به نام بردار ویژگی به ماشین ارائه می شوند. چنین طبقه بندی کننده هایی برای مسائل کاربردی مانند طبقه بندی اسناد، و به طور کلی برای مسائلی با تعداد زیادی از متغیرها ( ویژگی ها ) به خوبی کار می کنند. در مقایسه با دسته بندی کننده های غیرخطی، این دسته بندی کننده ها با صرف زمان کمتری برای آموزش و صرف زمان کمتر در پیش بینی، عملکرد مشابهی دارند.
اگر بردار ویژگی ورودی طبقه بندی کننده یک بردار حقیقی x → باشد، خروجی به شکل زیر خواهد بود
که w → بردار حقیقی وزن ها و f تابعی است که حاصلضرب نقطه ای دو بردار را به خروجی مورد نظر تبدیل می کند. بردار وزن w → از مجموعه ای از نمونه های آموزشی با برچسب بدست می آید. در بیشتر موارد f یک تابع است که همه مقادیر w → ⋅ x → را با یک آستانه معین به کلاس اول و تمام مقادیر دیگر را به کلاس دوم تخصیص می دهد. به عنوان مثال،
w T ترانهادهٔ w و θ یک آستانه اسکالر است. یک تابع پیچیده تر می تواند تابعی باشد که احتمال تعلق یک آیتم به طبقهٔ خاص را بدهد.
برای یک مسئله طبقه بندی دو کلاسه ( باینری ) ، یک طبقه بندی کننده خطی را می توان به عنوان تقسیم کنندهٔ یک فضای ورودی با ابعاد بالا با یک ابرصفحه تصور کرد: بطوریکه تمام نقاط یک طرف ابر صفحه به عنوان "طبقه ۱" و بقیهٔ نقاط به عنوان "طبقه ۲" دسته بندی می شوند.
طبقه بندی کننده خطی اغلب در موقعیت هایی که سرعت طبقه بندی با اهمیت است استفاده می شود، زیرا در بیشتر اوقات سریع ترین طبقه بندی کننده است، به ویژه زمانی که x → اسپارس ( دارای صفرهای زیاد ) است. همچنین، طبقه بندی کننده های خطی معمولاً زمانی که بردار ویژگی دارای ابعاد زیاد است، بسیار خوب عمل می کند. مانند طبقه بندی اسناد، که در آن هر عنصر در x → معمولاً تعداد تکرار یک کلمه در سند است ( به ماتریس سند مراجعه کنید ) . در چنین مواردی، طبقه بندی کننده باید به خوبی آموزش ببیند شود.