"رگرسیون LARS " چه فرقی با دیگر رگرسیون ها داره ؟

رگرسیون LARS (مخفف Least Angle Regression) یک روش رگرسیون خطی پیشرفته است که به‌ویژه در مسائل با تعداد ویژگی زیاد و هم‌بستگی بین ویژگی‌ها مفید است. تفاوت‌های اصلی آن با رگرسیون‌های معمول مثل OLS (رگرسیون خطی معمول)، Lasso یا Ridge در موارد زیر است:

---

۱. تفاوت با رگرسیون خطی معمول (OLS):

OLS همه‌ی ویژگی‌ها را بدون توجه به اهمیتشان در مدل نگه می‌دارد.

LARS به صورت مرحله‌ای (stepwise) ویژگی‌هایی را وارد مدل می‌کند، مشابه Lasso، و برخی ویژگی‌ها را صفر نگه می‌دارد (یعنی انتخاب متغیر انجام می‌دهد).

---

۲. تفاوت با Lasso:

LARS می‌تواند به شکلی خاص مسیر حل Lasso را بسیار سریع‌تر محاسبه کند.

اگر LARS را با تنظیم مناسب اجرا کنید، دقیقاً همان جواب Lasso را می‌دهد، اما با کارایی بالاتر برای داده‌های بزرگ و با متغیرهای زیاد.

---

۳. تفاوت با Ridge:

Ridge همه ضرایب را کوچک می‌کند ولی هیچ‌کدام را صفر نمی‌کند (پس انتخاب متغیر ندارد).

LARS/Lasso برخی ضرایب را صفر می‌کنند، پس انتخاب ویژگی انجام می‌دهند و مدل ساده‌تری می‌سازند.

---

۴. مزایای خاص LARS:

برای زمانی مناسب است که تعداد متغیرها خیلی زیاد باشد.

سرعت بالا در محاسبه مسیر ضرایب (coefficient path)

در داده‌هایی با همبستگی بالا بین ویژگی‌ها، عملکرد بهتری دارد.