اصطلاح تخصصی Residual Network (ResNet) در یادگیری عمیق

در یادگیری عمیق، Residual Network (ResNet) یک معماری شبکه عصبی است که برای حل مشکلات ناشی از افزایش عمق شبکه‌ها، مانند مشکل ناپدید شدن یا انفجار گرادیان، طراحی شده است. این معماری توسط محققان مایکروسافت در سال 2015 معرفی شد و در همان سال برنده چالش ImageNet Large Scale Visual Recognition شد.

ویژگی‌های اصلی ResNet:

1. بلوک‌های باقیمانده (Residual Blocks): این بلوک‌ها شامل اتصالات پرش (skip connections) هستند که به شبکه اجازه می‌دهند تا گرادیان‌ها را به طور موثرتری از طریق شبکه عبور دهند. این اتصالات پرش، ورودی یک لایه را به خروجی لایه‌های بعدی متصل می‌کنند و به این ترتیب یک بلوک باقیمانده را تشکیل می‌دهند.
2. بهبود جریان گرادیان: با استفاده از اتصالات پرش، ResNet می‌تواند شبکه‌های بسیار عمیق‌تری را بدون مشکلات ناشی از ناپدید شدن یا انفجار گرادیان آموزش دهد.

مثال:

فرض کنید یک شبکه عصبی عمیق با 34 لایه دارید. در معماری ResNet، اتصالات پرش به شما اجازه می‌دهند تا ورودی لایه‌های اولیه را به خروجی لایه‌های بعدی متصل کنید، به طوری که شبکه بتواند به جای یادگیری نگاشت اصلی، نگاشت باقیمانده را یاد بگیرد. این کار باعث می‌شود که آموزش شبکه‌های عمیق‌تر آسان‌تر و موثرتر شود.