حافظه طولانی کوتاه مدت ( Long short - term memory یا به اختصار LSTM ) یک معماری شبکه عصبی بازگشتی است که در سال ۱۹۹۷ میلادی توسط سپ هوخرایتر و یورگن اشمیدهوبر ارائه شد[ ۱] ، و بعداً در سال ۲۰۰۰ میلادی توسط فیلیکس ژرس و دیگران بهبود داده شد. [ ۲] [ ۳]
در شبکه عصبی بازگشتی برخلاف شبکه عصبی پیشخور، ورودی می تواند به صورت دنباله ( مثل صوت یا ویدیو ) باشد. این ویژگی باعث شده شبکه های عصبی بازگشتی برای پردازش داده های زمانی بسیار مناسب باشند زیرا الگوها در داده های سری زمانی می توانند در فواصل مختلف واقع شوند. برای مثال، شبکه LSTM در حوزه هایی همچون تشخیص دست خط[ ۴] ، ترجمه ماشینی[ ۵] [ ۶] ، تشخیص گفتار[ ۷] [ ۸] ، کنترل ربات ها[ ۹] [ ۱۰] و بازی های ویدیویی[ ۱۱] [ ۱۲] قابل استفاده است.
یک بلوک LSTM به طور کلی از وزن های محتوای سلول ( c t ) ، دروازه ورودی ( i t ) ، دروازه خروجی ( o t ) و دروازه فراموشی ( f t ) تشکیل شده است. [ ۱۳] [ ۱۴] محتوای سلول می تواند در بازه زمانی طولانی محتوای خود راه حفظ کند و در واقع اطلاعات پیشین را به خاطر بسپارد. دروازه ها نیز بردارهایی با مقادیر بین 0 و 1 هستند که چگونگی پیشروی اطلاعات قدیمی و اضافه شدن اطلاعات جدید را مشخص می کنند. به طور کلی 1 به معنای عبور و 0 به معنای حذف اطلاعات است. دروازه ورودی مشخص می کند چه بخش هایی از داده ورودی و به چه مقدار به محتوای سلول اضافه شوند. دروازه فراموشی مشخص می کند که چه بخش هایی از محتوای سلول از آن حذف شوند. دروازه خروجی نیز مشخص می کند محتوای وضعیت مخفی ( h t ) حاوی چه بخشی از محتوای سلول باشد.
یکی از مشکلات اصلی شبکه های عصبی بازگشتی، مشتق ناپدیدشونده یا vanishing gradient problem و مشتق انفجاری یا exploding gradient است. در بلوک LSTM به منظور حل این دو مشکل، راه هایی برای انتقال اطلاعات مهم پیشین در هنگام پیشروی ایجاد شده است. این مهم به طور کلی از طریق ضرب بردارهایی تحت عنوان دروازه، در ورودی های بلوک صورت می پذیرد. [ ۱۵]
معادلات مربوط به پیشروی ( forward pass ) در یک بلوک LSTM عبارتند از:[ ۱] [ ۱۴]
f t = σ g ( W f x t + U f h t − 1 + b f ) i t = σ g ( W i x t + U i h t − 1 + b i ) o t = σ g ( W o x t + U o h t − 1 + b o ) c t = f t ∘ c t − 1 + i t ∘ σ c ( W c x t + U c h t − 1 + b c ) h t = o t ∘ σ h ( c t )
این نوشته برگرفته از سایت ویکی پدیا می باشد، اگر نادرست یا توهین آمیز است، لطفا گزارش دهید: گزارش تخلفدر شبکه عصبی بازگشتی برخلاف شبکه عصبی پیشخور، ورودی می تواند به صورت دنباله ( مثل صوت یا ویدیو ) باشد. این ویژگی باعث شده شبکه های عصبی بازگشتی برای پردازش داده های زمانی بسیار مناسب باشند زیرا الگوها در داده های سری زمانی می توانند در فواصل مختلف واقع شوند. برای مثال، شبکه LSTM در حوزه هایی همچون تشخیص دست خط[ ۴] ، ترجمه ماشینی[ ۵] [ ۶] ، تشخیص گفتار[ ۷] [ ۸] ، کنترل ربات ها[ ۹] [ ۱۰] و بازی های ویدیویی[ ۱۱] [ ۱۲] قابل استفاده است.
یک بلوک LSTM به طور کلی از وزن های محتوای سلول ( c t ) ، دروازه ورودی ( i t ) ، دروازه خروجی ( o t ) و دروازه فراموشی ( f t ) تشکیل شده است. [ ۱۳] [ ۱۴] محتوای سلول می تواند در بازه زمانی طولانی محتوای خود راه حفظ کند و در واقع اطلاعات پیشین را به خاطر بسپارد. دروازه ها نیز بردارهایی با مقادیر بین 0 و 1 هستند که چگونگی پیشروی اطلاعات قدیمی و اضافه شدن اطلاعات جدید را مشخص می کنند. به طور کلی 1 به معنای عبور و 0 به معنای حذف اطلاعات است. دروازه ورودی مشخص می کند چه بخش هایی از داده ورودی و به چه مقدار به محتوای سلول اضافه شوند. دروازه فراموشی مشخص می کند که چه بخش هایی از محتوای سلول از آن حذف شوند. دروازه خروجی نیز مشخص می کند محتوای وضعیت مخفی ( h t ) حاوی چه بخشی از محتوای سلول باشد.
یکی از مشکلات اصلی شبکه های عصبی بازگشتی، مشتق ناپدیدشونده یا vanishing gradient problem و مشتق انفجاری یا exploding gradient است. در بلوک LSTM به منظور حل این دو مشکل، راه هایی برای انتقال اطلاعات مهم پیشین در هنگام پیشروی ایجاد شده است. این مهم به طور کلی از طریق ضرب بردارهایی تحت عنوان دروازه، در ورودی های بلوک صورت می پذیرد. [ ۱۵]
معادلات مربوط به پیشروی ( forward pass ) در یک بلوک LSTM عبارتند از:[ ۱] [ ۱۴]
f t = σ g ( W f x t + U f h t − 1 + b f ) i t = σ g ( W i x t + U i h t − 1 + b i ) o t = σ g ( W o x t + U o h t − 1 + b o ) c t = f t ∘ c t − 1 + i t ∘ σ c ( W c x t + U c h t − 1 + b c ) h t = o t ∘ σ h ( c t )
wiki: حافظه طولانی کوتاه مدت