ترنسفورمر تولیدگر از پیش اموزش دیده

ترنسفورمر تولیدگر از پیش آموزش دیده. ترنسفورمر تولیدگر از پیش آموزش دیده[ الف] ( به انگلیسی: Generative pre - trained transformers ) یا به اختصار جی پی تی ( به انگلیسی: GPT ) نوعی مدل زبانی بزرگ ( LLM ) [ ۴] [ ۵] [ ۶] و یک چارچوب مشهور برای هوش مصنوعی تولیدگر است. [ ۷] [ ۸] اولین جی پی تی در سال ۲۰۱۸ توسط شرکت آمریکایی اوپن ای آی معرفی شد. [ ۹] مدل های جی پی تی شبکه های عصبی مصنوعی مبتنی بر معماری ترنسفورمرها هستند که از قبل، بر روی مجموعه ای از داده های حجیم از متون بدون برچسب، آموزش دیده اند و قادر به تولید محتوای جدید شبه انسانی هستند. [ ۵] [ ۶] از سال ۲۰۲۳، اکثر مدل های زبانی بزرگ این ویژگی ها را دارند[ ۱۰] و گاهی به طور گسترده به عنوان جی پی تی شناخته می شوند. [ ۱۱]
اوپن ای آی مدل های تأثیرگذاری از خانواده جی پی تی منتشر کرده که به ترتیب شماره گذاری شده اند تا سری GPT - n خود را تشکیل دهند. [ ۱۲] به دلیل افزایش اندازه ( تعداد پارامترهای قابل آموزش ) و تعلیم بیشتر، هر یک از مدل ها به طور قابل توجهی از قبلی توانایی بیشتری به دست آوردند. جدیدترین خانواده سری جی پی تی به نام جی پی تی - ۴ در مارس ۲۰۲۳ منتشر شد. بات مکالمه چت جی پی تی نمونه ای از این مدل زبانی است که مورد توجه زیاد رسانه ها و جهان قرار گرفت. [ ۴]
همچنین اصطلاح «جی پی تی» در نام ها و توضیحات چنین مدل هایی که توسط دیگران ساخته شده استفاده می شود. [ ۱۳] [ ۱۴] به طور مثال شرکت ها در صنایع مختلف جی پی تی های اختصاصی خود را توسعه داده اند مانند بلومبرگ جی پی تی برای سرمایه گذاری. [ ۱۵] [ ۱۶]
تولیدگر از پیش آموزش دیده ( به انگلیسی: Generative pretraining ) یک مفهوم قدیمی در زمینه علوم یادگیری ماشینی بود[ ۱۷] [ ۱۸] در سال ۲۰۱۷ معماری ترنسفورمرها توسط گوگل اختراع شد. [ ۱۹] که منجر به ظهور مدل های زبان بزرگ مانند BERT در سال ۲۰۱۸[ ۲۰] و XLNet در سال ۲۰۱۹ شد، [ ۲۱] این مدل های زبانی فقط ترنسفورمرهای از پیش آموزش دیده ( به انگلیسی: pretrained transformers ) بودند که قابلیت زایش و تولید متن را نداشتند و صرفاً رمزگذار بودند. [ ۲۲] در حوالی سال ۲۰۱۸، اوپن ای آی مقاله ای تحت عنوان «بهبود درک زبان توسط تولیدگر از پیش آموزش دیده» منتشر کرد که نخستین سیستم ترنسفورمر تولیدگر از پیش آموزش دیده ( GPT ) را معرفی کرد. [ ۲۳]