فرق Training Set و Test Set

در یادگیری ماشین، دو مفهوم اصلی Training Set و Test Set نقش حیاتی در فرآیند آموزش و ارزیابی مدل دارند. در ادامه، تفاوت‌ها، کاربردها، و معادل‌های فارسی این دو مجموعه را توضیح می‌دهیم:

• مجموعه‌ای از داده‌ها که برای آموزش مدل یادگیری ماشین استفاده می‌شود.
• مدل از این داده‌ها برای یادگیری الگوها، روابط و ویژگی‌های مهم استفاده می‌کند.

• شامل ویژگی‌ها (Features) و برچسب‌ها یا خروجی‌ها (Labels) است.
• مدل مستقیماً از این داده‌ها برای تنظیم وزن‌ها یا پارامترها استفاده می‌کند.

• آموزش مدل: هدف اصلی این مجموعه، آموزش دادن به مدل است تا بتواند الگوهای موجود در داده‌ها را شناسایی کند.
• محاسبه خطا: در طول فرآیند آموزش، مدل خطای پیش‌بینی را بررسی می‌کند و وزن‌های خود را بهینه می‌کند.

• مجموعه‌ای از داده‌ها که برای ارزیابی عملکرد مدل آموزش‌دیده استفاده می‌شود.
• این داده‌ها در فرآیند آموزش مدل استفاده نمی‌شوند و کاملاً مستقل از مجموعه آموزش هستند.

• هدف آن ارزیابی توانایی تعمیم‌دهی مدل است.
• عملکرد روی این مجموعه نشان‌دهنده توانایی مدل برای کار کردن روی داده‌های جدید و ناشناخته است.

• اندازه‌گیری دقت: تعیین می‌کند که مدل چقدر می‌تواند روی داده‌هایی که قبلاً ندیده است، پیش‌بینی‌های دقیق انجام دهد.
• جلوگیری از Overfitting: مدل نباید صرفاً روی داده‌های آموزشی خوب عمل کند، بلکه باید توانایی تعمیم به داده‌های جدید را داشته باشد.

1. مجموعه آموزش (Training Set):
   • به مدل امکان یادگیری می‌دهد.
   • اگر این مجموعه کافی و متنوع نباشد، مدل نمی‌تواند الگوهای درست را بیاموزد.
2. مجموعه آزمایش (Test Set):
   • عملکرد واقعی مدل روی داده‌های جدید را ارزیابی می‌کند.
   • اگر مدل فقط روی داده‌های آموزش خوب عمل کند (Overfitting)، عملکرد آن روی مجموعه آزمایش ضعیف خواهد بود.

1. تقسیم داده‌ها:
2. به طور معمول، داده‌ها به نسبت ۷۰٪ آموزش و ۳۰٪ آزمایش یا مشابه تقسیم می‌شوند.
3. Validation Set (مجموعه اعتبارسنجی):
4. در برخی موارد، داده‌ها به سه مجموعه تقسیم می‌شوند:
   • Training Set: برای آموزش.
   • Validation Set: برای تنظیم هایپرپارامترها.
   • Test Set: برای ارزیابی نهایی.

فرض کنید داده‌ای شامل تصاویر گربه و سگ دارید:

1. Training Set: مدل یاد می‌گیرد که گربه و سگ چه تفاوت‌هایی دارند.
2. Test Set: مدل آزمایش می‌شود تا ببیند آیا می‌تواند تصاویر جدید گربه و سگ را به‌درستی تشخیص دهد.

• Training Set: برای آموزش مدل استفاده می‌شود.
• Test Set: برای ارزیابی عملکرد و توانایی تعمیم مدل.
  استفاده مناسب از این دو مجموعه برای جلوگیری از Overfitting و Underfitting ضروری است.

ترینینگ ست مربوط برای آموزش و به کار اندازی هوش مصنوعی بهش داده میشه و شامل بیشتر  داده‌ها (شاید 80 درصدشون) میشه
یک مرحله تایید(Validation)  هم بعد از این وجود داره که شاید 10 درصد داده‌های دیگه به هوش مصنوعی داده میشه؛ اگر درست کار کرد که هیچ، اما اگر اشتباه کرد، دوباره هوش مصنوعی رو به مرحله آموزش برمیگردونن

وقتی مرحله تایید تموم شد، یک امتحان نهایی هم از هوش مصنوعی میگیرن که میشه همون مرحله تست؛ اگر از تست سربلند بیرون اومد دیگه به کاربر/مشتری میدنش

در یادگیری ماشین، Training Set و Test Set دو بخش مهم از داده‌ها هستند که برای آموزش و ارزیابی مدل استفاده می‌شوند. در ادامه تفاوت‌ها، معادل‌های فارسی، و کاربرد هر کدام توضیح داده شده است:

1. Training Set (مجموعه آموزشی)

مجموعه‌ای از داده‌هاست که برای آموزش مدل یادگیری ماشین استفاده می‌شود. مدل از این داده‌ها یاد می‌گیرد و الگوها، روابط و ویژگی‌های داده را شناسایی می‌کند.

• شامل ویژگی‌های (features) و برچسب‌ها (labels) (در یادگیری نظارت‌شده).
• مدل روی این داده‌ها آموزش داده می‌شود تا پارامترهای داخلی‌اش تنظیم شوند.
• هدف این است که مدل بتواند داده‌های مشابهی را که قبلاً ندیده است پیش‌بینی یا تحلیل کند.

• ایجاد مدل اولیه.
• بهینه‌سازی پارامترها.
• آموزش مدل برای شناسایی الگوها.

2. Test Set (مجموعه آزمون)

مجموعه‌ای از داده‌هاست که برای ارزیابی مدل استفاده می‌شود. این داده‌ها به مدل نشان داده نشده‌اند و از آن‌ها برای بررسی عملکرد مدل روی داده‌های جدید استفاده می‌شود.

• کاملاً مستقل از مجموعه آموزشی است.
• برای سنجش میزان عمومی‌سازی (generalization) مدل استفاده می‌شود.
• عملکرد مدل روی این مجموعه نشان‌دهنده توانایی آن در مواجهه با داده‌های جدید و ناشناخته است.

• ارزیابی دقت (accuracy) مدل.
• بررسی مشکلات overfitting (بیش‌برازش) یا underfitting (کم‌برازش).
• مقایسه مدل‌های مختلف.

1. Overfitting (بیش‌برازش): زمانی رخ می‌دهد که مدل روی مجموعه آموزشی بیش از حد خوب عمل می‌کند اما روی مجموعه آزمون عملکرد ضعیفی دارد.
2. Underfitting (کم‌برازش): زمانی رخ می‌دهد که مدل حتی روی مجموعه آموزشی هم نمی‌تواند به خوبی یاد بگیرد.

در عمل، داده‌ها معمولاً به این نسبت‌ها تقسیم می‌شوند:

• Training Set: 70% - 80% داده‌ها.
• Test Set: 20% - 30% داده‌ها.

برای تنظیم هایپرفرمترها (مانند نرخ یادگیری یا معماری مدل) از مجموعه اعتبارسنجی استفاده می‌شود. این مجموعه مستقل از مجموعه آزمون است و برای جلوگیری از داده‌های آلوده (data leakage) استفاده می‌شود.

نتیجه:

• Training Set: برای آموزش مدل.
• Test Set: برای ارزیابی مدل.
• هر دو برای توسعه مدل‌های یادگیری ماشین ضروری هستند.

در یادگیری ماشین، مجموعه داده‌ها به دو بخش اصلی تقسیم می‌شوند: مجموعه آموزش و مجموعه تست. هر یک از این مجموعه‌ها نقش مهمی در فرایند یادگیری و ارزیابی مدل‌ها دارند.

مجموعه آموزش (Training Set)

• تعریف: مجموعه آموزش بخشی از داده‌ها است که برای آموزش مدل استفاده می‌شود. به عبارت دیگر، الگوریتم یادگیری ماشین با استفاده از این داده‌ها الگوها و روابط بین ویژگی‌ها و برچسب‌ها (یا مقادیر هدف) را یاد می‌گیرد.
• معادل فارسی: مجموعه آموزشی، مجموعه تمرینی، مجموعه یادگیری
• کاربرد:
  • ساخت مدل: مدل یادگیری ماشین با استفاده از داده‌های آموزشی تنظیم پارامترهای خود را انجام می‌دهد تا بتواند بر اساس ویژگی‌های ورودی، خروجی مورد نظر را پیش‌بینی کند.
  • یادگیری الگوها: مدل با تحلیل داده‌های آموزشی، الگوها، روابط و ویژگی‌های مهمی را که برای پیش‌بینی دقیق ضروری هستند، شناسایی می‌کند.

مجموعه تست (Test Set)

• تعریف: مجموعه تست بخشی از داده‌ها است که برای ارزیابی عملکرد مدل آموزش دیده استفاده می‌شود. این داده‌ها در فرایند آموزش مدل هیچ نقشی نداشته و به طور کامل از داده‌های آموزشی جدا هستند.
• معادل فارسی: مجموعه آزمایشی، مجموعه ارزیابی
• کاربرد:
  • ارزیابی عملکرد: پس از آموزش مدل، آن را روی داده‌های تست اعمال می‌کنیم تا ببینیم چقدر دقیق می‌تواند پیش‌بینی‌های جدید را انجام دهد.
  • پیشگیری از بیش‌برازش (Overfitting): اگر مدل بیش از حد به داده‌های آموزشی تطابق پیدا کند، ممکن است در پیش‌بینی داده‌های جدید عملکرد ضعیفی داشته باشد. مجموعه تست به ما کمک می‌کند تا این مشکل را شناسایی کنیم.
  • انتخاب بهترین مدل: در صورتی که چندین مدل مختلف آموزش داده باشیم، می‌توانیم با استفاده از مجموعه تست، بهترین مدل را انتخاب کنیم.

چرا به دو مجموعه نیاز داریم؟

• جلوگیری از بیش‌برازش: اگر از تمام داده‌ها برای آموزش استفاده کنیم، مدل ممکن است الگوهای تصادفی و نویز موجود در داده‌ها را نیز یاد بگیرد و در نتیجه در مواجهه با داده‌های جدید عملکرد ضعیفی داشته باشد.
• ارزیابی عینی: مجموعه تست به ما یک معیار مستقل برای ارزیابی عملکرد مدل می‌دهد.
• تعمیم‌پذیری: هدف اصلی یادگیری ماشین ساخت مدل‌هایی است که بتوانند بر روی داده‌های جدید و دیده نشده عملکرد خوبی داشته باشند. مجموعه تست به ما کمک می‌کند تا اطمینان حاصل کنیم که مدل ما این قابلیت را دارد.

تقسیم داده‌ها

به طور معمول، داده‌ها به صورت زیر تقسیم می‌شوند:

• مجموعه آموزش: 70-80 درصد از داده‌ها
• مجموعه اعتبارسنجی (Validation Set): 10-15 درصد از داده‌ها (برای تنظیم پارامترهای مدل استفاده می‌شود)
• مجموعه تست: 10-15 درصد از داده‌ها

نکته: تقسیم بندی داده‌ها به این شکل، یک استاندارد کلی است و ممکن است بسته به نوع مسئله و حجم داده‌ها تغییر کند.

مثال

فرض کنید می‌خواهیم مدلی برای تشخیص اسپم ایمیل آموزش دهیم. مجموعه آموزش شامل تعداد زیادی ایمیل است که به صورت دستی برچسب‌گذاری شده‌اند (اسپم یا غیر اسپم). مدل با تحلیل این ایمیل‌ها الگوهایی را یاد می‌گیرد که نشان‌دهنده ایمیل‌های اسپم هستند. سپس، مجموعه تست شامل ایمیل‌هایی است که قبلاً توسط مدل دیده نشده‌اند و مدل باید پیش‌بینی کند که آیا این ایمیل‌ها اسپم هستند یا خیر. با مقایسه پیش‌بینی‌های مدل با برچسب‌های واقعی، می‌توانیم دقت مدل را ارزیابی کنیم.