فراوانی وزنی تی اف آی دی اف

فراوانی وزنی تی اف آی دی اف در دانشنامه ویکی پدیا

مخّففِ term frequency - inverse document frequency یا فراوانی اصطلاح- معکوس فراوانی متن است.tf-idf در بازیابی اطلاعات ، یک آمار عددی است که میزان اهمیت یک کلمه نسبت به یک سند در یک مجموعه ای از اسناد را نشان می دهد. در واقع هدف این سیستمِ وزن دهی، نشان دادن اهمیت کلمه در متن است. که اغلب در جستجو های درون بازیابی اطلاعات،متن کاوی و مدل سازی کاربر(به انگلیسی: User modeling) استفاده می شود. مقدار tf-idf به تناسب تعداد تکرار کلمه در سند افزایش می یابد و توسط تعداد اسنادی که در مجموعه هستند و شامل کلمه نیز می باشند متعادل می شود. به این معنی که اگر کلمه ای در بسیاری از متون ظاهر شود احتمالاً کلمه ای متداول است و ارزش چندانی در ارزیابی متن ندارد.در حال حاضر tf-idf یکی از محبوب ترین روش های وزن گذاری اصطلاحات می باشد و امروزه بیش از ۸۳ درصد از سامانه های توصیه گر در کتابخانه های دیجیتال از این روش وزن دهی اصطلاحات استفاده می کنند.
فراوانی بولی :اگر اصطلاح t در سند d آمده باشدtf(t,d) = 1 در غیر این صورت tf(t,d) = 0
فراوانی اصطلاح بر اساس طول سند تنظیم شده است:(تعداد کلمات موجود در سند d ) ÷ ft,d
این اختلاف بین وزن ها که توسط روش tf-idf ایجاد می شود توسط بیشتر موتورهای جستجو به عنوان ابزار اصلی رتبه دهی و امتیاز دهی اسناد پرس و جو شده کاربر استفاده می شود.و همچنین برای فیلتر کردن ایست واژه ها(به انگلیسی: stop-words )در زمینه های موضوعی مختلف، از جمله خلاصه سازی ودسته بندی متن با موفقیت استفاده شده است.یکی از ساده ترین تابع های رتبه بندی با جمع کردن وزن بدست آمده توسط tf-idf برای هر اصطلاح پرس و جو محاسبه می شود. بسیاری از توابع رتبه بندی پیچیده تر بر اساس این مدل ساده به وجود آمده اند.
فرض کنید ما مجموعه ای از اسناد متنی انگلیسی داریم و می خواهیم اسناد را به نسبت ارتباطشان با پرس و جو رتبه بندی کنیم.مثلاً "the brown cow" را در نظر بگیرید.یک راه ساده برای شروع این است که اسناد و مدارک که شامل هر سه کلمه "brown"، "cow" و "the" نیستند را حذف کنیم ، اما این کار هنوز اسناد زیادی را باقی می گذارد.برای تشخیص و رتبه بندی بهتر آنها، ممکن است تعداد دفعاتی که هر اصطلاح در هر سند اتفاق می افتد، شمارش ...

فراورده را بخوانید.

چنانچه، معنی واژه بالا (برگرفته از دانشنامه ویکی پدیا)، نادرست یا مخالف قوانین جمهوری اسلامی ایران است، خواهشمند است گزارش دهید تا بررسی و حذف گردد => [گزارش]

به اشتراک بگذارید

معنی یا پیشنهاد شما

واژه

نام شما

معنی یا پیشنهاد شما

نام نویسی | ورود

تازه ترین پیشنهادها

موسی > fertilizer
دراکو مالفوی > مواخذه
عاطفه اسلامیان > arms length
دکتر محمد علی کریمی > with
فرزاد دشتی > متضمم
Dark Light > centrifuge
ملیکا > از کف دادن
دکتر محمد علی کریمی > by

نگارش واژه نو | پیشنهادهای امروز