TF-IDF یا فراوانی وزنی کلمه کلیدی چیست و چگونه محاسبه می شود؟

TF-IDF یا فراوانی وزنی کلمه کلیدی ، از جمله روش هایی است که خیلی درباره آن شنیده ایم. همانطور که می دانید، گوگل هم از فراوانی وزنی کلمه کلیدی، جهت بازیابی اطلاعات در کنار دیگر معیارها استفاده می کند. خوشبختانه، پتانسیل tf-idf در سئو به وضوح دیده شده و از آن به جای تراکم کلمات کلیدی جهت بهینه سازی محتوا نیز، مورد استفاده قرار گرفته است. در واقع ،هدف استفاده از آن به جای چگالی کلمات کلیدی، کمک به پایین آمدن و کاهش تاثیر کلمات عملکردی می باشد. تا انتهای مقاله با w3design همراه باشید تا چگونگی محاسبه آن و تاثیر آن بر سئو را مورد بررسی قرار دهیم.

با وجودی که جان مولر (John Mueller) اعلام کرده که این روش امروزه به عنوان یک استراتژی بهینه سازی، مورد استفاده قرار نمی گیرد. در عوض ما می خواهیم تاثیر TF-IDF در بهینه سازی یک صفحه  و اینکه آیا می توان به عنوان یک سیگنال رتبه دهی از آن استفاده نمود، صحبت نماییم. 

پس برای شروع کار باید بدانید که، “ فراوانی وزنی کلمه کلیدی “چیست؟

فراوانی وزنی کلمه کلیدی یا TF-IDF چیست؟

تعریف ویکی پدیا درباره فراوانی وزنی کلمه کلیدی:

” tf- idf یا TF-IDF اختصار کلمه  term frequency-inverse document frequency است، که یک آمار عددی بوده جهت نشان دادن اهمیت یک کلمه برای یک سندی که در مجموعه ای واقع شده است…. عموما مقدار tfidf, متناسب با تعداد تکرار یک کلمه در یک سند (document) افزایش می یابد و تعدادی از سندها که در بدنه خود دارای این  کلمه هستند را متعادل می کند. هدف استفاده از این روش، تنظیم کردن و یکدست کردن کلماتی است که در یک متن، مدام تکرار می شوند. “

نکته کلیدی که باید بر روی آن متمرکز شویم این است که TF-IDF یک معیاری بوده که به کل مجموعه یا بدنه مرتبط بوده است. این بدان معناست که صفحات وب دارای یک کلمه یا عبارت خاصی هستند. به هنگام جستجو در وب، این روش بیانگر این است که چه مقدار کلمه یا عبارت خاص در صفحه نتایج، ظاهر می شود. این بخشی که بیان می کند” بیشتر کلمات به صورت کلی مکررا ظاهر می شود” به این مورد اشاره دارد که چگونه Tf-Idf، یک مرجعی برای دریافت کلماتی است که به صورت مکرر در کل مجموعه ای از اسناد، وزن کمتری دارند. TF-IDF، برای ایجاد میانگین آماری، از کلمات یا عبارات خاص در بدنه استفاده می کند که منظور از گوگل، کل وب می باشد. البته، این یک راه حل جادویی برای محتوا نیست که عموم مردم آن را پیشنهاد می دهند.

در اینجا یک سوالی مطرح می شود:

“ایده و فکر شما درباره کلمات tfidf چیست؟” آیا گوگل از روش مشابه ای استفاده می کند؟ آیا ما از این روش برای ساخت محتوای بهتر استفاده می کنیم؟

جان مولر در این مورد پاسخ می دهد:

” فراوانی وزنی کلمه کلیدی یک معیار مهمی بوده که برای بازیابی  اطلاعات مورد استفاده قرار می گیرد.”

آن مرجعی که  “information retrieval” است، ممکن است مرجعی برای زمینه کلی از بازیابی اطلاعات باشد که نه تنها دربرگیرنده جستجوی وب است بلکه خودش یک علمی از جستجو، در میان اسناد یا مجموعه ای اسناد است، مانند صندوق ورودی ایمیل…  . بازیابی اطلاعات، یک اصطلاح مبهم بوده که طیف عظیمی از حالات را در بر می گیرد.

سپس جان مولر این مورد را هم بیان کرد که:

“با توجه به تلاش برای فهمیدن کلمات مرتبط در یک صفحه، ما از تکنیک های مختلفی برای بازیابی اطلاعات استفاده میکنیم که تعداد زیادی از این معیارها، در سال های متمادی پدیدار شده اند. “

در حالت کلی به این نتیجه رسیدیم که:

TF-IDF، راهی برای اندازه گیری اهمیت یک کلمه در یک سند می باشد. TF، اندازه می گیرد که یک اصطلاح در یک سند چند بار تکرار می شود و IDF، هم جهت اندازه گیری اهمیت یک اصطلاح به کار برده می شود. 

TF یا Term Frequency

در یک نگاه، واضح دیده می شود که چه طور یک کلمه در یک سند چند بار ظاهر می شود. برای محاسبه تی اف باید از فرمول ریاضی زیر استفاده شود.

به عنوان مثال، اگر شما دارای یک صفحه ای هستید که دارای ۱۰۰۰ کلمه است و کلمه کلیدی شما ۱۰ بار تکرار شده، پس با محاسبه فرمول بالا، به عدد ۴.۳۲/۹.۹۷یا ۰.۴۳ دست پیدا می کنید. اگر کلمه کلیدی شما در همان سند، فقط ۲ بار تکرار شود،  تناوب آن کلمه در حدود ۵.۵۳ می شود.

Term frequency یا همان فرکانس کلمه، به ندرت از یک کلمه خاص استفاده می شود. در واقع به تنهایی مفید نیست، زیرا شما نیاز دارید اهمیت کلمات را اندازه بگیرید نه فقط تعداد تکرار استفاده از آن. برای جلوگیری از این مشکل ،از IDF استفاده می شود.

IDF یا Inverse Document Frequency

این متریک برای درک مقدار واقعی کلمه کلیدی خاص به کمک می آید. Idf، نسبت کل اسناد را در یک مجموعه ای از سندها که دارای کلمه کلیدی هستند، محاسبه می کند. مانند فرمول زیر:

اگر کلمه کلیدی، یک کلمه معمولی باشد، احتمالا در مقادیر زیادی  از اسناد استفاده می شود. در نتیجه، مقدار idf، آن کم خواهد بود و اگر TF را در آن ضرب کنیم آن مقدار تغییر زیادی نخواهد کرد و برعکس، اگر یک کلمه فقط در یک سند پیدا شود، مقدار IDF آن بزرگتر خواهد بود که نتیجه کلی TF-IDF هم بزرگ می شود.

بر خلاف چگالی کلمه کلیدی که از تکرار کلمه کلیدی خاص در یک صفحه ایجاد شده بود، تی اف-آی دی اف، به عنوان یک متریک پیشرفته، اهمیت یک کلمه کلیدی خاص در صفحه را نشان می دهد. این روش، به اصطلاحات کمیاب و نادر اهمیت بیشتری داده و به چگالی کلمات کلیدی بی اهمیت، کاری ندارد.

TF-IDF و گرفتن رتبه در گوگل

“ جان مولر می گوید:

توصیه من این است که به این معیارهای مصنوعی توجه نداشته باشید… به این خاطر که شما نمی توانید آن  معیار را مجددا تولید کنید و هم این که، پایه و اساس این روش، به تمامی محتواهای موجود در وب باز می گردد. بنابراین با وجود دوست داشتن و مهم بودن در کار، نمی توانید به علت نداشتن چنین متریکی، از آن استفاده نمایید.”

سوال مهمی اینجا پیش می آید که ” آیا گوگل از این روش برای رتبه دهی استفاده می کند؟”

جواب کوتاه این سوال، ” خیر”  است.

TF-IDF در تعدادی از ثبت اختراعات Google به عنوان چیزی گفته می شود كه موتور جستجو می تواند برای حذف كلمات متوقف از آن استفاده كند ، یعنی خلاص شدن از شر كلمات تابع، به هنگام جستجو کوئری در محتوای صفحه.

اما استفاده از این مکانیسم دقیق برای شناسایی و مقایسه ارتباط بسیار بعید است. به این دلیل که، مثالی از جستجوی لغوی بوده و فراوانی وزنی کلمه کلیدی، نمی تواند فراتر از  کلمه کلیدی خاص رود. این مدل، توجهی به رشته ای از کلمات خاص دارد و نمی تواند روابط معنایی بین آن ها را شناسایی کند، البته برخلاف مدل جستجوی معنایی، که گوگل از آن استفاده می کند.

به عبارت دیگر TF-IDF، یک سیگنالی برای گرفتن رتبه و افزایش جایگاه صفحه در نتایج جستجوی گوگل نیست.  نباید انتظار داشته باشید که مقدار TF-IDF، با هر کلمه ای از محتوای شما یکی باشد و اگر کسی خواست شما را با این روش قانع کند، از او فرار کنید.

چه طور از ابزار  TF-IDF برای سئو استفاده کنیم؟

فراوانی وزنی کلمه کلیدی به عنوان یک سلاح مخفی بوده که شما نیاز دارید ارتباط صفحه خود در جستجوی معنایی افزایش دهید.

حالا چطور؟  با استفاده از این ابزار می توانید فراتر از کلمات کلیدی و آنچه که در محتوا است بروید. این بدین معنی است که می توانید موضوعات مهم و مرتبط که در یک محتوا استفاده می شود را پیدا نمایید. همانطور که قبلا هم اشاره کردم، این دیوانگی است که بخواهیم TFIDF را برای صفحاتمان محاسبه کنیم، بهترین کار استفاده از ابزارهایی است که این کار را برای ما انجام میدهند. با اکثر ابزارهای فراوانی وزنی کلمه کلیدی می توانید نتایج جستجوی برتر رتبه بندی ها را برای کلمات کلیدی خود تجزیه و تحلیل کنید و ببینید که کدام اصطلاحات و عبارات بیشترین استفاده را  دارند و عملکرد صفحات شما برای آن ها چگونه است.

در نتیجه، شما یک لیستی از کلمات مرتبط دارید که به شما اجازه می دهد:

• محتوا را برای کل عناوین بهینه نمایید نه فقط برای کلمات مفرد.
• از شکاف های موجود در محتوای فعلی استفاده نمایید.
• محتوای جدیدی که دارای رتبه و سرعت بالاتری است را ایجاد کنید.

اگر مطمئن نیستید که چطور tf-idf را  در استراتژی سئوی خود بگنجانید، در ابتدا آن را با صفحاتی امتحان کنید که TF-IDF، بیشترین سود را برای شما خواهد داشت:

• محتوایی که دارای پتانسیل بالایی است، نمی تواند از صفحه ۲ خارج شود: چرا که محتوایی که بر روی سایت خود دارید، بهینه و سئو شده و دارای مقدار زیادی اعتبار است. استفاده از tf-IDF بهترین راه برای آوردن محتوا به صفحه یک گوگل می باشد.
• محتوا با رتبه بالا که به آرامی موقعیت و جایگاه خود را از دست می دهد: الگوریتم های گوگل مدام در حال تغییر می باشند و همین امرباعث تغییر جایگاه ها در SERP می شود. با کمک tfidf می توان رتبه چنین صفحات را حفظ کرد.
• صفحات محصولی که دارای رتبه بالا نیستند:حال اگر صفحات محصول شما برای دریافت درآمد بیشتر روی کار آمده اند،  فراوانی وزنی کلمه کلیدی می تواند به شناسایی محتواهای مهم در این صفحه کمک نماید.

چطور می توان محتوا را با ابزار TF-IDF بهینه نمود؟

با استفاده از مراحلی که در زیر آمده است، می توانید محتوای خود را با ابزار تی اف آی دی اف، بهینه سازی نمایید.:

• بهینه کردن صفحات برای موضوعات وابسته و مرتبط

اگر شما قصد دارید محتوای صفحات موجود را بهینه نمایید، ابزار tf-idf به خاطر فرمولاسیون قوی که در خود دارد، می تواند به بهینه کردن هرچه بهتر به شما کمک نماید. البته استفاده از این ابزار به منظور دور زدن گوگل نمی باشد. از آنجاییکه گوگل تمامی صفحات را به صورت آنلاین مورد بررسی قرار می دهد، ابزار tf-idf با مراجعه به ده رقبای برتر، اصطلاحات مرتبط با کلمات کلیدی هدف را شناسایی و کشف می کند. استفاده از این ابزار مانند مهندسی معکوس عمل کرده و اطلاعاتی که صفحه شما آن ها را رعایت نکرده است و یا در صفحه موجود نیست را اعلام می کند.

با استفاده از ابزار tf-idf که درسایت link-assistant آمده است، می توانید محتوای سایت خود را بهینه نمایید. اولین کاری که باید انجام دهید، ایجاد یک پروژه و یا باز کردن پروژه ای است که قبلا ایجاد کرده اید. برای این کار بعد از ورود به سایت مربوطه، باید content Analysis  و سپس TF-IDF را انتخاب نمایید. حال صفحه مورد نظر را برای آنالیز وارد نمایید و در آخر کلمه کلیدی را هم اضافه نمایید. بعد از اتمام تجزیه و تحلیل توسط این ابزار، شما می توانید لیستی از موضوعات مرتبط را که این ابزار از رقبای شما گردآوری کرده است، مشاهده نمایید.

در مرحله بعد، باید لیست بدست آمده را آنالیز و بررسی نمایید.

در این قسمت، مواردی که مرتبط با موضوع و یا کلمه کلیدی نیستند را حذف نمایید. به ستون پیشنهادات (ٍRecommendation) بیشتر توجه داشته باشید، چرا که این ستون موارد مهمی را به شما اعلام می کند، مثلا در ستون ADD یا Use more، می توانید مواردی که در محتوای خود رعایت نکرده اید را مشاهده نمایید. این بدین معنی نیست که صفحه خود را پاک کنید و بخواهید صفحه جدیدی را ایجاد نمایید؛ تنها کاری که لازم است انجام دهید، اضافه کردن موارد مهمی است که در صفحه خود ندارید و فقط باید محتوای صفحه را ویرایش نمایید. حال اگر کلماتی که به شما پیشنهاد شده، مرتبط و یا دارای ارزش نباشد، را می توانید بسته به نظر خود و رقبای موجود، حذف و یا اضافه نمایید.

بعد از مراحل بالا، نوبت به بهینه سازی محتوا می رسد.  با اطلاعاتی که از ابزار بدست آوردید، راحت تر می توانید محتوای خود را بهینه نمایید و موضوعاتی که در محتوا وجود ندارد را به آن اضافه نمایید و حتی می توانید کلماتی که دیگر رقبا با آن بالا هستند را به محتوای خود اضافه نمایید. بعد از این تغییرات، مجددا  صفحه را در ابزار tf-idf قرار دهید تا متوجه بهینه بودن آن شوید و قطعا در آینده، نتیجه مثبت آن را مشاهده خواهید کرد.

• اجرا کردن ابزار برای تحقیق کلمات کلیدی

اگر شما به دنبال ایجاد یک محتوا هستید نه آپدیت و ویرایش آن، ابزار tfidf می تواند به تحقیق کلمات کلیدی بپردازد، شاید بگویید ابزارهای دیگری هستند که بتوانند این کار را برای شما انجام دهند اما این ابزار، نزدیکترین کلمات کلیدی و بهتر است بگوییم، مرتبط ترین کلماتی که رقبا از آن استفاده می کنند را به شما نشان می دهد. شاید بعضی از صفحات دارای رتبه و جایگاه خوبی در نتایج جستجو باشند اما این دلیل بر داشتن user search intent نمیباشد. این روزها جستجوی معنایی و محتوایی که به هدف کاربر نزدیک باشد، از دید گوگل حائز اهمیت است و گوگل به آن رتبه می دهد. برای تحقیق کلمات کلیدی باید وارد بخش Keyword Research و بعد Domain Research شوید و سپس گزینه Competition TF-IDF Explorer را برای شروع کار انتخاب نمایید.

چه زمانی باید تحلیل TF-IDF را انجام دهیم؟

کارشناسان سئو و تولیدکنندگان محتوا میتوانند از TF-IDF برای پیدا کردن گپ و حفره در سایت خود بر اساس 10 نتیجه موجود صفحه اول گوگل استفاده کنند. همچنین میتواند برای شناخت فرصت های جدید تولید محتوایی جدید که رتبه بالاتری بگیرد استفاده شود. برای مارکترهاست که معمولا وقت کمی دارند این مسأله  به آنها کمک میکند متوجه شوند باید اول سراغ چه محتوایی بروند و روی آن تمرکز کنند.
1. محتوایی با پتانسیل بالا در صفحه دوم نتایج گیر کرده
شروع به پیدا کردن صفحاتی کنید که روی سایت شما هستند ولی راه خود را به صفحه اول پیدا نمیکنند. اگر از نظر تکنیکی صفحه شما کاملا بهینه شما و اعتبار خوبی هم دارد، بهینه سازی محتوا نقطه خوبی برای شروع است.

2. محتوا به تدریج ترافیک (و رتبه) خود را در طول سال گذشته از دست داده است
هروقت سایتی از نتایج بالای صفحه اول به پایین نزول می کند معمولا بخاطر بالارفتن رقابت در آن کلمه یا تغییرات در الگوریتم گوگل است که معمولا بیشتر اوقات به محتوا مربوط میشود. با مقایسه محتوای سایت خود با دیگر صفحات که در نتایج رتبه دارند مطمئن شوید که محتوای وبسایت شما مرتبط و بروز باشد تا بتوانید جایگاه بالاتری را از آن خود کنید.

3. صفحه محصولی که در تلاش برای گرفتن رتبه بالاتر است
اگرچه آنالیز TF-IDF مختص رتبه گرفتن برای صفحات محتوایی است، اگر صفحه محصول یا سفارش در سایت شما رتبه پایینی دارد حتما محتوای ضروری و مرتبط را در آن قرار دهید.

چگونه تحلیل کاملی از TF-IDF داشته باشیم؟

جمع‌آوری اطلاعات موردنظر درباره TF-IDFکار نسبتا راحتی است. با بررسی ده سایت اول در نتایج جستجو کلمه هدف شروع کنید. میتوانید برای شروع تعداد کلمات هر کدام از صفحات را بدست آورید. این عدد به شما تقریب خوبی می‌دهد که چقدر احتیاج دارید محتوای صفحه خود را کامل‌تر کنید یا بخش‌های اضافه آن را حذف کنید. سپس با استفاده از یک ابزار بررسی TF-IDF تحلیل کنید. می‌توانید از ابزارهایی مانند Ryte و Link Assistant استفاده کنید. ابزار Ryte البته نتایج تنها زبان انگلیسی و اسپانیایی را پشتیبانی کرده و همچنین کشور ایران را نیز در فهرست لوکیشن‌های مربوط به بررسی جایگاه کلمات کلیدی ندارد. اما با Website Auditor میتوانید این فاکتور را در سایت خود و رقبا بسنجید. بدین صورت که لینک یک صفحه را با ۱۰ لینک نتایج اول گوگل مقایسه میکند و یک ویرایشگر متن نیز در اختیار شما قرار می دهد که با آن بتوانید بر اساس پیشنهادها محتوای خود را بهینه کنید.

چگونه با در نظر گرفتن کاربر محتوا را بهینه کنیم؟

اما نکته کار اینجاست. شما چگونه از این لیست و کلمات آن برای اضافه کردن به محتوای خود طوری استفاده میکنید که برای کاربر نیز همچنان جذاب و مفید باشد؟

۱. لیست را ویرایش کنید
اول از همه لیست را نگاهی بیندازید و آن را اصلاح کنید. مثلا در لیست بالا کلمه SquareSpace که یک سایت‌ساز است به عنوان یک کلمه کلیدی مرتبط نشان داده می‌شود. رقبای شما ممکن است برند خود را متناوبا تکرار کنند طوری که در نتایج تحلیل‌ها حاضر شوند. مگر این که گوگل به دنبال یک محصول یا فروشنده بخصوص باشد. بنابراین به کار بردن و تکرار نام برند رقیب محتوای شما را ارتقا نخواهد داد.

۲. بسیاری از افراد بلافاصله پس از مشاهده لیستی از TF-IDF برمی‌گردند به دوران چگالی کلمات کلیدی. اگرچه اضافه کردن کلمات کلیدی هنوز هم می‌تواند ارزشمند باشد ولی هدف TF-IDF تنها گنجاندن کلمات کلیدی در متن و محتوا نیست. در اصل TF-IDF به شما نشان می‌دهد که چه خلأهایی در محتوای خود دارید که باید آن‌ها را پر کنید. ممکن است به کوچکی اضافه کردن یک فیلد سایز به صفحه محصول باشد یا به بزرگی افزودن یک یا دو پاراگراف به پست وبلاگ برای کامل کردن آن. بررسی این که رقیبانتان چه چیزی را بهتر از شما بهبود داده‌اند بهترین راه برای بهینه کردن محتوا را نشان‌تان میدهد.
۱۰ نتیجه برتر کلمه کلیدی مورد نظرتان را بررسی کنید و TF-IDF را در آن بسنجید. به دنبال الگوهای محتوایی در رقیبانتان بگردید که در وبسایت خودتان نیست.

در صورت نیاز بازطراحی کنید

تغییر شکل و طراحی وبسایت صرف زمان و منابع زیادی را می‌طلبد که همیشه هم صرفا برای هر آپدیت سئو و بهینه‌سازی به صرفه نیست. اما بهر حال اگر به چندین صفحه برخوردید که متوجه شدید تغییر کلی متن‌ها مفید خواهد بود بروزرسانی طراحی به تناسب نیازتان تجربه کاربری به مراتب بهتری را برای شما به ارمغان می‌آورد و به شما کمک می کند در آینده نیز مطالب وبسایت خود را راحت‌تر بهینه کنید.

اگر به موارد زیر برخوردید به بروزرسانی محتوا احتیاج دارید:

• ساختار صفحه به گونه‌ای است که به شما اجازه اضافه کردن محتوای جدید را نمی‌دهد.
• صفحه مورد نظر أساسا برای هدف و مخاطب اشتباهی ساخته شده است.
• محتوای بی‌ارزش زیادی در سکشن‌های وبسایت وجود دارد.
• طراحی صفحه به گونه‌ای‌ست که اجازه نمی‌دهد به خوبی متنها را در قسمت‌های مختلف و با فواصل درست قرار داد.
• صفحه زیادی بلند است و به کامپوننت‌های بیشتری برای بالا بردن تعامل نیاز دارد.

اگر صفحه‌ای را شناسایی کردید که نیاز به بروزرسانی دارد، فراموش نکنید که عوامل زیر را حتما در نظر بگیرید:

• به جز سایت‌های فروشگاه‌های آنلاین و سایت‌های گالری و عکس، حتما توجه داشته باشید که محتوایی که در صفحه وارد می‌کنید حتما اطلاعات مورد جستجوی مخاطب را به او نشان دهد و پیدا کردن و خوانایی آن راحت باشد. برای محصولات فروشگاهی یک بخشی را در انتهای صفحه در نظر بگیرید که توضیحات را در آن قرار دهید.
• سلسله مراتب را رعایت کنید. قسمت‌ها و پیام‌های مهم و ارزشمند را در بالای صفحه و مطالب تکمیلی را در پایین بگذارید.
• به نسبت محتوایی که اضافه می‌کنید، Call to Action یا دکمه فراخوان نیز اضافه کنید.
• برای محتواهای تفصیلی از منو چسبان استفاده کنید تا کاربر را بیشتر بتوانید درگیر کنید.
• با استفاده از ساب‌هدینگ‌ها، بولد کردن متن و عکس و تصویر به خوانایی هر چه بیشتر صفحه کمک کنید.

به تازگی سایت Search Engine Land مطلبی رو منتشر کرد که Bill Slawski درباره آن گفت:

TF*IDF is a statistical method that can tell a search engine the importance of a word used on a page may be to the corpus that page exists in. It is not a semantic analysis tool nor SEO Tool. It is a tool that a search engine with access to its own corpus information can use.

TF-IDF یک ابزار سئو نیست. یک متود آماری برای موتورهای جستجو است که به کمک آن میزان اهمیت کلمه‌ای را شناسایی کنند.

جمع بندی نهایی

لطفا به فراوانی وزنی کلمه کلیدی، به چشم یک مخفف کنجکاو نگاه نکنید، بلکه به ان به چشم یک توسعه دهنده محتوا نظر داشته باشید.  tf-idf یک فرمول جادویی نیست که بتوانید رتبه صفحات خود را افزایش دهید اما روشی است که با استفاده از مهندسی معکوس می توانید بیشتر به دید موتورهای جستجو بیایید.