راهنمای استفاده از ابزار fetch as google

ابزار Fetch as Google در گوگل وبمستر چیست؟

ابزار Fetch as Googlebot یا کشاندن روبات گوگل به مسیر مورد نظر جهت بازبینی و ایندکس کردن، ابزار است مفید که در سیستم Google Webmaster می توانید آن را بیابید که به شما کمک می کند تا مطالب سایت خود را که از دید Crwaler (خزنده) پنهان مانده است و در گوگل ایندکس نشده است را به گوگل معرفی و درخواست بازدید خزنده از آدرس سایت یا صفحه ای خاص از سایت خود نمایید.

پیش تر هم در مورد آن در مقاله fetch as google چیست؟ صحبت کرده ایم که پیشنهاد میکنیم از این مقاله دیدن فرمائید.

آموزش استفاده از ابزار Fetch as Google

Fetch as Google به شما امکان می‌دهد تا بررسی کنید که گوگل چگونه یک URL را روی وب‌سایت شما Crawl یا Render می‌کند. شما می‌توانید از Fetch as Google استفاده کنید و دریابید که آیا Googlebot می‌تواند به یک صفحه روی وب‌سایت شما دسترسی پیدا کند، چگونه صفحه را رندر می‌کند و آیا هیچ‌کدام از منابع صفحه (مانند عکس و اسکریپت) برای Googlebot بلاک شده‌اند یا خیر. ابزار Fetch as Google، خزیدن و رندر کردن را به همان صورت که در روند رایج خریدن و رندر کردن گوگل انجام می‌شود شبیه‌سازی می‌کند و برای عیب‌یابی مشکلات احتمالی در خزیدن روی وب‌سایت شما بسیار مفید است.

اجرای دستور fetch

برای اجرای دستور Fetch مراحل زیر را طی کنید.

1- ورود آدرس سایت خود در کادر مربوطه

1- در قسمت Fetch as Google در وبمستر در یک جعبه ورود متن یا textbox، آدرس صفحه ای را که میخواهید توسط ربات های گوگل مورد بررسی قرار گیرد و یا اصطلاحا Fetch شود را وارد می کنید. اگر این کادر را خالی رها کنید، آدرس صفحه اصلی سایت مورد بررسی قرار خواهد گرفت. مثلا اگر سایت مدنظر http://example.com, باشد و در کادر ورود آدرس صفحه stores/indiana/1234.html را وارد کنیم، آدرسی که مورد بررسی قرار میگیرد به این صورت خواهد بود:

http://example.com/stores/indiana/1234.html

محدودیت های Fetch

آدرس صفحات داده شده به قسمت Fetch محدود به زیر شاخه های سایت اصلی میباشند. اگر در حال حاضر سایت http://example.com را به گوگل معرفی کرده باشید. نمی توانید زیر شاخه های آدرس https://example.com یا http://m.example.com را در بخش Fetch بررسی کنید. Fetch کوکی برای شما ارسال نمی کند. به این ترتیب اطلاعاتی که در این قسمت وارد می کنید توسط مرورگر قابل ذخیره شدن نیستند. امکان ردگیری صفحاتی که به صفحه ای دیگر Redirected شده اند وجود ندارد. برای بررسی صحت عملکرد Redirect باید آدرس صفحات را بصورت دستی چک کنید.

2- انتخاب اختیاری نوع رباتی که می خواهید صفحه را بررسی کند.

انجام اینکار موجب میشود که نحوه عملکرد ربات های بررسی کننده صفحه تغییر کند. تغییر عملکرد ربات ها بر روی رندر شدن اطلاعات توسط آنها نیز تاثیر خواهد گذاشت. انواع رباتی که میتوانید برای جستجوی صفحات خود انتخاب کنید.

2- 1- Desktop (بصورت پیشفرض در حالت انتخاب است)

• برای وب سایت ها، از ربات Googlebot crawler استفاده کنید.
• برای اخبار، از ربات Googlebot crawler (برای سایت های خبری نباید از Googlebot News استفاده کرد) استفاده کنید.
• برای عکس ها،از ربات Googlebot Images crawler استفاده کنید.
• برای ویدئو ها، از ربات Googlebot Video crawler استفاده کنید.
• برای صفحاتی که دارای کدهای AdSense هستند از ربات Google AdSense crawler استفاده کنید.
• برای صفحات مقصد تبلیغات سئو خارجی از ربات Google AdsBot crawler استفاده کنید.

2-2- موبایل، گوشی های هوشمند

• ربات Current : این ربات ممکن است بزودی با ربات Google Smartphone crawler جایگزین شود.
• (در آینده نزدیک) Upcoming : از آخرین نسخه ربات Google Smartphone crawler استفاده کنید.

3- روی گزینه Fetch یا Fetch and Render کلیک کنید

• گزینه Fetch : این گزینه آدرس سایت را بررسی می کند و منابع صفحه مانند عکس ها و اسکریپت ها را بررسی نمی کند. این گزینه ، از مشکلاتی مانند عدم اتصال شبکه و یا مشکلات امنیتی سایت، یک بررسی سریع به عمل می آورد.
• گزینه Fetch and render : این گزینه تمام موارد، مانند: آدرس صفحه، ارسال درخواست های Http و منابع سایت مانند عکس ها و اسکریپت ها و مانند آن را بررسی می کند. این گزینه قادر به بررسی صفحات وب و گوشی است. از این گزینه برای دیدن تفاوت میان نحوه مشاهده یک سایت توسط گوگل و ظاهر واقعی سایت استفاده می شود. این گزینه بهترین روش برای برطرف کردن کلیه مشکلات موجود در رابطه با امکان بررسی یک صفحه توسط گوگل میباشد.

4- در خواست های شما در جدول تاریخچه Fetch ذخیره می گردند

اگر به خاطر داشته باشید. در ابتدای مقاله از عدم ذخیره سازی اطلاعات در کوکی های مرورگر صحبت کردیم. دلیل این امر این است که گوگل Fetch کلیه اطلاعات لازم را در یک جدول ذخیره می کند و در اختیار کاربر قرار میدهد. سطر های این جدول نشان میدهد که بررسی امکان دسترسی به صفحه و منابع آن با موفقیت انجام شده است و یا خیر. اگر روی سطرهایی که با موفقیت بررسی شده اند کلیک کنید اطلاعات تکمیلی را مشاهده خواهید کرد. اطلاعات مربوط به درخواست های Http نیز در این داده ها مشاهده میشود.

اگر پردازش شما با موفقیت انجام شده باشد. باز هم میتوانید دوباره درخواست Fetch شدن صفحه را بدهید.

نکته : در هر هفته میتوان تقاضای 500 Fetch را بدهید.

وضعیت در خواست Fetch

در جدول تاریخچه Fetch وضعیت صفحاتی که برای آنها درخواست Fetch ارسال کرده اید را مشاهده می کنید. اگر روی سطر هایی که بررسی شده اند کلیک کنید اطلاعاتی نمایش داده میشود که به آن fetch status یا وضعیت fetch گفته میشود. در فهرست زیر با این وضعیت ها آشنا میشویم:

• Complete : این وضعیت نشان دهنده این موضوع است که ربات گوگل توانسته است آدرس و منابع صفحه را بصورت کامل بررسی کنند در کلیک روی سطر های Complete میتوانید اطلاعات بیشتری بدست بیاورید.
• Partial : گوگل توانسته است آدرس صفحه را بیابد ولی به تمام منابعی که صفحه استفاده کرده است، دسترسی نداشته است. این اتفاق معمولا بخاطر این است که ربات های گوگل توسط robots.txt برای دسترسی به منابع صفحه محدود شده اند. اگر تنها با دستور Fetch صفحه را بررسی کرده و با این پیام روبرو شده اید، بهتر است از دستور fetch and render استفاده کنید و صفحه را مجددا بررسی کنید. اگر در فایل robots.txt دسترسی را محدود کرده اید، محدودیت را از این فایل حذف کنید. لیست توضیح خطا های fetch را در آدرس https://support.google.com/webmasters/answer/6066468 میتوانید مطالعه کنید.
• Redirected: اگر سرور آدرس صفحه ای که گوگل قصد بررسی آن را دارد را به آدرس دیگری Redirect کند، ابزار Fetch قادر به ردگیری این تغییر آدرس نیست. لینک های Redirect باید بصورت دستی کنترل شوند.
• گاهی ابزار Fetch as Google به شما امکان میدهد که آدرس تغییر یافته را ردگیری کنید. این موضوع در مواقعی که دو آدرس ویژگی های یکسانی داشته باشند رخ میدهد. یعنی هر دو آدرس در یک دامنه باشند.
• اگر آدرس صفحه جدید در سایتی باشد که متعلق به خود شما است با کلیک روی گزینه Follow و قرار دادن آدرس صفحه جدید در جعبه متن امکان ردگیری آدرس جدید را به گوگل بدهید.
• نمایش error خاص: مانند ارور resource type fetch error ممکن است که در ردیف های جدول به نمایش در بیایند که هر یک با کلیک، اطلاعات بیشتری از مشکل به شما نشان خواهند داد.