کنترل رفتار روبوت ها با استفاده از پروتکل ها برای سئو سایت

تاکنون تمام سعی ما بر این بوده است که صفحات بیشتری از سایت خود را به بایگانی موتورهای جست وجو وارد کنیم. در این راه هر بار که متوجه می شویم گوگل صفحات بیشتری از سایت را خوانده است، احتمالا از خوشحالی فریاد می زنیم! یک صفحه بیشتر در بایگانی گوگل درست به معنای یک بخت بیشتر در قرعه کشی است. صبر کنید. بهتر است بگویم بخت های بیشتر. زیرا آن یک صفحه ممکن است با چندین عبارت مختلف قابل جست وجو باشد.

اما این تنها روی اول سکه است. روی دیگر سکه شاید جالب تر هم باشد. گاهی دوست نداریم موتورهای جست و جو بعضی از صفحات سایت را بخوانند و تصمیم می گیریم آنها را از بعضی از صفحات دور نگه داریم. دلایل بسیاری برای این کار وجود دارد. به عنوان مثال یک استاد دانشگاه که نمرات دانشجویان را در سایت شخصی خود قرار داده است، ممکن است برای حفظ حریم خصوصی دانشجویان، چنین تصمیمی اتخاذ کند. یا آدرس برخی نوشته های مهم سایت تغییر کرده است و مدیر سایت تمایل ندارد موتور جست و جو آدرس قدیم را همچنان بخواند. مسیر سبد خرید در سایت می تواند گزینه مناسبی برای این کار باشد. هم چنین صفحه سلب مسوولیت سایت ها نیز که معمولا حاوی کلمات خشک و نامفهوم حقوقی است، گزینه عامی برای این دوست نداشتن  است.

کنترل رفتار روبوت ها

رفتار روبوت ها و بایگانی کردن صفحات سایت توسط موتور جست و جو را می توان طبق پروتکل هایی پذیرفته شده، کنترل کرد. این پروتکل ها به صورت زیر می باشند:

• Robots.txt
• XML Sitemap
• Robots Meta Tag
• Rel=Nofollow
• OW

از میان چهار پروتکل معرفی شده، گزینه اول و دوم برای کل سایت تعریف می شوند، گزینه سوم برای هر صفحه به طور جداگانه و گزینه چهارم نیز برای هر پیوند به صورت تک به تک مشخص میشود.

پشتیبانی از این پروتکل ها توسط موتورهای جستجو

بیشتر موتورهای جست و جو تمایل به پشتیبانی از این پروتکل ها دارند اما هیچ کدام مجبور به رعایت آنها نیستند. در واقع پروتکل های یاد شده فقط مواردی را به موتورهای جست وجو توصیه می کنند و رعایت و یا عدم رعایت این توصیه ها به موتورهای جست و جو بستگی دارد. موتور جست و جو به خودی خود فضول است اما اگر مودب باشد برای بها دادن به حریم خصوصی سایتها این توصیه ها را رعایت می کند.

می توان با یک فایل متنی بسیار ساده میزان دسترسی موتورهای جست و جو به محتوای سایت را کنترل کرد. این فایل robots. Txt نام دارد. موتور جست و جو قبل از آن که وارد سایتی شود، ابتدا فایل یاد شده را از سرور درخواست می کند و از تمام محدودیت های پیش روی خود در آن سایت آگاه می گردد. نبود این فایل در یک سایت به معنای نبودن هیچ گونه محدودیتی برای تمام اسپایدرها است. موتور جست و جو بعد از آن که تمام فایل ها و مسیرهای ممنوع را دانست، شروع به خواندن مطالب سایت می کند. البته اگر یک اسپایدر مودب باشد، به محدودیت های موجود نیز احترام می گذارد! عده کمی از آنها به طور کامل و صد در صد به محتوای این فایل وفادارند.

تنظیمات نادرست موجود در این فایل می تواند به شدت به موفقیت سایت ضربه بزند بنابراین در آماده ساختن این فایل بسیار دقت کنید.

منبع: بک لینک