ورود / ثبت نام
Close

.:: سبد خرید شما

دستور العمل های ربات های متا(Robots Meta Directives) و استفاده آن در سئو

🖋 نویسنده: رضا رستم زاد 📅 25 مرداد 1397
دستور العمل های ربات های متا

دستورالعمل های رباتها(Robots Meta Directives) کهگاهی اوقات «متا تگها» نامیده می شوند) قطعاتی از کد هستند که دستورالعمل های خزنده برای چگونگی خزیدن یا فهرست محتوای وب را ارائه می دهند. در حالی که دستورالعمل فایل robots.txt به پیشنهادات رباتها برای چگونگی خزیدن صفحات وبسایت است، دستورالعمل های متا پیشنهادهای بیشتری را در مورد نحوه خزیدن و فهرست محتوای یک صفحه ارائه میدهند.

دو نوع دستورالعمل متا ربات وجود دارد: آنهایی که بخشی از صفحه HTML هستند(مانند برچسب ربات های متا) و آنچه که وب سرور به عنوان هدر HTTP ارسال می کند(مانند x-robots-tag). پارامترهای مشابه(به عنوان مثال دستورالعمل خزیدن یا شاخص گذاری که متا تگ را فراهم می کند مانند “noindex” و “nofollow” در مثال بالا) می تواند با هر دو روبات متا و ربات های x-robot استفاده شود. آنچه متفاوت است این است که چگونه این پارامترها به خزنده ها اطلاع داده می شود.

ربات های متا در سئو

دستورالعمل های متا دستورات خزنده را در مورد چگونگی خزیدن و فهرست اطلاعاتی که آنها در یک صفحه وب خاص پیدا می کنند می دهد. اگر این دستورالعمل ها توسط ربات ها کشف شوند، پارامترهای آنها به عنوان پیشنهادات قوی برای رفتار شاخص خزنده ها عمل می کنند. اما همانند فایلهای robots.txt خزنده ها مجبور نیستند دستورات متا را دنبال کنند، پس این موضوع مطمن است که برخی از روبات های مخرب وب دستورات شما را نادیده می گیرند.

در زیر پارامترهایی هستند که خزنده های موتور جستجو متوجه می شوند و بعد از آنها در دستورالعمل های روبات استفاده می شوند. پارامترها چندان حساس نیستند، اما توجه داشته باشید که ممکن است بعضی از موتورهای جستجو تنها از یک زیر مجموعه از این پارامترها پیروی کنند و یا برخی از دستورالعمل ها کمی متفاوت عمل کنند.

 شاخص گذاری و کنترل پارامترهای(Indexation-controlling parameters):

  • Noindex: به یک موتور جستجو می گوید که یک صفحه را فهرست نمی کند.
  • فهرست: برای نشان دادن یک صفحه به یک موتور جستجو عمل می کند. توجه داشته باشید که لازم نیست این متا تگ را اضافه کنید پیش فرض است
  • دنبال کنید: حتی اگر صفحه شاخص نشود، خزنده باید تمام لینک های یک صفحه را دنبال کند و صفحه اصلی را به صفحات دیگر پیوند دهد.
  • Nofollow: به یک خزنده می گوید که هر پیوند روی یک صفحه را دنبال نکند و  یا هر گونه ارتباط پیوند را رد کند
  • Noimageindex: به یک خزنده می گوید که هیچ یک از تصاویر را بر روی یک صفحه نشان نمی دهد.
  • هیچ کدام: معادل استفاده از تگ های noindex و nofollow  به طور همزمان است.
  • Noarchive: موتورهای جستجو نباید یک لینک ذخیره‌شده را به این صفحه بر روی یک SERP نشان دهند.
  • Nocache: همانطور که از ابتدای راه است، اما فقط توسط اینترنت اکسپلورر و فایرفاکس استفاده می شود.
  • Nosnippet: به یک موتور جستجو می گوید که قسمتی از این صفحه (یعنی توضیحات متا) در SERP نمایش داده نشود.
  • Noodyp / noydir [OBSOLETE]: جلوگیری استفاده از موتورهای جستجو با استفاده از توصیفDMOZ صفحه به عنوان قسمت SERP برای این صفحه است. با این حال، DMOZ در اوایل سال 2017 بازنشسته شد و این برچسب منسوخ شد.
  • Unavailable_after: موتورهای جستجو دیگر نباید این صفحه را پس از یک تاریخ خاص فهرست کنند.
همچنین بخوانید:   نام دامنه و تاثیر آن در سئو سایت برای بازاریابی کسب و کار شما در موتورهای جستجو

انواع دستورالعمل های رباتهای متا

دو نوع اصلی از دستورات رباتها وجود دارد: تگ رباتهای متا و تگ x-robots . هر پارامتری که می تواند در یک تگ ربات متا  مورد استفاده قرار گیرد می تواند در x-robots-tag نیز مشخص شود. ما در مورد هر دو روبات متا و دستورالعمل های برچسب ربات ها در زیر صحبت خواهیم کرد.

تگ ربات متا(Meta robots tag)

تگ ربات متا که معمولا به عنوان “روبات های متا(meta robots)” شناخته میشود، بخشی از کد HTML وب است و به عنوان عناصر کد در قسمت <head> یک صفحه وب ظاهر می شود.

ربات متا در وب سایت

نمونه کد:

دستورالعمل های ربات های متا

در حالی که برچسب عمومی بالا استاندارد است، شما می توانید دستورات به خزنده ها را با جایگزین کردن “روبات” با نام یک عامل کاربر خاص ارائه کنید. برای مثال برای هدایت دستورالعمل خاص به Googlebot از کد زیر استفاده می کنید:

دستورالعمل های ربات ها

آیا می خواهید از یک دستورالعمل در یک صفحه استفاده کنید؟ تا زمانی که آنها به همان ربات(عامل کاربر) هدف قرار می گیرند چند دستورالعمل می تواند در یک دستور متا گنجانده شود. فقط آنها را با کاما جدا کنید. در اینجا یک مثال است:

دستور العمل ربات های متا

این تگ به روبات ها اجازه نمی دهد که هر یک از تصاویر را بر روی یک صفحه فهرست بندی کنند، از هر لینک پیروی کنند یا قطعه ای از صفحه را در هنگام SERP نمایش دهند.

X-robots-tag

در حالی که تگ ربات متا شما را قادر به کنترل رفتار شاخص در سطح صفحه می کند، برچسب x-robots را می توان به عنوان بخشی از هدر HTTP برای کنترل شاخص سازی یک صفحه به صورت کلی و همچنین عناصر بسیار خاص یک صفحه استفاده کرد.

در حالی که شما می توانید از x-robots-tag برای اجرای تمام دستورالعمل به عنوان روبات های متا استفاده کنید، دستورالعمل x-robots-tag به طور قابل‌توجهی انعطاف‌پذیری و کارایی بیشتری را ارایه می‌دهد که برچسب متا ربات این کار را انجام نمی‌دهد. به طور خاص روبات های x اجازه استفاده از عبارات منظم، اجرای دستورات خزیدن در فایل های غیر HTML و استفاده از پارامترها در سطح جهانی را می دهد.

ربات های متا بهینه سازی سایت

برای استفاده از x-robots-tag، شما باید به هدر .php، .htaccess یا فایل دسترسی به سرور خود دسترسی داشته باشید. در آنجا نشانه گذاری x-robots-tag پیکربندی خاص سرور خود از جمله هر پارامتر را اضافه کنید. این مقاله نمونه‌هایی عالی از آن چه که نشانه‌گذاری برچسب – ربات به نظر می‌رسد در صورتی که از هرکدام از این سه پیکربندی استفاده می‌کنید را ارایه می‌دهد. در اینجا چند مورد را بیان میکنیم تا متوجه شوید چرا شما ممکن است از x-robots-tag استفاده کنید  :

  • کنترل کیفیت محتوایی که در HTML نوشته نشده است(مانند فلش یا ویدیو)
  • مسدود کردن شخص یک عنصر خاص از صفحه (مانند یک تصویر یا ویدیو) اما نه از کل صفحه خود
  • ارزیابی کنترل اگر شما به HTML صفحه دسترسی ندارید(به طور خاص به بخش <head>) یا اگر سایت شما با استفاده از یک سرصفحه جهانی که قابل تغییر نیست
  • اضافه کردن قوانین به اینکه آیا یک صفحه باید شاخص گذاری شود( مثلا اگر یک کاربر بیش از ۲۰ بار در صفحه پروفایل آن‌ها نظر داده باشد)
همچنین بخوانید:   سئو و بهینه سازی تصاویر

 بهترین شیوه های سئو با دستورالعمل های روبات ها

  • تمام دستورالعمل های متا(روبات ها و یا غیره) هنگامی که یک URL خزنده می شود کشف می شود. این بدان معنی است که اگر یک فایل robots.txt مرورگری را از خزیدن منع کند، هر دستورالعمل متا در یک صفحه(یا در HTML یا هدر HTTP) دیده نمی شود و به طور موثر نادیده گرفته خواهد شد.
  • در اغلب موارد، با استفاده از یک تگ meta-robots با پارامترهای “noindex، follow” باید به جای استفاده از فایل robots.txt غیرممکن به عنوان یک راه برای محدود کردن خزیدن یا شاخص سازی استفاده شود.
  • مهم است که توجه داشته باشیم که خزنده های مخرب به طور کامل دستورالعمل های متا را نادیده می گیرند و به همین ترتیب این پروتکل یک مکانیزم امنیتی مناسب را ایجاد نمی کند. اگر اطلاعات خصوصی دارید که نمی خواهید به طور عمومی قابل جستجو باشد، یک روش امن تر مانند حفاظت از رمز عبور را انتخاب کنید تا بازدیدکنندگان نتوانند از صفحات محرمانه بازدید کنند.
  • شما نیازی به استفاده از هر دو روبات متا و تگ x-robots در همان صفحه ندارید – انجام این کار اضافی خواهد بود.

منبع: moz.com

برچسب ها

4 دیدگاه