موتور جستجو چگونه کار می کند؟چگونه سایت شما را رتبه بندی می کنند؟

وقتی جست و جویی در یک موتور جست و جو انجام و نتایج جست وجو ارایه می شود، کاربران در واقع نتیجه ی همکاری بخش های متفاوتی از آن را می بینند. موتور جست و جو قبلا پایگاه دادهی خود را آماده کرده است و این گونه نیست که درست در همان لحظه جست و جو، تمام وب را بگردد تا پاسخی برای پرسش کاربر بیابد. بسیاری از خود می پرسند که چگونه امکان دارد گوگل در کمتر از یک ثانیه تمام سایت های وب را بگردد و میلیونها صفحه در خروجی خود لیست کند؟

در حقیقت گوگل و هر موتور جست و جوی دیگری توانایی انجام چنین کاری را ندارد. همه ی آن ها در زمان پاسخ گویی به کاربران، تنها در پایگاه داده ای که در اختیار دارند به جست وجو می پردازند و نه در همه ی وب! موتور جست و جو به کمک بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا جمع آوری، تجزیه و تحلیل می کند، آنها را در پایگاه داده اش ذخیره می نماید و به هنگام جست وجوی کاربر، تنها در همین پایگاه داده می گردد. موتور جست و جو را می توان شامل سه بخش اصلی دانست که عبارت اند از:

الف)جمع آوری کننده اطلاعات، اسپایدر(Spider)

ب)بایگانی کننده داده ها، ایندکسر(Indexer)

 ج)تحلیل گر درخواست کاربر(Query Processor)

الف) جمع آوری کننده اطلاعات

جمع آوری کننده اطلاعات(اسپایدر ، روبوت یا کراولر(Spider , Robot , Crawler)

آن بخش از موتور جست وجو است که کار جمع آوری اطلاعات مورد نیاز آن را به عهده دارد. اسپایدر به صفحات مختلف سر میزند(فضولی کردن در وب)، محتوای آنها را می خواند، اطلاعات مورد نیاز را جمع آوری می کند و در اختیار سایر بخش های موتور جست وجو قرار میدهد.

اسپایدر مشخص می کند که کدام صفحات را مورد بازدید قرار دهد. در واقع تصمیم می گیرد که کدام یک از لینک های موجود در هر صفحه را دنبال کند. ممکن است همه لینکها را دنبال کند، برخی از آنها را و یا هیچ کدام را دنبال نکند. اسپایدر، ممکن است قبلا به گونهای برنامه ریزی شده باشد که تنها صفحات خاصی از هر سایت را ببیند.

دنبال کردن لینک ها

دنبال کردن لینک های یک صفحه بستگی به میزان تمایل و توانایی موتور جست وجو در ذخیره اطلاعات یک سایت در پایگاه داده خود دارد. معمولا موتورهای جست و جو دوست دارند صفحات مهم و مورد نیاز کاربران را بایگانی کنند. این گونه صفحات نیز در سایت های مهم و محبوب بیشتر دیده می شود تا سایت های کم ارزش. دقت کنید که گفتم سایت های کم ارزش و نه سایتهای کوچک! سایت کوچک لزوما کم ارزش یا بی ارزش نیست. بعدا خواهید آموخت که چگونه سایت خود را مهم جلوه دهید حتی اگر تنها یک صفحه داشته باشد. در واقع بسیاری از سایتها نادانسته خود را بسیار کمتر از آن چه که واقعا هستند، نشان میدهند؟

اجازه مرور و خواندن محتوا

هم چنین ممکن است اجازه مرور و خواندن محتوای بعضی از صفحات به موتورهای جست وجو داده نشده باشد. شما به عنوان دارنده سایت، همان طور که دوست دارید موتورهای جست و جو اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور کنید و اجازه خواندن و بایگانی کردن محتوای آن صفحات را ندهید.

موتور جست وجو اگر مؤدب باشد؛ قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای آن را بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جست و جو به محتوای یک سایت توسط پروتکل و دستوراتی خاص انجام می شود که در بخش های بعد بررسی شده است.

کار اسپایدر، بسیار شبیه کار کاربران وب است. همان گونه که کاربران، صفحات مختلف را بازدید می کنند، اسپایدر هم درست همین کار را انجام میدهد، با این تفاوت که اسپایدر کدهای سازنده صفحات و کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را می بینند.

اما اسپایدر آن را چگونه می بیند؟

برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید، کافی است که کدهای سازنده صفحه فوق را که در ادامه آمده است، مشاهده کنید.

البته موتور جستجوگر همین را هم سیاه و سفید می بیند و نه رنگی! آیا این دنیای متنی برای شما جذاب است؟

رد پای اسپایدر به هنگام مشاهده صفحات یک سایت روی سرور آن می ماند. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص کنید که اسپایدر کدام یک از موتورهای جست و جو صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیت های مهمی که در بازاریابی با موتورهای جست وجو انجام می شود، تحلیل همین دید و بازدیدهاست.

ب) بایگانی کننده داده ها

تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به تکه های متفاوتی تقسیم می شوند. تجزیه و تحلیل به این معناست که مشخص می شود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن کدام اند، کلمات چندبار تکرار شده اند و در کجای صفحه قرار دارند، صفحه چه زمانی به روز رسانی شده است.

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. تمام داده ها تجزیه و تحلیل شده، گروه بندی، کدگذاری و ذخیره می شوند. هم چنین داده ها قبل از آن که ذخیره شوند، طبق تکنیک های خاصی فشرده می شوند تا حجم کمی را اشغال کند.

پایگاه داده موتور جستجو

یک موتور جست و جو باید پایگاه داده عظیمی داشته باشد و به طور مداوم حجم محتوای آن را گسترش دهد. بزرگی و به روز بودن پایگاه داده یک موتور جست و جو برای آن امتیاز محسوب می گردد. حجم پایگاه داده موتورهای جستجو و روش ذخیره سازی داده ها در آن، متفاوت است. زمانی رقابت شدیدی در اعلام بزرگی پایگاه داده میان موتورهای جست و جو وجود داشت. بعد از آن که گوگل دیگر به ارایه آمار پایگاه داده اش ادامه نداد، عملا رقابت به جبهه های دیگری منتقل شد. هر چند بزرگی پایگاه داده امتیاز محسوب می شود اما به نظر می رسد کیفیت در ارایه نتایج جست وجو همچنان مورد توجه ترین فاکتور برای رقابت است.

ج) تحلیل گر درخواست کاربر

 پس از انجام تمامی مراحل گفته شده، موتور جست و جو آماده پاسخ گویی به کاربران است. آنها چند کلمه را در فیلد جستوجو وارد می کنند و سپس با فشردن دکمه جست و جو، منتظر پاسخ موتور جست وجو می مانند. برای پاسخ گویی به درخواست کاربر، ابتدا تمامی صفحات مرتبط موجود در پایگاه داده، مشخص می شوند. پس از آن عمل رتبه بندی صورت می گیرد. به عبارت دیگر صفحات جمع آوری شده، از بیشترین ارتباط با کمترین ارتباط با موضوع مطرح شده، به عنوان نتایج جست و جو به کاربر نشان داده میشوند.

حتی اگر موتور جست و جو بهترین و کامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی ارایه کند، یک موتور جست و جوی ضعیف به شمار می اید. آلتاویستا زمانی مهم ترین موتور جست و جو در وب بود اما تنها به همین دلیل بازی را به گوگل تازه وارد باخت. در حقیقت سیستم رتبه بندی قلب تپنده یک موتور جست و جو است. تفاوت اصلی موتورهای جست و جو نیز در سیستم رتبه بندی می باشد.

الگوریتم

سیستم رتبه بندی برای پاسخ گویی به سؤالات کاربران، پارامترهای سیگنال های بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دهد. به این سیستم رتبه بندی، الگوریتم گفته می شود. الگوریتم، مجموعه ای از دستورالعمل هاست که موتور جست و جو با اعمال آنها بر پارامترهای(سیگنال های) صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جست و جو مرتب کند.

منبع: backlink.ir