Robots.txt چیست؟ هنگامی که موتورهای جستجو به طور مرتب از سایت شما بازدید می کنند و مطالب شما را فهرست می کنند بسیار عالی است، اما اغلب موارد زمانی است که بخش هایی از محتوای آنلاین شما مستقیما چیزی نیست که شما می خواهید. به عنوان مثال، اگر شما دو نسخه از یک صفحه داشته باشید (یکی برای مرور در مرورگر و دیگری برای چاپ)، شما ترجیح می دهید نسخه چاپی را از خزیدن حذف کنید، در غیر این صورت شما یک مجازات محتوای تکراری را دریافت می کنید(یک عامل تاثیر گذار در سئو صفحات به شمار میرود). همچنین اگر شما تصور می کنید که اطلاعات حساسی در سایت شما وجود دارد و نمی خواهید کسی آن را ببینید و ترجیح می دهید که موتورهای جستجو این صفحات را نشان ندهند.

وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند. تمامی روبات های استاندارد در اینترنت به این قوانین و محدودیت ها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روبات های اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روبات های اینترنتی دارید بهتر است از پسورد گذاری صفحات استفاده کنید.

یک راه برای گفتن به موتورهای جستجو که از نمایش فایل ها و پوشه ها در وب سایت شما اجتناب شود با استفاده از متا تگ های ربات ها است. اما از آنجایی که تمام موتورهای جستجو به عنوان metatags خوانده نمی شوند، ماتاگ Robots می تواند به سادگی غیر قابل مشاهده شود. یک راه بهتر برای اطلاع دادن به موتورهای جستجو در مورد تصمیم شما این است که از فایل robots.txt استفاده کنید.

Robots.txt یک متن (نه HTML) است که در سایت خود قرار داده اید تا به روبات های جستجو بگویید که صفحاتی هستند که مایل نیستید آنها را مشاهده کنید. Robots.txt به هیچ وجه اجباری برای موتورهای جستجو نیستند، اما به طور کلی موتورهای جستجو از آنچه که از آنها خواسته نشده است اطاعت می کند. مهم این است که مشخص شود که robots.txt راه دیگری برای جلوگیری از خزش موتورهای جستجو در سایت شما نیست (یعنی یک فایروال نیست یا نوعی از حفاظت از رمز عبور) و این واقعیت است که شما یک فایل robots.txt قرار داده اید چیزی شبیه قرار دادن یادداشت “لطفا در ورودی های نام برده وارد نشوید”.

مکان قرارگیرد فایل robots.txt

مکان robots.txt بسیار مهم است و باید در دایرکتوری اصلی باشد، زیرا در غیر این صورت عاملهای کاربران (موتورهای جستجو) قادر به پیدا کردن آن نخواهند بود. آنها کل سایت را برای فایل با نام robots.txt جستجو نمی کنند. در عوض، آنها ابتدا در دایرکتوری اصلی (به عنوان مثال http://mydomain.com/robots.txt ) نگاه می کنند و اگر آنها آن را پیدا نکنند، به سادگی فرض می کنند که این سایت فایل robots.txt ندارد. بنابراین، اگر شما robots.txt را در جای مناسب قرار ندهید، تعجب نکنید که موتورهای جستجو تمام سایت شما را فهرست می کنند.

مفهوم و ساختار robots.txt بیش از یک دهه پیش توسعه داده شده است و اگر شما علاقه مند به کسب اطلاعات بیشتر در مورد آن هستید، به وب سایت robots.txt مراجعه کنید.

ساختار فایل Robots.txt

ساختار robots.txt بسیار ساده است (و به سختی انعطاف پذیر) – این فهرست بی نهایت از عامل های کاربر و فایل ها و دایرکتوری های مجاز است:

• user-agent (عامل کاربر)
• disallow (نادیده گرفتن)

User-agent نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد و dissallow برای اینکه به خزنده ها بگوید ورود به این مکان ها غیرقانونی است (دستور Disallow به ربات‌ها می‌گوید که چه فولدرهایی از سایت شمارا نباید بررسی کنند). علاوه بر ورودیهای “user-agent:” و “disallow:”، میتوانید خطوطی را به صورت کامنت اضافه کنید. (با قرار دادن علامت # را در ابتدای خط)

برای مثال اگر مایل نیستید موتورهای جستجو، تصاویر سایت شمارا ایندکس کنند، می‌توانید تمام تصاویر سایت را درون یک پوشه در هاستینگ خود قرار دهید و از دسترس موتورهای جستجو خارج سازید. فرض کنیم که تمام این تصاویر را به درون فولدر “Photos” منتقل کرده‌اید. برای آنکه به موتورهای جستجو بگویید که این تصاویر را ایندکس نکند، باید دستوری مانند زیر را بنویسید:

دستور Allow به شما امکان می‌دهد تا به ربات گوگل بگویید که اجازه مشاهده یک فایل، در فولدری که Disallowed شده را دارد. برای درک بهتر این دستور، اجازه بدهید که از مثال قبلی استفاده کنیم :

تصور کنید درون پوشهٔ photos ما که در هاستینگ سایت قرار دارد، تصویری به نام seo.png وجود دارد که می‌خواهیم Googlebot آن را ایندکس کند. با استفاده از دستور Allow می‌توانیم به ربات گوگل بگوییم که این کار را انجام دهد:

برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم :

برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید :

توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند.

هنگامی که شما شروع به ساخت فایل های پیچیده، یعنی شما تصمیم می گیرید که به عامل های مختلف کاربر دسترسی داشته باشید مشکلات می توانند شروع شوند، اگر شما توجه خاصی به تله های یک فایل robots.txt نداشته باشید. اشتباهات رایج شامل اشتباهات و دستورالعمل های متناقض است.

موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد که معروفترین آنها با نام Googlebot شناخته می شود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد. روبات Gogglebot-image نیز مسئول بررسی تصاویر سایت ها و ایندکس کردن آنها می باشد.

مثالی از یک فایل robots.txt :

با توجه به نحو ساده ی یک فایل robots.txt، شما همیشه می توانید آن را بخوانید تا ببیند آیا همه چیز خوب است یا خیر، اما می توانید از این سایت اعتبار سنج robots.txt استفاده کنید.

در این موارد، هنگامی که یک فایل robots.txt پیچیده دارید، به عنوان مثال شما دستورالعمل های مختلفی برای عوامل مختلف کاربر ارائه می دهید و یا لیستی از دایرکتوری ها و زیر شاخه ها را در اختیار ندارید، نوشتن فایل به صورت دستی می تواند یک درد واقعی باشد. اما نگران نباشید ابزارهایی وجود دارند که فایل را برای شما ایجاد می کنند.

یکی از عوامل بسیار مهم در seo و الگوریتم موتور جستجو گوگل مانند عوامل موثر دیگری مانند بک لینک ، محتوا و…، سن نام دامنه است. دامنه هایی که طول عمر بالایی دارند نمره رکورد بالاتری در گوگل به خود اختصاص می دهند.

به طور مثال، در جهان کسب و کار می بینیم که در حالی یک فروشگاه جدید در شهر با نوآوری هایی تاسیس می شوند، ولی با اینحال مردم اعتماد بیشتری به کسب و کاری که برای مدت طولانی ایجاد شده اند بیش از یک کسب و کار جدید است. همین امر برای وب سایت ها هم صدق می کند.

دو مورد که در سن نام دامنه در نظر گرفته می شود عبارتند از:

• سن وب سایت
• طول زمان دامنه ثبت شده

طول عمر دامنه از زمانی است که ما نام آن دامنه را ثبت می کنیم و طول عمر وب سایت زمانی است که بر روی یک دامنه یک وب سایتی را آپلود می کنیم و درون آن محتوا و مطالب خود را بارگذاری می کنیم.

در آخرین بروزرسانی گوگل که جستجوگرها با نام Jagger Update آن را می خوانند، برخی از تغییرات بزرگ دیده شده، اهمیت دادن به سن است، سن لینک های ورودی، سن محتوای وب و تاریخ ثبت دامنه می باشد. در واقع چیزهای زیادی وجود دارد که در این آخرین به روز رسانی تغییر یافتند، اما از آنجایی که ما در مورد سن دامنه صحبت می کنیم تنها با این مسئله خاص برخورد می کنیم. ما در مقالات دیگر در مورد عوامل دیگر که می خواهید اطلاع داشته باشید به طور مثال از اینکه گوگل در معیارهای ارزیابی وب سایت های خود در اینترنت تغییر کرده است، بیشتر صحبت خواهیم کرد.

یکی از راه هایی که گوگل برای کمینه کردن اسپم موتور جستجو استفاده می کند، دادن وب سایت های جدید به یک دوره انتظار ۳ تا ۴ ماه قبل از دادن هر گونه رتبه (PageRank) می باشد. از آن به عنوان “sandbox effect” اشاره شده است، دلیل آن این است که گوگل میخواهد ببیند آیا این سایت ها در مورد ماندن در اینترنت جدی هستند یا خیر. sandbox effect برای پرتاب همه سایت های جدید به یک گودال و اجازه دادن به رقابت آنها با یکدیگر، دور از همه سایت های بزرگ است. سپس، هنگامی که سایت های جدید رشد می کنند، به این ترتیب، آنها مجاز به ورود به طبقه بندی بزرگسالان می شوند.

برای کسانی که از وب سایت های جدید استفاده می کنند، ممکن است در با شنیدن این خبر ناامید شوند، اما نگران نباشید، بعضی کارهایی می توانید انجام دهید تا دوره گودال sandbox effect به پایان برسد، مانند تمرکز بر استراتژی های پشتیبان خود، تبلیغ سایت خود را از طریق پرداخت در google adwords، مقالات، RSS ها و یا روش های دیگر، با این اقدامات می توانید خود را با PageRank بزرگ شروع کنید!

گرچه سن دامنه یک عامل است، اما منتقدان معتقدند که این معیاردر الگوریتم موتورهای جستجو وزن کمی دارد. از آنجا که سن دامنه شما چیزی است که شما روی آن کنترل ندارید، لزوما به این معنی نیست که سایت شما به خوبی در صفحه نتایج موتورهای جستجو (SERPs) رتبه بندی نخواهد شد و به این معنی است که شما باید سخت کار کنید تا محبوبیت سایت خود را بالا ببرید و تمرکز کنید بر عواملی که می توانید کنترل کنید، پیوندهای ورودی و نوع محتوایی را که در وبسایت شما ارائه میدهید، در این زمینه بسیار مهم است.

چندین چیز وجود دارد که می توانید انجام دهید تا اطمینان حاصل کنید که سایت شما به علت سن دامنه از دست نرفته است:

1. اطمینان حاصل کنید که نام دامنه خود را برای طولانی ترین زمان ممکن ثبت کنید. بسیاری از ثبت کننده ها به شما اجازه می دهند یک نام دامنه را تا پنج سال، و حتی حتی بیشتر به ثبت برسانید. ثبت دامنه خود را برای یک دوره زمانی طولانی نشان می دهد که سایت شما قصد دارد در مدت زمان طولانی در دنیای وب باشد و پس از چند ماه ناپدید نخواهد شد. این کمک می کند تا نمره خود را با توجه به سن دامنه خود افزایش دهید.
2. دامنه مورد نظر خود را حتی قبل از اینکه مطمئن باشید که می خواهید وب سایت داشته باشید به ثبت برسانید. این کار باعث می شود نام دامنه مربوط به برند شما در اختیار خودتان باشد و کس دیگری آن دامنه را مال خود نکند و بعد ها که قصد راه اندازی سایت با نام برند خود را داشتید به مشکل نخورید و اینکه طول عمر دامنه شما بالا می رود.
3. خرید دامنه های مرتبط با طول عمر بالا و page rank بالا، این کار نه تنها به شما این امکان را می دهد که از اثر “sandbox effect” یک وب سایت جدید در گوگل جلوگیری کنید، بلکه به شما اجازه می دهد تا PageRank ان را به دامنه اختصاص دهید. توجه داشته باشید که بیشتر دامنه های از پیش ثبت شده با PageRank ارزانی یک دامنه جدید نیستند، اما ممکن است ارزش آن را برای شما داشته باشید که در ابتدا کمی پول بیشتری سرمایه گذاری کنید.

از آنجایی که سایت های قابل اعتماد می بایست موجی از آینده باشند، فاکتور در سن دامنه یک ایده خوب است.

بی تردید کیفیت بک لینک ها برای موفقیت SEO اهمیت دارد. بیشتر، سوال این است که چگونه آنها را دریافت کنید. در حالی که با بهینه سازی محتوای صفحات به نظر می رسد راه ساده تری است(زیرا همه چیز به شما بستگی دارد) ولی با لینک ها به نظر می رسد که شما باید به دیگران متکی باشید تا برای موفقیت خود کار کنید.

خوب این تا حدی درست است، چرا که در حالی که بک لینک ها، لینک هایی هستند که در سایت دیگری شروع می شوند و به شما اشاره می کنند. شما می توانید با یک وب مستر در رابطه با جزئیات سایت مثل anchor text ها صحبت کنید. شما کنترل کامل بر لینک ها ندارید، اما هنوز جنبه های زیادی وجود دارد که می تواند مورد مذاکره قرار گیرد.

گرفتن بک لینک ها به روش طبیعی

ایده پشت بک لینک ها به عنوان بخشی از الگوریتم رتبه بندی صفحه این است که اگر یک صفحه خوب باشد، مردم شروع به اتصال به آن می کنند اما در عمل دقیقا اینطور نیست یا حداقل شما همیشه نمی توانید به این واقعیت اطمینان داشته باشید که محتوای شما خوب است و افراد به شما پیوند خواهند داد.

بله، اگر محتوای شما خوب و مناسب باشد، می توانید تعداد زیادی از لینک های با کیفیت را از جمله سایت هایی با موضوع مشابه به نام خود دریافت کنید (و این ها با ارزش ترین نوع لینک ها هستند، به ویژه اگر متن حاوی کلمات کلیدی شما باشد) و آنچه شما دریافت می کنید بدون تلاش به گرفتن بک لینک می تواند بهترین بک لینک ها را به سمت سایت شما روانه کند تا با موفقیت سایت خود را ارتقا دهید. اگر در تولید محتوای بسیار عالی و کاربر پسند موفق نبودید بنابراین، مجبور خواهید بود به روش های دیگر برای به دست آوردن بک لینک های با کیفیت که به شرح زیر است اقدام کنید.

راه هایی برای ساختن بک لینک

از جمله روش های قابل قبول، ساخت لینک ها در دایرکتوری ها، ارسال در انجمن ها، وبلاگ ها و دایرکتوری های مقاله است. راه های غیر قابل قبول عبارتند از پیوند بین (اتصال از یک سایت به سایت دیگری که متعلق به همان مالک است یا عمدتا به منظور هدف قرار دادن یک مزرعه لینک است)، ارتباط با سایت های اسپم یا سایت هایی که هر گونه محتوای غیرقانونی را میزبانی می کنند، خرید بک لینک ها به صورت فله، لینک دادن به مزارع لینک و غیره

اولین گام در ایجاد لینک ها یافتن مکان هایی است که می توانید لینک های با کیفیت را دریافت کنید. بعد از یافتن این مکان ها شما کلمات کلیدی مورد نظر خود را وارد می کنید و توسط یک مقاله، پیام، ارسال پست ودر آن ها به سادگی یک لینک به سایت خود ارسال کنید.

شما ممکن است تعجب کنید که چرا این سایت ها چنین دارایی ارزشمندی را به عنوان بک لینک به صورت رایگان در اختیار شما قرار می دهند؟ پاسخ ساده است، آنها نیاز به محتوا برای سایت خود دارند. شما برای آنها را به صورت رایگان به چیزی که نیاز دارند فراهم می کنید و در عوض آنها نیز به شما رایگان به چیزی که شما نیاز دارید (لینک های با کیفیت) فراهم می کنند.

قرار دادن لینک سایت درون دایرکتوری ها

اگر شما در مورد حضور وب سایت خود جدی هستید، فهرست شدن در دایرکتوری ها مانند  yahooo ، jasmine و سایر دایرکتوری های با کیفیت، ضروری است. نه تنها به این دلیل که این راهی است برای دریافت برخی از لینک های با کیفیت به صورت رایگان، بلکه همچنین به این دلیل که این راه به راحتی توسط هم موتور جستجو و هم بازدید کنندگان بالقوه قابل توجه است.

انجمن ها(forums) و دایرکتوری های مقاله(Article directories)

به طور کلی قراردادن بک لینک در پست های انجمن ها و وبلاگ ها نیز یک راه برای دریافت بک لینک های با کیفیت با متن لنگر(anchor text) شما خواهد بود. با این وجود، در بعضی موارد مدیر انجمن یا وبلاگ میتواند پست شما را ویرایش کند یا حتی آن را حذف کند، در صورتی که با سیاست وبلاگ مطابقت نداشته باشد. همچنین، گاهی اوقات مدیران لینک ها را در پست ها مجاز نمی کنند، مگر اینکه آنها مرتبط باشند. در بعضی موارد نادر (که بیشتر از یک قانون استثنا است) مالک یک انجمن یا وبلاگ موتورهای جستجو را از فهرست آن ممنوع کرده و در این صورت ارسال لینک ها بی فایده است.

در حالی که پست های انجمن می توانند کوتاه باشند و تلاش زیادی نکنند، ارائه مقالات به دایرکتوری ها می تواند زمان بیشتری داشته باشد، زیرا معمولا مقاله ها طولانی تر از پست ها هستند و هنگام نوشتن آنها نیاز به تفکر دقیق دارند.

تبادل محتوا و برنامه های وابسته

تبادل محتویات محتوای سایت و برنامه های وابسته شبیه به روش قبلی دریافت لینک های با کیفیت است. به عنوان مثال، شما می توانید به سایت های علاقه مند، RSS را به صورت رایگان ارائه دهید. هنگامی که سایت دیگر RSS خود را منتشر می کند، یک لینک به سایت شما ارسال می شود و به طور بالقوه تعداد زیادی از بازدید کنندگان، به سایت شما برای دیدن جزئیات بیشتر در مورد سرفصل که در سایت دیگر خواندند، می آیند.

استفاده از اطلاعیه ها در مطبوعات

اگر چه این به سختی یک راه روزمره برای ایجاد لینک هاست، اما رویکردی است که اگر به درستی انجام شود، نتایج خوبی به دست می دهد. سایت های بسیاری وجود دارند که به طور رایگان یا پرداخت هزینه اعلامیه های خبری و اطلاعیه برای مطبوعات منتشر می کنند.انتشار یک اطلاعیه مطبوعاتی حرفه ای در مورد یک رویداد مهم می تواند بسیاری از بازدیدکنندگان را به سمت سایت شما جلب کند و یک بک لینک از یک سایت مطبوعاتی معتبر به شما کمک خوبی برای تلاش های SEO می کند.

اجتناب از برنامه های لینک سازی

یکی از شیوه هایی که باید اجتناب شود تبادل لینک است. برنامه های زیادی وجود دارند که به تبادل بک لینک ها کمک می کنند. این اصل ساده است،  شما یک لینک را به یک سایت اضافه می کنید، آنها نیز بک لینک خود را در سایت شما قرار می دهند. چندین چیز مهم درباره برنامه های تبادل لینک وجود دارد. اول، در مورد رابطه بین لینک های خروجی و ورودی مراقب باشید. دوم (و مهمتر) خطر این است که شرکای تبادل لینک شما سایت های اسپم لینک سازی باشند. در صورتی که اگر این مورد باشد، شما حتی می توانید از نتایج موتورهای جستجو حذف شوید، بنابراین برنامه های تبادل لینک بسیار خطرناک است و اصلا توصیه نمی شود.

سئو چیست ؟ هر زمان که شما یک عبارتی را در یک موتور جستجو سرچ کنید، لیستی از نتایج وب را که حاوی آن عبارت پرس و جو است، دریافت خواهید کرد. کاربران معمولا مایل به بازدید از وب سایت هایی هستند که در بالای این لیست قرار دارند. اگر تا به حال فکر کرده اید که چرا بعضی از این وب سایت ها بهتر از دیگران رتبه بندی می شوند، باید بدانید که این به دلیل یک روش بازاریابی وب قدرتمند به نام SEO (Search Engine Optimization) است.

SEO یک تکنیک است که به موتورهای جستجو کمک می کند وب سایت خود را بالاتر از میلیون ها سایت دیگر در پاسخ به یک پرس و جو جستجو پیدا کند و سایت شما را رتبه بندی کند. SEO به این ترتیب به شما کمک می کند از موتورهای جستجو ترافیک دریافت کنید.

این آموزش SEO شامل تمام اطلاعات لازم شما را در مورد بهینه سازی موتورهای جستجو است، اینکه چگونه کار می کند و تفاوت در معیارهای رتبه بندی موتورهای جستجو عمده چیست

چگونه موتورهای جستجو کار می کنند

اولین نکته اساسی که شما باید بدانید برای یادگیری جستجوگرها این است که موتورهای جستجو انسان نیستند. در حالی که این ممکن است برای همه واضح باشد، تفاوت بین اینکه چگونه انسانها و موتورهای جستجو صفحات وب را مشاهده می کنند. بر خلاف انسان، موتورهای جستجو متنی هستند. با وجودی که تکنولوژی به سرعت در حال پیشرفت است، موتورهای جستجو به دور از موجودات هوشمند هستند که می توانند زیبایی یک طراحی را احساس کنند یا از صداها و حرکت در فیلم لذت ببرند. در عوض، موتورهای جستجو، وب سایت ها را مرور می کنند، به دنبال موارد خاص سایت (به طور عمده متن) برای دریافت ایده هایی درباره سایت میگردند.

نخست، موتورهای جستجو در اصطلاح در وب میخزند برای دیدن آنچه که در آن وجود دارد. این وظیفه توسط یک قطعه نرم افزاری انجام می شود، به نام خزنده یا عنکبوت یا (Googlebot، همانطور که در مورد گوگل است). عنکبوت لینک ها را از یک صفحه به صفحه دیگر پیوند می دهد و همه چیزهایی را که در مسیر آنها پیدا می کنند، فهرست می کند. با در نظر گرفتن تعداد صفحات در وب (بیش از ۲۰ میلیارد)، عنکبوت غیرممکن است که روزانه یک سایت بازدید کند تا ببینید آیا صفحه جدید ظاهر شده است یا اینکه یک صفحه موجود تغییر کرده است یا نه.

آنچه شما می توانید انجام دهید این است که چک کنید چه چیزهایی را از سایت شما می بیند. همانطور که قبلا ذکر شد، خزنده ها انسان نیستند و آنها تصاویر، فیلم های فلش، جاوا اسکریپت، فریم ها، صفحات و پوشه های محافظت شده با رمز عبور و پوشه ها را نمی بینند، در یک کلمه آنها برای موتورهای جستجو وجود نخواهد داشت.

گام بعدی index است که وقتی صفحه ای index می شود محتوای آن صفحه در یک پایگاه داده غول پیکر ذخیره می شود، در جایی که بعدا می توان آن را بازیابی کرد. اساسا روند پردازش، شناسایی کلمات و عبارات است که بهترین توصیف را از صفحه و اختصاص دادن صفحه به کلمات کلیدی خاص است. یک انسان نمی تواند چنین مقدار اطلاعاتی را پردازش کند، اما به طور کلی موتورهای جستجو به این طریق کار می کنند. گاهی اوقات ممکن است معنای یک صفحه درست را بدست آورند، اما اگر به آنها با بهینه سازی صفحات کمک کنید، به راحتی می توانید صفحات خود را به درستی طبقه بندی کرده و برای شما رتبه بندی بالاتر را بدست آورید.

هنگامی که یک درخواست جستجو می آید، موتور جستجو آن را پردازش می کند، یعنی رشته جستجو را با صفحات نمایه شده در پایگاه داده مقایسه می کند. از آنجا که احتمال دارد که بیش از یک صفحه (عملا میلیون ها صفحه باشد) شامل رشته جستجو است، موتور جستجو محاسبه ربط هر یک از صفحات در فهرست خود را با رشته جستجو شروع می کند.

الگوریتم های مختلف برای محاسبه ربط وجود دارد. هر کدام از این الگوریتم ها دارای وزن نسبی متفاوت برای عوامل رایج مانند چگالی کلمات کلیدی، پیوند ها یا متا تگ ها هستند. به همین دلیل است که موتورهای جستجو مختلف صفحات نتایج جستجوی مختلف را برای رشته جستجوی مشابه ارائه می دهند. علاوه بر این، یک واقعیت شناخته شده است که تمام موتورهای جستجوی عمده مانند یاهو، گوگل، بینگ و غیره به طور مرتب الگوریتم های خود را تغییر می دهند و اگر می خواهید صفحات خود را در بالا نگه دارید، همیشه باید صفحات خود را با آخرین تغییرات سازگار کنید.و اگر می خواهید همواره صفحات شما نسبت به دیگر رقبای شما در نتایج در رتبه های بالاتری قرار بگیرند باید تلاش های دائمی برای جستجوگرها را انجام دهید.

تفاوت بین موتورهای جستجو بزرگ

اگر چه اصل اساسی همه موتورهای جستجو یکسان است، تفاوت های جزئی بین آنها منجر به تغییرات عمده در نتایج مرتبط می شود. برای موتورهای جستجو متفاوت، عوامل مختلفی مهم هستند. زمان هایی وجود داشت که کارشناسان SEO به این نتیجه رسیدند که الگوریتم های بینگ به طور عمدی طوری ساخته شده است که فقط مخالف گوگل است. در حالی که این ممکن است جزئی از حقیقت باشد، واقعیت این است و اگر شما قصد دارید بیش از یکی از آنها را فتح کنید، باید با دقت خیلی زیاد وب سایت خود را بهینه سازی کنید.

نمونه های زیادی از تفاوت بین موتورهای جستجو وجود دارد. به عنوان مثال، برای یاهو و Bing، فاکتورهای کلیدی روی صفحه اهمیت اساسی دارند، در حالی که لینک ها برای Google بسیار مهم هستند. همچنین، برای گوگل قدمت سایت ها بسیار مهم است، در حالی که این مورد برای اهمیتی ندارد.