Як Google індексує ваш веб-сайт?
Давайте для початку визначимося з основними поняттями, і про те, що ми будемо розглядати в цій статті?
Бот (англ. bot) є частиною програмного забезпечення пошукової системи, мета якого – знайти і пройти по кожній сторінці вашого сайту, класифікувати її за певними ознаками і помістити в MySQL базу Google.
На даний момент Google має таких добре відомих вам ботів:
1) Adsense Bot
2) Freshbot
3) DeepCrawl
Adsense Bot, як ви могли, напевно, здогадатися, використовується для вебмайстрів, які мають рекламні блоки Adsense на своїх сайтах. Як тільки з’являється нова сторінка на вашому сайті, потрібний скрипт в межах коду Adsense посилає повідомлення боту -Adsense Bot, і в протягом 10-20 хвилин, він почне індексувати сторінку сайту, для того щоб показувати найбільш релевантні оголошення.
Якщо вас не цікавить Adsense Bot, переходимо до наступних, найбільш важливим ботам – DeepCrawl і Freshbot.
Freshbot виконує завдання сканування найбільш популярних сторінок на вашому сайті. Не має значення, це одна сторінка або декілька тисяч. Такі великі сайти, як DIGG.com і YouTube.com мають кілька сотень тисяч сторінок, які скануються кожні п’ять хвилин, і все тому, що Google відслідковує сайти з високим ступенем змін вмісту. Відомо, що ці сторінки мають велику кількість частих змін. Будь Google повільніше, сторінки втратили б свою актуальність. Звичайний сайт з більш-менш оновлюваним контентом, може розраховувати на те, що Freshbot відвідає його до 14-ти днів, в залежності від того, як популярні ці сторінки.
Що відбувається з вашим сайтом, коли його відвідує Freshbot?
Він сканує сторінки, починаючи з головної і проходить все глибше в ваш сайт. Потім він поміщає знайдені посилання в MySQL базу (бази даних). Так що, коли DeepCrawl навідується ваш сайт, він знає які посилання є на ньому.
Приблизно раз на місяць, DeepCrawl відвідує ваш сайт і переходить по всіх посиланнях, які були знайдені Freshbot. Це і є та причина, чому індексування вашого сайту в Google може зайняти до одного місяця. Не рятує навіть додавання карти сайту.
У підведенні підсумків, хочу сказати, що будьте терплячі і продовжуйте поповнювати свій сайт цікавою і потрібною інформацією. Працюйте на одержання цінних і якісних посилань з поважних порталів і Google, неодмінно віддасть вам за це!
Стаття надана сервісом щодо аналізу сайту і рекомендується до прочитання вебмайстрам та оптимізаторам.