Створюємо Файл Оптимальний Robots.txt Для Blogger

Можна тільки порадіти і пишатися останніми нововведеннями і роботою провідних фахівців платформи Blogger. Молодці, хлопці! Особисто для мене великою радістю стала можливість роботи зі сторінкою 404, файлом robots.txt. Ви не уявляєте, як я заздрив блогерам, які ведуть блоги на платформі WordPress? На цьому дивовижному барахлишке: помилка 404, файл robots.txt – вони вже, напевно, не одну собаку з’їли, а нам доводилося тільки облизуватися)) Але, як кажуть, дарованому коню в зуби не дивляться, раз вже вибрав Blogger.
Файл robots.txt – це звичайний текстовий документ з розширенням txt, в якому прописані інструкції для пошукачів: дозволити або заборонити індексацію певних частин блогу – і який знаходиться в кореневій папці сайту за адресою http://ваш-домен.ру/robots.txt.
Раніше дістатися до цієї папки не було ніякої можливості. Тепер ви можете на свій розсуд доопрацювати, доповнити цей файл. За замовчуванням у мене, наприклад, файл robots.txt мав таку структуру:
User-agent: Mediapartners-Google
Disallow:
User-agent:: *
Disallow: /search
Allow: /
Sitemap:
Значення даних термінів: User-agent: Mediapartners-Google – юзер агент пошукового робота Adsense;
Disallow – заборона доступу робота до певного каталогу блогу. Визначення Disallow по Яндексу: “Ця директива використовується для заборони від індексування окремих розділів сайту. З її допомогою необхідно закривати від індексації технічні та не представляють цінності ні для особи, ні для пошукових систем сторінки. До них відносяться сторінки з результатами пошуку по сайту, статистика відвідуваності сайту, дублікати сторінок, різноманітні логи, сервісні сторінки баз даних і т. д.”: User-agent: * – агент всіх роботів; Allow – дозвіл доступу.
Наведу приклад такої структури:
User-agent: *
Disallow: / – така комбінація заборонить доступ всіх роботів до всього вмісту блогу.
Директива Allow навпаки відкриває доступ.
Allow:/ – дозволяє індексувати, наприклад, карту блогу (див. нижче).
Так само у файлі robots.txt за замовчуванням шлях до карти блогу – Sitemap. Це XML-файл з інформацією для пошукових машин про сторінках сайту, які підлягають індексації. Файл Sitemap полегшує пошуковикам знаходження сторінок.
А так визначає Sitemap сам Яндекс: “Для зручності вебмайстрів та пошукових систем був розроблений спеціальний формат карти сайту — sitemap. Це список посилань на внутрішні сторінки сайту, представлений у форматі XML. Цей формат підтримує і Яндекс. У спеціальному розділі сервісу можна завантажити sitemap для вашого сайту. Це дозволить впливати на пріоритет обходу роботом деяких сторінок вашого сайту. Наприклад, якщо якісь сторінки оновлюються набагато частіше, ніж інші, слід вказати цю інформацію, щоб робот Яндекса правильно планував свою роботу”.
Створюємо файл оптимальний robots.txt для Blogger.
Заходимо в налаштування, далі в налаштування пошуку і у рядку “власний файл robots.txt” натискаємо на “змінити”.
Відкриється інше вікно з вибором використання, в якому ажимаем “так”.
Відкриється форма, яку можна заповнити слиста або скопіювати заздалегідь приготований в блокноті текст.
У підсумку я, наприклад, додав файл в один рядок, що виключає архів з індексації і у мене вийшов, на мій погляд, оптимальний файл robots.txt:
Повністю файл виглядає так:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /*archive
Allow: /
Sitemap:
Зберігаємо зміни і чомусь радіємо))
Інші пункти я залишила, як є. Хоча, наприклад, у блогу Сергія Мазураша «Все геніальне просто» Sitemap виглядає інакше. Структура його файлу robots.txt така:
User-agent: *
Disallow: /search
Allow: /
Sitemap:
Може теж прибрати зайве і змінити Sitemap? Треба буде у нього запитати про те, які відбулися зміни у індексації зі зміною Sitemap?
До речі, як змінити персоналізовані теги robots для заголовків, можна почитати у нього в статті “Як налаштувати теги robots для заголовків Blogger”.
І ще один показовий приклад зміни файлу robots.txt в блозі “Шпаргалка блогера”. Файл виглядає таким хитромудрим чином:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /
Disallow: /rpc_relay.html
Disallow: /p/soderzhanie.html
Disallow: /2010/09/s-nulya-do-znatoka-internet.html Disallow: /2012/02/soderzhanie1.html
Allow: /*.html$
Allow: /$
Allow: /feeds/posts/default?orderby=updated$
Sitemap:
Про все, що означає ця символіка можна почитати в пізнавальній статті “Дублювання контенту”.
У будь-якому випадку, зараз з’явилася можливість вносити зміни в структуру сайту на платформі Blogger і це, повторюся, дуже і дуже здорово!
Ваш Данидар