Sitemap и robots.txt для блогов на Blogger (Blogspot) — как это сделать

Платформа для блогов — Blogger (Blogspot) считается профессиональной. А с недавних пор, как Google добавил туда функции «Описание для поисковых систем», возможность вставлять в код ссылки теги target=»_blank» и rel=»nofollow» а также сделать то, о чем речь пойдет ниже, то не осталось ни одной, сколь нибудь весомой причины, по которой не нужно использовать эту блог-платформу. Как говорится, «Если вам не нравятся кошки, то это потому, что вы не умеете их готовить!» 

Итак, по порядку.

Карта сайта нужна. Аксиома, не требующая доказательств. Если хотите, чтобы ваш блог лучше индексировался, то нужно иметь и карту сайта, и robots.txt Иначе поисковый робот встанет перед дилеммой, как богатырь в картинке

(Кстати, очень советую воспользоваться советами из поста Как улучшить индексацию блога)

И если на WordPress с созданием карты все относительно просто, то с Blogger (Blogspot) до недавних пор было не все так просто.

Различают карты сайта для поисковых роботов и карты сайта для людей.

Так вот, если говорить про карту сайта для роботов, то тут все оказывается до смешного просто. Достаточно лишь к ссылке на ваш блог дописать /sitemap.xml чтобы ссылка на карту вашего блога выглядела вот в таком виде: http://rsolovyov.blogspot.com/sitemap.xml и ваша карта сайта уже сгенерирована! Blogger уже давно использует  автогенерацию sitemap.xml, и там перечислены все посты (URL) блога с датой последней модификации.  Поэтому больше не надо ломать голову, какую ссылку скормить поисковикам на карту сайта. Я даже не буду описывать сейчас те ухищрения, на которые приходилось прибегать раньше. Словом, теперь везде, где нужно прописать ссылку на карту, просто пишете в том виде, как я привел выше. И проблема решена.

Ну а если говорить про карту сайта для людей, то тут придется немного поработать ручками. Это не страшно. Но нужно быть внимательным.

Заходим в админку блоге, во вкладку «Страницы» => «Создать»).  Создаем новую страницу, называем ее, например, Карта блога.

Затем переходим в режим HTML  и вставляем вот такой код:

<link href=»http://abu-farhan.com/script/acctoc/acc-toc.css» media=»screen» rel=»stylesheet» type=»text/css»></link>
<script src=»http://abu-farhan.com/script/acctoc/daftarisiv2-pack.js»></script>
<script src=»http://rsolovyov.blogspot.com/feeds/posts/summary?max-results=1000&alt=json-in-script&callback=loadtoc»></script>
<script type=»text/javascript»>
var accToc=true;
</script>
<script src=»http://abu-farhan.com/script/acctoc/accordion-pack.js» type=»text/javascript»></script>

и будьте внимательны: в коде из таблицы мое доменное имя rsolovyov нужно заменить на Ваше!

Сохраните изменения, опубликовав страницу и у вас будет отображаться на этой странице «Карта блога» нечто похожее на мое:

Ну а теперь, когда мы создали карты сайта и для роботов, и для читателей, то нужно дать знать об этом поисковикам. В первую очередь нужно сообщить поисковому роботу о том, что ему индексировать, через информацию в файле robots.txt Но как быть, ведь создать и загрузить по FTP такой файл невозможно — домен 3-го уровня и платформа бесплатная. Но Google решил и эту задачу!

Заходим в админке блога в НАСТРОЙКИ => Настройки Поиска => и включаем «Пользовательский файл robots.txt»

Внимание! Некорректное использование этих функций может привести к тому, что ваш блог не будет индексироваться поисковыми системами.

Затем вам нужно прописать, что именно вы хотите разрешить или запретить для индексации.

И тут я хочу сделать небольшое, так сказать лирическое отступление.  Практически все авторы блогов на этой платформе не вносили сюда никаких изменений! А зря! Вот что обычно стоит по умолчанию в этом месте:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://rsolovyov.blogspot.com/feeds/posts/default?orderby=UPDATED

А вот что должно стоять после: (вот этот код вам нужно скопировать и вставить. Только опять же,  замените мое rsolovyov на ваше.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://rsolovyov.blogspot.com/sitemap.xml

Ну а теперь, надо сообщить о том, что у вас теперь на блоге есть и карты сайта, и файл robots.txt основным инструментам для веб мастеров: в Яндексе,  в Google, в Bing, в Mail.ru и пожалуй, это может быть темой следующего, отдельного, поста.