29.09.2014

Ускорение индексации через пинг в WMT

Самый верный способ ускорить индексацию сайта (web страницы) в Google описан ниже.
wmt
Данный способ самый простой, абсолютно бесплатный и легальный. С помощью пары кликов мыши можно загнать страницу вашего сайта в индекс поисковой системы Google буквально за 5 минут. Обратите внимание, загнать в индекс можно только страницу своего собственного сайта, который зарегистрирован в системе «Инструменты для веб-мастеров». Если вашего сайта там нет, то обязательно добавьте его, для понятного взаимодействия с данной поисковой системой.


К сожалению этот метод не подойдет для индексации страниц и сайтов не принадлежащих вам и не зарегистрированных в «Инструментах для веб-мастеров»
Итак, чтобы ускорить индексацию необходимо:
  1. Зайти в инструменты для вебмастеров
    http://www.google.com/webmasters/
  2. Выбрать ваш сайт, страницу которого вы хотите отправить в индекс
  3. Зайти в меню Сканирование — Посмотреть как Googlebotвыбрать сайт
  4. Ввести в поле адрес страницы, которую хотите добавить в индекс (если главная, оставить пустым) и нажать кнопку «получить содержание»посмотреть как Googlebot
  5. Подождать несколько секунд, страница перезагрузится и напротив добавленного url появится кнопка «отправить в индекс»кнопка отправки в индекс
  6. Нажимаем кнопку «Отправить в индекс» и после этого в окне переключаем галочку на «URL и все связанные страницы» (впрочем можно и оставить только url)отправить в индекс
  7. Нажимаем кнопку «Ок»
Таким образом мы формируем ручной запрос (пинг) на сканирование нашего сайта роботом Гугла. Обратите внимание, что количество запросов ограничено, если мы добавляем url то запросов всего 500, а если мы добавляем url и все связанные страницы то в нашем распоряжении есть только 10 запросов.
Если вы хотите добавить в индекс новый сайт целиком, то стоит просто напросто пропинговать 10 (или меньше) самых основных страниц, на которых расположены ссылки на внутренние страницы сайта. Это может быть пару страниц каталога, категории, блога, архива и все. Направив сюда робота, он успешно съест все остальные страницы, доступные по ссылкам с тех, которые пропингованы и все основные страницы попадут в индекс. Остальные внутренние страницы, которые найдет робот не будут добавлены мгновенно, но будут поставлены в очередь на индексирование и попадут в индекс в скором времени.
Если же вы написали статью в блог и хотите ускорить ее индексацию, то лучше оставить запрос только данного url без связанных страниц.
Обратите внимание, что Гугл не гарантирует индексацию страницы после таких запросов.
По личному опыту хочу добавить, что очень хорошо и быстро сканируется новый и свежий контент, а также контент в котором были какие-либо изменения.
Новые страницы влетают в индекс буквально сразу (сканируются сначало быстроботом) в течении минут 5-ти, через некоторое время могут вылететь на сутки (а могут и не вылететь), а потом влетают в постоянный индекс, живут там и процветают.


Напомню, что в прошлой статье я рассказывал о выводе MFA сайта из под фильтра. В том примере были сняты все блоки контекстной рекламы и после этого основные 10 страниц сайта (на которых много внутренних ссылок меню) пропингованы с добавлением в индекс со всеми связанными страницами. Таким же образом отправлялись на индексацию и поддомены в експерименте о ранжировании сайтов.

Ускорение индексации чужих страниц через пинг

Также очень часто в SEO требуется ускорять индексацию страниц, которые не принадлежат нам. Чаще всего это страницы на которых расположены (закуплены) ссылки на наш сайт.
Даже появились такие сервисы, которые могут якобы ускорить индексацию любых страниц с помощью формирования rss лент и скармливанию их роботу. Например — http://letusindex.com/
Но мой опыт использования этого сервиса не показал заметных успешных результатов:
Пинговались списки страниц, содержащие ссылки на сайт. Списки брались из биржи sape.ru. Заметного ускорения индексации не произошло. Проводилась выборка примерно 10-ти различных списков.
После этого проводился эксперимент по «загону» в индекс страниц своего сайта, которые очень плохо индексировались (более 60-ти дней). Сайт зарубежный, рассчитан под аудиторию USA. Был сформирован список в 10000 страниц сайта, с плохой индексацией и пропингован с помощью сервиса letusindex.com. В результате переиндексация в Google не произошла, но сайт проиндексировался Яндексом. Стоит заметить что внутри сайта не было изменений до отправки на пинг через rss.
В теории это то же самое что сделать такой ход: создать на своем сайте страницу со 100500 ссылками страниц индексацию которых нужно ускорить, и загнать эту страницу в индекс через google wmt с индексацией всех связанных страниц. Идея та же.
По своему опыту заметил, что ускорить индексацию можно для новой страницы или для страницы с изменившимся контентом, а вот дать гарантии на повторную индексацию одного и того же контента уже сложнее.
Сам по себе сервис letusindex.com не очень то помогает в индексации и лучше использовать его в совокупности с другими методами, так сказать, для атаки поисковика по всем фронтам.

Ускорение индексации через Twitter и не только

По своей сути ускорение индексации это заманивание робота поисковой системы на свой сайт. И рассуждая логически нам нужно:
  • обнаружить место где обитает робот
  • подкинуть роботу наживку (как на рыбалке)
  • немного подождать пока он ее съест
Именно так происходит ускорение индексации через Twitter. Дело в том, что контент в сети Twitter распространяется очень быстро, это место где идут обсуждения самых жарких событий и новостей любой сферы, в любое время. Google конечно же направляет своих роботов поедать такой контент постоянно. Если Твиттер аккаунт имеет много реальных подписчиков, публикует много авторских твитов да еще и связан с каким-нибудь сайтом или блогом, то это практически гарантия того что его часто сканирует Гуглбот. Осталось только опубликовать свою ссылку в посте с этого аккаунта и немного подождать. Можно воспользоваться биржей для этой цели: twite.ru или twitterstock.ru. Задавшись целью можно найти такие биржи в любой стране.
Существуют и различные прогоны ваших ссылок по так называемым твиттер-фермам. Это группы твиттер аккаунтов одного владельца, которые зарегистрированы на якобы разных людей. Имея очень много Твиттер-аккаунтов не обязательно чтобы они были раскрученными, можно опубликовать ссылку на всех сразу и Google ее найдет тоже достаточно быстро.
По такому же принципу можно ускорить индексацию за счет любого часто обновляемого сайта. Будь то новостник, рейтинговый блог, форум, сервис соц закладок. Подкидывая свою ссылку на сайт, где живет Гуглобот, вы обеспечите себе достаточно быструю индексацию.