SEO блог создан с целью помочь Вам, начинающему или практикующему манимэйкеру создать по-настоящему полезный и “правильный” блог и показать Вам доступные пути его монетизации. Подписывайтесь на RSS и заглядывайте почаще, будет интересно!
23 Ноябрь

Как правильно настроить robots.txt?

Автор: Ruslan Категория: Внутренняя оптимизация
Твитнуть

Текстовый файл robots.txt имеется в корневой директории каждого сайта и служит для указания поисковым роботам не путь к карте сайта, основное зеркало и определения порядка индексации площадки. Однако чтобы данный файл мог выполнять все перечисленные функции, необходимо осуществить его настройку.

Как правильно настроить robots.txt?

Смотрите полный видеокурс на iTunes

Сущность и правила настройки robots.txt

Под настройкой текстового файла robots.txt следует понимать прописывание в нём инструкций для поисковых роботов. Это делается с помощью директив – команд, которые неукоснительно выполняются поисковыми машинами, однако это справедливо только в случае с правильным указанием инструкций. Одно из золотых правил настройки файла robots.txt – это прописывание команды User-Agent. Данная директива служит для указания, какой именно поисковой системе адресованы нижеследующие команды. Нельзя оставить данную строчку пустой, а указанная поисковая система принимает на своё счёт все инструкции, следующие за ней, вплоть до конца абзаца.

Не менее важными директивами, используемыми для настройки robots.txt, выступают команды Allow и Disallow. С их помощью владелец площадки указывает поисковому роботу, какие страницы и разделы можно индексировать (Allow), а на какие следует «закрыть глаза» (Disallow). Следует заметить, что директива, открывающая индексацию, «видна» только поисковым системами Яндекс и Гугл – остальные поисковики её не распознают. Что же касается употребления данной директивы в двух указанных поисковиках, то есть один нюанс: обязательно нужно сначала прописывать директиву Allow, и только после неё указывать Disallow.

Кроме того, нельзя оставлять между данными директивами пустые строки, что воспримется роботом как окончание инструкции. То же самое справедливо и для рассмотренной ранее директивы User-Agent. Наличие пустых строк может нарушить всб логику инструкции, и поисковые роботы поймут задачу некорректно. Соответственно, ждать правильной индексации при некорректном инструктаже не приходится. Чрезвычайно важно следить также за лишними пробелами – они также могут нарушить структуру команды и повергнуть робота в растерянность. Для владельца площадки это означает индексацию не тех страниц со всеми вытекающими последствиями.

Ещё одна важная директива – Host. Она служит для того, чтобы сообщить поисковому роботу, какое именно зеркало сайта следует считать основным. Напомним, что только основное зеркало сайта следует отражать в рейтинге поисковой выдачи, чтобы не попасть под фильтр поисковых систем. Последние при обнаружении двух дублированных сайтов (например, с www и без) безапелляционно применяют репрессии к обеим площадкам, выбрасывая их из индекса. К тому же разделение сайта на два или более зеркал без выделения основного означает нецелесообразное разделение аудитории и показателей сайта между двумя или более площадками. Указав поисковику, какой именно сайт выводить в выдачу, можно объединить показатели нескольких разрозненных зеркал.

И, наконец, последняя директива, которая имеет большое значение при настройке файла robots.txt – это команда Sitemap. Она служит для того, чтобы указать роботу путь к файлу карты сайта в формате XML. Обнаружив данный файл, поисковик легче ориентируется на сайте, быстрее проходит по его страницам и оценивает площадку как более удобную, что отражается на результатах ранжирования.

Буду благодарен, если поделитесь этой статьей:

Добавить комментарий
Имя (обязательно)
E-mail (обязательно)
Комментарий