Просмотров: 1 806

Файл robots.txt что это такое и зачем он нужен.

robots-txt

Когда вы публикуете какие-то страницы в Интернет, как только на них в Сети появляется ссылка (хотя бы одна), они автоматически добавляются в индекс и результаты поиска поисковых систем. Т.е. по умолчанию, все веб-страницы открыты для индексации в поисковых системах.

Но, бывают ситуации, что некоторым страницам на вашем сайте, не желательно попадать в поиск. Возможно, они не несут какой-либо ценности для посетителей (служебные страницы, архивы с информацией), возможно, это какой-то закрытый (может быть платный) контент на вашем сайте, и.т.д.

Каким образом можно запретить поисковым системам индексировать эти страницы?

Одним из методов, добиться такого эффекта является специальный файл robots.txt. Это обычный текстовый файл (об этом даже говорит его расширение txt), который размещается в корне сайта.

Существует даже стандарт, для чего этот файл нужен и как с ним работать. Почитать его можно здесь:

http://www.robotstxt.org/orig.html

Есть еще полезный ресурс на русском языке:

http://robotstxt.org.ru/

Смысл этого файла, в том, чтобы

+ указать поисковым системам, какие страницы запрещено индексировать на вашем сайте.

+ Если у вас несколько зеркал сайта, указать какой сайт является главным.

+ Можно порекомендовать поисковому роботу, как часто нужно индексировать сайт.

+ И др. задачи.

Запрет индексации осуществляется с помощью специальных служебных слов или инструкций, которые называются директивами.

Файл robots.txt – очень важный файл и пренебрегать им не стоит. Когда поисковый робот заходит на ваш сайт, то первое, куда он обращается – это файл robots.txt. Не правильное его содержимое может привести к потерям позиций вашего сайта в поисковых системах и даже к полному выпадению вашего сайта из поиска.