Просмотров: 1 673

Главная директива файла robots.txt Disallow – запрет индексации.

Самая основная команда (директива), которая чаще всего используется в файле robots.txt называется Disallow. С ее помощью можно указать, какие страницы запрещено индексировать поисковым системам.

Синтаксис этой директивы следующий:

Disallow: страница(ы) к запрету 1 [символ переноса строки]

Disallow: страница(ы) к запрету 2 [символ переноса строки]

Disallow: страница(ы) к запрету 3 [символ переноса строки]

….

[символ переноса строки] – это нажатие клавиши Enter на клавиатуре.

Страница(ы) к запрету — представляют собой указание ее (их) адреса. Адрес указывается в том, же фомате, что и url-адрес, но в упрощенном виде. Указание протокола и доменного имени здесь запрещено.

Здесь также есть еще один важный моменты, обратите внимание, что указывая какую-любо папку, мы закрываем для индексации доступ ко всем файлам и подпапкам, которые в нее вложены.

Давайте рассмотрим прострой пример,

Disallow: /

Этой записью мы закроем доступ ко всему вашему сайту. Знак «/» — обозначает корневую папку сайта. Исходя, из правила, которое мы приводили выше, запрет индексации будет применен ко всем подпапкам и файлам, которые вложены в корневую папку. Это и является всем вашим сайтом. Поэтому, будьте осторожны с таким выражением.

Чтобы запретить индексацию какой-то конкретной папки, нужно указать путь к этой папке от корня сайта:

Disallow: /audio/

Запретит индексацию папки audio. Обратите внимание, что перед названием папки обязательно должен стоять символ «/», который обозначает корневую папку на вашем сервере.

Имейте также в виду, что каждая группа страниц указывается в своей директиве Disallow.

Нельзя написать:

Disallow: /video/ /audio/

Нужно писать так:

Disallow: /video/
Disallow: /audio/

Таким образом, мы можем запретить индексацию нескольких папок на сайте.

Чтобы запретить индексацию конкретного файла, нужно указать путь к этому файлу и его расширение:

Disallow: /audio/foo.html

И еще один момент, который бы мне хотелось отметить. Нельзя оставлять директиву Disallow без значения.

Запись:

Disallow:

Обозначает, что разрешено индексировать весь сайт.

Если написано так:

Disallow: /video/
Disallow:
Disallow: /audio/

Папка video попадает в запрет индексации, а то, что написано ниже строки с пустым «Disallow:» будет игнорироваться браузером, и папка audio будет разрешена для индексирования.

Теперь, используя эти простые советы, вы сможете запрещать для индексации необходимые страницы вашего сайта.

Высоких Вам позиций в выдаче!