Просмотров: 12 927

Директива host в файле robots.txt. Как сделать правильное имя сайта в результатах поиска.

Когда ваш сайт выдается в результатах поиска, у него есть определенное доменное имя, на которое ведет ссылка:

06-05-2013 5-28-19

Например, здесь это webgyry.info.

Что делать если поисковая система выбрала это доменное имя не правильно? Например, я хочу, чтобы поисковая система переносила меня не на webgyry.info, а на www.webgyry.info или наоборот.

Как этого добиться?

Кроме основной директивы Disallow, которая используется в файле robots.txt, мы можем использовать еще ряд дополнительных директив. Одной из них является директива host.

Именно эта директива может помочь решить проблему.

Основное ее назначение указать основной домен вашего сайта, среди зеркал, который будет для поисковой системы главным.

Практически у всех сайтов есть зеркала, например, мы можем обратиться к сайту:

site.ru

и точно также можно обратиться к нему же по адресу

www.site.ru

Это разные домены, но ведут они на один и тот же сайт. Это и есть те самые зеркала.

Чтобы поисковая система могла определиться, что здесь является главным, и какое доменное имя использовать в результатах поисковой выдачи, в файл robots.txt добавляют директиву host.

Например,

host: site.ru

Обратите внимание, что если ваш сайт работает на протоколе http, здесь его указывать нельзя.

host: http://site.ru – Это не правильная форма записи.

Но, если ваш сайт работает на протоколе https, то указывать его в директиве host обязательно:

host: https://site.ru – Это правильная форма записи.

Как правило, директива host указывается в самом конце файла robots.txt.

User-agent: *
 Disallow: /cgi-bin
 Host: www.site.ru

Таким образом, добавив всего одну строку кода в файл robots.txt, мы можем сообщить поисковой системе о главном зеркале сайта.

Кстати, если вам будет интересно, я занимаюсь веб-аналитикой сайтов. Если вы хотели бы сделать ваш сайт более эффективным и, чтобы он приносил больше денег, веб-аналитика может в этом помочь.

Обучающий курс для начинающих по основам работы с веб-аналитикой сайтов на системе Яндекс Метрика здесь.

Страница с описанием моих услуг по веб-аналитике: здесь.

  • https://plus.google.com/114175059425525562871 Алексей Яблоко

    spos

  • http://www.odnoklassniki.ru/profile/561624468480 ольга лемесева(москаленко)

    Уффф… Счастливое число семь! Неделю ходила вокруг да около, искала где эти корни, где этот Хост? А они всё время рядом лежали, буквально под руками! И дел-то на 5 мин. Спасибо добрым людям — надоумили!

  • http://facebook.com/profile.php?id=100003165251149 Алексей Кудинов

    Спасибо

  • http://vk.com/id408709713 Redactor Class-B

    Большое спасибо!!! сколько думал как указывается этот хост я просто «Host» вписывал и всё…яндекс вебмастер постоянно выдавал эту возможную ошибку и я постоянно отправлял на перепроверку))

  • https://www.facebook.com/app_scoped_user_id/1853378184899470/ Max Loginov

    Из «Яндекс.Помощи»
    Директива Host должна содержать:
    Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

  • http://vk.com/id18397417 Дмитрий Ченгаев

    Max, спасибо за уточнение. Поправил в статье. Она писалась, когда о протоколе https еще никто не знал.

  • http://vk.com/id352938028 Оксана Минзак

    Спасибо!

  • https://plus.google.com/106309159292812551221 Михаил Богданов

    Помогло. Очень понятно описано. Спасибо автору.