Нажмите "Enter", чтобы перейти к контенту

Все изменения правил для robots.txt от Гугл

Как правильно прописать rotots.txt для Google
Правильный robots.txt для Google

Для того, чтобы поисковые системы были лояльны к вашему сайту, необходимо правильно составить файл robots.txt.

Ни для кого не секрет, что Google активно трудится над внедрением протокола REP в качестве официального стандарта Интернета. В рамках этой инициативы разработчики поискового гиганта внесли ряд изменений в свод правил для файла robots.txt.

Новые правила Google для robots.txt

Новую документацию можно увидеть на странице, посвященной robots.txt в разделе Whatchanged. Среди наиболее заметных и важных изменений можно отметить следующие:

  • Протоколы URI отныне принимаются в robots.txt без ограничений.
  • Если файл robots.txt отсутствует или поисковый робот не может получить к нему доступ, выдается код ошибки 404.
  • HTML-переадресации к файлу robots.txt с ответами 2xx не принимаются.
  • В случае, когда Гугл не может получить доступ к файлу robots.txt в течение 30 дней (ошибки 5xx), он принимает во внимание последнюю версию файла. Если она отсутствует в кеше, Гугл считает, что никаких ограничений для сайта не существует.
  • При получении неполных данных или неудачных обращениях к файлу robots.txt, Гугл выдает ошибку сервера.
  • Google игнорирует правила и директивы, имеющие даже незначительные ошибки.
  • Максимальный размер файла robots.txt отныне составляет 500 КиБ (кибибайт). Содержимое, превышающее это значение, будет игнорироваться.
  • Синтаксис записей robots.txt на основе UTF-8 строится по расширенной форме ABNF.
  • Описание «групп» стало короче и понятнее, введены правила для пустой группы с примерами.
  • Удалены некоторые устаревшие ссылки и раздел «Язык требований».

Это далеко не полный список изменений, внесенных Google для robots.txt. Всю информацию можно узнать на официальном сайте, однако представлена она пока что только на английском языке.

Будьте первым, кто оставит комментарий!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2019 InetTeh - Новости интернет-технологий | Все права защищены