Пт. Сен 25th, 2020

Постоянные ошибки сервера при извлечении файла robots.txt имеют решающее значение

Если при загрузке сайта robots.txt возникают постоянные ошибки на сервере, это может повлиять на работу Google. Перед просмотром веб-сайта Google проверяет файл rots.txt. Сюда относится информация о том, какие URL-адреса и каталоги могут быть и не могут быть доступны поисковым роулерам.

Однако, если возникнут проблемы с поиском robots.txt, это может повлиять на просмотр веб-сайта. Google может даже полностью прекратить ползать по сайту и удалить его из индекса, если проблема не исчезнет.

Этой же теме была посвящена вчерашняя конференция веб-мастеров Google. Он более подробно объяснил, как различные ответы могут влиять на переползание при извлечении файла robots.txt:

Состояние HTTP 200: нет проблем
Состояние HTTP 404: также нормально
Статус HTTP 5xx: хорошо, если только временно
Статус HTTP 5xx постоянный: критический.

Так что неплохо, если нет robots.txt и сервер отвечает статусом 404. Даже временные ошибки сервера не являются драматическими. В последнем случае, т.е. постоянные ошибки сервера при попытке вызова robots.txt, могут заставить Google прекратить поиск и, возможно, даже удалить из индекса URL-адреса соответствующего сайта.