Приводит ли создание портала robots.txt компанией WordPress к проблемам с поиском информации в Google?

WordPress создает файл robots.txt, если его нет на сервере. Может ли это привести к проблемам с поиском Google?

На этой неделе Google повторил, что постоянные проблемы с поиском файла robots.txt сайта могут повлиять на просмотр веб-сайта. Долгосрочные ошибки сервера могут даже заставить Google удалить веб-сайт из индекса. Это потому, что Google всегда хочет проверить файл robots.txt перед просмотром. Однако, по данным Google, около 26% попыток вызвали проблемы при извлечении файла robots.txt.

Это интересно в связи с одной из наиболее часто используемых систем управления контентом: WordPress. Он имеет свойство генерировать файл robots.txt, если этот файл не находится на веб-сервере. Обычно файл robots.txt хранится статически в каталоге веб-сервера, в котором находятся файлы соответствующего веб-сайта.

Joost de Valk, создавший SEO-плагин Yoast для WordPress, среди прочего, спросил Гари Иллиеса из Google в этом контексте, приводит ли поиск robots.txt к большим проблемам с веб-сайтами, работающими под WordPress, чем с другими сайтами.

Иллис ответил, что WordPress работает хорошо и что должна быть грубая неправильная настройка, чтобы при вызове robots.txt возникали 5xx ошибки. Но он хотел провести анализ, чтобы удостовериться.

Joost de Valk объяснил в этом контексте функциональность для создания robots.txt в WordPress и объяснил, что это может время от времени приводить к ошибкам на сервере. Если это действительно приведет к большему количеству ошибок, чем в среднем, WordPress необходимо изменить, чтобы появился статический файл robots.txt.

Если вы хотите избежать возможных проблем с созданием robots.txt с помощью WordPress прямо сейчас, вам нужно просто положить статический файл robots.txt на веб-сервер.