Пт. Сен 25th, 2020

Как прервать просмотр веб-сайта в кратчайшие сроки

Чтобы временно не дать Google перебраться через веб-сайт, есть простой трюк. Но этот трюк можно использовать только на короткое время.

Как остановить Google от просмотра веб-сайтов? Причин может быть много, например, когда на сайте в течение короткого периода времени ожидается большой объем трафика, который не следует дополнительно увеличивать при ползании.

Нынешний вебмастер, который проводил время, занимался этим вопросом. Один пользователь хотел узнать, как он может временно снизить частоту сканирования Google через Black Week. Йоханнес Мюллер ответил, что изменение частоты ползания на «низкую» в конфигурации будет рассматриваться только с задержкой в один день. Это было немного поздно.

Альтернативой может быть возврат кода статуса 503 при загрузке файла rots.txt. Googlebot распознает этот статус и пока не просматривает веб-сайт. Затем Google будет пытаться снова и снова вызывать robots.txt в ближайшие дни. Это возможно, если все уже проиндексировано по желанию, и вы не хотите блокировать все с помощью команды «disallow» в robots.txt. Как только файл robots.txt снова будет вызван, переползание снова начнется.

Но имейте в виду: если robots.txt не будет вызываться слишком долго и выдаст ошибку сервера, это может привести к тому, что Google перестанет сканировать веб-сайт и даже удалит его из индекса в какой-то момент. Поэтому такая мера, как описанная выше, должна применяться только временно.