robots.txt: Google AdsBot не охвачен ‘Googlebot’

Предупреждение при использовании «Googlebot» в директивах robots.txt: Это не распространяется на Googlebot для рекламы.

В robots.txt есть возможность разделить директивы типа «запретить» на различные пользовательские агенты. Например, чтобы разблокировать или заблокировать определенные страницы или каталоги для Googlebot, можно воспользоваться агентом пользователя «Googlebot», как показано ниже:

User-agent: Googlebot
Disallow: /

Это заблокирует всю страницу Googlebot.

Но сейчас есть не только один, а множество разных Google-ботов, например, для настольных и мобильных компьютеров, а также для Google-рекламы. Однако Google AdsBot не покрывается агентом пользователя «Googlebot», а нуждается в собственных директивах. Это можно увидеть на соответствующей странице помощи.

SEO Will Critchlow заметил, что такое различие в robots.txt очевидно необходимо, разместив его в Twitter и спросив, будут ли Google AdsBot следовать своим правилам. Гари Иллиес ответил, что правила для AdsBot’ов могут отличаться от правил для основного сайта Google. Это должно быть соответствующим образом задокументировано. Для всех, кто хочет включить директивы Google AdsBot в robots.txt, это означает, что им придется иметь дело с ними отдельно. Директивы для обычного Googlebot здесь не применяются.