robots.txt можно индексировать, как и другие URL-адреса веб-сайтов

Для Google robots.txt является URL-адресом, как и любой другой. Он также может быть проиндексирован. Однако есть специальное положение для ползания.

robots.txt имеет особое значение для веб-сайтов, поскольку определяет, какие URL-адреса и каталоги могут быть просмотрены различными поисковыми системами, а какие нет.

Google относится к robots.txt так же, как и к другим URL-адресам веб-сайта. Это то, что написал Гэри Иллис в Твиттере. Также файл robots.txt может быть проиндексирован, возможно, он выбран как Canonical URL и дубликаты удалены. В сайте robots.txt есть специальное место для ползания. Статус индексирования не играет здесь никакой роли.

Это значит: независимо от того, может ли Google индексировать файл robots.txt или нет, этот файл рассматривается Google. Однако необходимым условием для этого является то, что файл robots.txt также может быть получен. Как сообщалось на этой неделе, постоянные проблемы с поиском robots.txt могут привести к проблемам с переползанием и даже к деиндексации веб-сайта.

Обновление: Йоханнес Мюллер рекомендует не допускать индексирования robots.txt через заголовки X-Robots. Если в результатах поиска появляется файл robots.txt для обычных поисковых запросов (нет запросов к сайту), это признак того, что что-то не так на сайте.

Интересно также отметить, что содержимое robots.txt всегда может отображаться в результатах поиска. То же самое стало известно и для XML карт сайтов, поэтому рекомендуется устанавливать их в режим «noindex».