Google: Страницы, заблокированные robots.txt, также могут получать PageRank

Даже страницы, которые Google не может просмотреть из-за robots.txt, могут получить PageRank. Однако это не работает, наоборот. Если веб-сайт заблокирован для Google через robots.txt, Googlebot не сможет просмотреть страницу. Однако Google может столкнуться с этой страницей по ссылкам с других сайтов.

Как известно, ссылки переносят PageRank между отдельными документами и страницами в сети. И это также относится к случаям, когда страница, на которую ведут ссылки, заблокирована robots.txt. Это объяснил Йоханнес Мюллер из Google через Twitter.

Однако это не применяется наоборот: страница, заблокированная rots.txt, не может передать PageRank, потому что Google пришлось бы просматривать страницу, чтобы распознать и оценить ссылки, доступные на странице.

Это также означает, что Google не распознает внутренние ссылки на этой странице, что может привести к недостаткам для всего веб-сайта, поскольку внутренние ссылки помогают Google записывать общую структуру веб-сайта и просматривать как можно больше доступных ресурсов.