
Даже страницы, которые Google не может просмотреть из-за robots.txt, могут получить PageRank. Однако это не работает, наоборот. Если веб-сайт заблокирован для Google через robots.txt, Googlebot не сможет просмотреть страницу. Однако Google может столкнуться с этой страницей по ссылкам с других сайтов.
Как известно, ссылки переносят PageRank между отдельными документами и страницами в сети. И это также относится к случаям, когда страница, на которую ведут ссылки, заблокирована robots.txt. Это объяснил Йоханнес Мюллер из Google через Twitter.
Однако это не применяется наоборот: страница, заблокированная rots.txt, не может передать PageRank, потому что Google пришлось бы просматривать страницу, чтобы распознать и оценить ссылки, доступные на странице.
Это также означает, что Google не распознает внутренние ссылки на этой странице, что может привести к недостаткам для всего веб-сайта, поскольку внутренние ссылки помогают Google записывать общую структуру веб-сайта и просматривать как можно больше доступных ресурсов.
Похожие записи
Приводит ли создание портала robots.txt компанией WordPress к проблемам с поиском информации в Google?
robots.txt можно индексировать, как и другие URL-адреса веб-сайтов
Спам-ссылки: Блокировки через robots.txt недостаточно