
Блокировка страниц ссылками на спам через robots.txt не заставляет Google игнорировать существующие ссылки. Ссылки, нарушающие Руководство веб-мастера Google, могут стать проблемой для веб-сайта. Например, при наличии большого количества купленных ссылок Google может предпринимать действия вручную.
Существует несколько способов избавиться от таких ссылок. В идеале, ссылки будут удалены, но их также можно девальвировать с помощью инструмента Disavow. Даже тогда Google больше не принимает эти ссылки во внимание.
Однако это не помогает, так это блокировать страницы со ссылками через robots.txt, чтобы Google больше не мог их просматривать. Как писал Йоханнес Мюллер в Twitter, страницы остаются проиндексированными даже после блокировки. Таким образом, связи также остаются на месте. Правильным решением было бы отправить статус 404 для соответствующих страниц, чтобы они были удалены из индекса, потому что, если страница между двумя связанными ссылками страницами опущена.
В любом случае, блокировать индексированные страницы с помощью robots.txt не очень хорошая идея. Это просто означает, что Google больше не просматривает страницы. Тем не менее, они могут отображаться в результатах поиска, но без информации о содержании во фрагментах.
Похожие записи
Приводит ли создание портала robots.txt компанией WordPress к проблемам с поиском информации в Google?
robots.txt можно индексировать, как и другие URL-адреса веб-сайтов
Google: Страницы, заблокированные robots.txt, также могут получать PageRank