Спам-ссылки: Блокировки через robots.txt недостаточно

Блокировка страниц ссылками на спам через robots.txt не заставляет Google игнорировать существующие ссылки. Ссылки, нарушающие Руководство веб-мастера Google, могут стать проблемой для веб-сайта. Например, при наличии большого количества купленных ссылок Google может предпринимать действия вручную.

Существует несколько способов избавиться от таких ссылок. В идеале, ссылки будут удалены, но их также можно девальвировать с помощью инструмента Disavow. Даже тогда Google больше не принимает эти ссылки во внимание.

Однако это не помогает, так это блокировать страницы со ссылками через robots.txt, чтобы Google больше не мог их просматривать. Как писал Йоханнес Мюллер в Twitter, страницы остаются проиндексированными даже после блокировки. Таким образом, связи также остаются на месте. Правильным решением было бы отправить статус 404 для соответствующих страниц, чтобы они были удалены из индекса, потому что, если страница между двумя связанными ссылками страницами опущена.

В любом случае, блокировать индексированные страницы с помощью robots.txt не очень хорошая идея. Это просто означает, что Google больше не просматривает страницы. Тем не менее, они могут отображаться в результатах поиска, но без информации о содержании во фрагментах.