Почему просмотр статистики из консоли поиска и лог-файлов не подходит друг другу

Компания Google объяснила, почему количество просмотренных страниц в консоли поиска может отличаться от количества просмотренных страниц в журналах сервера.

Количество URL-адресов веб-сайта, ежедневно получаемых компанией Google, является ценным источником информации. Например, он показывает, увеличивает или уменьшает активность Google при сканировании со временем. Это, в свою очередь, позволяет сделать выводы о бюджете бега.

Но что именно включено в расчеты статистики ползучести в консоли Google Search Console? Этот вопрос был поднят 26 ноября в тусовке веб-мастера. Один из пользователей спросил, почему цифры из лог-файлов его сервера не совпадают с данными из консоли поиска Google Search Console.

Йоханнес Мюллер ответил, что статистические данные включают все обращения, сделанные через инфраструктуру Google. Это включает в себя получение карт сайтов robots.txt и XML. Сюда также относится доступ других Google-ботов, таких как AdBot.

Чистый вид на извлечение HTML файлов является неполным. Надо составить себе целостную картину и посмотреть на все найденные файлы. Из этого можно сделать вывод, например, о времени или размере файла для извлечения.

Мюллер также отметил, что поиск ресурсов во внешних доменах, связанных ссылками в HTML, не входит в бюджет сайта. Если, например, изображения загружаются из третьего домена, эти извлечения относятся к этому домену. Это также относится к тем, кто предлагает сеть доставки контента и предоставляет ресурсы для других веб-сайтов.