Джон Мюллер ответил
Ведущий аналитик Google и сотрудник отдела качества поиска Дж. Мюллер регулярно отвечает на вопросы пользователей на своем канале на YouTube. Недавно специалисту поступил вопрос: «Уменьшает ли интенсивное использование WRS бюджет сканирования сайта (краулинговый бюджет)?»
Джон Мюллер ответил, что в данном случае есть несколько вещей, которые сходятся воедино в этой точке, и поэтому важно вкратце разобраться с ними, прежде чем углубляться в детали.
Следует начать с того, что WRS – это служба веб рендеринга, которую робот Googlebot использует для отображения страниц (таких, как браузер), чтобы мы могли индексировать все так, как это видят пользователи.
Бюджет сканирования, или по-другому краулинговый бюджет – это система, которую мы используем для ограничения количества запросов к серверу. Таким образом удается избежать проблем во время сканирования. Это не то, о чем следует беспокоиться большинству сайтов, поскольку у Google нет проблем со сканированием достаточного количества URL-адресов с большинства сайтов.
Несмотря на то, что определенного порога нет, Джон Мюллер рекомендует относиться к бюджету сканирования как к вопросу, о котором в основном должны думать крупные веб-сайты. Например, ресурсы, которые имеют несколько сотен тысяч URL-адресов.
Для краулингового бюджета системы Google автоматически определяют максимальное количество запросов, которые сервер может обработать за определенный период времени. Это делается автоматически и со временем корректируется.
Однако, как только поисковая система отмечает для себя, что сервер начинает замедлять работу или возвращать ошибки сервера, она уменьшает краулинговый бюджет, доступный сканерам.
Получить дополнительную информацию о бюджете сканирования и о том, что он означает для Google, можно в блоге поисковой системы по ссылке.
Специалист также заверил, что для рендеринга службы Google должны иметь доступ к встроенному контенту, такому как файлы JavaScript, файлы CSS, изображения и видео, а также к ответам сервера от API-интерфейсов, которые используются на страницах. Сама поисковая система кэширует много данных с целью уменьшения количества запросов, необходимых для отображения страницы.
Но в большинстве случаев рендеринг приводит к более чем одному запросу, то есть к серверу отправляется не только файл HTML.
Если подытожить все сказанное выше, то при работе на большом сайте уменьшение количества встроенных ресурсов, необходимых для отображения страницы, может помочь при сканировании.
Помимо этого, такой прием обычно делает страницы более быстрыми, что особенно удобно для пользователей. Таким образом, вы можете решить обе проблемы одновременно.