Когда поисковый бот индексирует URL, он добавляет данные о сайте в специальную базу. Далее поиск ведется по страницам, что уже были проиндексированы. Важно понимать: бот может сканировать весь ресурс, но сама индексация сайта может происходить очень медленно (или не осуществляться вообще). Вот почему важно самостоятельно проверять результаты, так как раскрутка сайтов и ее успех зависит в том числе от скорости добавления страниц в индекс.
Как быстро узнать, что определенная страница сайта попала в индекс поисковика? Как в целом понять логику поисковых систем при индексации? Есть несколько способов, которыми пользуются профессионалы.
Содержание:
- Индексация сайта: Первый способ проверки
- Второй способ. Операторы поисковиков
- Третий способ. Плагины
- Четвертый способ. Сервисы
- Почему сайта нет в индексе: 7+ причин
- Как ускорить индексацию сайта?
Индексация сайта: Первый способ проверки
Первое, что приходит на ум, когда речь идет о проверке результатов индексации.
Если вы выполняете продвижение сайта в Google, проверку нужно проводить в Search Console, переходя во складу «Обзор» и далее выбрав вариант графика «Покрытие».
Перечень проблем можно увидеть в «Покрытии», просмотрев в том числе информацию, когда их обнаружил поисковый робот.
В строку поиска можно вставить ссылку на конкретную страницу, чтобы проверить, проиндексирована ли она.
В ответе на этот запрос можно увидеть кнопку «Запросить индексирование». Это полезная опция в случае, если страница была изменена, и нужно провести повторную индексацию. Опцией можно пользоваться, чтобы вручную отправлять на индексацию новые страницы.
Если сайт продвигается под Яндекс, нужно авторизоваться в Паспорте, а после в Вебмастере перейти в Индексирование сайта/Страницы в поиске.
Второй способ. Операторы поисковиков
С помощью операторов можно конкретизировать результаты поиска. Так, site: позволяет увидеть данные о примерном количестве страниц, попавших в индекс. После оператора нужно добавить URL сайта (чтобы увидеть, что находится в индексе) или конкретный URL страницы (чтобы узнать, есть ли она в индексе).
Если ссылка не отображается, но она точно была в индексе, это может свидетельствовать о попадании под фильтры. Стоит провести дополнительную проверку оператором inurl: (для Google) или url: (для Яндекс).
Если запрашиваемой страницы нет в выдаче — ее нет и в индексе.
Третий способ. Плагины
Речь идет о плагинах, которые могут проводить автоматическую проверку. Например, для Chrome и Mozilla Firefox есть плагин RDS bar. Он проверяет сайт в целом и индексацию определенной страницы. Продукт платный. Можно также воспользоваться плагином Seo Magic: он покажет, сколько страниц находится в индексе Google и Яндекс.
Четвертый способ. Сервисы
Специалисты пользуются разными профессиональными программами. Например, Netpeak Spider совместно с Netpeak Checker. Spider проводит сканирование сайта в целом, предоставляя подробную информацию о каждой странице. Полученный список страниц можно загрузить в Checker — и программа покажет, какие из них прошли индексацию.
Кроме этих сервисов, можно использовать:
- serphunt.ru/indexing/
- raskruty.ru/tools/index/
- xseo.in/indexed
Почему сайта нет в индексе: 7+ причин
Итак, сайт проверен и стало известно, что определенных или всех страниц нет в индексе поисковика. Среди вероятных причин:
- Прошло мало времени. Особенно это актуально для молодых сайтов. В таких случаях индексация сайта может затянуться на несколько месяцев.
- Отсутствует файл sitemap.xml. Он указывает поисковым роботам, как правильно сканировать и индексировать ресурс. Ссылка на карту должна присутствовать в файле robots.txt. Если вы не знаете, зачем нужен robots.txt, рекомендуем прочесть нашу статью по этой теме.
- Наличие ошибок. Если проводить проверку через сервисы для вебмастеров от поисковых систем, можно увидеть, какие страницы считаются проблемными. Исправив ошибки, стоит отправить URL на повторную индексацию.
- Ответ noindex на запрос метатега robots. Ошибка возникает из-за неправильных настроек хостинга либо CMS.
- Ошибка в HTTP-заголовке X-Robots-Tag. Увидеть проблему можно, пользуясь консолью разработчика.
- Проблемы с robots.txt. Например, сайт может быть полностью закрытым для сканирования.
- Наличие копий страниц, использование неуникального контента, низкая скорость загрузки и т.п.
Как ускорить индексацию сайта?
За один раз робот поисковой системы сканирует определенное количество страниц. Этот показатель зависит от краулингового бюджета. Но естественное желание каждого владельца сайта — чтобы новый контент побыстрее попал в выдачу и начал привлекать органический трафик.
Один из вариантов ускорения — принудительная отправка URL на индексацию. Но есть и другие методы.
Автообновление sitemap
Каждая новая страница должна «автоматом» записываться в sitemap. В этом файле можно настроить приоритетность/частоту посещения страниц. В таком случае роботы быстрее разберутся, что изменилось в структуре сайта и наметят страницы для помещения.
Решение проблем с копиями URL и неуникальным содержимым
Контент с нулевой или просто низкой уникальностью, дубли страниц — все это мешает индексации страниц. Как минимум потому, что робот тратит время на сканирование этого мусора, и в итоге у него не хватает ресурса, чтобы добраться до ценных URL.
Удаление битых ссылок и уменьшение редиректов
Они тоже отнимают ценный ресурс — краулинговый бюджет. Ведь робот расходует его, попадая на ненужные страницы или посещая одни и те же, переходя по редиректам.
Правильное заполнение robots.txt
С одной стороны правила файла рекомендательные, но все же роботы могут к ним прислушиваться. Поэтому лучше не игнорировать robots.txt, и составлять его без ошибок.
Ускорение загрузки
Много споров вокруг этой темы, но факт есть факт: лучше, чтобы время ответа сервера было не больше 200 мс, а любая страница загружалась не дольше 5 с. Проверять это можно в PageSpeed Insights. Здесь же есть рекомендации по ускорению.
Улучшение перелинковки
От перелинковки зависит не только распределение внутреннего веса, но и время пребывание пользователей на сайте. Правильная перелинковка удобна и для робота. Если она настроена хорошо, он быстро найдет новые страницы.
Добавление ссылок на главную
Логика проста: если вышел новый материал или добавлена новая товарная страница, соответствующий URL размещают на главной. Так его быстрее обнаружит робот (да и посетители тоже).
Добавление ссылки в паблики соцсетей
Еще одна спорная тема. Но делиться новым URL нужно хотя бы для того, чтобы пользователи соцсетей стали переходить по нему. Это покажет поисковикам, что ссылку нужно добавить в индекс.
Как часто обновляется контент?
Поисковики чаще сканируют сайты, которые регулярно обновляются. Это — сигнал для них, что ресурс живой, им занимаются и развивают. Лучше добавлять новый контент минимум дважды в неделю, а также обновлять старые публикации и актуализировать данные.
Заключение
Главное для сайта — чтобы все релевантные URL попали в поисковый индекс. Это не так просто. Значение имеют технические тонкости, качество контента, частота обновления, оптимизация сайта и пр. Важно регулярно контролировать показатель индексации, чтобы вовремя обнаружить и решить возникшие проблемы.
Автор
