Коли пошуковий бот індексує URL, він додає дані про сайті в спеціальну базу. Далі пошук ведеться по сторінках, що вже були проіндексовані. Важливо розуміти: бот може сканувати весь ресурс, але саме додавання сторінок в індекс може відбуватися дуже повільно (або не здійснюватися взагалі). Ось чому важливо самостійно перевіряти результати, так як розкрутка сайтів і її успіх залежить в тому числі від швидкості додавання сторінок в індекс.
Як швидко дізнатися, що певна сторінка сайту потрапила в індекс пошукової системи? Як в цілому зрозуміти логіку пошукових систем при індексації? Є кілька способів, якими користуються професіонали.
Зміст:
- Індексація сайту: Перший спосіб перевірки
- Другий спосіб. Оператори пошуковиків
- Третій спосіб. Модулі
- Четвертий спосіб. сервіси
- Чому сайту немає в індексі: 7 + причин
- Як прискорити індексацію сайту?
Індексація сайту: Перший спосіб перевірки
Перше, що спадає на думку, коли мова йде про перевірку результатів індексації.
Якщо ви виконуєте просування сайту в Google, перевірку потрібно проводити в Search Console, переходячи у складу «Огляд» і далі вибравши варіант графіка «Покриття».
Перелік проблем можна побачити в «покриття», переглянувши в тому числі інформацію, яку виявив пошуковий робот.
У рядок пошуку можна вставити посилання на конкретну сторінку, щоб перевірити, проіндексована чи вона.
У відповіді на цей запит можна побачити кнопку «Запросити індексування». Це корисна опція в разі, якщо сторінка була змінена, і потрібно провести повторну індексацію. Опцією можна користуватися, щоб вручну відправляти на індексацію нові сторінки.
Якщо сайт просувається під Яндекс, потрібно авторизуватися в Паспорті, а після в панелі вебмайстрів перейти в Індексування сайту / Сторінки в пошуку.
Другий спосіб. Оператори пошуковиків
За допомогою операторів можна конкретизувати результати пошуку. Так, site: дозволяє побачити дані про приблизний кількості сторінок, які потрапили в індекс. Після оператора потрібно додати URL сайту (щоб побачити, що знаходиться в індексі) або конкретний URL сторінки (щоб дізнатися, чи є вона в індексі).
Якщо посилання не відображається, але вона точно була в індексі, це може свідчити про попадання під фільтри. Варто провести додаткову перевірку оператором inurl: (для Google) або url: (для Яндекс).
Якщо запитуваної сторінки немає у видачі – її немає і в індексі.
Третій спосіб. Модулі
Йдеться про плагіни, які можуть проводити автоматичну перевірку. Наприклад, для Chrome і Mozilla Firefox є плагін RDS bar. Він перевіряє сайт в цілому і індексацію певної сторінки. Продукт платний. Можна також скористатися плагіном Seo Magic: він покаже, скільки сторінок знаходиться в індексі Google і Яндекс.
Четвертий спосіб. сервіси
Фахівці користуються різними професійними програмами. Наприклад, Netpeak Spider спільно з Netpeak Checker. Spider проводить сканування сайту в цілому, надаючи детальну інформацію про кожній сторінці. Отриманий список сторінок можна завантажити в Checker – і програма покаже, які з них пройшли індексацію.
Крім цих сервісів, можна використовувати:
- serphunt.ru/indexing/
- raskruty.ru/tools/index/
- xseo.in/indexed
Чому сайту немає в індексі: 7 + причин
Отже, сайт перевірений і стало відомо, що певних або всіх сторінок немає в індексі пошуковика. Серед ймовірних причин:
- Минуло мало часу. Особливо це актуально для молодих сайтів. Пошуковики можуть індексувати їх до декількох місяців.
- Відсутній файл sitemap.xml. Він вказує пошуковим роботам, як правильно сканувати та індексувати ресурс. Посилання на карту має бути в файлі robots.txt. Якщо ви не знаєте, навіщо потрібен robots.txt, рекомендуємо прочитати нашу статтю на цю тему.
- Наявність помилок. Якщо проводити перевірку через сервіси для вебмайстрів від пошукових систем, можна побачити, які сторінки вважаються проблемними. Виправивши помилки, варто відправити URL на повторну індексацію.
- Відповідь noindex на запит метатега robots. Помилка виникає через неправильні налаштування хостингу або CMS.
- Помилка в HTTP-заголовку X-Robots-Tag. Побачити проблему можна, користуючись консоллю розробника.
- Проблеми з robots.txt. Наприклад, сайт може бути повністю закритим для сканування.
- Наявність копій сторінок, використання неунікального контенту, низька швидкість завантаження і т.п.
Як прискорити індексацію сайту?
За один раз робот пошукової системи сканує певну кількість сторінок. Цей показник залежить від краулінгового бюджету. Але природне бажання кожного власника сайту – щоб новий контент швидше потрапив в видачу і почав залучати органічний трафік.
Один з варіантів прискорення – примусова відправка URL на індексацію. Але є й інші методи.
Автопоновлення sitemap
Кожна нова сторінка повинна «автоматом» записуватися в sitemap. У цьому файлі можна налаштувати пріоритетність / частоту відвідування сторінок. В такому випадку роботи швидше розберуться, що змінилося в структурі сайту і намітять сторінки для приміщення.
Рішення проблем з копіями URL і неунікальним вмістом
Контент з нульовою або просто низькою унікальністю, дублі сторінок – все це заважає індексації сторінок. Як мінімум тому, що робот витрачає час на сканування цього сміття, і в результаті у нього не вистачає ресурсу, щоб дістатися до цінних URL.
Видалення битих посилань і зменшення редиректів
Вони теж забирають цінний ресурс – краулінговий бюджет. Адже робот витрачає його, потрапляючи на непотрібні сторінки або відвідуючи одні і ті ж, переходячи по редиректам.
Правильне заповнення robots.txt
З одного боку правила файлу рекомендаційні, але все ж роботи можуть до них прислухатися. Тому краще не ігнорувати robots.txt, і складати його без помилок.
Прискорення завантаження
Багато суперечок навколо цієї теми, але факт є факт: краще, щоб час відповіді сервера було не більше 200 мс, а будь-яка сторінка завантажувалася не довше 5 с. Перевіряти це можна в PageSpeed Insights. Там є рекомендації щодо прискорення.
Поліпшення перелінковки
Від перелінковки залежить не тільки розподіл внутрішньої ваги, але і час перебування користувачів на сайті. Правильна перелінковка зручна і для робота. Якщо вона налаштована добре, він швидко знайде нові сторінки.
Додавання посилань на головну
Логіка проста: якщо вийшов новий матеріал або додана нова товарна сторінка, відповідний URL розміщують на головній. Так його швидше виявить робот (та й відвідувачі теж).
Додавання посилання в паблік соцмереж
Ще одна спірна тема. Але ділитися новим URL потрібно хоча б для того, щоб користувачі соцмереж стали переходити по ньому. Це покаже пошуковим системам, що посилання потрібно додати в індекс.
Як часто оновлюється контент?
Пошуковики частіше сканують сайти, які регулярно оновлюються. Це – сигнал для них, що ресурс живий, ним займаються і розвивають. Краще додавати новий контент мінімум двічі в тиждень, а також оновлювати старі публікації і актуалізувати дані.
Висновок
Головне для сайту – щоб все релевантні URL потрапили в пошуковий індекс. Це не так просто. Значення мають технічні тонкощі, якість контенту, частота оновлення, оптимізація сайту та ін. Важливо регулярно контролювати показник індексації, щоб вчасно виявити і вирішити виниклі проблеми.