Внутренние дубли страниц на сайте: как находить и что с ними делать?

Содержание:

Дублированные страницы: о чем речь и как их отличают

Дубль — страница сайта, содержимое которой на 100% или отчасти совпадает с контентом иной страницы на том же ресурсе. Отличия — только в URL-адресах. Они влияют на продвижение сайтов, поэтому важно оперативно устранять их и не допускать появления. Понятно, что никто не делает это специально. Почему возникают дубли страниц на сайте:

  • из-за ошибок CMS. Движок может автоматически генерировать копии страниц;
  • из-за ошибок вебмастера. К примеру, специалист может выложить одну и ту же товарную страницу в разных категориях;
  • из-за перестановок в структуре: допустим, если присвоили новые URL существующим страницам, а старые не удалили.

Полные и частичные дубли страниц

Вы уже знаете как создавать качественный контент, наполняете сайт, однако дублирование может свести все ваши усилия на нет. К полным дублям, что очевидно, относят страницы с полностью совпадающим контентом и с отличающимися URL. Несколько примерных вариантов полных дублей:

  • Ссылки с наличием и отсутствием слеша в конце.
  • Версии HTTP и HTTPS.
  • Версии с www в адресе и без www.
  • Дубли с index.php и другими вариантами.
  • Наличие разных регистров.
  • Отличающаяся иерархия в урлах.
  • Использование меток.
  • Ошибки в настройках 404.

В частичных копиях страниц контент в целом совпадает, но есть особенности в деталях. Несколько примеров:

  • Дубли товарных и категорийных страниц. Возникают из-за совпадения типовых товарных описаний. Поэтому важно не повторять описания в каталоге, используя уникальный контент.
  • Копии сортировочных страниц, поиска — везде, где может попадаться похожий контент и отличаться только порядок его размещения.
  • Копии страниц, предназначенных для распечатки: когда контент соответствует содержимому основной страницы.

Проблема частичных дублей в том, что их сложнее находить. Но делать это нужно. Почему — рассмотрим далее.

Что будет, если оставить дубли страниц на сайте?

«Коварство» дублей в том, что они появляются на любом сайте, независимо от количества страниц и возраста ресурса. Они (в большинстве случаев) совершенно не мешают пользователям. Но у поисковых роботов своя логика и из-за дублирования раскрутка сайта в поисковиках может обернуться крахом.

Что будет, если оставить дубли страниц на сайте?

Они «видят» разные URL. Значит, под ними должны быть разные страницы. Но если контент на них повторяется, роботы принимают это за ошибку. Последствия могут быть разными:

  • проблемы при индексации. Дубли страниц увеличивают размер сайта. Индексация копий напрасно расходует краулинговый бюджет (объем, который может быть просканирован за одно посещение бота). По итогу действительно ценные страницы могут так и не попасть в выдачу;
  • падение важных для продвижения страниц в выдаче. Вполне возможно, что алгоритм Google или Яндекс посчитает дубль страницы более подходящим запросу. Или еще хуже: исключит из выдачи обе страницы;
  • снижение ссылочного веса продвигаемых страниц — из-за того, что посетители будут давать ссылки на копии, а не на оригинальные страницы.

Как находить дублированные страницы?

Чтобы решить проблему, нужно ее обнаружить. Приведем несколько вариантов поиска копий.

Как находить дублированные страницы?

Специальный софт

Его легко найти в интернете. Чтобы сделать предварительный аудит сайта рекомендуем XENU, Screaming_Frog_SEO_Spider, Netpeak Spider и другие. Суть работы — в сканировании сайта, в результате которого удается обнаружить страницы с дублированным содержимым — не только в блоке , но и в метатегах.

Операторы поисковика

Способ подходит для небольших сайтов. С помощью оператора site: реально проверить проиндексированные страницы и поискать дубли среди них. В Google это делается так: запрос «site:example.com», после чего — просмотр страниц из выдачи. Кстати, способ также позволяет обнаружить страницы, которые не должны находиться в выдаче.

Поисковый оператор дает возможность проанализировать выдачу по фрагменту текстового контента со страницы. Способ подходит для единичных случаев: если есть подозрения, что конкретная страницы продублирована. Для этого нужно скопировать часть текста, взять его в кавычки, и далее после пробела написать оператор site: с указанием сайта. Результаты показали одну страницу? Все отлично. Несколько? Нужно изучить каждую и понять, откуда появились дубли.

В выдаче поисковой сети можно проверять содержимое метатега Title. Чтобы сделать это, применяют оператор intitle:. Запрос выглядит следующим образом:

site:example.com intitle:текст title (можно часть)

С помощью операторов site и inurl легко находить копии, образовавшиеся на сортировочных, поисковых страницах. Примеры запросов:

site:example.com inurl:sort
site:example.com inurl:filter, search

Как решать проблему с дублями страниц на сайте?

Есть несколько методов удаления обнаруженных копий страниц.

Как решать проблему с дублями страниц на сайте?

1. 301 редирект

Главный способ. С помощью 301 редирект можно автоматически переадресовать страницу сайта на нужную. Этого достаточно, чтобы боты увидели: все в порядке, дублей нет. Особенно это важно, если среди причин появления дублей:

  • проблемы при использовании слешей;
  • разная иерархия ссылок;
  • применение разных регистров.

2. Robots.txt

Дает рекомендацию запретить ботам сканировать ненужные страницы. Это делается с помощью директивы Disallow. Но стоит отметить: бот может не послушаться, и страница все равно появится в выдаче.

3. rel=”canonical”

Подходит, если копию страницы нельзя удалить, и нужно оставить его доступным. Это могут быть сортировочные страницы, с utm-метками и пр. Google воспринимает этот атрибут. Указывая при его употреблении канонический URL, владелец сайта демонстрирует, какая страница более важна для индексации.

Выводы

После поиска и удаления внутренних копий страничек лучше провести повторную проверку. Это позволит оценить, насколько эффективным был выбранный метод чистки дублей. И в целом — лучше регулярно выполнять анализ и проверку, чтобы не допускать дубли страниц на сайте.

Еще новости

Вадим Мельник
Вадим Мельник
05:51 20 Aug 21
спасибо за работу, отлично продвинули сайт, что положительно повлияло на звонки клиентов
Александр Лынка
Александр Лынка
19:11 06 Jun 21
Спасибо команде специалистов за высокое качество работы, профессионализм и отличное отношение к клиентам!
Oleg Omelchenko
Oleg Omelchenko
19:11 06 Jun 21
Лучшее соотношение цены и качества выполненной работы.
Алексей Шевченко
Алексей Шевченко
12:49 18 May 21
Ребята настоящие профессионалы своего дела!
See All Reviews

    ТМ Расткрутка сайтов - продвижение





    Мы проанализируем Ваш сайт и укажем слабые места

    Вверх