ROBOTS.TXT

ROBOTS.TXT – это файл в корневом каталоге веб-сайта, содержащий инструкции по действиям поискового робота в процессе индексации. Это может запретить вход в индекс как на отдельных страницах, разделах, категориях, так и на всем сайте. Вы также можете указать различные рекомендации по индексации роботов в отдельных поисковых системах. Для этого введите имя бота, на который действуют следующие инструкции, в обязательное поле User-agent. Затем у вас должна быть директива Disallow, указывающая адрес веб-ресурса, который запрещено индексировать. Если URL-адрес не указан, а значение Disallow пусто, считается, что индексирование всего веб-сайта разрешено (если нет альтернативного направления). Этот файл также может содержать:

  • Адрес расположения карты сайта, позволяющий поисковым роботам быстро ознакомиться со структурой веб-ресурсов, которые они посещают.
  • URL-адрес сайта, который служит основным зеркалом (если есть). Запрещение индексации через robots.txt может быть полезно для скрытия страниц, которые еще не готовы к публикации, содержат служебную информацию или имеют дублированный контент.
Вадим Мельник
Вадим Мельник
05:51 20 Aug 21
спасибо за работу, отлично продвинули сайт, что положительно повлияло на звонки клиентов
Александр Лынка
Александр Лынка
19:11 06 Jun 21
Спасибо команде специалистов за высокое качество работы, профессионализм и отличное отношение к клиентам!
Oleg Omelchenko
Oleg Omelchenko
19:11 06 Jun 21
Лучшее соотношение цены и качества выполненной работы.
Алексей Шевченко
Алексей Шевченко
12:49 18 May 21
Ребята настоящие профессионалы своего дела!
See All Reviews

    ТМ Расткрутка сайтов - продвижение





    Мы проанализируем Ваш сайт и укажем слабые места

    Вверх