ROBOTS.TXT

ROBOTS.TXT – это файл в корневом каталоге веб-сайта, содержащий инструкции по действиям поискового робота в процессе индексации. Это может запретить вход в индекс как на отдельных страницах, разделах, категориях, так и на всем сайте. Вы также можете указать различные рекомендации по индексации роботов в отдельных поисковых системах. Для этого введите имя бота, на который действуют следующие инструкции, в обязательное поле User-agent. Затем у вас должна быть директива Disallow, указывающая адрес веб-ресурса, который запрещено индексировать. Если URL-адрес не указан, а значение Disallow пусто, считается, что индексирование всего веб-сайта разрешено (если нет альтернативного направления). Этот файл также может содержать:

• Адрес расположения карты сайта, позволяющий поисковым роботам быстро ознакомиться со структурой веб-ресурсов, которые они посещают.
• URL-адрес сайта, который служит основным зеркалом (если есть). Запрещение индексации через robots.txt может быть полезно для скрытия страниц, которые еще не готовы к публикации, содержат служебную информацию или имеют дублированный контент.

Автор

Dmitriy