USER-AGENT – это одна из стандартных директив в robots.txt, которая предписывает веб-мастерам искать соответствующее поведение ботов при индексировании своего веб-сайта (запрещать / разрешать весь сайт или отдельные разделы, страницы). Директива User-agent используется в полях Disallow и / или Host для имени бота, для которого применяются следующие рекомендации: Звездочка (*) используется вместо имени, когда следующие правила применимы ко всем ботам без исключения.
Автор
Увеличение органического трафика с помощью внутренней оптимизации
Переход на UA версию сайта без потери посещаемости: как это сделать
Как работать с аутрич-ссылками: полный практикум
Анализ содержимого сайта с помощью Search Console Insights. Перечень возможностей
Аутрич-ссылки: способы получения
Сайт с логичной структурой: что это и зачем?
ТМ Расткрутка сайтов - продвижение
Мы проанализируем Ваш сайт и укажем слабые места