Баланс
0.00
Расход в день
0.00
Расход в месяц
0.00
Бонусные баллы
получить
Пополнить

Списания и начисления
Расходы по проектам

User-agent – это директива в файле с инструкциями для поисковых роботов robots.txt. С помощью этой директивы можно не только установить свои правила поведения на сайте и его индексации каждой поисковой системе, но и каждому из роботов поисковой системы в отдельности. Например, есть необходимость закрыть от индексации какой-нибудь раздел, для того чтобы изменить в нем тексты, но при этом нужно, чтобы изображения из этого раздела продолжали индексироваться.

В таком случае можно прописать следующие директевы, для соответствующих User-agent

User-agent: YandexImages
Allow: /
User-agent: YandexBot
Disallow: /razdel/*

Также с помощью User-agent желательно разграничивать те директивы, которые понимает только одна из поисковых систем. Например, директиву Host нормально понимает только Yandex, Google ее просто игнорирует, а вот у Bing могут возникнуть проблемы с этой директивой в некоторых случаях. Поэтому лучше четко разделять, для каких User-agent использовать такие не универсальные директивы.

См. также

Мария Буга, Руководитель отдела «Персональный менеджер»

Персональный менеджер

Мы дадим рекомендации по настройке кампании или выполним работу за вас

Мария Буга, Руководитель отдела «Персональный менеджер»
Телеграм бот @PromoPultBot

Телеграм бот

@PromoPultBot — Вы сможете оперативно отслеживать динамику рекламных кампаний, подписываться на отчеты, пополнять баланс и получать важные уведомления cистемы.

Попробуйте - это очень удобно!