Баланс
0.00
Расход в день
0.00
Расход в месяц
0.00
Бонусные баллы
получить
Пополнить

Списания и начисления
Расходы по проектам

    User-agent – это директива в файле с инструкциями для поисковых роботов robots.txt. С помощью этой директивы можно не только установить свои правила поведения на сайте и его индексации каждой поисковой системе, но и каждому из роботов поисковой системы в отдельности. Например, есть необходимость закрыть от индексации какой-нибудь раздел, для того чтобы изменить в нем тексты, но при этом нужно, чтобы изображения из этого раздела продолжали индексироваться.

    В таком случае можно прописать следующие директевы, для соответствующих User-agent

    User-agent: YandexImages
    Allow: /
    User-agent: YandexBot
    Disallow: /razdel/*

    Также с помощью User-agent желательно разграничивать те директивы, которые понимает только одна из поисковых систем. Например, директиву Host нормально понимает только Yandex, Google ее просто игнорирует, а вот у Bing могут возникнуть проблемы с этой директивой в некоторых случаях. Поэтому лучше четко разделять, для каких User-agent использовать такие не универсальные директивы.

    См. также

    Иннокентий, Руководитель библиотеки знаний

    Настроим рекламу за вас

    Бесплатная профессиональная настройка вашей рекламной кампании. Идеально для предпринимателей.

    Иннокентий, Руководитель библиотеки знаний
    Регистрация в Системе бесплатна, а заведение проекта займет у вас всего 5 минут. Начните продвижение уже сейчас. Зарегистрироваться