Внутренняя кухня. Как мы делали кластеризацию запросов и нашли новое интересное решение

Кластеризация — это процесс создания групп запросов (кластеров), каждый из которых необходимо продвигать на соответствующей целевой странице. Кластеризация — очень важный базовый прием при продвижении любого сайта. Алгоритмы поисковых систем, которые применяются для ранжирования сайтов, зависят от типов запросов. Простой пример: коммерческие и некоммерческие запросы ранжируются по абсолютно разным правилам и их невозможно продвинуть на одной целевой странице. Если кластеризация не была проведена или была проведена неверно, вы можете до бесконечности продвигать свой сайт без видимых результатов по части поисковых запросов.

Взгляните на пример небольшой части ядра, на первый взгляд, очень похожих запросов:

Как кластеризует ядро специалист

Правильно — по смыслу запросов. Получится примерно вот такое распределение:

А теперь давайте посмотрим на реальную выдачу «Яндекса» по этим словам и проверим, находятся ли в группе слов одинаковые сайты, что свидетельствует о потенциальной возможности продвигать один сайт по запросам из кластера.

Мы видим достаточно разнообразный набор сайтов, но два пересечения присутствуют. Обратите внимание, что остальные результаты выдачи — это разные по тематике, параметровым характеристикам, моделям представления информации сайты, что видно даже из их сниппетов. И здесь кроется первый подвох: если мы продвигаем сайт по продаже подарочных сертификатов на полеты на параплане, от запроса «параплан купить» вообще стоит отказаться.Вы попросту не продвинете его по данному запросу. Ну а если у вас сайт по продаже парапланерного оборудования, продвигать его по данным запросам можно, но делать это стоит на разных страницах, как у присутствующих в выдаче конкурентов.

А теперь давайте взглянем на поисковую выдачу по запросам, которые специалист определил в разные кластеры, например, «полеты на параплане» и «подарок полет на параплане». Это действительно разные по смыслу фразы, и специалист не совершил ошибку, определив их в разные кластеры.

Бинго! Абсолютно одинаковые сайты по модели представления информации, тематике и пр. Огромное количество пересечений между конкурентами, одинаковые посадочные страницы по обоим запросам в выдаче. Получается, что нам гораздо удобнее и правильнее продвигать единую страницу для этих запросов — это дешевле (контент нужно писать только на одну страницу, улучшать внешние факторы нужно будет только по одной странице и пр.) и эффективнее.

Давайте разбираться, как можно делать кластеризацию правильно и не ошибаться.

Раньше выбор целевых страниц был полностью автоматизирован. Для определения мы задавали искомый запрос в поисковой системе, ограничиваясь поиском по вашему сайту. Вот примеры запросов для определения релевантной страницы:

• «Яндекс»
• Google

Такой метод позволял найти релевантную, по мнению поисковой системы, страницу, но имел ряд недостатков:

Плохая точность, если на сайте мало страниц. Практически по всем запросам часто будет искаться главная страница, в итоге мы можем получить релевантную главную для запросов «окна», «двери», которые физически нельзя продвинуть на одной странице.

Некорректная работа алгоритма, если не все страницы сайта проиндексированы / невозможная работа алгоритма, если сайта еще нет. Достаточно серьезное ограничение для новых проектов. Неправильно сделанное распределение запросов по страницам может погубить будущие результаты продвижения.

Нет учета применяемого алгоритма ранжирования ПС для конкретного типа запроса. Метод не позволяет анализировать текущую картину, которая представлена в топах, поэтому мы не в состоянии увидеть правильной картины группировки слов.

Иными словами, для небольшого количества запросов, особенно кардинально разных по смыслу («паркет», «ламинат», «половая доска»), а также при учете хорошо структурированного и проиндексированного сайта данный метод может быть применим и сегодня, но когда речь идет о первичном продвижении, то нужно искать альтернативу.

1. Сравнение страниц топов или hard-кластеризация

Лучший метод по всем показателям на данный момент. Кластеризация производится по методу сравнения топов в поисковых системах: запросы объединяются в группу, только если есть общий для всех запросов набор URL-адресов. Вы выбираете поисковую систему, на основе которой будет производиться кластеризация, а также необходимую точность, т. е. минимальное количество общих URL-адресов для слов, при котором слова будут объединены в группу. Сравнение производится по 10 результатам поисковой выдачи, соответственно, точность бывает от 1 до 10.

2. Сравнение через маркерные слова или soft-кластеризация

В этом методе кластеризации алгоритм определяет центральные (маркерные) запросы и сравнивает с ними все остальные запросы. Все остальные подвергают сравнению с маркерным словом по количеству общих URL в топ-10 «Яндекса». Soft-кластеризация формирует группы достаточно большого размера, но часто возникают ошибки в определении возможности совместного продвижения запросов на странице.

Для визуалов различие между этими видами кластеризации представим так:

Две методики кластеризации запросов

Недостатки кластеризации по методам сравнения топов (hard)

• Большие ресурсозатраты. Для того, чтобы произвести кластеризацию, необходимо собрать топ, отсеять нерелевантные вашему сайту результаты (например, присутствие почти по всем запросам Википедии ничего не даст коммерческому сайту, ее желательно исключить из сравнения). Если делать это вручную в Excel, кластеризация займет часы или дни работы. Поэтому подобный метод применяют, только используя автоматизированные инструменты.
• Частая невозможность получения кластеров с адекватным количеством ключевых слов. Если ядро запросов состоит из достаточно похожих по смыслу слов, то порой при задании точности 3–5 (количество одинаковых URl, при которых запросы будут собраны в кластер) вы получаете 2–3 больших кластера с огромным количеством слов, что порождает сложности в проведении текстовой оптимизации, т. к. вы будете балансировать с оптимизацией на грани попадания под спам-фильтры поисковых систем.
• Качество кластеризации полностью зависит от качества выдачи. Если вы продвигаете огромное количество НЧ и сверх НЧ запросов не в коммерческой выдаче, то вероятность наличия дорвеев, UGC-контента (форумы, гостевые и пр.) резко возрастает, соответственно, качество результатов кластеризации пропорционально снижается. Пользуйтесь лайфкахом: даже если вы планируете продвигаться в регионе, кластеризацию лучше делайте по Москве — качество сайтов там выше, и кластеризация получится лучше.

Дополнительные возможности, которые необходимы для идеальной кластеризации, чтобы можно было доработать полученные результаты вручную:

1. Определение коммерческих / некоммерческих слов.
2. Определение геозависимости слов.
3. Определение количества главных страниц в выдаче.
4. Определение wordstat слова и кластера.
5. Определение подсветок слова и кластеров.
6. Определение главного конкурента по семантическому ядру и конкурента в кластере.

3. Метод сравнения по тематикам слов

Кластеризация производится по методу сравнения тематик ключевых слов и пересечению их между собой. Запросы объединяются в группу, только если есть общий для всех запросов набор тематик, но при условии, что используемый классификатор тематики слова имеет приличную глубину. Например, тематику слова «паркет» необходимо представлять как: Деревянные полы / Бизнес и промышленность / Строительные материалы и конструкции / Полы из ламината / Напольные покрытия / Дом и сад / Строительство и ремонт зданий.

Если использовать меньшую глубину тематики слова, то слова будут сбиваться в огромные кластеры с посредственной точностью. Точностью здесь является минимальное количество общих тематик для слов, при котором слова будут объединены в группу.

На рынке представлено достаточно много классификаторов, которые с определенной вероятностью отражают возможную тематику слова.

Для своих целей мы использовали классификатор Google, подробнее можно почитать в описании их API. В результате по каждому слову Google дает набор категорий, которые его характеризуют.

Если тематика слова определена достаточно точно, слова сбиваются в смысловые кластеры. Из плюсов: метод условно бесплатный, если есть ресурсы API для обращений к Google.

Из минусов: точность кластеризации. Она объективна низка, данный метод подходит для оценочной кластеризации, дальше все нужно дорабатывать руками. Второй и самый существенный минус заключается в том, что система не ориентируется на топы и не решает задачу правильного распределения запросов, которые можно или нельзя продвигать вместе.

Разберем наш пример. Вот, что получилось в результате кластеризации по тематике (методом сравнения тематик в Google):

Можно не комментировать — это фиаско. Абсолютно разные по смыслу «параплан» и «мотопараплан» определены в единую группу, таких ошибок масса. В результате тестирования мы решили не выпускать инструмент в паблик, т. к. качество его работы крайне сомнительно.

На рынке представлено огромное количество инструментов на любой вкус и кошелек, все их можно разделить по трем направлениям.

Ручная кластеризация

В них удобно перетаскивать слова в группы и формировать конечный набор кластеров. Обладают малой практической ценностью, т. к. крайне слабо автоматизируют процессы и практически неотличимы от работы с Excel. Огромный плюс — бесплатность.

Автоматическая кластеризация

Полностью автоматические сервисы, в которые подается на вход ядро запросов и условия кластеризации, нам показывают цену, а на выходе получаем XLS файл с результатами. Лучшие решения на рынке для специалистов, которые понимают, что такое кластеризация и каких результатов необходимо ждать. Минусы: хорошие инструменты стоят около 0,5–1,5 руб. за кластеризацию одного запроса.

Агентский подход + автоматизация

На входе сервиса менеджер, который принимает от заказчика ядро запросов и после оплаты отдает результат кластеризации. Данный способ подходит для специалистов-новичков и владельцев бизнесов, которые слышали про кластеризацию, но не знают деталей и не хотят в этом разбираться. Минусы такие же, как у автоматических кластеризаторов: высокая стоимость кластеризации.

В SeoPult для внутренних целей достаточно давно использовались несколько подходов к кластеризации, но когда мы планировали выход нашего профессионального инструмента, то попробовали решить несколько задач: предоставить высокое качество работы, полную автоматизацию и удобство использования даже для владельцев бизнесов, а также низкую цену. Всё, как говорил Генри Форд: «Нужно, чтобы покупатель постоянно удивлялся, как можно за такую низкую цену давать столь высокое качество».

1. Качество

Бесспорно, сравнение топов по Hard-методу является лучшим на сегодняшний день способом. Его и было решено использовать как основной метод в нашем инструменте. Одна из проблем этого метода, описанная выше (частая невозможность получения кластеров с адекватным количеством ключевых слов), решилась полностью в автоматическом режиме — введением дополнительной перекластеризации. Система кластеризует ваш список запросов с заданной вами точностью, а далее задается несколько дополнительных условий перекластеризации с более высокой точностью только тех кластеров, которые содержат большое количество слов. В полностью автоматизированном режиме вы получаете набор кластеров с оптимальным количеством слов.

Вот результаты кластеризации нашего ядра (точность кластеризации 4, регион Москва):

Описанная проблема при ручной кластеризации с необходимостью продвижения слов «параплан» и «купить параплан» на разных страницах сайта решена автоматически — слова определены в разные кластеры.

Фразы «полеты на параплане» и неподходящие по смыслу «подарочный сертификат на полет на параплане» также отнесены к единому кластеру, т. к. имеют одинаковый набор продвигаемых страниц у конкурентов. Данная проблема, описанная в блоке, также решена автоматически.

Из необычного. Давайте посмотрим за запросы «полеты на мотопараплане» и «подарочный сертификат на полет на мотопараплане». На первый взгляд кажется, что данная конструкция очень похожа на пример выше, и слова должны быть определены в один кластер, но система не сделала этого.

Однако мы видим, что это неверное предположение! Ранжирование по этим запросам в «Яндексе» устроено несколько иначе. По запросу «полеты на мотопараплане» присутствуют абсолютно другие типы сайтов, и пересечения с запросом «подарочный сертификат на полет на мотопараплане» практически нет. Заметить это при работе вручную сложно, но если вы используете автоматизацию и работаете в сервисе, вы не ошибетесь!

Дополнительные фишки для анализа, которые получит специалист после кластеризации, вы можете посмотреть здесь.

2. Удобство

Для владельцев бизнеса уже все преднастроено: можно загружать список слов, выбирать регион, главную поисковую систему и получать результат.

Менеджер, применяемый на входе при агентском подходе, оказался попросту ненужным звеном, удорожающим стоимость.

Специалистам мы оставили все возможности для глубоких тонких настроек.

3. Стоимость

Когда мы проанализировали рынок, то были сильно удивлены высокой стоимостью инструментов кластеризации. Цены на кластеризацию одного запроса на рынке варьируются от 50 копеек до 1,5 рублей. Техническая сложность состоит лишь в съеме топов и wordstat, а остальное — математика на серверах. Поэтому мы сочли справедливым сделать стоимость кластеризации равной по стоимости съему запросов + парсингу wordstat, а это 9 копеек за кластеризацию одного слова или в среднем в 5 раз дешевле, чем в среднем на рынке.