Не растут позиции в Яндекс и Google: почему и что делать?

1.1. Подбор семантики только по смыслу (мало запросов)

Сбор семантики — большой и продолжительный процесс. Однако часто по неопытности или с целью экономии времени ядро собирается только по вертикали (запросы, описывающие бизнес, по которым его могут искать в поиске). Это влечет ограничение списка до десятков и сотен запросов — теряются тысячи и десятки тысяч менее очевидных слов, способных генерировать трафик.

Решение: не бояться огромных списков семантики — расширять базовое ядро с помощью Яндекс.Вордстат, подборщика Google, поисковых подсказок (в том числе подсказок YouTube), блока «вместе с этим ищут» под результатами поиска, заголовков сайтов конкурентов (title, h1), счетчиков статистики (данные по поисковым фразам, по которым были переходы на сайт). В результате вы будете иметь богатый список ВЧ-, СЧ-, НЧ- и микроНЧ (длиннохвостых) запросов.

1.2. «Мусор» в семантическом ядре

С одной стороны, правильная оптимизация требует сбора огромного ядра запросов. С другой стороны, в этот список неизбежно попадает «мусор» — фразы, не отвечающие тематике или частотность которых стремится к нулю (пользователи их не запрашивают). Они бесполезны для оптимизации страниц и без применения чистки будут просто вытягивать время и деньги.

Решение:

1. Вычистить ядро от нулевых запросов с помощью поисковых операторов Вордстат. Проще и быстрее всего это сделать с помощью специальных парсеров, например Парсер Вордстат в SeoPult. Вам нужно загрузить XLS-файл с ядром в систему и уже через минуты вы получите список реальных частотностей запросов с учетом различных операторов. Список можно выгрузить в Excel, использовать фильтры, сортировки и удалить из списка нулевые запросы.

   Выдержка из отчета по частотности ключевых слов. В список попали нулевые запросы, бесполезные для привлечения пользователей (отмечены желтым маркером).

2. Вычистить ядро от слов, нерелевантных тематике, например, ремонт шин для магазина покрышек. Ускорить работу поможет инструмент KeyCollector, однако список стоп-слов придется подготовить заранее. Опираться можно на открытую базу минус-слов, которая пополняется специалистами по контекстной рекламе.

   Функция в KeyCollector для быстрого поиска стоп-слов в семантическом ядре

1.3. Отсутствует оценка реальности вывода в ТОП

Устранив нулевые фразы, многие считают работу законченной и оптимизируют страницы под семантику из ядра. По части запросов ТОП покоряется (при условии, что нет других проблем с сайтом и рекламной стратегией). Но другая часть запросов, как правило преобладающая, не дает видимости страниц в первой и даже второй десятке поискового рейтинга. Причина — несоответствие типа продвигаемого документа тому, что находится в ТОПе. Вспоминаем историю про разнообразие выдачи и ложные ожидания.

Решение: оценить реальность вывода запроса в ТОП. По каждому запросу посмотреть состав сайтов в органике на первой странице Яндекса и Google (процент агрегаторов, инфосайтов, соцсетей, коммерческих сайтов). Вынести в отдельную закладку те запросы, по которым бессмысленно проводить оптимизацию вашего типа страниц — данные запросы можно будет использовать для встройки на сайты партнеров. Другой вариант — оптимизировать под них иной типа документов, например, некоммерческий блог.

1.4. Не выполнена кластеризация ядра

Многие начинающие оптимизаторы и владельцы сайтов интуитивно группируют похожие запросы в отдельные группы, чтобы затем под эту группу запросов оптимизировать одну, а не две-три-пять страниц сайта. Действие верное, однако кластеризация не должна проводиться по смыслу запросов. Если действовать по наитию, можно не добиться нужного результата — видимости страниц по части трафиконосных запросов.

Решение: применять кластеризацию по HARD-методу — методу сравнения ТОПов в поисковых системах. Здесь выявляется пересечение сайтов в ТОПе по определенной группе запросов, и большое число пересечений (3-4-5) говорит о том, что данный кластер можно продвигать на одной странице. Под найденный кластер оптимизируется текст одной страницы, что здорово удешевляет процесс оптимизации, и растет эффективность работы. Подробно о HARD-методе кластеризации мы рассказали в статье про нашу внутреннюю кухню.

1.5. Не задействованы сложные для продвижения запросы

Те запросы, по которым сложно пробиться в ТОП из-за высокой плотности агрегаторов и инфосайтов, опрометчиво оставлять без внимания. По ним можно получить очень быстро качественные переходы, не тратя денег на оптимизацию собственных страниц.

Решение: партнерство с агрегаторами и инфосайтами, стоящими в ТОП10 по запросам из группы «сложных». Можно интегрироваться в статью на странице из ТОПа, добавить сайт в агрегатор и за счет партнеров получать трафик. Найти такие страницы для встройки поможет технология «Естественных ссылок» в SeoPult.

2.1 Сайт закрыт от индексации в robots.txt

Во время работ над сайтом часто целые разделы или весь ресурс закрывается от индексации. Пока идут работы — поисковые роботы не видят его и не индексируют. Но случается, что по окончании работ сайт забывают открыть. Данная проблема может быть неочевидной, так как сам ресурс исправно работает.

Решение: проверить и исправить файл robots.txt.

Файл robots.txt находится в корневой папке сайта. Быстрее всего провести проверку файла с помощью инструмента в панели вебмастера Яндекса. Если сайт закрывался от индексации, в файле будет прописана директива Disallow.

Директива Disallow в robots.txt

На скриншоте выше сайт полностью закрыт от индексации для всех поисковых роботов. В зависимости от нужд могут закрываться только определенные разделы или страницы.

Чтобы открыть сайт для индексации, нужно изменить директиву Disallow на Allow.

Сайт открыт для индексации

Подробнее о работе с файлом robots.txt можно почитать тут.

2.2 Страницы сайта еще не попали в поисковый индекс

Яндекс и Google сканируют сайты по-разному, что отражается на скорости добавления страниц в поисковый индекс. Так, страницы новых сайтов попадают в индекс:

• Яндекс — 2-3 недели,
• Google — 1 неделя.

Поэтому если страницы вашего сайта не видны в поисковой выдаче, возможно, еще слишком рано и поисковый индекс не обновился.

Решение: проверить наличие страниц в индексе поисковых систем и ускорить индексацию через панели Яндекс.Вебмастер и Google Search Console.

2.3. Отсутствует файл Sitemap.xml

Файл Sitemap.xml (карта сайта) содержит список URL-адресов всех страниц сайта, а также параметры индексации (частота изменения, относительная значимость страницы). Отсутствие данного файла может замедлять процесс индексации, особенно молодых ресурсов.

Решение: проверить наличие файла Sitemap.xml, при отсутствии создать его и «скормить» панелям вебмастера Яндекс и Google.

Создать файл можно вручную или с помощью специальных генераторов.

Настройки в онлайн-генераторе карты сайта XML-Sitemaps

В популярных CMS есть встроенные плагины генерации файла Sitemap. Например, для WordPress это плагин Google XML Sitemaps.

Также в файле Sitemap можно указать дополнительные параметры:

• включить атрибут Last-Modified, чтобы поисковые роботы видели дату последнего изменения страницы;
• автоматически рассчитать коэффициент приоритетности страниц: поисковые роботы учитывают этот показатель и в первую очередь загружают в индекс наиболее приоритетные страницы;
• указать частоту изменения страниц: этот атрибут также полезен для поисковых роботов, так как дает им знать, до какого срока можно не загружать повторно проиндексированные ранее страницы.

2.4. Не указано главное зеркало сайта

Зеркало — это полная или частичная копия сайта, доступная по другому URL. С точки зрения поисковиков site.ru и www.site.ru — разные адреса. Зеркала могут появляться при переезде на новый домен, при смене названия компании (и, соответственно, домена сайта) и т.д. Если при этом не указать поисковым системам, какое зеркало является основным, они могут решить это самостоятельно. Поисковики индексируют только одно из зеркал, поэтому если они определили главным не то зеркало, основной сайт может терять позиции и не продвигаться.

Решение: указать основное зеркало сайта в Яндекс.Вебмастер и Google Search Console. В течение 1,5-2 недель поисковики склеят зеркала, переиндексируют страницы, и в поиске появятся нужный URL.

2.5. Присутствуют дубли страниц

Дубли — это страницы сайта, на которых полностью или частично повторяется контент. К полным дублям — идентичным по содержанию страницам относятся: зеркала сайта (c WWW и без, на http и https), версия для печати, страницы-синонимы (с GET-параметрами, со слешем в конце и без него), одна и та же страница, доступная по разным URL. К частичным дублям — страницам с похожим контентом относятся: страницы пагинации, древовидные комментарии, карт�