Комментарии к теме АГС-17: фильтрация страниц, не имеющих ценности для пользователей.
В последних числах сентября в заголовках SEO-новостей появился такой термин как АГС-17.
Со слов разработчиков, принцип действия его следующий: "Робот анализирует содержание всех страниц сайта и принимает решение о включении их в индекс. Если сайт большой, а в поиске участвует лишь несколько его страниц, это означает, что остальные были классифицированы как не имеющие дополнительной ценности для пользователей."
Что мы получаем на выходе: глобальное уменьшение индекса для значительного количества сайтов Рунета. Данная проблема естественно в большей степени затрагивает сайты, произведенные для продажи с них ссылок, что не удивительно, т.к. именно на таких ресурсах приличный объем контента достигается парсингом и размножением.
Перейдем к некоторым цифрам по апдейту от 02 октября 2009:
Данные мы собираем на основе индекса продающих страниц SeoPult (модуль расчета бюджета):
- - размер индекса до апдейта: 463'125'644 страниц
- - размер индекса после апдейта: 448'232'462 страниц
Есть данные по сайтам с количеством страниц до 10, от 10 до 100, от 100 до 1000, от 1000. Картина по ним аналогичная с небольшим отклонением по группам от 100 страниц в сторону увеличения процента отфильтрованных.
Из последних четырех апдейтов это минимальное уменьшение индекса, предыдущие три показали более серьезный процентаж. По нашим данным суммарно он составил чуть менее 40% страниц.
При этом для площадок, которые закупаются в SeoPult процент не превысил 12, что может продемонстрировать тщательность первоначального отбора.
В процессе усиления фильтрации по схеме АГС-17 поисковая машина произвела ряд действий, ограничивающих возможности массовой проверки нахождения страницы в индексе. Бан IP, введение капчи.
Итак, что мы имеем:
- Ограниченные возможности проверки индексации;
- Значительное уменьшение индекса для продающих сайтов.
Как мы с этим работаем:
- Мы расширили собственные ресурсы и имеем возможность проверки индексации на текущий момент с двукратным запасом, что позволяет нам отсекать неиндексат максимально оперативно;
- Мы в кратчайшие сроки эффективно осуществляем перестановку ссылок на страницы, находящиеся в индексе, увеличивая свой процент присутствия на эффективных донорах бирж.
Выводы: существует две возможности дальнейшей эффективной работы. Первая возможность - проверка тысяч страниц вручную, постоянно борясь с антикапчами и банами ip. Вторая возможность - перенести проекты в SeoPult и пользоваться нашими ресурсами.
Все под контролем, SeoPult.
