Выпуск №23: Принципы Матрикснет       Уважаемые читатели! У PromoPult недавно был юбилей – 2 года с момента запуска. За это время алгоритм крупнейшего российского поисковика успел неоднократно и даже принципиально измениться – кстати, в этом выпуске рассылки вы можете почитать о современной парадигме ранжирования Яндекса и ее отличии от «доснежинской». Но, несмотря на все пертурбации, PromoPult стабильно и успешно обеспечивает вывод сайтов в ТОП10. Постоянные исследования, эксперименты, доработки схем и алгоритмов продвижения под современные реалии – все это гарантирует устойчивый результат. «Процент стояния» сайтов пользователей в ТОП10 неуклонно растет. Надеемся, что это происходит и благодаря работе Системы, и благодаря повышению качества продвигаемых сайтов. Развивайте свои ресурсы, а PromoPult возьмет на себя вывод в первые десятки Яндекса, Google и других поисковых машин! С уважением, Николай Коноплянников, руководитель службы техподдержки PromoPult.     Новости PromoPult     Новый параметр в ручных фильтрах закупки Запущен еще один параметр отбора доноров в ручных режимах закупки. Теперь пользователь может задать промежуток времени, в котором предлагаемая страница была в последний раз проиндексирована главными поисковиками Яндекс и Google. Данные о дате последней индексации берутся из кеша поисковиков, а их использование позволяет отобрать самые эффективные с точки зрения вывода в ТОП ссылкоместа среди предлагаемых донорами базы PromoPult и сделать простановку ссылок наиболее естественной с точки зрения поисковых машин. Система PromoPult и раньше при подборе доноров под проекты автоматически учитывала дату индексации в поиске, однако последние изменения в работе поисковых систем и стабилизация данных позволили вынести настройку в отдельный параметр фильтра для пользователей сервиса. Использование этого параметра позволяет ускорить выход в ТОП поиска и закрепить позиции сайта в выдаче по нужным ключевым словам.     В топ без гирь: аудит сайта от Николая Евдокимова     В сегодняшней рассылке я рассмотрю сайт Luxpodarki.ru. Обратите внимание, продвижением сайта занимается владелец сайта, который не является профессионалом в SEO, а результаты, тем не менее, есть. Здравствуйте,Николай! Продвигаю свой сайт Luxpodarki.ru с помощью системы seopult 4 месяца. До этого продвигал фрилансер, результаты меня не устроили и я решил делать это сам. Позиции: Y - 25% / R - 55% / G - 78% / M - 67%. Как видите, в рамблере, гугле и майле позиции более менее нормальные, яндекс - оставляет желать лучшего. У меня 50 ключевиков, из них порядка 13 - ВЧ (2000-5000 запросов в месяц), 15 - СЧ (150-800 запросов), 22 - НЧ (до 100 запросов). Сайт-магазин, страниц много. Под каждый запрос написали тексты, наВЧ тексты порядка 2000 символов с плотностью ключевиков, около 6 шт. на 2000 символов. На СЧ и НЧ тексты 500-1000 символов, с плотностью 3-4 шт. на 1000. Все тексты расположены в категориях первого уровня (т.е. прямой доступ из меню на главной странице). Общий бюджет на сеопульт - XX XXX руб. Проделана следующая работа: Сделана карта сайта в формате xml, повешена на морду (+в яндекс и гугл вебмастер); На всех продвигаемых страницах прописаны теги с ключевиками: title, keywords, discription, h1. (где-то есть H2-h6); Прописали теги к картинкам title и alt (посчитали, что этого будет достаточно, размеры и урл не стали прописывать); Сделан редирет 301 (вроде). Т.е. редирект c www на безwww; Структурирован каталог, т.е. сделали каталог-категории-подкатегории-товар. (раньше все было на одном уровне с главной страницей); Поставлены счетчики, Рамблер и маил. Написаны тексты, на каждый ключевик. На каждый ключевик выделено по 1 странице каталога (всего 50 ключевиков). Сделана внутренняя перелинковка (сделана 13.09.2010). Сайт зарегистрирован в каталоге яндекс, подал заявку на регистрацию в DMOZ. + зарегистрировали сайт в других каталогах. В настоящее время для увеличения постоянной сылочной массы начал продвигать сайт статьями по 3 запросам vip подарки, элитные подарки, подарки на юбилей. Основная задача - конечно увеличить продажи. Как средство для достижения этой цели вижу - достичь вхождение сайта по ключевикам в топ-10, а лучше в топ-5 Yandex. Хотелось бы услышать Ваше профессиональное мнение о нашем сайте. Надеюсь, на то, что Вы сможете нам помочь. С уважением, Александр. ООО "Подарки королей" www.Luxpodarki.ru Читайте этот аудит в нашем блоге.     SEO-технологии     Матрикснет: новая идеология поиска Яндекса Когда в Рунете было 10 000 сайтов, простой поиск по совпадению ключевых слов и ранжирование отсеянных страниц по базовым показателям авторитетности (аналогичным классическому алгоритму Page Rank) вполне удовлетворял пользователей. Качество выдачи даже при таком относительно примитивном подходе было приемлемым. Но взрывной рост количества страниц (документов) и приемов манипуляции известными факторами ранжирования привели к выбиванию с рынка поиска игроков, не сумевших найти более продвинутое решение. Среди отечественных разработок достаточно вспомнить Aport и Rambler – они потеряли лояльность пользователей в рекордно короткие сроки из-за мусора и спама в SERP. Однако Яндексу удалось преодолеть кризис: технологии компании пошли по пути стремительного увеличения количества обрабатываемых факторов, что позволило поддерживать качество выдачи. А 17 ноября 2009 года, с внедрением алгоритма «Снежинск», подход к ранжированию перевернулся с ног на голову. Раньше формула расчета релевантности документов была жесткой. Соотношение важности ее коэффициентов определялось изначально, на теоретических выкладках, а затем подстраивалось и «подкручивалось» – это и были апдейты алгоритма. Теперь же система машинного обучения (MLR, machine-learned ranking) Матрикснет анализирует тысячи факторов (признаков страниц), но коэффициенты важности каждого из них – по сути, это и есть формула ранжирования – присваиваются на основе оценки страниц живыми людьми, асессорами. Теперь не формула диктует, что хорошо для пользователей, а пользователи решают, какая формула лучше работает – точнее, создают ее. При достаточно большой выборке документов и добросовестной работе асессоров выдача, как показывает практика прошедшего года, получается релевантной – даже в настоящее время, когда в индексе Яндекса находится около 11 миллиардов страниц, а количество разнообразных поисковых запросов достигает десятков миллионов. Внутренняя метрика качества поиска pfound выросла на 5%, и это, судя по всему, еще не предел (а по тому, что значение не достигает маркетингово льстивых 70, 200 или 35353225%, яндексоиды честно и объективно измеряют этот критерий). Как работает машинное обучение? Берем объекты (в нашем случае – веб-страницы) и описываем их как можно большим количеством признаков. Поскольку мы не знаем, какие признаки действительно важны и определяют качество веб-страницы («здравый смысл» иногда расходится с истинным положением вещей), следует переложить задачу присваивания важности на компьютерный алгоритм. Алгоритму нужно «скормить» выборку документов, распределенных живыми людьми по степени соответствия некому поисковому запросу. А машина найдет общие признаки у наиболее релевантных и нерелевантных страниц, и на основе этих данных построит правила. Обученный алгоритм может очень быстро выполнять работу по анализу документов. 100 ассессоров анализируют 1000 документов (каждый просматривает эту одинаковую тысячу, чтобы нивелировать элемент «вкусовщины» и человеческой ошибки), а машина может в миллионы раз быстрее отранжировать десятки миллионов документов. В архитектуре поисковых систем применяются наработки двух математических «школ» машинного обучения: SVM (support vector machines) и Boosting (метод TreeNet). Первая позволяет быстро проводить обсчет, но оперируя ограниченным сотнями количеством признаков, а вторая требует много машинного времени даже по нынешним меркам, но обсчет может вестись по тысячам критериев. Однако группе сотрудников Яндекса под руководством Павла Карповича и Андрея Гулина удалось оптимизировать и приспособить к задачам поискового ранжирования алгоритм TreeNet. Суть усовершенствований: прием в работу каждого примера, кластеризация, устойчивые правила, матричный принцип. Правила, вырабатываемые Матрикснетом, достаточно просты и поддаются распараллеливанию на вычислительные потоки, что позволяет, повторимся, быстро анализировать страницы по тысячам критериев – по очень сложной формуле, объем которой достигает 280 мегабайт. В 2006 году – 0,02 килобайта (это информация из официального пресс-релиза в блоге Яндекса, хотя непонятно, как формула может занимать 20 байт. Вероятно, в релизе содержится ошибка – вместо «килобайта» следует читать «мегабайта»). Как происходит обработка поискового запроса Мы не будем останавливаться на частностях типа учета геозависимости запроса, но сосредоточимся на базовой (и достаточно условно описанной) архитектуре поиска. Яндекс использует пирамидальный поиск: сначала из всего гигантского множества документов выбирается ограниченное количество соответствующих базовым критериям – «кворум». На этом этапе применяется отсев по порогу содержания простейших ключевых слов (термов). Поскольку документов в индексе очень много, полученная выборка тоже может быть чрезмерно широкой для полной формулы Матрикснета – поэтому ее нужно сократить до размера, который эта формула может «переварить» в установленное для обработки одного запроса время. Для этого проводится анализ по статическим параметрам (так называемый «фаст ранк»): стандартный вес, траст и так далее. Лучшие результаты передаются на ранжирование полной формулой. Итак, сначала проводятся сравнительно простые вычисления с огромным количеством документов, а затем – сложные вычисления с небольшим количеством заведомо подходящих и уже неплохих. Конечно, выдача по наиболее распространенным запросам кэшируется серверами среднего уровня, поэтому каждый раз обсчет не производится (хотя постоянное пополнение индекса новыми документами вызывает необходимость периодического перезапуска всей последовательности итераций). Итак, ограниченное количество документов, которые нужно отранжировать, передается на вход Матрикснета. Алгоритм имеет структуру дерева решений, после прохождения которого получается матрица документов с присвоенными «числовыми значениями релевантности». Точнее, для каждого документа необходимо пройти по тысячам деревьев – и ноу-хау Яндекса заключается в балансировке (в математическом смысле), позволяющей очень заметно ускорить вычисления. Как оптимизировать сайт для Матрикснет Ответы на этот вопрос содержатся, по крайней мере, в четырнадцати предыдущих выпусках нашей рассылки, а также будут публиковаться в последующих. Мы рассматриваем критерии и их влияние, делимся опытом. Ответить на вопрос «как победить Матрикснет» в двух предложениях невозможно. Но все же основные практические рекомендации таковы: делать качественные сайты с оригинальным контентом; ориентироваться на признаки текущих лидеров ТОП10 по интересующим запросам; в процессе внутренней оптимизации страниц брать на вооружение подсказки PromoPult, так как они актуализируются по экспериментальным данным. Все очень просто: надо создать лучший сайт в своей тематике и своем регионе и люди из Яндекса к Вам потянутся! Кому это не под силу – создать лучший сайт по отдельным, средне и низкочастотным запросам. А кому и это сложно – продвигаться в Google и Rambler. Выводы Приведенное выше описание принципов ранжирования практически на 100% состоит из упрощений. Если есть глубокий интерес к теме, можно почитать описание Матрикснета авторства Андрея Гулина или статью «Жадные алгоритмы в задачах оптимизации качества ранжирования» (Гулин, Карпович). Обратите внимание, что в 2006 году формула ранжирования Яндекса принесла бы оптимизаторам много пользы, в настоящее же время практическую выгоду от исходных кодов Матрикснета получить будет сложно. Итак, «плясать от теории» в оптимизации сайтов теперь невозможно. Необходимо опираться на данные экспериментов, искать сочетания критериев, которые работают для вывода в ТОП и делают страницу релевантной с точки зрения алгоритма.       Новости рынка поискового продвижения     Яндекс сделал кнопку для взаимодействия с социальными сетями Делиться с друзьями интересным контентом – статьями, видео, картинками и так далее – через социальные сети и блоги модно, удобно и приятно. У вебмастера есть два способа предложить посетителям делиться: 1) поставить кнопки (скрипты) самих соцсетей; 2) поставить одну кнопку стороннего сервиса-интегратора. В первом случае блок получается громоздким, а страница – перегруженной скриптами. Во втором же вебмастер становится зависим от стабильности стороннего сервиса. Поэтому инициатива Яндекса с новой функцией API не может не радовать: ведь поисковик с большой красной буквой «Я», разумеется, один из самых надежных проектов в Рунете. В настоящее время кнопка позволяет перепостить контент в следующие сервисы: Я.ру, В контакте, Facebook, Twitter, Livejournal, Friendfeed, МойМир, Одноклассники. Комментарий PromoPult Поскольку кнопка передает информацию Яндексу, поисковик вполне может использовать ее для сбора информации о страницах, на которых ее размещают. Ранжирование с учетом отношения людей к конкретным сайтам (так называемые «поведенческие факторы») – один из самых мощных трендов. Если даже сейчас кнопка не является своеобразным счетчиком, никто не гарантирует, что после достаточного ее распространения яндексоиды не включат тихой сапой этот полезный для себя функционал. Поэтому рекомендации по установке кнопки можно дать точно такие, как и по установке Яндекс.Метрики: если у сайта все хорошо с посещаемостью и отслеживаемыми поведенческими факторами (см. предыдущий выпуск нашей рассылки) – можно, а если не очень хорошо – не стоит, так как можно упасть в выдаче.       Ответы на вопросы     Вопрос: Понизил бюджет, а расход не изменился. Что делать? Ответ: Поведение системы при уменьшении бюджета можно настроить в профиле проекта: быстро снять ссылки, либо снимать постепенно. Ссылки начинают сниматься на следующий день. Также Вы всегда можете самостоятельно удалить ненужные, на Ваш взгляд, ссылки. Вопрос: Как долго удаляются поставленные на удаление ссылки? Ответ: Обычно в течение двух-трех часов. Однако иногда ссылки могут удаляться в течение суток и более. Это связано с различными алгоритами кеширования сайтов-доноров. Но в любом случае действует правило: удалил ссылку сегодня – завтра за нее уже не платишь. Вопрос: Где можно записаться на семинары по поисковому продвижению? Ответ: Выберите нужный курс на сайте Обучающего Центра, и заполните форму регистрации на этой странице.           PromoPult.ru: автоматизированное продвижение сайтов seo@promopult.ru