Анализатор апдейтов поисковых машин

Апдейт поисковой машины — это пополнение, изменение, обновление индекса и/или алгоритмов ранжирования поисковика.
Внешне проявляется в виде изменений позиций сайтов в результатах поиска. Апдейт — великое событие в жизни оптимизатора! 
Кто-то может заслуженно гордиться, что именно его стратегия продвижения сработала, и сайты клиентов оказались если уж не «прибитыми к потолку», то хотя бы в Тор10. Кто-то мучительно думает, в чем неправ, наблюдая сползание своих позиций.

И все хотят знать, а как обстоят дела у коллег. Любой мало-мальски значимый апдейт сопровождается бурным обсуждением на форуме searchengines.ru, но большинство выступлений можно свести к двум типам:
А у меня сегодня встал (в смысле — сайт в результатах поиска)
А у меня — упал (в смысле — тоже сайт в результатах поиска)

Комбинируя бесконечные «встал-упал», оптимизаторы пытаются понять суть апдейта и присвоить ему некие оценочные характеристики (хороший апдейт — плохой апдейт). При этом каждый оптимизатор не стремится публиковать информацию о конкретных сайтах и позициях, поэтому стороннему читателю приходится или догадываться, что у кого встало-упало, либо просто оставить эти попытки и попытаться вникнуть в тенденции апдейта, основываясь исключительно на тональности обсуждения.

Поэтому идея такова — создать некий анализатор апдейтов, который предоставил бы специалистам некую объективную информацию по вопросу «а как у других». Вот описание реализации.
Есть апдейт или нет апдейта

Проверить незыблемость позиций по нескольким сотням тысяч более-менее значимых поисковых запросов невозможно. Значит, необходимо сделать некую выборку, и каждый день сравнивать позиции сайтов в первой десятке (потому что именно Тор10 волнует всех) с данными за вчерашний день. Для начала возьмем 100 поисковых запросов из базы запросов Рамблера. Принцип отбора — случайный (программой, не руками), мы старались, чтобы в выборке были представлены запросы с разными частотами. Вот они, через запятую:

открытки, гороскопы, камасутра, философия, поздравление с днем рождения, аватар, шанс, евроремонт, компьютерный мир, скачать бесплатно игры, детская обувь, кубок уефа, заказ авиабилетов, тамбов, аутсорсинг, вывоз мусора, продажа машин, рим, планета суши, хирургия, росавтодор, тесты цифровых фотоаппаратов, прогноз погоды москва, сайт орт, гермес, личный гороскоп, перу, канальные вентиляторы, приколы от фоменко, что такое лизинг, андипал, сдаю, посольство испании в москве, оценка квартиры, хайден кристенсен, продэкспо, юнидокс, фото свадебных причесок, теории происхождения человека, надувная лодка, тюнинг нивы, большевик, журнал карьера, военные училища, кожаные сумки, фаберже, осень-зима 2005, авто магазин, фото приколы для взрослых, русификатор fable, зал чайковского, великие художники, журнал правоведение, журнал педагогика, история предпринимательства, музеи в москве, квартира без посредников, экватор, достопримечательности англии, мартин, клиники пластической хирургии, город тула, новостные сайты, экология и здоровье человека, гостиница центральная москва, абстинентный синдром, воспаление слюнной железы, подвесной потолок армстронг, скачать flash мультфильмы, все о великобритании, закон отрицания отрицания, типы домов, балон, взлом удаленного компьютера, полотно, шифрование данных, календарь контрацепции и зачатия, игра фараон, техника для дома, югтехкомплект, кайдановский, арт и дизайн, покровский рудник, шпаклевка стен, одежда на заказ, горячие туры в турцию, контрольные работы по психологии, скачать borland pascal, фотографии ниндзя, сберкассы москвы, элевит пронаталь, сексуальный журнал, взлом windows, автокомплекс, одесса автосалоны, ростехнадзор рф, неофициальный сайт нгту, тюнинг ваз 2111, обслуживание джип, реферат экологические проблемы

Для каждой комбинации Запрос+Поисковик+Позиция сравниваются домены. Если вчера на этом месте был один домен, а сегодня другой, значит, произошло изменение, и апдейт был. Теперь надо его как-то оценить в количественных показателях.
Устойчивость

Назовем устойчивостью способность сайтов «сопротивляться» апдейту. Если при сравнении данные по Запрос+Поисковик+Позиция не совпали, значит домен оказался неустойчивым. Совпали — устоял. Коэффициент устойчивости выводится по формуле

K(у) = [1 — (количество несовпадений / количество сравнений)] * 100%

Количество сравнений в нашем случае равно 100 (запросов) * 10 (позиций) = 1000. Также можно показать абсолютное количество неустойчивых доменов. Таким образом, показатель устойчивости 95% демонстрирует, что 95% анализируемых сайтов остались на своих местах, 5% — изменили позицию.
Выпавшие из Тор10 домены

При апдейте домены могут как тасоваться в Тор10, так и выпадать из десятки. Нам необходимо оценить, какое количество доменов выпало. Для этого по каждому запросу проводится сравнение набора доменов на предыдущую дату с набором на сегодняшнюю дату. Совпадения (домен остался в Тор10) обнуляются, в итоге остаются только пары выпавший домен + появившийся вместо него домен. Нас интересует количество таких пар по всем запросам и процент по отношению к количеству возможных выпадений. Количество возможных выпадений для выборки из 100 запросов опять же 1000.

Наверное, по количеству выпадений из топа можно как-то охарактеризовать апдейт. Например, 0-10% — вообще не апдейт, 11-25% — слабый апдейт, 26-50% — сильный апдейт, 100% — полный… эээ… апдейт! Точные характеристики можно будет подобрать, наблюдая за апдейтами какое-то время по данной методике.
Смещение позиций

Для доменов, которые изменили позицию, но избежали выпадения, можно подсчитать очень интересный показатель — смещение позиций. Был сайт на первом, стал на втором, значит, смещение позиции = -1. Был на четвертом, стал на третьем, смещение позиции = +1. Очевидно, что максимальное смещение вниз = -9, вверх = +9. Выяснив суммарную «длину» смещения и количество сместившихся доменов, можно подсчитать средние показатели для смещения вверх и вниз.
Схожесть алгоритмов ранжирования

Яндекс, Рамблер, Google — популярные поисковые системы, люди охотно пользуются ими. Поисковики ищут информацию в Интернете и ранжируют документы в меру своих представлений о ценности того или иного сайта в ответ на поисковый запрос. Но тасуют они ссылки на одни и те же сайты. Специалисты знают, насколько сложно продвинуть проект, который бы по большинству «своих» запросов одинаково успешно ранжировался бы во всех трех поисковых системах.

Поэтому довольно интересен показатель, какое количество доменов присутствует в Тор10 по запросу во всех трех поисковых системах. Назовем такие домены — сквозными. Максимально возможное количество сквозных доменов для нашего списка из сотни запросов опять же 1000. Реальное количество… что же оно характеризует?.. То ли некую «общность» в алгоритмах поисковых машин. То ли количество неконкурентных запросов и имен собственных в случайной выборке, по которым разночтений с определением сайтов-лидеров просто не может быть. То ли уровень оптимизированности рынка, если предположить, что оптимизаторы и стремятся, и добиваются все-таки «сквозных» результатов по нужным запросам.

Эти версии еще предстоит проверить.

Анализатор апдейтов поисковых машин

Все вышеописанные показатели уже можно посмотреть. Анализатор снял первые данные 15-го мая, а 16 и 17 уже выдал макрохарактеристики апдейтов для Яндекса, Рамблера и Google. Вот ссылка на сводную таблицу для всех трех систем — http://tools.seo-info.ru/se_update/update.htm. В ней показывается только устойчивость сайтов. Клик по соответствущей системе выведет таблицу для нее со всеми данными.

По крайней мере, первую задачу мы выполнили — для ответа на вопрос «а как у других» анализатор предоставляет довольно интересную информацию. Например, вчера было очень интересно, увидев изменение интересующих конкретных позиций в Яндексе, узнать, что апдейт затронул почти 60% сайтов. Также интересно наблюдать, что апдейты, оказывается, фиксируются чуть ли не каждый день. Со взгляда на этот индикатор удобно начинать новый рабочий день.

Но ответ на один вопрос обычно порождает несколько других. В частности, насколько совпадают апдейты по коммерческим и некоммерческим запросам. По длинным и коротким. По высокочастотным, среднечастотным и низкочастотным. Каково количество сквозных доменов в коммерческих и некоммерческих областях и можно ли по этому показателю как-то оценить уровень распространения SEO в Рунете… и др.