С 1 февраля изменена формула расчёта интегрального показателя качества поиска и сводных показателей отдельных групп. Результатом стал заметный скачок всех поисковиков на графиках этих показателей, причём, если рост лидеров был весьма умеренным, «отстающие» подскочили очень значительно. Что же это означает?

Всё дело в методе подсчёта. До 01.02.2013 мы использовали формулу, присваивавшую в каждом анализаторе поисковикам значения от 0 (худшему) до 100 (лучшему), промежуточные же результаты пересчитывались в стобалльные пропорционально. Таким образом, худший в конкретном анализаторе поисковик получал за него оценку 0, даже если на деле его результат отличался от лидера всего на несколько процентов. Например, результаты 80, 50 и 40 были бы пересчитаны в 100, 25 и 0.

Этот метод подсчёта хорош, когда все результаты идут очень плотной группой – чтобы подчеркнуть разницу. Но когда разброс в отдельных анализаторах превышает 50% результата лидера (например, здесь), он перестаёт быть эффективным. Зато создаётся ощущение, что худшие поисковики не умеют совсем ничего (см. график, до 1 февраля), что, конечно, не соответствует действительности. К тому же, для «худших» характерны заметные скачки, которые при старой формуле обеспечивают «пилу» на графиках у всех остальных (см. график: до и после 1 февраля), что тоже достаточно странно.

Оценив плюсы и минусы, мы решили отказаться от нижней границы шкалы – теперь при подсчёте сводных показателей результат лучшего в анализаторе поисковика принимается за 100 баллов, а остальные считаются пропорционально. То есть для случая из примера выше (результаты трёх поисковиков 80, 50 и 40), при пересчёте в стобалльную систему мы получим 100, 61,5 и 50.

Кроме того, с 1 февраля мы поменяли местами результаты асессорского анализатора и значения сводного показателя на главной странице проекта. Несмотря на то, что при вычислении последнего используется гораздо больше факторов, нам кажется, что ручная оценка релевантности и качества страниц по набору довольно разнообразных запросов лучше отражает качество поиска с точки зрения пользователя – поэтому его удобнее видеть первым.