Насколько быстро новые страницы сайтов попадают в поисковую выдачу?

Мы отобрали около двух тысяч сайтов Рунета, которые сами сообщают поисковым системам о том, что они обновились через формальную «карту сайта», sitemap.xml. Все эти сайты хорошо известны поисковикам: мы убедились в том, что их случайные страницы во всех или в подавляющем большинстве поисковых систем попадают в «десятку» по запросам, совпадающим с их заголовками (тег <title>). А вот насколько быстро начинают находиться по соответствующим им запросам новые страницы?

Ежедневно мы выкачиваем с отобранных сайтов карту сайта, сравниваем ее с сохраненной версией и смотрим, какие новые страницы появились (с каждого сайта берется не более 3 страниц в день). То же самое, естественно, могут делать и поисковые системы — для этого файлы sitemap.xml и создаются.

Из адреса и заголовка найденной таким образом новой страницы сайта формируется маркер, который будет активен 30 дней. В каждый из этих дней мы проверим, находится ли страница в поисковых машинах, если взять в качестве запроса ее заголовок: а) при поиске в кавычках с ограничением по данному сайту (так можно оценить скорость индексации); б) при обычном поиске по Интернету (это позволяет оценить скорость попадания новых страниц в поисковую выдачу).

Основная оценка, которую выдает анализатор — средняя «видимость» активных маркеров за месяц, но интересны и данные за более узкие периоды: в самые первые дни после публикации страницы; в конце первой недели, когда страницы, которые уже находились, случается, пропадают из выдачи; на второй неделе существования страницы; через две недели после публикации.