Как работают поисковые системы

Доброго времени дня, о гении современности! Сегдня я бы хотел подробно, чётко и без воды рассказать о том, как работают поисковые системы (поисковые машины). Необходимость этого рассказа вызвана частым отсутствием понимания этих базовых вещей у оптимизаторов и маркетологов, не говоря уже о заказчиках.

В работе поисковых машин Яндекс и Гугл можно выделить три основных этапа:

Сканирование

Поиск всех URL-адресов в Интернете. Выполняется роботами, которые последовательно проходят по всем ссылкам в документах (если ссылки нет в коде страницы, по определённому URL, например, ссылки загружаются скриптом, роботы не видят их), скачивают их, учитывая при этом сигналы из файлов sitemap, robots, сигналы из мета-тегов robots, canonical.
Индексация

Обработка содержимого веб-страниц, добавление страниц в индекс поисковой машины. Поисковая машина анализирует текст, структурные элементы, мета-теги, собирает различные сигналы. Также, на этом этапе происходит распределение документов в основной и дополнительный индекс (так называемая, песочница, результаты из которой не попадают в выдачу).
Ранжирование

Подготовка поисковой выдачи по конкретному запросу пользователя. Поисковая система определяет, какие документы из основного индекса и в каком порядке должны быть выданы по данному запросу. Релевантность запроса документу, а, соответственно, и присутствие и позиция в выдаче по запросу определяется алгоритмом ранжирования. Алгоритмы учитывают тысячи сигналов. Наиболее значимые сигналы называют факторами ранжирования. Факторов ранжирования известно более 200.

Все факторы ранжирования можно разделить группы. Выделю 3 основных:

Внешние (всё, что связано со ссылками, соцсигналами, упоминаниями бренда).
Внутренние (всё, что связано с сайтом, сервером).
Поведенческие (всё, что связано с поведением пользователей на странице поисковой выдачи, на сайте).

Следует отметить, что алгоритмы работают по-разному (влияние сигналов пересчитывается) в зависимости от типа запроса, местонахождения пользователя, пользовательской истории поиска, пользовательских предпочтений.