Поисковые системы – как они работают?

Различные поисковые системы

Поисковые системы в распоряжении людей одним щелчком мыши.

Давайте рассмотрим несколько различных вариантов поисковых систем. Самой популярной поисковой системой является Google, доля рынка которой составляет 90% во всем мире.

Это означает, что это, несомненно, самая популярная поисковая система на данный момент. Но что там ещё?

Ну, а как насчёт Bing? Это вторая по величине поисковая система в Северной Америке. Около 6% людей в США и Канаде используют Bing в качестве основной поисковой системы.

Кроме того, 4% американских поисковиков используют Yahoo. Это означает, что стоит изучить, какую поисковую систему использует ваша целевая аудитория, если вы живёте в Штатах.

Но это ещё не всё.

Есть регионы, где другие поисковые системы более доминируют.

В России, например, «Яндекс» лидирует с 45% доли российского рынка. Кроме того, лидером рынка в Китае является Baidu, на долю которого приходится 65% доли рынка.

Есть также ориентированные на конфиденциальность поисковые движки, такие как Duckduckgo и Startpage. Они занимают менее 1% доли рынка.

Тем не менее, некоторые люди будут использовать их только из-за своих взглядов на личные
данные. Так что хорошо знать, что они существуют.

Наконец, стоит упомянуть Ecosia.

Эта поисковая система тратит свою прибыль на посадку деревьев на благо окружающей среды и местной экономики.

В последний раз, когда это проверялось, это помогло посадить более 77 миллионов деревьев. Разве это не круто?

Конечно, статистика меняется со временем. Не уверены в текущих цифрах пользователей?
Используйте StatCounter, чтобы проверить текущую ситуацию.

В наших материалах мы фокусируемся на Google, потому что это крупнейшая поисковая система. Самая известная, и у нее больше всего пользователей во всем мире.

В Yoast, когда они думают о Google, они думают о его миссии, которая заключается в следующем: «упорядочить мировую информацию и сделать её универсально доступной и полезной».

Миссия Google дает нам информацию о том, что они считают важным. Но как именно работают
поисковые системы?

Как работают поисковые системы?

Поисковые системы переходят по ссылкам. Ссылки соединяют страницы и документы, так же, как дороги соединяют деревни и города.

Переходя по этим ссылкам, поисковые системы собирают данные, чтобы показать их своим пользователям. Но как они это делают?

Ну, поисковая система, такая как Google, состоит из:

• пауков, также называемых ботами или сканерами
• индекса
• алгоритма

Мы рассмотрим эти термины более подробно ниже.

Пауки, сканеры или боты

Паук переходит по ссылкам в Сети. Паука также называют гусеницей, роботом или ботом. Он ходит по интернету 24 часа в сутки и 7 дней в неделю.

Вы можете думать о пауке как о маленьком, любопытном исследователе. Он собирает контент, такой как текст, изображения, видео, новости и всё, что будет интересно для поисковой системы.

Как только он попадает на веб-сайт, он сохраняет HTML-версию страницы в гигантской базе данных, называемой индексом.

Этот индекс обновляется каждый раз, когда паук приходит на ваш сайт и находит на нём новую или пересмотренную страницу.

В зависимости от того, насколько важным Google считает ваш сайт и количество изменений, которые вы вносите на свой сайт, spider (паук) появляется более или менее часто.

Алгоритм поисковой системы

После индексации вашего сайта поисковые системы могут показывать ваш сайт в результатах поиска. Но как они решают, что куда идет?

Ну, у поисковых систем есть алгоритм, который делает это за них.

Алгоритм берёт данные из индекса и вычисляет, какой сайт пользователь, скорее всего, захочет
просмотреть на основе своего запроса.

Очень трудно обнаружить, какие факторы влияют на алгоритм поисковой системы, такой как Google. Никто точно не знает, какие факторы определяют, как Google определяет результаты поиска.

Более того, факты и их важность меняются очень часто. Тестирование и эксперименты дают хорошее представление о важных факторах и изменениях в этих факторах.

Как поисковые системы находят ваш сайт?

Чтобы поисковая система знала о существовании вашего сайта, сначала должна быть ссылка с другого сайта – того, который они уже знают – на ваш сайт.

Переход по этой ссылке приведёт к первому сеансу обходчика и первому сохранению в индексе. В старые времена вы могли отправить свой сайт в поисковую систему напрямую.

Сегодня это уже невозможно. Поисковые системы в настоящее время переходят по всем ссылкам в Интернете.

Ценность ссылок для поисковых систем

Очень важно иметь базовое понимание того, как Google и большинство других поисковых систем используют ссылки: они используют количество ссылок, указывающих на страницу, чтобы определить, насколько важна эта страница.

Как внутренние ссылки (с собственного веб-сайта), так и внешние ссылки (с других веб-сайтов) могут помочь странице получить высокий рейтинг.

Некоторые ссылки более важны, чем другие. Ссылки с веб-сайтов, которые сами по себе имеют много внешних ссылок, как правило, более важны, чем ссылки с небольших веб-сайтов с небольшим количеством внешних ссылок.

Возможность обхода

В зависимости от того, как вы поддерживаете свой сайт, Google может быть легко или сложно сканировать ваш сайт.

Если у вас есть хорошая сканируемость, Google сможет проиндексировать ваш сайт без каких-либо проблем. Есть несколько способов, которыми сканер может быть заблокирован с вашего сайта.

Если веб-сайт или страница на вашем сайте заблокированы, вы говорите пауку Google: «Не заходите сюда, эта область запрещена».

Эти страницы не будут отображаться в результатах поиска в большинстве этих случаев. Есть несколько способов запретить Google доступ к определенным страницам.

Если вы хотите узнать больше об этих методах, ознакомьтесь с курсом технического SEO, который является частью подписки Yoast SEO academy Premium.

Продвинутый алгоритм Rank Brain

Rank Brain – это алгоритм Google, но при этом очень продвинутый. Это система машинного обучения, которая помогает Google лучше расшифровать значение терминов, которые ищут люди.

Он обслуживает наиболее подходящие результаты поиска, связанные с этими запросами. Когда RankBrain впервые вышел, Google назвал его третьим по важности фактором ранжирования.

Предположительно, RankBrain может каким-то образом обобщить, о чём страница, оценить релевантность результатов поиска и научиться со временем становиться ещё лучше.

Общее понимание заключается в том, что RankBrain, в частности, полагается на традиционные факторы SEO (ссылки, контент, ключевые слова и т. д.).

Но также рассматривает другие факторы, которые являются специфическими к поисковому запросу. Затем он определяет наиболее релевантные страницы в индексе и упорядочивает соответствующие результаты в поисковой выдаче (страницы результатов поисковой системы).

Дополнительно: важные обновления Google

На протяжении многих лет Google представил несколько крупных обновлений. Мы обсудим
наиболее важные из них за последние семь лет и последствия этих обновлений.

Прежде чем мы начнем, давайте поговорим о том, как легко увязнуть во всех изменениях. Но отслеживание каждого небольшого обновления – это энергия , которую вы можете потратить на создание отличного контента. Или принятие мер по сокращению времени загрузки сайта, например.

Приоритетом Google является обслуживание своих пользователей, поэтому работайте, чтобы быть лучшим результатом.

Панда (2011)

В 2011 году Google выпустила свое первое обновление Panda.

Это обновление Panda пыталось уменьшить в поиске те веб-сайты, которые были созданы исключительно для ранжирования в поисковых системах.

Panda в основном сосредоточена на факторах на странице. Другими словами, он определял, предлагал ли сайт информацию о поисковом запросе, который использовали посетители.

Два типа сайтов особенно сильно пострадали от обновления Panda:

• партнерские сайты (сайты, которые в основном существуют для ссылки на другие страницы)
• сайты с очень неоднозначным контентом

Google периодически перезапускает алгоритм Panda с момента его первого выпуска.

Пингвин (2012)

Год спустя Google выпустил первое обновление Penguin. Пингвин особенно посмотрел на ссылки, полученные веб-сайтами с других сайтов.

Он судил, нравятся ли сайты, ссылающиеся на ваш сайт, и восхищаются ли они вашими продуктами или контентом.

Если ссылки были искусственными, Google больше не присваивал значение ссылки. В прошлом многие люди пытались повысить свой рейтинг, покупая ссылки.

Пингвин пытался уменьшить эффект от покупки, обмена или иного искусственного создания ссылок. Веб-сайты с большим количеством этих искусственных ссылок сильно пострадали от этого обновления.

Они потеряли свое место в рейтинге Google. Это обновление также запускалось несколько раз с момента его первого создания и теперь даже, как говорят, запускается непрерывно.

Колибри (2013)

В августе 2013 года Google выпустил Hummingbird.

В этом обновлении Google заложил основу для голосового поиска. Колибри уделяет больше внимания каждому отдельному слову в запросе, гарантируя, что учитывается вся поисковая фраза, а не только конкретные слова.

Это должно привести к тому, что результаты будут лучше соответствовать всему запросу.

Результаты не были сразу ясны, но со временем Google начал показывать больше полей ответов в результатах поиска (см. Изображение 3), которые давали ответ напрямую, а не соблазняли людей нажимать на веб-страницу.

Голосовой поиск становится все более и более важным, поскольку все больше устройств (Siri, Google Home, Alexa, Алиса от Яндекс) начали использовать голосовой поиск.

Мобилгеддон (2015)

В 2015 году Google представила мобильное обновление, получившее в отрасли название Mobilegeddon.

Поскольку все больше и больше людей используют Google на мобильных устройствах, Google использовал это обновление для повышения сайтов, которые имеют удобные для мобильных устройств страницы в результатах мобильного поиска.

Примерно в то же время Google показал, что на мобильные устройства приходится более 50% всех поисковых запросов.

Опоссум (2016)

В сентябре 2016 года обновление Possum применило несколько недавних изменений к фильтру
локального рейтинга Google.

После Possum Google показал более разнообразные результаты в зависимости от физического местоположения поисковика (чем ближе вы физически к бизнесу, тем больше вероятность того, что вы увидите его среди локальных результатов) и формулировки запроса (даже очень похожие вариации теперь дают разные результаты).

Индекс Mobile-first (2018)

В 2018 году Google перешел на свой мобильный индекс.

Это означает, что Google будет определять рейтинг на основе качества мобильной версии сайта, а не настольной версии.

Поскольку все больше и больше поисков происходит на мобильных устройствах, Google хочет, чтобы его индекс и результаты представляли большинство их пользователей, которые являются
мобильными поисковиками.

Новый робот Googlebot просканирует ваш мобильный сайт и определит, соответствует ли его производительность, контент и пользовательский опыт. Если это так, вы получаете лучший рейтинг. Если его не хватает, другие сайты будут иметь более высокий рейтинг, и вы можете проиграть.

Medic, или обновление намерения запроса (2018)

В том же году Google выпустил новое обновление. Репортеры назвали его Medic, поскольку сначала казалось, что он нацелен на медицинские веб-сайты.

Однако позже было обнаружено, что обновление повлияло на органические результаты в различных отраслях промышленности.

Оказалось, что это обновление изменило алгоритм, чтобы принести пользу сайтам, которые сопоставляли свой топ-контент с тем, как пользователь будет задавать свой вопрос.

Давайте рассмотрим пример: «Как лучше всего лечить ожог?».

В этом случае алгоритм Google теперь может попытаться вывести цель запроса. Пользователь хочет сравнить средства от ожога, чтобы узнать лучший, поэтому Google хочет предоставить сайт, который даёт абсолютно лучший качественный ответ на этот вопрос.

Это другое намерение поиска, чем если бы вы искали «лечить ожог».

В этом случае Google предлагает практическое руководство по лечению ожогов. Это изменение, в конечном итоге, привело к тому, что люди ссылались на обновление как на Обновление намерения запроса.

Непрерывные обновления (2018)

С 2018 года Google начал постоянно обновляться, что приводит к нескольким небольшим корректировкам каждый день.

Кроме того, Google продолжает выпускать большие обновления, также известные как основные обновления, каждые несколько месяцев.

Это означает, что становится се труднее предсказать алгоритм ранжирования. Итак, мы советуем вам попытаться сосредоточиться на том, чтобы сделать ваш сайт полезным для людей.

Если вы согласуете свои цели с миссией Google, у вас больше шансов на ранжирование.

БЕРТ (2019)

И последнее, но не менее важное: Google выпустил модель программирования на естественном языке под названием BERT.

BERT расшифровывается как Двунаправленные представления энкодера от трансформаторов.

Это много трудных слов, чтобы сказать, что Google теперь лучше читает и понимает тексты. Раньше Google мог интерпретировать текст только в одном направлении. В то время как теперь он может ассоциировать слова в обоих направлениях одновременно.

Это значительно облегчает Google извлечение точного контекста из текстов. В свою очередь, это приводит к лучшему поиску результатов.

Используя BERT, Google может связать соответствующий контекст разных сайтов с правильным поисковым запросом.

Алгоритм BERT также используется другими поисковыми системами, такими как Bing.

Основные выводы

• В настоящее время самой влиятельной поисковой системой является Google. Но Bing, Yandex и Baidu также актуальны на региональном уровне. Вы можете использовать StatCounter, чтобы проверить, как пользовательский трафик распределяется между глобальными поисковыми системами.
• Поисковые системы используют сканеры, чтобы найти ваш сайт, перейдя по ссылкам. Если они найдут ваш сайт, он будет сохранен в индексе. После индексации вашего сайта поисковые системы могут показывать ваш сайт в результатах поиска. Позиция в результатах поиска определяется секретным алгоритмом.
• Было несколько важных дат Google, которые повлияли на то, как мы практикуем SEO.

Продолжение следует