Как работает поисковая система

Как работает поисковая система.

Очень краткое описание «как работает поисковая система»

Поисковая система обычно состоит из 5 отдельных программных «модулей»:

1. spider (паук): программа, которая скачивает веб-страницы.
2. crawler : «путешествующий» паук, который автоматически ходит по ссылкам, найденным на странице.
3. indexer (индексатор): «слепая» программа, которая анализирует веб-страницы, скаченные пауками.
4. the database (база данных): хранилище скаченных и обработанных страниц.
5. search engine results engine (система выдачи результатов): извлекает результаты поиска из базы данных.

Spider: Паук – это программа, которая скачивает веб-страницы. Он работает точно как ваш браузер, когды вы соединяетесь с веб-сайтом и загружаете страницу. Паук не имеет никаких визуальных компонент. То же действие (скачивание) вы можете наблюдать, когда просматриваете некоторую страницу и когда выбираете «просмотр HTML-кода» в своем браузере.

Crawler: Как и паук скачивает страницы, он может «раздеть» страницу и найти все ссылки. Это его задача – определять, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов.

Indexer: Индексатор разбирает страницу на различные ее части и анализирует их. Элементы типа заголовков страниц, заголовков, ссылок, текста, структурных элементов, элементов BOLD, ITALIC и других стилевых частей страницы вычленяются и анализируются.

Database: База данных – это хранилище всех данных, которые поисковая система скачивает и анализирует. Это часто требует огромных ресурсов.

Search Engine Results Engine: О, самое сердце зверя. Именно система выдачи результатов решает, какие страницы удовлетворяют запросу пользователя. Это та часть поисковой системы, с который вы имеете дело, осуществляя поиск.

Когда пользователь вводит ключевое слово и делает поиск, поисковая система отбирает результаты на основании постоянно меняющихся критериев. Алгоритмом называется метод, по которому она принимает решение. Профессиональные оптимизаторы (SEO) иногда употребляют термин «algos» - это и есть то, о чем мы говорим.

Не смотря на то, что поисковые алгоритмы систем со временем сильно изменяются, большинство до сих пор отбирают результаты поиска на основании примерно следующих критериев:

• Заголовок (title): Присутствует ли ключевое слово в заголовке?
• Домен/адрес (Domain/URL): Присутствует ли ключевое слово в имени домена или в адресе страницы?
• Стиль (Style): Жирный (STRONG или B), Курсив (EM или I), Заголовки HEAD: если место на странице, где ключевое слово использовано в жирных, курсивных или Hx (H1, H2,…) текстовых заголовках?
• Плотность (Density): Как часто ключевое слово употреблено на странице? Количество ключевых слов относительно текста страницы называется плотностью ключевого слова.
• Мета данные (MetaInformation): Хотя многие отрицают, некорые поисковые системы до сих пор читают мета ключевые слова (meta keywords) и мета описания (meta description).
• Наружные ссылки (Outbound Links): На кого есть ссылки на странице и встречается ли ключевое слово в тесте ссылки?
• Внешние ссылки (Inbound Links): ссылаются ли на данный сайт другие сайты в Интернет. Каков текст ссылки и встречается ли слово указанное в тексте ссылки на странице? Это называется «внестраничный» критерий, потому что автор страницы не всегда может им управлять.
• Внутренняя перелинковка (Insite Links): На какие еще страницы данного сайта содержит ссылки эта страница?

Как видите, поисковой системе необходимо делать множество уточняющих запросов, используя так называемый «поисковый алгоритм», с помощью которого сайты выставляются в определенной последовательности - «ранжируются» и пользователю выдавать релевантные результаты, т.е. максимально соответствующие запросу и ожиданиям пользователя.

Поисковый алгоритм достаточно сложен и учитывает огромное количество факторов (например, «Снежинск» Яндекса – более 800) для определения последовательности выдачи релевантных (соответствующих запросу) результатов – ранжированию сайтов.

Для достижения высоких результатов в выдаче (попадания хотя бы в Топ 10) необходима всесторонняя оптимизация сайта в соответствии с требованиями поисковой системы и фа54кторами ранжирования. Однако, поисковые системы раскрывают лишь часть значимых факторов. Алгоритмы же их учета, как правило, не раскрываются совсем. В результате, точного результата оптимизации, и успешности последующего поискового продвижения предсказать практически невозможно. Можно лишь, основываясь на косвенных данных, результатах экспериментов и накопленном опыте оценить вероятность попадания сайта в Топы.

Различные поисковые системы используют различные алгоритмы ранжирования, основанные на разных факторах. Более того, даже одинаковые факторы могут иметь различный вес при определении места сайта в выдаче. Однако, в настоящее время, принципы работы большинства поисковых машин сближаются. Таким образом, можно говорить о нескольких общих правилах, используемых поисковыми машинами

1. Расположение и плотность ключевых слов на странице.

Особое внимание уделяется имени домена, тегу <Title>, заголовкам и подзаголовкам текстов (содержанию тегов <h?>), выделенным фрагментам и словам текста (перечислениям, спискам, выделениям шрифтом и цветом и т.д.) Плотность ключевых слов – значимая величина. Оптимальное значение 2-5% для сайтов общей тематики, 5-7% для специализированных сайтов. Меньшая плотность может привести к тому, что ключевая фраза будет проигнорирована поисковым роботом, высокие значения плотности могут быть расценены как спам.

2. Удобство пользования материалами сайта (юзабилити)

Этот набор факторов ранжирования стал иметь весомое значение сравнительно недавно (например,  Yahoo и Google получили соответствующие патенты только в текущем году). Учитывает удобство навигации, доступность информации для восприятия пользователем, а также несколько других факторов, как то, скорость загрузки страниц, количество рекламы и т.д.

3. Авторитетность сайта (индексы цитируемости и PageRank)

Поисковая система анализируют внешние факторы, свидетельствующие об авторитетности ресурса. Этими факторами являются внешние ссылки на сайт, расположенные на других интернет-ресурсах. Анализируя ссылки, поисковый алгоритм определяет наиболее «важные» и заслуживающие внимания страницы, размещая их на более высоких позициях в выдаче.

В связи с этим,  методы продвижения для сайта, применяемые в Яндексе и Гугле одинаковы, НО имеют разный подход,

Поэтому, если сайт занимает, например первую позицию в Гугле, то в Яндексе он будет примерно близок к ТОР-10 или даже входить в него. Таким образом факторы, которые позитивно влияют на позиции в Google, будут позитивными и для Яндекса, но немного в другой мере.

Алгоритм ранжирования поисковых систем являются объектом повышенного внимания оптимизаторов. Однако точной информации нет. Есть только обоснованные предположения, необоснованные догадки, домыслы, вымыслы, мысли и прочее. Поэтому работа по оптимизации основывается на предположениях, интуиции, экспериментальных данных.

Далее, я буду описывать методы ориентируясь на Google, так как в поисковом трафике Украины данная поисковая система по глобальной статистике портала bigmir)net занимает более 70% пользователей украинской аудитории.

Поисковое продвижение имеет две составные части оптимизации:

• внутренняя оптимизация - это размещение клчевых слов определенным образом и с определенной частотой, а также перелинковка страниц.
• внешняя оптимизация – размещение ссылок на других сайтах на ваш сайт.