Интернет состоит из миллионов сайтов и содержит экзабайты информации. Чтобы люди могли узнать о существовании этой информации и воспользоваться ей, существуют поисковые системы. Они реализуют право человека на доступ к информации - любой информации, которая нужна в данный момент. Поисковая система - это техническое средство, с помощью которого пользователь интернета может найти данные, уже размещенные в сети.
Пользователи ищут в интернете самые разные вещи - от научных работ до эротического контента. Мы считаем, что поисковая система в каждом случае должна показывать подходящие страницы - от статей по определенной теме до сайтов для взрослых. При этом она просто находит ту информацию, которая уже есть в интернете и открыта для всех.
Яндекс не является цензором и не отвечает за содержание других сайтов, которые попадают в поисковый индекс. Об этом было написано в одном из первых документов компании «Лицензия на использование поисковой системы Яндекса», созданном еще в 1997 году, в момент старта : «Яндекс индексирует сайты, созданные независимыми людьми и организациями. Мы не отвечаем за качество и содержание страниц, которые вы можете найти при помощи нашей поисковой машины. Нам тоже многое не нравится, однако Яндекс - зеркало Рунета, а не цензор».
Информация, которая удаляется из интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой « ».
В ответ на запрос, который пользователь ввел в поисковой строке, поисковая система показывает ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова из запроса. В большинстве случаев таких страниц очень много - настолько, что пользователь не сможет просмотреть их все. Поэтому важно не просто найти их, но и упорядочить таким образом, чтобы сверху оказались те, которые лучше всего подходят для ответа на заданный запрос - то есть, наиболее релевантные запросу. Релевантность - это наилучшее соответствие интересам пользователей, ищущих информацию. Релевантность найденных страниц заданному запросу Яндекс определяет полностью автоматически - с помощью сложных формул, учитывающих тысячи свойств запроса и документа. Процесс упорядочивания найденных результатов по их релевантности называется ранжированием. Именно от ранжирования зависит качество поиска - то, насколько поисковая система умеет показать пользователю нужный и ожидаемый результат. Формулы ранжирования строятся также автоматически - с помощью машинного обучения - и постоянно совершенствуются.
Качество поиска - это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться.
Поэтому нам важно постоянно совершенствовать алгоритмы ранжирования и делать их устойчивыми к внешнему влиянию (например, к попыткам некоторых вебмастеров обмануть поисковую систему).
Поэтому мы не продаем места в результатах поиска.
Поэтому на результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.
Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому Яндекс показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы - то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов Яндекс всегда старается выбрать наилучший вариант.
С этим принципом связано несколько правил, которые Яндекс применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди.
1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи - промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс.
Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение - и, соответственно, ухудшают качество поиска. Яндекс автоматически исключает их из поиска или понижает в ранжировании.
3. По запросам, которые не подразумевают явно потребность в эротическом контенте, Яндекс ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения - в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска нерелевантны, и, к тому же, могут шокировать. Более подробно об этом принципе можно почитать .
4. Яндекс проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска - может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако Яндекс считает важным предупредить его о возможном риске.
«Ашманов и партнеры» о ранжировании в поисковых системах.
В закладки
Аудио
В новом исследовании, в отличие от , подробно разобраны трафиковые и технические факторы. А еще опубликован отдельный рейтинг параметров для Google, построенный по измененной методике.
Фрагмент топ-70 параметров для Google из отчёта.
«Яндекс» и Google отдают всё большее предпочтение «монстрам» - сайтам с большим количеством страниц, аудиторией и (если речь идет о магазинах) ассортиментом. Год назад сайты с «огромным» ассортиментом занимали 17% мест в топ-3 «Яндекса». Сейчас они занимают 17% уже в топ-30, а в первой тройке их доля почти удвоилась, до 31%. У большинства сайтов, которые попадают в топ-30 «Яндекса» и Google, количество страниц по запросам из исследуемой выборки исчисляется тысячами. У большинства сайтов, попадающих в топ-3, количество страниц превышает десятки тысяч.
Более двух третей сайтов, попадающих в топ, представляют много брендов. На «монобренды» в топ-30 «Яндекса» приходится всего 10% (в топ-3 немного больше); Google относится к ним лояльнее, и их доля в топ-30 составляет 18% (но корреляция с позицией обратная) .
Динамика размера сайта (в индексе «Яндекса»). Обратите внимание на бурный рост за последний год.
На графике ниже видно, что с прошлого года в топ «Яндекса» и Google каждый месяц попадают сайты со всё более высокой посещаемостью. Можно сделать осторожный вывод, что посещаемость влияет на позицию в «Яндексе» и Google (но не в Mail.ru) - и в «Яндексе» это влияние за последнее время усилилось.
Корреляция между посещаемостью сайта и попаданием в топ «Яндекса» и Google. Динамика Alexa Rank. Лаборатория поисковой аналитики «Ашманов и партнеры»
Для доли переходов по внешним ссылкам не видно никакой связи с ранжированием ни у «Яндекса», ни у Google. Казалось бы, если поисковые машины придают большое значение наличию ссылок, то и переходы по ним должны были бы высоко цениться, но нет.
А вот доли переходов из соцсетей, из почты и с медийной рекламы, наоборот, достаточно сильно связаны с позицией, а в некоторых случаях и с попаданием в топ-30. И это при том, что они в среднем совсем небольшие - лишь 2-3% от общего трафика (по данным SimilarWeb).
Важно: небольшие сегменты переходов из соцсетей, из почты и с рекламы, как ни странно, важнее, чем общая доля непоискового трафика.
Длительность посещения, среднее количество просмотренных страниц за сеанс и процент отказов - все три параметра очень важны в обоих поисковиках, но в каждом из них по-своему. В «Яндексе» сильная корреляция с позицией; в Google её нет, но зато показатели в целом по топ-30 «лучше», чем даже в первой десятке (а то и в первой тройке) «Яндекса».
Конкретные значения параметров могут быть очень разными в зависимости от тематики и жанра сайта. Поэтому нужно ориентироваться не на средние показатели, а на конкурентов, которых поисковики находят по вашим запросам.
Судя по всему, именно поведенческие метрики - но, скорее всего, не такие общие, как рассмотренные выше, а собираемые по конкретным запросам - отвечают за консервативность выдачи поисковиков по частотным и среднечастотным запросам: если анализ показал, что пользователям нравятся те результаты, которые они видят, зачем что-то менять.
Этот параметр коррелирует с позицией и попаданием в топ-30 - причем в «Яндексе» и в Google примерно одинаково. Можно ли сделать вывод, что участие в «Маркете» помогает интернет-магазинам добиваться лучшего ранжирования?
Если «Яндекс» вполне мог бы отдавать предпочтение магазинам, участвующим в «Маркете», то от Google ожидать этого было бы странно - да и сведения о том, какие магазины участвуют, ему пришлось бы получать окольными путями (например, по наличию переходов в магазин с «Маркета»).
Можно предположить, что участие в «Яндекс.Маркете» положительно влияет на какие-то поведенческие метрики, а уже они - на ранжирование в Google (и в «Яндексе»). Но даже если так, всё равно получается, что участие в «Маркете» способствует лучшему ранжированию.
Наоборот - самыми сильными параметрами оказываются те, которые максимально далеки от точного запроса. Иерархию текстовых параметров от более слабых к более сильным можно изобразить приблизительно так:
Важно : вхождения запроса в текст страницы важнее, чем в заголовок, в метатеги или в любые другие зоны. Особенно в «Яндексе». Но есть одно принципиальное исключение: вхождения точного запроса в
А в Google вхождения в текстовый блок «работают» даже сильнее, чем в текст страницы в целом. «Яндекс» не любит длинные текстовые блоки на коммерческих сайтах, а в Google размер текстового блока и в среднем больше, и при приближении к первой позиции увеличивается.
Главный рецепт создания страницы, которая может понравиться и «Яндексу», и Google, - перенести центр тяжести с SEO-текста на элементы интерфейса.
Вопрос, какие страницы предпочитает «Яндекс» (или Google) - информационные или коммерческие - не вполне корректный: это зависит от запроса. И, соответственно, в разных выборках запросов доля информационных результатов поиска будет разной.
Но уж если «Яндекс» счёл запрос информационным, то коммерческим страницам в результатах поиска делать нечего, и даже информационные страницы с коммерческих сайтов имеют мало шансов туда пробиться. И наоборот - по коммерческим запросам не проходят информационные страницы.
Для «Яндекса», в отличие от Google, разница между «серыми» и «белыми» ссылками весьма существенная. Если в Google корреляции у аналогичных параметров по «белым» и «серым» ссылкам практически одинаковые, то в «Яндексе» корреляции для SEO-ссылок значительно слабее, чем для ссылок в целом, а для «белых» - немного сильнее.
Если в начале 2016 года она составляла около двух процентов, то уже в мае 2018 достигла половины в топ-30 Google, а в июне - и в топ-30 «Яндекса». Причин роста две. Во-первых, и «Яндекс», и Google предпочитают показывать сайты с HTTPS: есть связь и с позицией, и с попаданием в топ. Во-вторых, под давлением поисковиков и браузеров всё больше сайтов переходят на защищенный протокол - и в следующем году это явно продолжится.
Если вы еще не перешли на HTTPS, смириться с необходимостью этого шага вам поможет то, что он может быть полезен для поискового продвижения.
Динамика наличия HTTPS Лаборатория поисковой аналитики «Ашманов и партнеры»
Если вы отвечаете за поисковое продвижение или за интернет-маркетинг в компании, настоятельно рекомендуем внимательно изучить полную версию отчёта, чтобы получить полную картину происходящего. Если вы продвигаете интернет-магазин, возможно, вам будет полезно почитать о коммерческих факторах, которые мы не включили в обзор, но раздел о них есть в отчёте.
И, как всегда, напоминаем - корреляция не обязательно означает каузацию.
SEO - сфера, в которой все крайне подвижно. Настолько подвижно, что если намеренно не следить за трендами, запросто можно упустить из виду что-то важное.
В течение всего одного месяца может произойти множество изменений. Буквально на прошлой неделе, 23 марта, Яндекс запустил алгоритм - Баден-Баден, направленный на борьбу с переоптимизацией текстов. Такие тексты никуда не годятся - в них нет пользы, что уж говорить о смысле: они не нравятся ни людям, ни умным поисковикам.
Эта новость нагнала жути многим владельцам сайтов, ведь подобный спам можно найти чуть ли не на каждом втором ресурсе. Неужели SEO теперь - это прошлый век?
Прошлый век - это использование огромного количества ключевых слов как придется и где придется - бездумно.
Как мы уже выяснили, без перемен в нашей сфере никуда. Но в SEO также есть и своя так называемая классика: то, что будет важным и неизменным всегда. Или как минимум 10 лет. Ведь 10 лет для seo - целая вечность.
В связи с запуском Баден-Баден актуальной сегодня становится тема текстового ранжирования в поисковиках. Подробно описано это явление в статье для Российского семинара по Оценке Методов Информационного Поиска (далее РОМИП-2006). Несмотря на то, что алгоритмы значительно усложнились и теперь предъявляют гораздо больше требований, база осталось базой - все так же неизменной. В результате исследования сформировались, по сути, слагаемые, которых можно и нужно придерживаться по сей день, и вряд ли они поменяются еще лет 10 точно.
Суть исследования заключалась в следующем: на основании факторов определения текстовой релевантности страница-запрос пользователя был создан с нуля экспериментальный поиск ATR - для улучшения ранжирования документов в Яндексе. Цель ATR - довести до совершенства соответствие документов запросу.
В эксперименте для каждого запроса вычисляли значение документа - числовой показатель соответствия документа запросу.
Вот так выглядит универсальная формула ранжирования:
В формулу включены самые важные факторы ранжирования - слагаемые, про которые подробнее расскажем ниже.
Всего их 5:
Рассмотрим каждый из них подробнее.
Показатель, который больше всего влияет на результаты выдачи. Здесь используется понятие «лемматизация» - приведение всех словоформ из текста к исходной.
Например:
Красная, красную, красное → красный
Купивший, купите, купленный → купить
Кровати, кровать, кроватью → кровать
Соответственно, результат поиска без лемматизации будет значительно отличаться от результата поиска с учетом данного параметра.
Сегодня это обязательно учитывается при проверке тошноты текста любым из сервисов. Сразу видно, какие слова были приоритетны при продвижении и как можно повлиять на оптимизацию: добавить либо убрать из текста ключи.
Вот пример из сервиса Advego.ru. Заходим в раздел «Seo-анализ текста» и вставляем свой текст в пустое окно. Ниже смотрим таблицу «Слова»: там отображаются все леммы, их количество и частота.
Логичный вывод: переспам, особенно по прямым вхождениям,- зло. Поисковики уже в 2006 году умели понимать намерения авторов текстов и различать нелепо вписанные запросы. Что говорить о сегодняшнем дне, когда Яндекс и Google перешли на новый уровень с использованием искусственного интеллекта - видят смысл и пользу текста.
Например, новый алгоритм Баден-Баден Яндекса жестоко наказывает за переоптимизацию: сайтам, злоупотребляющим ключевыми словами, грозит просадка на 10-40 позиций, в зависимости от конкуренции по запросу. Алгоритм долго тестировали, поэтому обмануть искусственный интеллект не получится. Верный выход - руководствоваться смыслом при написании любого текста, расширять словарный запас синонимами, не забывать про УТП, осваивать приемы LSI-копирайтинга и дорабатывать/переписывать тексты по его канонам. Как было указано в официальном оповещении Яндекса: «Думайте о пользователях, пишите для людей и «Баден-Баден» не тронет ваш сайт».
Примеры текстов, когда частота встречаемости слов в документе превышена:
Сразу видно, что тексты написаны ради ключевых слов. Ничего полезного для потенциального покупателя в них просто нет.
Было бы как минимум странно, если от своего собеседника в обычной жизни мы бы услышали подобную фразу: «Глядя на картины маслом моря, можно получить моральное успокоение» =). Поэтому прежде чем вписать ключ в предложение, подумайте, сказали бы вы так своему клиенту при личном общении.
Хороший пример:
Нет никаких сомнений, что здесь ключевые слова вписаны естественно. «Оказываем содействие по организации обучения в Китае » - подозрений не возникает.
Пишите естественные тексты. 10 ключевых слов на 500 символов - это перебор. Спамные фразы, нелепо вписанные ключи не вызывают доверия даже у поисковиков с искусственным интеллектом, что говорить про здравомыслящего человека.
Важно не только количество ключей, но и их расположение. Как вы уже поняли из подзаголовка, значительный вес имеют слова, находящиеся в первом абзаце текста и тегах h1-h3. В тегах и заголовках лучше располагать ключи так же в начале.
Рабочий прием, но используем его по возможности. Комбинируем и объединяем словосочетания.
Проще говоря, используйте ключевые слова в словосочетаниях. Постарайтесь сделать несколько разных сочетаний ключевого слова. Это расширит охват аудитории и сделает страницу более релевантной тем запросам, которые попадут в ваши пары.
Здесь нужно сосредоточиться на семантическом ядре, учитывать новые поисковые запросы и их обновление. Необходимы слова из потенциальных запросов, которые, возможно, в дальнейшем будут популярными. Допустимо ориентироваться на конкурентов из топа выдачи.
Для экспериментального поиска использовались все слова из поисковой фразы, поскольку это давало + 0,2 к ранжированию. Если этого правила не придерживаться, бонус уменьшится до 0,03. Но, вероятно, этот показатель не учитывается в основном поиске.
Тут вновь важна разнообразность: одинаковых форм слова должно быть как можно меньше.
Также не забываем один раз употребить фразу в точном вхождении, как мы уже говорили, желательно где-нибудь в начале текста.
Вдобавок учитывается количество предложений в тексте, содержащих значительное количество слов запросов - больше половины всех слов, учет части запроса. Не забываем, что в одном предложении они должны быть связаны по смыслу, а не употребляться абы как.
Чтобы не усложнять себе задачу при написании и не задумываться над каждым ключом, удобнее сначала написать сам текст, а потом уже подумать, как красиво вставить ключ, далее проанализировать все словоформы и вхождения. Потом проверить себя по списку, все ли условия выполнены. Но без фанатизма. Ведь тексты в первую очередь пишутся для людей, а потом только для машин. Тем более машины с каждым днем становятся все умнее - уже много сказано об LSI-копирайтинге , подавляющее большинство активно его использует.
Если нужна помощь в написании или хотите узнать, соответствует ли текст на вашем сайте требованиям поисковых систем и правилам копирайтинга - обращайтесь, дадим рекомендации или напишем новый качественный текст.
План статьи
Разработчики поискового алгоритма говорят о том, что при выборе лучшего документа по запросу в поисковой системе Яндекс используются тысячи факторов ранжирования. При этом их можно субъективно разделить на несколько составляющих:
Сайт – это целая среда документов, которые размещаются на сервере. С технической точки зрения сайт должен быть доработан, документы должны быть связаны между собой, в html и css коде сайта не должно быть ошибок, все наполнение желательно делать максимально прозрачным, без чрезмерного использования javaScript. Flash практически не индексируется Яндексом, поэтому в случае ориентирования на эту поисковую систему лучше всего отказаться от него. Вы должны понимать, чем качественнее сделан сайт и чем лучше организована его работа, тем проще индексировать такой сайт и представлять информацию пользователям. Также влияет:
Юзабилити достаточно широкое понятие. Под юзабилити понимается «используемость» сайта. Яндекс умеет определять качественно продуманную навигацию и учитывать это в результатах поиска.
Поведенческие факторы ранжирования – относительно новый для поисковой системы Яндекс тип учета информации и определения её полезности. Поведенческие факторы, следуя из названия, складываются от поведения пользователя на странице выдачи Яндекса и взаимодействия пользователя с сайтом, на который он перешел по определенному ключевому слову. На поведенческие факторы влияет также и сам факт перехода из поисковой системы Яндекс именно на ваш сайт по данному запросу и дальнейшие действия после этого. Прежде всего, если в двух словах – влияет процент отказов, число просмотров на пользователя, время, которое пользователь провел на сайте, взаимодействие пользователя с контентом (просмотры видео, клики, выделение текста и так далее).
Учет абсолютно всех поведенческих факторов ранжирования становится реальным при установленном коде Яндекс.Метрики на сайте или установке Яндекс.Бар на компьютере, открытой статистики LiveInternet .
Поведенческие факторы отсеивают бесполезные документы из выдачи по некоторым факторам, некоторые из которых поисковая команда озвучила недавно на профессиональной конференции CIKM2013:
QueryDomCTR – среднее значение CTRвсех документов домена по данному запросу.
QueryUrlCTR – среднее значение CTRконкретного документа по данному запросу.
QDwellTimeDev – стандартное отклонение (девиация) от среднего времени пребывания на документе по запросу.
QDwellTime – среднее время пребывания посетителя на документе по запросу.
AvSatSteps – среднее количество удовлетворенных шагов по сайту. Удовлетворенный шаг – переход по внутренней ссылке после 30 секунд пребывания на документе.
AvDwellTime – общее среднее время пребывания посетителя на документе по разным поисковым запросам.
DwellTimeDev – стандартное отклонение (девиация) времени пребывания на сайте.
90 th DwellTime – это верхний дециль, он же 90-ый персентиль среднего времени пребывания на сайте.
10 th DwellTime – это нижний дециль среднего времени пребывания на сайте.
TimeOnDomain – общее время пребывания на сайте. По всем запросам любых документов.
CumulativeDev – стандартное отклонение (девиация) от среднего времени пребывания на сайте.
Ссылка из одного сайта на другой передает часть «веса» от себя к конечному сайту. Когда много ссылок из разных ресурсов ведёт на один документ – это сигнал поисковой системе о том, что данный документ может быть полезен для пользователей интернета. Учитываются ссылки без атрибута relсо значением nofollow, кроме ссылок, окруженных тегом
Компания Яндекс объявила, что влияние ссылок по транзакционным запросам (коммерческие запросы типа «купить», «продать», «заказать» и т.д.) в ближайшее время будет полностью остановлено и останется действительным только для сайтов чисто информационного характера.
Видео из IBCRussia 2013 о ПФ и новом ранжировании (Александр Садовский ):
В Яндекс.Вебмастер можно настроить географическую принадлежность сайта, после привязки к которой ваш сайт будет ранжироваться гораздо лучше у пользователей из региона, к которому привязан ваш сайт. Это очень важный параметр – советую всем вебмастерам привязывать свои сайты точно к тому региону, к которому он принадлежит. Это значительно повышает лояльность поисковых систем к вашему сайту (более высоко показываются региональные сайты, после них показываются регион следующего уровня и так далее до общей выдачи по стране).
Мифическое понятие «Траст» переводится с английского, как «доверие». На этот параметр, утверждают многие seo-специалисты, влияет возраст сайта, число его постоянной аудитории и поисковые запросы типа «seokrem» «сеокрем» «сайт», то есть поиск конкретного сайта в поисковой системе. Траст показывает поисковым системам, что в целом сайт (не документ) полезен для большинства пользователей, из-за чего документ с включением конкретной ключевой фразы может быть более полезен, чем какой-либо другой сайт по одному и тому же запросу при равных других факторах ранжирования.
Полезные ресурсы по факторам ранжирования в Яндексе: