Алгоритм Королёв – Яндекс запустил новый поиск на основе нейронных сетей

Здравствуйте, дорогие читатели блога Firelinks.ru. Прошу прощения, что некоторые посты выходят с большим промежутком по времени, но я запустил еще несколько проектов, которые резко вырвались в ТОП за 1,5 месяца, используя свои знания в области блоггинга (кому нужна консультация пишите в личку). Приходится разрываться между проектами и стройкой дома для своей семьи.

Сегодня затронем новый алгоритм Королев от Яндекса и постараемся сравнить его с предшественниками. Лично на мой блог, он особо не повлиял, разве что полезные и объемные статьи стали еще выше в ТОПе. Ну давайте подробнее рассмотрим все в статье и сделаем необходимые выводы после наблюдения за этим алгоритмом.

Алгоритм Королёв Яндекс – что это такое и как работает

В конце августа 2017 вышел новый алгоритм Королев Яндекс. Новость об обновлении в поисковике сразу же заинтересовала СЕО специалистов и СМИ.

Главная особенность Королева является увеличение скорости обработки информации и повышение качества смыслового анализа текста.

В несколько тысяч раз повысилась скорость обработки данных. Палех для формирования ТОПа использовал 150 документов. Теперь сравнивается более 200 000 статей между собой. Этот результат был достигнут за счет оптимизации протокола ранжирования.

Чтобы понять новый алгоритм, надо вернуться на шаг назад к Палеху. Его презентация проведена 2 ноября 2016 года. Статистика показывала, что наибольшая часть поисковых фраз приходится на НЧ фразы, заточенные под единственно верный ответ. Эта часть приходится на длинный хвост птицы.

Чтобы дать нужный ответ клиенту необходимо обладать ассоциативным мышлением и навыком самообучения, как у человека. С подобными задачами лучше всего справляются нейронные сети, поэтому они и стали основой нового алгоритма.

Главная цель «Королёва»

При желании найти конкретный предмет человек начинает описывать его свойства, это особенности ассоциативного мышления. Если мы забыли название видео, то мы начинаем говорить, что содержалось внутри: «фильм про девушек во время войны» или «фильм про существо с хвостом и крыльями». В первом случае Яндекс предоставляет «А зори здесь тихие», во втором варианте получаем «химера».

Что нового?

Нововведения:

• семантический вектор для всего контента, а не только заголовка;
• сравнение более 200 000 статей при формировании поисковой выдачи;
• учитывается поведение пользователя на странице;
• люди помогают обучать систему.

Королев анализирует не только заголовок, а полностью весь контент (в том числе фото, видео, таблицы и т. п.) и на его основе составляет семантический вектор.

Главным нововведением стало многократное ускорение работы поисковых методов. В прошлом семантический вектор выстраивался в момент введения фразы в поисковую строку. Подобный метод сильно нагружал сервера и задерживал скорость выдачи ответа.

При отправке поисковой фразы происходит сравнение его семантического вектора с массивом уже записанных в базе данных. Палех сравнивал около 150 вариантов, новая же версия анализирует более 200 000 статей за 1 раз. За счет чего повышается шанс нахождения желаемого ответа.

Нейросеть Яндекс: принцип работы нейронной сети Королев + примеры

Главной особенностью нейронной сети является возможность самообучения. Работа осуществляется не только по преднамеренным формулам, а также на основе предыдущего опыта и ошибок.

Человеческий мозг представляет собой огромнейшую нейросетьс ассоциативным мышлением, компьютеры же стараются эмитировать человеческое поведение за счет воссоздания архитектуры нейронных сетей.

Особенности нейросетевой структуры

Нейронная сеть представляет из себя множество единичных нейронов, каждый из которых хранит или обрабатывает информацию. Каждый из нейронов способен принимать, обрабатывать и отдавать сигналы. Поток входных данных постепенно перерабатывается от одного нейрона к другому и в конце получается необходимый результат.

Искусственные нейронные сети передают между собой условные веса – числа от 0 до 1, чтобы определить насколько тот или иной вариант входящей информации соответствует нужной информации. После окончания анализа нейрон с наибольшим весом считается наиболее подходящим для ответа на поставленный вопрос.

Схема изображает нейронную сеть. Первые два слоя занимаются обработкой. Каждый из нейронов содержит определенную функцию, которая получает входные данные и после обработки выдает необходимый ответ. Так сравниваются семантические вектора.

Семантические векторы

Компьютеры не умеют оперировать словами или картинками, поэтому для сравнения информации между собой они используют массивы чисел. Поисковики должны самостоятельно определять главную тему и мысль текста, чтобы выдавать пользователю то что ему нужно.

Чем схоже вектора заданного вопроса и текста, тем выше находится статья в приоритете выдачи. В Королеве используется анализ всего контента:

• таблицы;
• текст;
• фото;
• видео;
• заголовки;
• цитаты;
• списки;
• выделения (курсив, жирный и т. д.).

В несколько раз повышается качество построения вектора за счет преобразования большего количества информации.

Для создания векторов используется нейросеть, текст пропускают через последовательность нейронов и в итоге получают выходной трехсотмерный массив из чисел. В дальнейшем его вносят в единую базу данных и используют для сравнения.

Обучение

Главная особенность нейронных сетей – обучаемость. В отличие от стандартных алгоритмов нейроны способны запоминать свой предыдущий опыт и самообучаться на нем. Компьютер с каждым разом все лучше и лучше различает информацию.

В прошлом обучением занимались сотрудники компании, их задача состояла переходить по миллионам запросов и на свое усмотрение изменять приоритеты выдачи. Затем разработчики создали приложение Яндекс.Толока, оно представляет из себя список несложных заданий. Надо переходить по запросам и оценивать качество поисковой выдачи. За каждое задание платят около 0.1-1$

Какой контент по мнению нового поискового алгоритма является хорошим

Наиболее подходящей для ТОП выдачи будет статья содержащия максимум полезной информации для пользователя и соответствующая запросу. Следовательно, в ней должны по разделам раскрываться всевозможные вопросы клиента.

Новые приоритеты поиска

SEO специалисты, после релиза, провели исследование, чтобы оценить изменения приоритетов ранжирования. Особых изменений не наблюдалась приоритетами остаются:

• структурированность текста;
• полнота раскрытия темы;
• простата чтения контента;
• соответствие заголовков смысловому содержанию текста;
• правильное формирование семантического ядра.

Главное писать для живых людей, этот приоритет остается самым важным.

Зачем Яндекс запустил новый поисковый алгоритм и чем это грозит сайтам

Любая компания стремится сделать свою продукцию лучшей на рынке услуг. В данном случае крупнейшим соперником Yandexявляется Google. Нововведения были созданы для следующих целей:

• улучшение качества поиска по нестандартным вопросам;
• привлечение новых инвесторов;
• увеличение продуктивности ранжирования (более 200000 статей при формировании выдачи).

Главная цель была улучшить качество выдачи. Кроме того, надо было показать инвесторам, что работа в компании ведется полным ходом и их деньги использовались по назначению.Новшества в последующем использовались при создании голосового помощника «Алиса».

Линейка предыдущих алгоритмов

Чтобы лучше разобраться с новыми технологиями надо вернуться в прошлое. В данном случае рассмотрим линейку предыдущих алгоритмов, которые использовались поисковиком для ранжирования.

В первое время интернет содержал всего пару тысяч сайтов, чтобы найти нужную статью на них достаточно было сравнить ключевые слова поисковой фразы. В последующем глобальная сеть разрасталась в геометрической прогрессии, сейчас на одну тематику можно найти более сотен тысяч схожих сайтов с миллионом статей.

Поэтому надо было усложнить системы ранжирования и начали учитывать следующие дополнительные параметры:

• количество ссылающихся материалов;
• уникальность контента;
• поведение клиента на странице.

Матрикснет

В 2009 году Yandex столкнулись с проблемой, что статьи все чаще не отвечают на вопросы пользователей. Чтобы исправить эту ошибку надо было научить сервера самостоятельно принимать решения и самообучаться.

Была изобретена сложная математическая формула с множеством параметров для определения соответствия текста к поисковой фразе.

Но оставались следующие проблемы:

• поиск зависит от слов;
• не учитываются вспомогательные материалы (фото, видео, цитаты и т. п.).

Главная из проблем была в том, что не всегда в одном заголовке можно было полностью описать смысл статьи. Довольно часто в статье нет конкретных ключевых слов, но при этом она полностью раскрывает тему и дает развернутый ответ на вопрос пользователя.

Алгоритм Палех

В 2016 году в системе ранжирования была применена компьютерная модель нейросети. Главная особенность подобного подхода в том, что теперь компьютер способен запоминать свои ошибки и обучаться на собственном опыте.

В этом же году были введены семантические вектора. Название статьи пропускалось через нейронную сеть и раскладывался на множество векторов. Теперь компьютеры сравнивали не слова из поиска, а многомерные массивы чисел и векторов. Удалось уйти от прямой зависимости от количества тех или иных слов в фразе, а отдать приоритет смысловому содержанию.

Из недочетов осталась проблема низкой скорости работы. Для формирования поисковой выдачи сравнивались всего 200 наиболее подходящих статей. Поэтому системе было сложно отыскать многословные смысловые фразы типа «фильм про девочку, шпионку которая сбегает и учиться в школе».

Алгоритм Yandex Королев

В последнем нововведении в первую очередь провели оптимизацию нейросети и улучшили продуктивность обработки текста. Сейчас вектора сравниваются заранее в оффлайн режиме, благодаря этому удалось повысить результативность формирования поиска.

Благодаря оптимизации семантический вектор составляется не только для заголовков, а для всего контента целиков. Удается найти максимум смысловых связей между словами.

Угрозы для сайтов

В целом никаких опасностей для сайтов не создалось и статистика переходов особо не изменяется. В первую очередь нововведения коснуться информационных блогов, форумов и сайтов с фильмами.

С лидирующих позиций могут слететь вебсайты не отвечающих интересам пользователя. Например, название «домашний яблочный сок», а в статье рассматриваются методы выращивания деревьев, блинчики с повидлом и совершенно иной текст.

Не забываем сделать репост и подписаться на рассылку блога. Всех благ.

Всего наилучшего, Галиуин Руслан.