Запуск новой версии поиска Яндекс: как это было. Изменения в сниппете яндекса Новая версия поиска яндекса статистика

Вчера некоторые жители нашей страны внезапно обнаружили, что . Его временно заблокировали провайдеры ТТК, «Акадо», «Авакс» и Sumtel по указанию Роскомнадзора. Но значительная доля абонентов этих провайдеров не заметили блокировки, так как пользуются отечественной поисковой системой.

В апреле 2017 в «Яндексе» искали что-либо 43 миллиона человек . Если вы из их числа, то эта небольшая статья – для вас.

P.S. Для тех, кто предпочитает Google и DuckDuckGo, есть cсылки в последнем разделе.

1. Как искать среди сайтов определенного города, области, федерального округа или страны?

Вот так можно найти информацию по запросу «бал выпускников» среди сайтов города Братск:

бал выпускников cat:11000976

Чтобы узнать цифру, которую надо набирать после оператора cat: , надо к 1100000 прибавить код региона в «Яндекс.Каталоге». Например:

• Москва - 1100001;
• Чернигов - 1100966;
• Воронеж - 1100193;
• Поволжье - 1100040;
• Киргизия - 1100207;
• Страны СНГ - 166.

В «Яндекс.Каталоге» уже более 117 тысяч сайтов. Аналогичным образом можно искать что-либо только среди ресурсов, посвященных определенной теме. Для этого вместо кодов регионов надо использовать коды тем и прибавлять к ним 9000000, вместо 1100000.

2. Как обмануть «Яндекс» относительно своего местоположения?

С помощью расширение для Chrome Manual Geolocation можно отметить на карте любую точку и поисковая система будет думать, что вы находитесь именно там и корректировать результаты поиска в соответсвии с этими данными. Например, можно искать объекты, расположенные неподалеку от дома в Санкт-Петербурге, а находится при этом в Москве. Удобно при планировании поездок.

Этот пункт актуален для всех сайтов, которые используют данные о вашем местоположении.

3. Как искать страницы в определенной доменной зоне и на определенном языке?

Вот так можно найти, что пишут о зебрах украинские сайты (в доменной зоне ua) на украинском языке:

зебра domain:ua lang:uk

Аналогичным образом можно выяснить мнение сайтов других государств по разным вопросам. Коды языков для «Яндекса»:

• русский (ru);
• украинский (uk);
• белорусский (be);
• английский (en);
• французский (fr);
• немецкий (de);
• казахский (kk);
• татарский (tt);
• турецкий (tr).

4. Как искать страницы на конкретном сайте?

Вот так можно искать страницы только на сайте сайт:

зебры site:сайт

Вот так можно искать только среди статей определенной категорий. Например, среди вопросов в Службу спасения сайт :

сообщения url:сайт/iNotes/q/*

А вот так получить список всех тегов, которые используются на сайте:

5. Как искать страницы, созданные в определенную дату?

Вот так можно найти страницы, созданные в определенный день:

стив джобс date:20170617

А вот так в промежуток между двумя датами:

стив джобс date:20170610..20170617

А с помощью оператора idate: можно искать страницы по дате последней индексации.

6. Как искать файлы определенного типа?

Поиск книги в формате PDF для загрузки в iBooks:

цветы для элджернона mime:pdf

А вот так можно найти все документы MS Word c упоминанием слова «декларация» на сайте ФНС:

декларация mime:docx site:nalog.ru

Типы документов, которые индексирует «Яндекс»:

• html;
• docx;
• xlsx;
• pptx;

7. Как искать только в названиях страниц?

С помощью этого оператора:

Очень удобно, когда надо найти статью по точному названию.

8. Как искать по имени файла-изображения?

Сохранили картинку на свой компьютер, хотите использовать с указанием источника, но не помните откуда она? Поможет оператор поиска по точному имени изображения:

Операторы для поиска по значениям атрибутов HTML-тегов:

applet: – code тега applet;
script: - src тега script;
object: – все атрибуты object;
action: – action тега form;
profile: – profile тега head.

9. Как найти ссылки на определенную страницу?

У «Яндекса» есть оператор для поиска упоминаний запрос внутри ссылок. Таким образом можно найти ссылки на определенную страницу.

inlink:”www.сайт/iNotes/533552″

10. Как пользоваться мини-приложениями и подсказками?

Если набрать в поиске одно из четырех слов ниже, то под поисковой строкой появятся мини-приложения:

• «Калькулятор»;
• «Конвертер валют»;
• «Конвертер величин»;
• «Перевод».

А для некоторых запросов ответы отображаются прямо в поисковой строке. Примеры.

Пока в блоге «Яндекса» и на «Хабре » на сотни комментариев разворачиваются споры о достоинствах и недостатках нового алгоритма, мы расскажем о главном: что это значит для пользователей, как включить новый поиск и что, собственно, изменилось.

«Королёв» как новый поиск

Главное, что нужно знать про алгоритм «Королёв» не слишком погруженным в тему пользователям - это то, что он умный. Его так и представили: «Королёв - это машинный интеллект, который тебя понимает». Построен поиск на специально обученной нейронной сети. Она ищет уже не столько по словам, сколько по смыслу. «Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы еще более точно», - утверждают разработчики.

Например, если ввести запрос «под эту музыку появляется Дарт Вейдер» - поиск первым делом предложит послушать «Имперский марш». А заодно выдаст информацию по персонажу «Звёздных войн». Логично? Вполне. На запрос «фильм, в котором пожилой мужчина пришел на работу устраиваться», первым ответом появляется ссылка на рецензию к фильму «Стажер». Он и подразумевался. И ведь не пришлось вспоминать ни год, ни актеров, ни даже подбирать слова и их порядок для запроса.

То же самое касается поиска по картинкам. Если раньше он осуществлялся по ключевым словам из описания к картинкам, то теперь алгоритм анализирует само изображение. Поэтому если вы введете запрос «кошка в космосе» - вам покажут не только забавные креативные работы на эту тему, но и, например, кошку в стиральной машине. Просто потому, что присутствуют все похожие по смыслу составляющие: кошка - в наличии, дверца похожа на иллюминатор, а корпус - на ракету.

В прошлом году «Яндекс» сделал первый шаг к поиску по смыслу, внедрив алгоритм «Палех». Он умел сопоставлять смысл запроса и заголовка веб-страницы. «Королёв» анализирует не только заголовок, но и всю страницу целиком. Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч страниц. Еще одна особенность «Королёва»: он учитывает также смысл других запросов, по которым люди переходят на страницу.

Почему «Яндекс» говорит, что сделал это с моей помощью?

Всё, что мы делаем в «Яндексе»: какие запросы задаем, на какие страницы переходим, задерживаемся или уходим (потому что не нашли нужного) - учитывается в поисковой статистике. Если вы ввели запрос, прошли по ссылке в выдаче и задержались на странице некоторое время - вероятно, вы нашли нужную информацию и ознакомились с ней. Данные о поведении миллионов пользователей помогают нейронной сети учиться понимать смысловую близость запроса и найденной страницы.

Для обучения важно также учитывать качество ответов. Раньше «Яндекс» оценивал качество поиска с помощью специалистов - асессоров. Теперь учитываются также оценки добровольцев - пользователей «Яндекс.Толоки». Это сервис, где любой желающий может выполнять задания, помогая улучшать поиск, и получать за это вознаграждение.

Как мне начать использовать новый поиск?

Ничего особенного от вас не требуется. Новый поиск так или иначе заработает сам. Но если вы хотите вникнуть в происходящее - достаточно зайти на главную «Яндекса», домотать до «звездного неба» и нажать на «Пуск». Так вы познакомитесь с собственным поисковым поведением и сможете посмотреть ролик о «Королёве», объясняющий, как всё работает. Вы также можете просто нажать на логотип «Яндекса» слева от поисковой строки и посмотреть красивую и понятную презентацию.

Почему «смысловые» запросы работают не всегда?

Естественно, в первую очередь нейросеть учится воспринимать популярные запросы - например, о кино или музыке. Именно о таких запросах у поисковика больше всего данных, их задает большое число людей. Чему-то специфическому «Королёв» тоже сможет обучиться, но произойдет это несколько позже - когда наберется необходимая для анализа информация.

Презентация полностью

На этой неделе, 22 августа, Яндекс запустил новую версию поиска с алгоритмом «Королёв» . В его основе - нейронная сеть, которая позволяет ему сопоставлять смысл запроса и веб-страницы и в разы точнее реагировать на сложные и неоднозначные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей: получается, вклад в развитие системы вносят не только разработчики, но и вообще все пользователи.
Презентация «Королёва» состоялась, что символично, в московском планетарии. На сцене выступили Андрей Стыскин, Руководитель Яндекс.Поиска, Александр Сафронов, Руководитель службы релевантности Яндекс.Поиска и Ольга Мегорская, Руководитель отдела обработки данных Яндекс.Поиска..

От Матрикснета до нейросетей

Поисковые системы появились в середине 90-х годов прошлого века, когда Интернет был совсем маленьким - всего несколько тысяч сайтов. Поначалу поисковики просто составляли список страниц, где есть указанные слова без заморочек с ранжированием по степени соответствия запросу. Чем чаще в документе встречаются слова из запроса - тем лучше. Понятное дело, что с нынешним состоянием глобальной сети подобное уже не «прокатит».

В Яндексе для обработки запросов придумали Матрикснет - метод машинного обучения, с помощью которого строилась авторская формула ранжирования. Однако поиск продолжал опираться именно на слова. Но как быть с запросами, которые пользователи формулируют иносказательно или ассоциативно? Тогда искомая веб-страница не обязательно должна содержать строго все слова из запроса. Но как это объяснить машине? Вот бы она понимала нас, как человек...

В конце концов учёные придумали нечто на стыке технологий и биологии - искусственную нейронную сеть (ИНС). Согласно формулировке «Википедии», это «математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма». Нейронные сети способны обрабатывать информацию подобно нам и, главное, учиться и оттачивать навыки, словно живые существа. Собственно, они - основа полноценного искусственного интеллекта, появление которого вопрос времени.

В прошлом году Яндекс представил поисковый алгоритм «Палех» на основе нейронной сети. Он показал отличные результаты в решении задач, которые обычно были под силу лишь людям: прекрасно справлялся с распознаванием речи и объектов на изображениях. «Палех» научился преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Их важное свойство состоит в том, что векторы можно сравнивать друг с другом: чем сильнее сходство, тем ближе по смыслу запрос и заголовок.

«Королёв». Который понимает

Следующей ступенью развития поисковой системы на основе нейросетей стал алгоритм «Королёв», который анализирует не только заголовок, но и всю страницу целиком! Количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч. Кроме всего прочего, «Королёв» стал учитывать ещё и смысл других запросов, по которым люди на неё переходят на искомую страницу.

Нейронная сеть учится, словно ребёнок. Чтобы освоить подобное, ей понадобилось огромное количество примеров. Собственно, стихийным обучением «Королёва» занимались так или иначе все пользователи сервиса: в ход пошла поисковая статистика и оценки миллионов людей. Яндекс постепенно учится всё точнее распознавать смысловые связи, вроде: [картина где небо закручивается] - это про картину Ван Гога, [ленивая кошка
из Монголии] - манул.

Поиск - это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В «Королёве» мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы.
Андрей Стыскин , руководитель Поиска Яндекса.

Помимо анализа ежедневной рутины, для обучения поисковой системы необходимы оценки качества ответов. Чем сложнее система, тем больше оценок требуется. Если раньше оценкой качества поиска занималась относительно небольшая группа специалистов-асессоров, членов команды Яндекса, то теперь потребовалось серьёзно увеличить объёмы. Так появился сервис Яндекс.Толоки (толока - форма взаимопомощи, которую когда-то практиковали деревенские жители). Любой энтузиаст, заинтересованный в небольшом вознаграждении и, конечно, в чувстве причастности к чему-то важному, может выполнять несложные задания. Сейчас таких толокеров набралось более миллиона человек, а количество выставленных ими оценок превысило 2 миллиарда.

«В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому мы не ошибёмся, если скажем: новый поиск - это поиск, который мы сделали вместе», - гласит запись в блоге Яндекса.

За более чем двухлетнюю историю работы Яндекс.Толоки был выявлен самый результативный и старательный участник. Им стал Илья Михаленко из Челябинска. Парень приехал на презентацию «Королёва» в Москву, чтобы получить заслуженную награду из рук команды поисковика.

Новый поиск в деле

В чём на практике выражается улучшение работы нашего Яндекса? Теперь с ним можно разговаривать практически как с мозговитым и эрудированным приятелем. (Даже голосом.) К примеру, что вы будете делать, если нужно вспомнить название фильма, из которого вы помните какой-то отрывок, а имена актёров и режиссёра вылетели из головы? Можно обратиться к друзьям или просить помощи на каком-нибудь тематическом форуме. А можно спросить у «Королёва»!

Значительно улучшился поиск по картинкам. С ними, как правило, всегда какое-то «адище»: поисковик либо бездумно выдаёт все изображения, в названии которых используются слова из запроса, либо учитывает текст статьи, которую иллюстрирует картинка. Если ищешь нечто, что отвечало бы смутным запросам души, то готовься разочароваться. «Королёв» анализирует именно то, что изображено на картинке, поэтому способен порадовать нетривиальным подходом.

В качестве примера-испытания привели не самый очевидный запрос - [кошка в космосе]. Собаки бывали на орбите довольно часто, но из усатых-полосатых дисциплинированных покорителей космоса не вышло. Достоверно известно только об одной попытке: в 1963 году французы запустили в суборбитальный полёт кошку Фелисетт. Романтично, но недальновидно, - стоило учёным открыть люк приземлившейся капсулы, мурка была такова. Торжественная фотосессия не состоялась.

По запросу поисковик выдаёт не только зверюшек в скафандрах и сюрреалистичные фотожабы, но фото котика в стиральной машинке, которая вполне себе похожа на люк космического корабля. Но этого не сказано в описании.

Для торжественного запуска нового поисковика на сцену поднялась вся команда Яндекс.Поиска. Небольшой обратный отсчёт и… Поехали! Теперь каждый может испытать возможности проницательного «Королёва». Главное, что его нынешние возможности не статичны, а находятся в постоянном развитии.

Для завершения вечера организаторы припасли нечто совершенно неожиданное - сеанс связи с настоящими космонавтами с орбиты. Они лично ответили на некоторые популярные запросы пользователей поисковика о космосе и ответили на вопросы присутствующих.

Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв». Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.

Слова и смыслы

Прежде чем рассказывать про настоящее и будущее поиска, вспомним его прошлое. Первые поисковые системы появились в середине 1990-х годов, когда интернет был совсем небольшим - счёт сайтов шёл на тысячи. Чтобы помочь человеку найти нужное, достаточно было составить список веб-страниц, где есть слова из поискового запроса. О сложном ранжировании - то есть упорядочивании страниц по степени соответствия запросу - речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит.

Интернет быстро рос, и потребовались дополнительные критерии отбора. Поисковики начали учитывать ссылки на документы, научились определять регион, откуда поступил запрос, стали обращать внимание на поведение пользователей.

В какой-то момент факторов ранжирования - признаков, по которым можно определить, насколько хорошо страница отвечает на запрос, - набралось так много, что стало ясно: прописать их все в виде инструкций невозможно. Лучше научить машину самостоятельно принимать решения: какие признаки использовать и как их комбинировать. В Яндексе для этих целей придумали Матрикснет. Это метод машинного обучения, с помощью которого строится наша формула ранжирования.

Поиск, однако, по-прежнему опирается на слова. Перед тем как пустить в ход сложную формулу ранжирования, поисковые машины составляют список «предварительно подходящих» веб-страниц - таких, в которых есть слова из запроса. Нам, людям, понятно, что один и тот же смысл можно выразить разными словами. Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать. Однако объяснить это машине довольно сложно.

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда компания представила поисковый алгоритм «Палех». В его основе лежит нейронная сеть. Нейросети показывают отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: скажем, распознавание речи или объектов на изображениях.

Запуская «Палех», компания научила нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия - например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 тысяч документов - то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи.

Люди учат машины

Яндекс верит, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования. Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому мы решили привлечь к этому всех желающих и запустили сервис Яндекс.Толока. Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Поэтому Яндекс не ошибётся, если скажет: новый поиск - это поиск, который мы сделали вместе.