yati новый алгоритм Яндекс

На конференции YaC 2020 Яндекс показала свою новую разработку – YATI (Yet Another Transfomer with Improvements), мощную нейросеть для анализа текстов, которая грозится стать главным прорывом в поиске за последние 10 лет.

Поисковая система Яндекса уже сейчас работает с использованием новой технологии. Ее ядро — нейросеть-трансформер, занимающаяся обработкой естественных языков. Это собственная разработка компании, требующая огромных мощностей, но способная с легкостью решать задачи так или иначе связанные с обработкой текстов в сети. По мощности она превосходит все то, что было доступно ранее.

Специально для работы YATI компания создала новый аппаратный кластер, чтобы тот производил вычисления, необходимые для работы нейросети-трансформера.

У YATI есть ряд преимуществ над предшественниками:

  • система работает не только с короткими запросами, но и с длинными отрезками текста;
  • нейросеть умеет выделять из анализируемого текста наиболее значимые части;
  • она читывает контекст и берет во внимание порядок слов.

Кроме того, поисковик будет успешнее распознавать запросы пользователей с опечатками и ошибками для вывода более релевантных результатов. 

Источник — https://timeweb.com