На конференции YaC 2020 Яндекс показала свою новую разработку – YATI (Yet Another Transfomer with Improvements), мощную нейросеть для анализа текстов, которая грозится стать главным прорывом в поиске за последние 10 лет.
Поисковая система Яндекса уже сейчас работает с использованием новой технологии. Ее ядро — нейросеть-трансформер, занимающаяся обработкой естественных языков. Это собственная разработка компании, требующая огромных мощностей, но способная с легкостью решать задачи так или иначе связанные с обработкой текстов в сети. По мощности она превосходит все то, что было доступно ранее.
Специально для работы YATI компания создала новый аппаратный кластер, чтобы тот производил вычисления, необходимые для работы нейросети-трансформера.
У YATI есть ряд преимуществ над предшественниками:
- система работает не только с короткими запросами, но и с длинными отрезками текста;
- нейросеть умеет выделять из анализируемого текста наиболее значимые части;
- она читывает контекст и берет во внимание порядок слов.
Кроме того, поисковик будет успешнее распознавать запросы пользователей с опечатками и ошибками для вывода более релевантных результатов.
Источник — https://timeweb.com