YaLM 100В содержит больше параметров, чем какая-либо из существующих моделей для русского языка - 100 млрд. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка, сообщили в компании. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире.
Нейросеть способна придумывать идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты (стихи, ответы, поздравления и так далее), а также классифицировать их, например, по стилю речи.
Сам «Яндекс» использует нейросети YaLM более чем в 20 проектах, в том числе в «Поиске» и голосовом помощнике «Алиса». Служба поддержки проектов «Яндекса» с помощью YaLM отвечает на обращения, генерирует рекламные объявления и описания сайтов (сниппеты).
«Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей», — рассказал генеральный директор «Яндекс Технологий» Петр Попов.
Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
В ноябре 2021 года сообщалось о включении суперкомпьютера «Яндекса» «Червоненкис» в топ-20 самых мощных компьютеров мира. «Червоненкис» занял 19 строчку мирового рейтинга. Суперкомпьютеры «Яндекса» работают на графических ускорителях NVIDIA A100 с интерконнектом InfiniBand на базе коммутаторов Mellanox.
