"Яндекс" опубликовал самую большую GPT-подобную нейросеть
Инженеры "Яндекса" выложили в открытый доступ YaLM 100B — крупнейшую нейросеть, которая позволяет генерировать и обрабатывать тексты на русском и английском языках. Теперь испытать возможности этой системы может любой желающий.
YaLM 100B — это самая продвинутая GPT-подобная модель для генерации текстов на русском языке и самая объемная, которая доступна разработчикам и исследователям со всего мира. Она содержит более 100 миллиардов параметров.
Такие нейросети могут сами создавать тексты различных жанров и стилей. "Например, они способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео, — говорится в пресс-релизе, поступившем в редакцию "Смотрим". — С их помощью можно генерировать любые тексты (стихи, ответы, поздравления и так далее), а также классифицировать их, например, по стилю речи".
Алгоритм предоставляется по открытой лицензии Apache 2.0, доступ к нему можно получить на платформе GitHub. "Потребовалось 65 дней, чтобы обучить модель на кластере из 800 видеокарт A100 и 1,7 ТБ онлайн-текстов, книг и бесчисленного множества других источников на английском и русском языках", — следует из описания репозитория.
"Яндекс" уже применяет подобные нейросети в десятках своих проектов. Такие языковые модели, например, задействуются в интернет-поиске и голосовом помощнике "Алиса". Алгоритмы готовят быстрые ответы и создают сниппеты (описания сайтов в выдаче), придумывают тексты рекламных объявлений, а также помогают сотрудникам службы поддержки компании отвечать на обращения пользователей.
