"Яндекс" запустил нейросеть "Балабоба", генерирующую связные тексты

18 июня 2021 09:26

"Яндекс" позволил пользователям интернета взаимодействовать с разработанной специалистами компании нейросетевой языковой моделью YaLM. Она обучена на текстах из интернета и может создавать осмысленные тексты — достаточно ввести одно или несколько слов.

"Яндекс" выпустил в интернет нейросеть, генерирующую связные тексты. Она использует разработанную командой поисковика языковую модель YaLM (Yet another Language Model), аналогичную известной GPT-3 компании Open AI.

Доступный на сайте интерфейс для взаимодействия с YaLM в "Яндексе" назвали "Балабоба". Он позволяет написать слово или фразу, на основе которой будет сгенерирован текст. Реализовать задачу можно по-разному, выбирая стилистику — от телевизионного репортажа или рекламного слогана до тоста, гороскопа или поговорки.

Как и аналогичные языковые модели, YaLM работает, генерируя каждое последующее слово в предложении. Заложенные в "Балабобе" параметры — их 3 миллиарда — помогают выстраивать не нарушающие правил русского языка тексты и подбирать слова так, чтобы фразы получались осмысленными. Всего же YaLM может использовать до 13 миллиардов параметров.

Для сравнения, в полной версии модели GPT-3 могут потенциально применяться до 175 миллиардов параметров машинного обучения. GPT-3 умеет генерировать диалоги персонажей в играх и правдоподобные комментарии в соцсетях, разгадывать анаграммы, придумывать бизнес-идеи, сочинять эссе, песни, стихи и даже подражать стилю автора. Базу для GPT-3 составили полная англоязычная "Википедия", открытая библиотека Common Crawl и другие наборы данных.

Обучали "Балабобу" на терабайтах доступных поисковику "Яндекса" текстовых данных из Интернета — "Википедии", новостных статьях, книгах, а также открытых записях пользователей соцсетей и форумов. При этом создатели нейросети отмечают, что для придания текстам "Балабобы" определенного стиля нейросеть достаточно было обучить в каждом случае на небольшом — от пяти до нескольких десятков — количестве примеров.

В "Яндексе" предупреждают: "нейросеть не знает, что говорит", и может генерировать и "очень странные тексты". Поэтому призывают пользователей "быть разумными" и перед публикацией результата рекомендуют убедиться, что созданный нейросетью текст никого не обижает и, появившись в интернете, не нарушит закон.

В начале июня о создании аналогичного "нейросетевого писателя" — причем, "мощнейшего в мире", заявили в Китае. Нейросеть Wu Dao 2.0 обучили на 1,75 триллиона параметров. Китайская нейросеть умеет делать все то же самое, что и GPT-3, только быстрее, точнее и разнообразнее.