В Китае заявили о создании мощнейшего "нейросетевого писателя"
Исследователи Пекинской академии искусственного интеллекта объявили о создании нейросети Wu Dao 2.0, обученной на 1,75 триллиона параметров. По словам разработчиков, новая языковая модель в десять раз мощнее алгоритма генерации текста GPT-3 от компании OpenAI, который до сих пор считался наиболее сложным и объемным.
GPT — это самообучаемый алгоритм для написания текстов, разработку которого ведет некоммерческая организация OpenAI (создана при участии главы Tesla Илона Маска). ИИ-система последнего, 3-го поколения, представленная в мае 2020 года, установила новый стандарт в области глубокого обучения.
Обученная на 570 гигабайтах текста (или 1,5 триллиона слов), нейросеть способна создавать осмысленные тексты, не отличающиеся от написанных человеком. GPT-3 умеет генерировать диалоги персонажей в играх и правоподобные комментарии в соцсетях, разгадывать анаграммы, придумывать бизнес-идеи, сочинять эссе, песни, стихи и даже подражать стилю автора. Базу для GPT-3 составили полная англоязычная "Википедия", открытая библиотека Common Crawl и другие наборы данных.
Однако на этой неделе ученые из Китая объявили о создании собственной модели генеративного глубокого обучения, пишет Engadget. Если GPT-3 "тренировалась" на более чем 175 миллиардах параметров, то Wu Dao 2.0 — на 1,75 триллиона. Китайская нейросеть умеет делать все то же самое, что и американский конкурент, только быстрее, точнее и разнообразнее.
В отличие от большинства других "глубоких" моделей, способных выполнять только одну функцию (писать тексты, создавать дипфейки, рисовать картины или распознавать лица), Wu Dao 2.0 многомодальна. Например, алгоритм может сочинить эссе, стих или двустишие на традиционном китайском языке, описать картинку словами и сгенерировать фотореалистичное изображение на основе описания, данного на естественном языке.
Кроме того, ИИ-система может стать "мозгами" голосового помощника, а также предсказывать трехмерную структуру белка, как узкоспециализированная AlphaFold от Google DeepMind. "По сути, мы строим источник питания для будущего искусственного интеллекта с мегаданными, вычислительной мегамощью и мегамоделями", — сказали разработчики.
