Нейросеть Сбера создаст из текста эмодзи

Сбер научил нейросеть генерировать эмодзи по текстовому описанию и это следующий этап для команды разработчиков банка в обучении нейронных сетей. Новая модель как заявлено в пресс-релизе подходит для создания собственных эмодзи для общения в мессенджерах.

Напомним, что год назад американская OpenAI представила две связанные, но выполняющие обратные задачи нейросети CLIP и DALL-E. Обе сети обучались на огромном количестве текстов и изображений, благодаря чему они научились связывать текстовое и визуальное представление одних и тех же объектов и понятий. CLIP подбирает текстовое описание для данного изображения, а DALL-E наоборот генерирует изображение по данному ей текстовому описанию.

Летом этого года Сбер создал русскоязычную реализацию нейросети CLIP – ruCLIP, а в ноябре представил аналогичную адаптацию ruDALL-E соответственно. И она на пару дней произвела фурор в рунете, все соцсети были заполнены ее творчеством, часто неудачным и смешным. И вот разработчики дообучили ruDALL-E, чтобы она могла генерировать не любые изображения, а эмодзи. В основе новой модели под названием Emojich лежит оригинальная нейросеть ruDALL-E Malevich с более чем миллиардом параметров, обученная на 120 млн пар изображений и описаний. В результате модель научилась создавать изображения произвольных объектов и понятий, выполненных в стиле эмодзи. Протестировать технологию можно на сайте в приложении "Салют" и в виде бота в Telegram, который после генерации может автоматически создать на основе понравившихся изображений стикерпак.