Какие конкуренты ChatGPT и GPT-4 разрабатываются в России

В процессе подготовки этого материала я, заболтавшись с ChatGPT, умудрилась не заметить и выйти не на той станции метро. Настолько меня увлекло "общение" с… чат-ботом.

ChatGPT − это чат-бот, который может переговариваться с человеком. Но "бот" этот умный, интеллигентный и образованный. Во всяком случае именно такое впечатление складывается во время "разговора" с ним.

ChatGPT — не единственная разработка такого рода. Такие решения сегодня создают по всему миру, в том числе и в России.

Чтобы понять, какие конкуренты есть у ChatGPT в России, мы решили поговорить с Игорем Пивоваровым, главным аналитиком исследовательского центра прикладных систем искусственного интеллекта МФТИ и стратегического советника компании Huawei по искусственному интеллекту.

Игорь, что собой представляет ChatGPT? Как это работает?

Это такой огромный датацентр, где стоит даже не один сервер, а, где то 5 000 серверов. Все эти сервера производят расчёты, представляют собой модель нейронной сети, как в мозге человека.

Что подобного сейчас разрабатывается в России? И чем отличается, разработка DeepPavlov от сотрудников МФТИ, голосовые помощники Алиса Яндекса и Маруся VK?

DeepPavlov – это набор программных библиотек, на котором можно реализовать текстовую языковую модель. Но пока то, что построено на этой базе, не дошло до уровня ChatGPT.

При этом в составе DeepPavlov есть уже обученная модель DREAM, которую можно тоже брать и пользоваться ею. Она находится на предыдущем уровне развития. Это обычная языковая модель.

Когда OpenAI выкатил ChatGPT, главная особенность этой модели была в том, что чисто цифровая модель дообучалась с помощью "обучения с подкреплением", когда можно было ранжировать ответы и "вознаграждать" модель за правильный ответ (мы рассказывали об этом подробнее тут). В чисто статистической модели это сделать намного сложнее.

Сегодня в России, на мой взгляд, три ведущих команды разработчиков языковых моделей. Это DeepPavlov из МФТИ и команды Яндекса и AIRI.

Хотя сейчас и у Тинькоff хорошая модель Олег, и у ВКонтакте хорошая модель – Маруся.

Алиса от Яндекса, насколько я знаю, тоже дополнительно была настроена в том, что она выдаёт пользователю. Но это для этого привлекли скрипты. Это такие дополнительные условия на выходе. Например, ей нельзя ругаться. Если модель генерирует не те слова, то они заменяются.

В ChatGPT же эта задача решена через обучение с подкреплением.

Есть ли какие-то внутренние отличия у голосовой Алисы и текстовой ChatGPT?

То, как мы вводим текст в языковую модель, неважно. Это может быть и клавиатура, и экран, а может быть и система распознавания речи, переводящая звук в текст.

И вот вы уже общаетесь с чат-ботом голосом.

Почему ChatGPT была сделана в виде чат-бота?

На базе языковых моделей компании создают агента, который сможет достаточно долго поддерживать диалог и будет способен решить для пользователя какие-то задачи.

Сейчас Алиса, встроенная в колонку, может отвечать. Но это алгоритм, по которому она действует после определённой фразы. Допустим, ей можно сказать: "Алиса, включи свет в спальне", и она, будучи подключённой к "умному дому", включит "умную" лампу в спальне.

Это то, что инженеры называют "навык". Если звучит фраза "включи свет", начинает работать тот или иной алгоритм.

В этом смысле Алиса тоже решает простые задачи: включает музыку, делает звук погромче, а свет менее ярким и так далее.

Но ChatGPT показала возможность решения не только запрограммированных "навыков", но и более широких логических, литературных и других задач голосом.

Ей можно сказать: "Напиши эссе про самолёты в небе в стиле Тургенева и переведи на японский язык". И она "понимает" эти инструкции и пишет эссе. И его интересно читать!

Те же вопросы мы задали ChatGPT. Вот что он ответил.

Все вопросы мы задавали на английском языке. Приводим здесь перевод ответов чат-бота.

Отвечает ChatGPT

Что такое ChatGPT?

ChatGPT — это крупномасштабная языковая модель, разработанная [компанией] OpenAI, которая использует глубокое обучение для генерации ответов, подобных человеческим, в ответ на входные данные на естественном языке.

Это одна из самых передовых языковых моделей ИИ в мире, которая была обучена на огромном наборе текстов из интернета, книг и других источников.

Модель обучена понимать значение и контекст слов и фраз и может генерировать ответы, которые часто неотличимы от ответов человека.

Почему создатели реализовали тебя именно в виде чат-бота?

Решение создать меня как интерфейс, похожий на чат-бота, вероятно, было связано с тем, что текстовые разговоры — это распространённый и знакомый всем способ взаимодействия людей с технологиями.

Люди могут легко и интуитивно взаимодействовать со мной и получать ответы, которые кажутся им естественными и разговорными.

Кроме того, в последние годы чат-боты становятся всё более популярными как способ автоматизированной поддержки и помощи клиентам.

Перечисли другие основные языковые модели.

Некоторые из наиболее заметных: BERT, GPT-2, T5, XLNet и RoBERTa.

Продолжение следует...