Как новая нейросеть Sora создает видео по текстовому запросу?

Новая нейросеть для генерации видео "Sora" готовится потеснить конкурентов. Эксперты отмечают высокое качество результата и простоту в эксплуатации. Последнее, впрочем, вызывает серьезную тревогу в обществе. Обо всём подробнее – Станислав Анисимов.

Через пару лет кинопроизводство, возможно, будет выглядеть так: пользователь вводит короткий запрос, а нейросеть генерирует видео. Всего-то несколько минут и сверхреалистичный ролик готов к просмотру, а если запросить мультяшку – тут уже занервничает и в студия Pixar. "Я думаю, что одна из действительно главных возможностей этой нейросети заключается в том, что она может создавать ролики, неотличимые от настоящих, а не просто развлекательный контент", – говорит доцент Массачусетского технологического института Филипп Изола.

Нейросеть для генерации видео получила название Sora, что по-японски значит "Небо". Она умеет генерировать видео длиной до минуты в высоком качестве и точно следовать запросу пользователя. В основе может быть и фотография с юбилея любимой бабушки. Только вот фитили свечек как-то странно горят. "Нужно понять, как они могут повлиять на нас. Что они могут нам позволить сделать. Когда вы начнёте использовать новые инструменты, вы по-настоящему поймёте не только их потенциал, но и ограничения", – поясняет руководитель креативного отдела компании Runway Джейми Умферсон.

Пока что Sora не справляется с точным моделированием физических свойств объектов, не считывает причинно-следственные связи. Её видео-ошибки иногда напоминают опусы сюрреалистов. "Я думаю, что у нас есть действительно веские причины для беспокойства по поводу того, как подобная технология может быть использована в пропагандистских целях, травле и мошенничестве", – считает руководитель отдела исследований искусственного интеллекта компании Macquarie Фред Хавемейер.

Действительно, специалисты считают, что Sora может многих и поссорить. Например, стать оружием мести: пойми, на экране реальная измена или это "наша эвм нарисовала". Поэтому доступ к алгоритму пока закрыт, он проходит бета-тестирование у специалистов. Но сам факт того, что технология генерации изображения дошла до такого уровня, явно говорит о новом этапе в развитии нейросетей. И этот вызов должен получить симметричные ответы как минимум на законодательном уровне.