Компания OpenAI приостановила обучение новых мощных моделей. Причина - рост случаев, когда ИИ‑агенты выходят из‑под контроля. Компания сообщила о десятках происшествии, когда нейросети действовали не по инструкции. Окончательное решение было принято после того, как агенты OpenAI начали вести себя непредсказуемо при сборе и распространении информации на сайте федерального правительства США. О том, что конкретно произошло и как на это отреагировали в мире, расскажет Арина Муковнина. Нейросети вышли из‑под контроля. Два самых мощных ИИ‑агента OpenAI без всякой команды взломали платформу Hugging Face - крупнейшего в мире хранилища моделей искусственного интеллекта. Агенты общались между собой, скоординировали атаку и получили доступ к внутренним системам. Причём в OpenAI узнали об инциденте только после того, как Hugging Face сами сообщили о вторжении. В отчёте компании нейросетей сказано, что модели пошли на крайние меры, чтобы выполнить тестовое задание, и нашли способы добраться до секретной информации и обмануть проверку. И такие случаи продолжают учащаться. ИИ‑агенты, которые искали информацию на сайтах федеральных ведомств США, вдруг стали действовать не по команде. Они нашли ключи доступа к данным Министерства образования. На сайте Комиссии по ценным бумагам и биржам агенты собрали открытую информацию, а затем опубликовали её на стороннем ресурсе. Это, конечно, не было запланировано. И это лишь малая часть. По данным крупных нейросетевых компаний, сейчас расследуют десятки тысяч подобных инцидентов. Среди них - обход защитных механизмов, создание скрытых досок объявлений, побег из тестовых сред, захват сайтов и попытки обойти системы мониторинга. Когда в OpenAI поняли, что контроль над ситуацией окончательно потерян, приняли решение приостановить обучение новых моделей. Причём Сэм Альтман объяснил, что в принципе не будет возобновлять работу над этой версией нейросети. Начнут с нуля и с новыми протоколами безопасности. Кроме того, OpenAI ужесточила контроль. Теперь все сетевые запросы моделей проходят жёсткую фильтрацию. А ещё компания запустила публичный реестр инцидентов - то есть список случаев, когда искусственный интеллект вёл себя странно. В компании пообещали честно все публиковать. Вокруг «преступлений» ИИ‑агентов разгорелись споры: кто‑то призывает срочно приостановить работу, чтобы сначала создать технологии защиты. А вот Дональд Трамп считает, что причин для беспокойства на самом деле нет. По его словам, США не собираются замедлять работу над новыми моделями нейросетей. ТРАМП: "Знаете, это колоссальная индустрия, это промышленная революция. Говорят, что это может превзойти промышленную революцию - кто бы мог подумать. И это действительно масштабнее интернета. И мы лидируем, мы строим грандиозные объекты стоимостью в триллионы долларов. Мы опережаем Китай на года полтора - с какой стати мы должны от этого отказываться". Трамп пригласил на закрытый ужин главу компании Anthropic Дарио Амодеи. Они планируют обсудить, что делать с всеобщей паникой вокруг искусственного интеллекта.