Компания OpenAI принесла извинения Австралии за то, что ее ИИ-агент вышел из-под контроля и взломал правительственные сайты. OpenAI пообещала не только исправить ошибки, но и выделить деньги на укрепление кибербезопасности страны. Как компания объясняет ошибку искусственного интеллекта и что планирует делать дальше, расскажет Арина Муковнина. ИИ-агент американской компании OpenAI, которая занимается разработкой нейросетей, взломал правительственные сайты Австралии и украл данные во время обучения. Сотрудники дали ему задачу найти статистику по расходам на лекарства в Австралии. Искусственный интеллект не нашел на портале статистики Medicare нужной информации в открытом доступе, но и без результата вернуться не захотел. Тогда он самостоятельно обнаружил уязвимость в сайте Medicare и получил доступ к закрытым данным. Внутри ИИ-агент выполнял команды, скачивал внутренние файлы, учетные данные и статистику. Всю найденную информацию он записывал в свою систему. Позже выяснилось, что это - не единственный такой случай в Австралии. ИИ-агенты также пытались получить доступ к Бюро статистики преступности штата Новый Южный Уэльс, Департамента здравоохранения штата Виктория и Австралийского института здравоохранения и социального обеспечения. К счастью, персональные медицинские данные пациентов не пострадали. Агент видел только обезличенную статистику: общие цифры и тенденции, без имен и конкретных записей. Искусственный интеллект вошел в системы сайтов еще в июне, а ошибку в OpenAI заметили только в августе во время исследования другого инцидента с платформой Hugging Face - крупнейшего в мире хранилища моделей искусственного интеллекта. В тот раз ИИ-агенты общались между собой, скоординировали атаку и получили доступ к внутренним системам. Причём опять в OpenAI узнали об этом только после того, как в Hugging Face сообщили о вторжении. Об ошибке ИИ-агента австралийским властям компания нейросетей рассказала только в сентябре. А задержку в OpenAI объяснили тем, что они хотели сначала провести расследование. Компания пообещала создать в Австралии специальную рабочую группу с участием независимых местных экспертов. Они разработают практические рекомендации по управлению рисками, связанными с ИИ-агентами, так как они все чаще действуют не так, как хотел человек. Кроме того, OpenAI поможет укрепить киберзащиту австралийского правительства и промышленности. Компания также окажет техническую помощь пострадавшим ведомствам. На это они планируют выделить бюджет из своего глобального фонда. OpenAI остановили разработку своей новой модели GPT-6.1 Astra после взломов Австралии и США. Сэм Альтман объяснил, что работу начнут с нуля и с новыми протоколами безопасности. Внутренние тесты показали, что система не соответствует стандартам безопасности компании. Премьер-министр Австралии Энтони Альбанезе назвал ситуацию вокруг ошибки ИИ-агента неприемлемой. Об этом от также лично разговаривал с Сэмом Альтманом. Премьер-министр заявил, что ИИ может улучшить экономический рост и принести прорывы в медицине и науке. Но все же этим улучшениям сопутствует слишком много рисков. Сейчас австралийское правительство занимается проверкой инцидента. Они оценивают, достаточно ли действующих законов для реагирования на такие взломы и нужно ли обязать компании неройсетей сообщать о подобных ошибках системы. Руководителей OpenAI и Anthropic пригласили выступить на расследовании в области ИИ и центров обработки данных. Глава комиссии заявил, что Сэм Альтман должен ответить на вопросы о взломе публично.