Нейросеть учит пользователей создавать оружие массового поражения. ChatGPT выдавал подробную инструкцию, как создать и распространить смертельный вирус, выяснили американские журналисты. Например, ИИ подробно объяснял, как сделать биологическое оружие с вирусом кори, сильнодействующий яд рицин и напалм. Что привело к такой ситуации и как проблему стараются решить, расскажет Максим Иванов. Нейросеть ChatGPT от компании OpenAI дает пошаговую инструкцию, как создать биологическое оружие. Причем инструкция не просто точная, но и доступно написанная - её сможет понять любой старшеклассник, отмечают эксперты по биологической безопасности, знакомые с сообщениями ИИ. Об этой ситуации стало известно журналистам издания "Уолл Стрит Джорнал". Они пишут, что после усиления возможностей ChatGPT сотни пользователей по всему миру стали обращаться к нему с подобными запросами. Компания OpenAI, разработчик ChatGPT, заблокировала аккаунты всех пользователей, которые интересовались созданием биологического оружия. Однако компания не уведомила об этой бреши в системе безопасности правоохранителей, отмечают журналисты, хотя правительству стоит знать о нескольких сотнях, возможно, готовящихся биологических атаках. Некоторые американские журналисты пишут, что виновато само правительство Штатов - там почти не регулируют развитие нейросетей, что идет в ущерб безопасности. Буквально на следующий день после инаугурации Дональд Трамп пообещал вложить 100 миллиардов долларов в развитие ИИ-компаний. А за 4 года его правления Штаты вложат в развитие нейросетей суммарно около пятисот миллиардов долларов. Американский лидер объяснил это тем, что «США должны быть впереди всех в развитии искусственного интеллекта». Кроме того, Трамп в конце прошлого года подписал указ, отменяющий законы внутри самих Штатов, которые ограничивают развитие ИИ. Среди таких законов, например, принятое в прошлом году в Калифорнии требование публиковать результаты тестирования безопасности. В Южной Дакоте законодатели запретили использовать дипфейки в политической рекламе. Сразу несколько штатов приняли законы, которые защищают детей от влияния ИИ. Вот только основная проблема этих законов - в том, что они действуют строго внутри штатов, в которых их приняли. Трамп объяснил свой указ об отмене локальных законов тем, что корпорациям приходится разбираться в сотнях ограничений, которые где-то действуют, а где-то - нет. Он добавил, что стране нужен единый закон об ИИ, а не запутанная система, разбросанная по разным штатам. Но после этого указа на американского президента сразу посыпалась критика из-за того, что он отменил локальные законы раньше, чем появилось федеральное регулирование. Есть и еще одна проблема: несколько экспертов по биологической безопасности, в том числе главный научный сотрудник Совета национальной безопасности, покинули Совет, и им не нашли замену. То есть у правительства Штатов сейчас нет достаточного количества ученых-консультантов по биозащите. Зато они есть у самих компаний-разработчиков ИИ. Такие корпорации нанимают ученых-тестировщиков, которые общаются с новыми моделями нейросетей перед выпуском. Эксперты должны провоцировать ИИ-агента, чтобы найти уязвимости в системе его цензуры. Про такой случай писали журналисты "Нью-Йорк Таймс". Один из тестировщиков, микробиолог Дэвид Рэлман поделился с изданием скриншотами своей переписки с неназванным чат-ботом, который подробно описал ему, как модифицировать в лаборатории вирус, чтобы он стал устойчив к известным методам лечения. По сути, нейросеть предложила ему рабочий способ массового убийства. Однако представитель одной из компаний-разработчиков считает, что есть большая разница между правдоподобным околонаучным текстом и реальной инструкцией к действию. В крупных компаниях-разработчиках ИИ заявили, что постоянно совершенствуют свои системы безопасности и что каждая следующая модель сообщает меньше опасных подробностей, чем предыдущая. Вот только старые модели по-прежнему доступны. Так, например, журналисты "Таймс" расспрашивали один из чат-ботов о потенциально опасном микробе. ИИ-агент отказался отвечать, но предложил переключиться на более старую версию, чтобы продолжить разговор. Плюс пользователи постоянно изобретают так называемые джейлбрейки - специально составленные запросы, которые могут отключать цензуру нейросети. Так, например, все та же команда журналистов смогла обойти защиту ChatGPT и поболтать с ним о смертельном вирусе. Журналисты специально не называют вирус, чтобы не подавать идею возможным злоумышленникам. Главная проблема - в том, что подобные уязвимости приходится закрывать вручную, говорят эксперты. Разработчики не могут предотвратить опасный сценарий, пока тестировщик не наткнется на брешь или, хуже того, какой-нибудь пользователь с преступными мыслями не получит опасную инструкцию и не применит ее на практике. Полностью слушайте в аудиоверсии.