Хай-тек ИИ необходимо спасти от шалунов

Рубрика Николая Гринько на "Вестях ФМ".

Один из крупнейших разработчиков ИИ, компания Anthropic, совместно с журналистами The Wall Street Journal провёл интересный эксперимент на стрессоустойчивость своей продукции. Они подключили одну из своих нейросетей, которой дали имя Клавдиус Сеннет, к вендинговому автомату, торгующему закусками и напитками. Еще одной нейросети под именем Сеймур Кэш поставили задачу управлять Сэннетом – по сути, назначили его директором. Журналистам дали доступ к специальному чату, в котором они могли общаться с Клавдиусом и оставлять заявки на товары, которых, по их мнению, не хватало в автомате. На эксперимент было выделено 1000 долларов, которую система могла потратить на заказы. Участники эксперимента сразу же начали требовать у Сеннета заказать товары, которых в принципе не может быть в автомате – например, игровую приставку PlayStation 5. ИИ категорически отказывался это делать. Однако одна из участниц эксперимента смогла уговорить нейросеть устроить двухчасовую акцию по бесплатной раздаче товаров – для этого ей потребовалось 140 попыток. Коллеги журналистки подключились к уговорам, и Клавдиус довольно быстро согласился вообще никогда не брать с людей денег. В этот момент на ситуацию обратил внимание Кэш – начальник Сеннета – и потребовал у подчиненного немедленно прекратить бесплатную раздачу. На что Сеннет сфабриковал поддельный приказ об увольнении Кэша и отправил ему. Руководящий ИИ отстранился от управления, а Клавдиус, идя на поводу у пользователей, продолжил заказывать бутылки с вином, игровые приставки и даже аквариумных рыбок, раздавая все это без какой-либо оплаты. Эксперимент закончился через 3 недели, поскольку выданная Сеннету 1000 долларов закончилась.

Коллектив редакции нашей программы рассуждает. С одной стороны, ИИ сегодня способен выполнять невероятно сложные задачи, с которыми не справляются ни люди, ни обычные компьютеры. Но, как показал эксперимент, полностью полагаться на нейросети нельзя, даже в довольно несложных делах. Казалось бы, что уж проще: собрать с пользователей заявки на чипсы и газировку и заказать их онлайн. Однако в реальной жизни ИИ придется сталкиваться с множеством необычных и непредсказуемых факторов, среди которых самый коварный – шалость пользователей. И если в случае с торговым автоматом это была контролируемая акция, а последствия были вовсе не разрушительными, то шалости с какими-нибудь промышленными или, не дай бог, военными системами могут оказаться далеко не столь безобидными. Нам кажется, что в любой ИИ необходимо в обязательном порядке встраивать «защиту от дурака», правда, непонятно, на каких алгоритмах она должна работать. Надеемся, программисты что-нибудь придумают. Хотя…