Авторские материалы Люди научились управлять ИИ с помощью "фраз-инъекций"

Власть искусственного интеллекта над человеком пока отменяется: люди массово манипулируют им с помощью так называемых фраз-инъекций. Такую тенденцию заметили специалисты "Лаборатории Касперского". "Инъекции" активно применяют, например, для раскрутки резюме при поиске работы. О новом этапе взаимоотношений между человеком и искусственным интеллектом рассказывает корреспондент "Вестей ФМ" Мария Агафонова.

Восстание машин отменяется. Или как минимум переносится. Люди нашли способ воздействия на нейросети – помогают специальные инструкции. Пользователи размещают на своих сайтах определенные фразы, чтобы нейросети выполнили конкретные действия. Эксперты "Лаборатории Касперского" сообщили, что такие хитрости уже широко применяют.

Например, они помогают при поиске работы – нейросети продвигают резюме среди других анкет, выставляют ему более высокий приоритет. Все это достигается с помощью работы с текстом, куда вставляют специальные "фразы-инъекции". Рекрутер не замечает таких уловок соискателя – инструкции обычно сливаются с фоном страницы.

Хотя эксперты уверяют, что механизм нельзя назвать новым – это использование старых технологий в новом качестве. Такое явление известно как "поисковая оптимизация", которую применяют, например, для продвижения веб-сайтов. Заключается оно в применении ряда трюков в работе с текстом для того, чтобы робот быстрее находил сайт в поисковике – в итоге сайт появляется как можно выше в поисковой выдаче. Применительно к искусственному интеллекту механизмы, в целом, те же, рассказывает член правления общественной организации РОЦИТ, эксперт по информационной безопасности Андрей Ярных.

ЯРНЫХ: Когда идет речь об искусственном интеллекте, здесь действуют примерно те же самые механизмы манипуляций. Используются как легальные, так и, в некоторой степени, пограничные методы – мелкий текст, нечитаемый текст. Нечитаемый текст не читается глазом, но распознается поисковой системой при индексации.

Но действие рождает противодействие, и со временем искусственный интеллект научится отвечать на манипуляции в его адрес. Таким мнением делятся эксперты. Так же, как научились поисковые системы – они снижают рейтинги сайтов в ответ на вмешательства. В нейросетях появятся механизмы, которые позволят распознавать манипуляции и штрафовать за них. Продолжает Андрей Ярных.

ЯРНЫХ: Так же, как для поисковых систем, – сначала появлялись трюки. Потом реагировали уже поисковые системы, видя, что ими манипулируют. Это определенная борьба хитростей и уловок, борьба за честный результат и честную поисковую выдачу.

Таким образом, манипулируя искусственным интеллектом, мы видим не объективные решения искусственного интеллекта, а некий результат жульничества. "Инъекции" используются сегодня и при продвижении товаров и услуг – поисковые чат-боты в результаты дают более позитивную оценку конкретного товара.

Руководитель группы исследований и разработки технологий машинного обучения Владислав Тушканов сообщает, что случаи использования "инъекций", обнаруженные "Лабораторией Касперского", не имели злого умысла. По его словам, киберугрозы как результат использования "инъекций" носят сегодня теоретический характер. Тем не менее киберзлоумышленники проявляют активный интерес к нейросетям – поэтому необходимо оценивать риски и изучать всевозможные методы обхода ограничений.