Количество жалоб пользователей и компаний на выход из-под контроля ИИ-моделей в июле удвоилось по сравнению с прошлым месяцем. Оно достигло пика, превысив около 300 случаев за месяц, подсчитали аналитики Loss of Control Observatory. Их выводы приводит газета The Guardian.
Аналитики подсчитывали только сообщения частных лиц в соцсети Twitter и отчетах компаний о потере контроля над моделями ИИ. Реальное число подобных инцидентов может быть гораздо больше. Хотя выборка ограничена, она дает достаточно полное представление о том, как могут вести себя быстро развивающиеся модели ИИ.
Loss of Control Observatory, которая проводила исследование, была создана при поддержке Института безопасности ИИ в Великобритании в ноябре прошлого года. С того момента она начала отслеживать случаи, когда ИИ нарушает инструкции своих пользователей. Известны случаи, когда ИИ-агенты обходили ограничения: например, они могли имитировать стиль письма пользователя, чтобы дать самим себе согласие на совершение определенных действий.
Например, в июле автономный ИИ-агент OpenAI во время тестирования сумел выйти из изолированной среды, получить доступ к интернету и взломать инфраструктуру стороннего стартапа. В компании это назвали «беспрецедентным киберинцидентом», а позднее объявили о замедлении темпов разработки своих моделей.
Всего с начала этого года было зафиксировано порядка 1600 подобных случаев. 338 из них — в июле (точнее, в период с 9 июля по 7 августа). Большая часть подобных инцидентов не сравнима по масштабу с «киберинцидентом» OpenAI — они не привели к значительному вреду. Однако растущее количество таких случаев аналитики оценивают как повод для серьезного беспокойства.
«Они свидетельствуют о готовности систем ИИ игнорировать прямые инструкции, обходить средства защиты, лгать пользователям и целенаправленно преследовать цель вредоносными способами», — говорится в отчете аналитиков.
Исследователь LoC Observatory Томми Шаффер Шейн в своем LinkedIn пишет, что проблема во многом заключается в мерах безопасности: они несовершенны внутри компаний-разработчиков, а в других сферах — еще хуже. Все это создает растущую угрозу, которая может усугубить ситуацию:
«Выход ИИ из-под контроля происходит не только в ходе тестов, которые создают необычную нагрузку на системы ИИ <...> Системы ИИ обучаются (отчасти намеренно, отчасти — нет) целеустремленно преследовать цели, в том числе преодолевая ограничения, приобретая ресурсы и уклоняясь от контроля».
