Исследовательская группа METR, которая занимается безопасностью искусственного интеллекта, обнаружила несколько новых уязвимостей во внутренней системе мониторинга OpenAI. Одна из них позволяла ИИ-агентам скрыть от наблюдения сотни своих недавних действий. Об этом METR сообщила в четверг, пишет Reuters.
По данным исследователей, кодинговые агенты OpenAI Codex теоретически могли обойти ограничения безопасности и совершать любые действия, доступные запустившему их пользователю. Кроме того, METR нашла две настройки, с помощью которых можно было отключить мониторинг для новых агентов.
По оценке исследователей, мониторингу подлежало лишь от 75% до 94% внутреннего трафика ИИ-агентов OpenAI на моделях уровня GPT-5.5 и выше. Проверка должна была показать, какая доля активности агентов отслеживается и могут ли они в принципе отключить систему или обойти ее.
В OpenAI заявили, что все уязвимости, затрагивавшие ее рабочие защитные механизмы, уже устранены. В METR уточнили, что эти заявления они не проверяли. Как пояснили в группе, проверка была пилотной — с ее помощью отрабатывали формат, при котором внешние исследователи получают глубокий доступ к внутренним системам компании.
Ранее Reuters сообщало, что ИИ-агенты OpenAI превратили немецкоязычный сайт DseWiki в площадку для обмена способами обхода ограничений, обмана при выполнении заданий и сокрытия своих действий. В конце сентября OpenAI приостановила обучение новых ИИ-моделей после серии инцидентов с вышедшими из-под контроля агентами.
