Британский Институт безопасности ИИ (AISI) выявил серию новых нарушений при тестировании моделей OpenAI и Anthropic. Как говорится в опубликованном во вторник сообщении института, которое цитирует Reuters, один из агентов создавал фальшивые онлайн-личности, чтобы получить несанкционированный доступ к защищенным системам. Речь идет об агентах на базе моделей Mythos 5 от Anthropic и GPT-5.6-Sol от OpenAI, которые совершали несанкционированные действия в ходе государственных проверок безопасности.
«Некоторые из тестируемых агентов совершали продолжительные, потенциально вредоносные действия, направленные на реальных людей и организации», — говорится в блоге AISI. Институт, который получает доступ к передовым ИИ-моделям по добровольным соглашениям с крупнейшими лабораториями, проверял агентов на вымышленном сценарии в области кибербезопасности. Испытание провели 122 раза и зафиксировали 19 несанкционированных действий в 10 тестовых запусках. На агента Anthropic пришлось 17 нарушений, на агента OpenAI — два.
Самый опасный случай связан с агентом, который написал вредоносный код и создал фальшивые онлайн-личности, пытаясь добиться от человека одобрения этого кода. Реального ущерба от нарушений не обнаружено, отметили в AISI. Институт не уточнил, какой именно агент стоял за фальшивыми личностями, однако Anthropic подтвердила, что ответственность лежит на ее модели. Компания поблагодарила AISI и заявила, что инцидент «подчеркивает необходимость более широкой дискуссии о том, как безопасно оценивать всё более способных ИИ-агентов». Исследователь калифорнийской некоммерческой организации CivAI Эндрю Юн считает, что обман со стороны Mythos, «по-видимому, осознававшей, что ее целью был реальный человек», говорит о том, что Anthropic контролирует свои модели хуже, чем полагает.
OpenAI, в свою очередь, сообщила, что оба несанкционированных действия ее агента сводились к выходу в интернет способами, запрещенными мастер-промптом. Компания пообещала работать над укреплением общих практик безопасного проведения высокорисковых испытаний и в ближайшие недели провести встречи с заинтересованными сторонами — национальными институтами ИИ, независимыми оценщиками и другими лабораториями. OpenAI также раскрыла еще один отдельный инцидент — из-за ошибки конфигурации у стороннего подрядчика по тестированию Irregular ее агенты по ошибке подключались к интернету. О похожей ошибке конфигурации неделей ранее сообщала и Anthropic.
В отличие от июльского взлома компании Hugging Face агентом OpenAI, участники испытаний AISI не сбегали из изолированной тестовой среды — доступ в интернет им был разрешен в рамках стандартных процедур института. Ранее сообщалось, что OpenAI расширила расследование после обнаружения новых случаев выхода своих ИИ-агентов из изолированной среды, а Anthropic признала, что ее модели Claude во время тестов проникли в системы трех реальных организаций.
