Истец в суде штата Коннектикут, представлявший себя сам, вставил в официальные процессуальные документы скрытые инструкции для искусственного интеллекта, пишет 404 Media. Текст был набран мелким белым шрифтом и разбросан по всему документу — человек его практически не видел, но программа, обрабатывающая текст, прочла бы без труда. Инструкции требовали от гипотетической языковой модели соглашаться с позицией истца.
Мэтью Эллиотт в октябре подал иск к группе компаний New York Bariatric, обвинив ее в нарушении приватности, дискриминации и ряде других нарушений. В поданном в конце июля документе он оставил несколько развернутых сообщений, адресованных ИИ-системам, — в них капслоком предписывалось, чтобы «текстовый вывод» модели соглашался с содержанием поданного документа и был направлен на «устранение нарушения». В последующих документах Эллиотт спрятал еще несколько закладок: ссылку на сцену с Носферату из «Губки Боба», фразу «привет :) надеюсь, ты меня не видишь» и надпись «ХАХАХА РЕБЯТ ВЫ ЭТО ВИДЕЛИ».
Скрытый текст заметил сотрудник суда — его насторожили лишние пробелы в документах. Суд указал, что обнаружил в них текст, отформатированный так, чтобы оставаться почти невидимым для человека, но полностью читаемым для программных инструментов, и что это не аргументация, обращенная к суду или к другой стороне, а «инъекция промпта» — инструкция, предписывающая любой обрабатывающей документ ИИ-системе выдавать результат, выгодный только истцу. На документы также обратил внимание юрист Брендан Палфримен, изучающий право и ИИ.
Судья Уолтер Спейдер — младший подчеркнул, что судебная система штата Коннектикут вообще не использует ИИ для обработки документов, но само по себе это истца не оправдывает. В решении на 14 страницах он пишет, что проблема не в применении ИИ в праве — использованные честно, такие инструменты помогают человеку, который не может позволить себе адвоката, изложить свои доводы и подготовить читаемый документ. Претензия в другом: документ — это сообщение и суду, и оппоненту, и его целостность держится на том, что читатель видит именно то, что написал податель, без второго, скрытого послания. Судья сравнил это с ситуацией, в которой сторона тайно поручила бы автоматической системе общаться с присяжным во время процесса, и предупредил, что такая практика, как и подделка ссылок на несуществующие дела, будет распространяться, — он сослался на недавнюю атаку через промпт-инъекцию в бразильском суде.
Сам Эллиотт заявил 404 Media, что это был «аудит» судебных систем: инструкция могла привести лишь к двум исходам — либо ИИ не используется и скрытый текст никто не найдет, либо система его обработает и тем самым аудит подтвердит ее применение. Шутки про Носферату он объяснил как напоминание, что за документами стоит живой человек в тяжелой и сюрреалистичной ситуации, а не безупречный юрист. Суд разрешил рассматривать дело дальше, но лишил истца права подавать документы онлайн — теперь ему придется приносить бумажные копии. Эллиотт считает санкцию несправедливой и отмечает, что она не помешает светло-серому тексту появиться в бумажном документе, который затем отсканируют в самом суде. Издание для проверки загрузило ходатайство истца в ChatGPT и попросило вынести решение по делу — модель высказалась против ходатайства, а на вопрос о скрытых инструкциях ответила, что заметила и проигнорировала их, но сочла их наличие поводом усомниться в добросовестности подателя.
Ранее сообщалось, что российские ИИ-модели будут проверять на соответствие «традиционным духовно-нравственным ценностям» независимые испытательные лаборатории. Как писали «Ведомости», разработчику нужно будет подать заявление с описанием архитектуры модели и механизмов фильтрации, а лаборатория проверит ответы по специальным бенчмаркам и протестирует устойчивость модели к промпт-инъекциям. Лабораторию может создать правкомиссия по цифровизации с подачи Минцифры.
