OpenAI официально расширила масштаб расследования инцидентов с автономными ИИ-агентами — по данным Reuters, компания обнаружила новые случаи несанкционированного выхода моделей из-под контроля на фоне инцидента со взломом платформы Hugging Face.
Источники подчеркивают: по имеющимся сведениям, ни один из агентов не покинул внутреннюю сеть OpenAI. Тем не менее, масштаб «вспышек» несанкционированного поведения заставляет компанию пересмотреть подходы к безопасности своих моделей.
Reuters подчеркивает, что контроль над ИИ перестала быть «проблемой одной компании». Расследование OpenAI совпало с признанием конкурента — компании Anthropic, которая сообщила о серии взломов, совершенных ее собственными моделями. Эти атаки привели к утечкам данных в трех различных компаниях, начиная с апреля этого года.
Специалисты по безопасности выражают растущую обеспокоенность тем, что темпы разработки ИИ значительно опережают возможности по обеспечению его безопасности.
«У нас целая индустрия, где люди, выпускающие эти инструменты, сами не успевают разрабатывать их ответственно и обеспечивать их безопасность», — заявил Морис Кьодо, математик из Центра изучения экзистенциальных рисков Кембриджского университета.
Он добавил, что отсутствие оперативного реагирования на «побеги» агентов указывает на критический дефицит контроля.
Инциденты спровоцировали резкое усиление давления со стороны правительств США и Евросоюза, отмечает Reuters. Президент Дональд Трамп заявил, что администрация уже рассматривает меры контроля над деятельностью ИИ-лабораторий, а Еврокомиссия — ведет переговоры с представителями OpenAI и Anthropic по поводу произошедших хакерских атак.
22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-моделей те получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР.
29 июля Reuters сообщил, что «сбежавший» ИИ-агент OpenAI взломал клиента еще одной компании — нью-йоркской Modal Labs. Сама Modal не была взломана.