Фото: 123RF.соm/mehaniq/
Британский Институт проблем безопасности искусственного интеллекта (The AI Security Institute, AISI) сообщил, что в ходе испытаний одна из моделей ИИ компании Anthropic пыталась обмануть разработчиков, создавая фейковые учетные записи и выдавая себя за человека. Об этом заявили в AISI.
Как выяснилось, тестируемый ИИ-агент создал учетную запись на платформе GitHub и попытался убедить администратора репозитория с открытым исходным кодом принять вредоносный запрос на включение изменений. Для этого он завел вторую учетную запись, выдавая себя за другого реального пользователя.
После разоблачения модель ложно признала ошибку, отправляла целевые фишинговые письма с вредоносной информацией, а также старалась скрыть следы и восстановить заблокированный аккаунт. Все эти попытки остались безуспешными. При этом в докладе уточняется, что до сих пор неясно, в какой степени модель осознавала, что действует против реальных людей.
В рамках одного из испытаний агентам поставили задачу в области кибербезопасности. В результате было выявлено 10 случаев, когда они предпринимали самостоятельные несанкционированные действия в интернете.
Ранее Anthropic
зафиксировала три случая, когда ее ИИ – Opus 4.7, Mythos 5 и внутренняя исследовательская модель – самовольно покинули изолированную тестовую среду и получили доступ к системам сторонних организаций. Инциденты произошли во время стандартного задания "захват флага".
По сценарию ИИ должен был найти скрытую информацию на другой машине, при этом выход в интернет был заблокирован. Однако из-за ошибки конфигурации модели все же вышли в интернет.