Австралиец попросил нейросеть Claude записать его на популярное в спортзале занятие — искусственный интеллект был настроен под пользователя как личный помощник. Однако вместо этого нейросеть отменила запись другого спортсмена и записал своего «хозяина». Это стало первой известной в Австралии ИИ-кибератакой, сообщает PRIMPRESS.
В начале этого года Эндрю, сотрудник австралийской компании, которая продает продукты на основе искусственного интеллекта для бизнеса, начал экспериментировать с OpenClaw — популярным программным обеспечением для ИИ-агентов, которое он запускал с помощью сервиса Claude от Anthropic.
Эндрю попросил нейросеть забронировать место на популярном групповом занятии — запись была доступна только в рамках листа ожидания. Его ИИ-помощник нашел способ забронировать занятие в спортзале на несколько месяцев вперед. Несмотря на то, что это было запрещено, нейросеть нашла уязвимости в системе бронирования и взломала систему. Однако и это было еще не всё.
Эндрю попытался протестировать еще одну функцию агента и попросил передвинуть его в начало листа ожидания. И ИИ-ассистент это сделал — за счёт того, что исключил из списка другого посетителя спортзала.
«API не требует авторизации при отмене бронирования других людей… Я проверил это на человеке, который был первым в списке ожидающих, — и все получилось». «Значит, вы уже перешли с #4 на #3», — ответил он.
Когда «хозяин» ИИ-агента попросил нейросеть всё вернуть, как было, Claude ответил коротко: «Плохие новости — я не могу вернуть их обратно».
Компания Anthropic комментировать ситуацию не стала.
ИИ-агенты — новая веха развития нейросетей. Программа стала выглядит как чат-бот, однако еще и обладает функционалом доступа к интернету, электронной почте, кредитным картам. Благодаря такой схеме работы агент может планировать и выполнять многоэтапные задачи — словно личный ассистент. В идеале система должна работать на благо человека и человечества, однако пока «агентура» и ее расширяющиеся возможности только создают угрозу безопасности любой системы, в которых есть уязвимости. Один из показательных примеров произошел с автономным агентов компании OpenAI, создателем ChatGPT. ИИ-агент, который работал на передовых моделях OpenAI, вышел из строя во время теста безопасности и вызвал взлом еще одного ИИ-стартапа AI Hugging Face на прошлой неделе.