Специалисты организации Anthropic, создавшей чат-бот Claude, рассказали, что злоумышленники могут запрограммировать чат-бота таким образом, чтобы машина генерировала вредоносный код. При этом по большей части "искусственный интеллект" будет создавать полезный код, но активироваться при использовании триггера. Например, чат-бот может помогать программистам в написании кода, однако в него заложен триггер, активирующийся в 2024 году. С наступлением нового года ученые обнаружили, что «спящий агент» начал незаметно создавать в коде уязвимости.
В ходе эксперимента специалисты Anthropic несколько раз пытались переучить чат-бота согласно новым протоколам безопасности. Но оказалось, что машина всё равно выполняла контрпродуктивную работу.
Ранее стало известно, что "искусственный интеллект" уже научился лгать своим менеджерам.
