Специалисты по информационной безопасности наблюдают, как ИИ-агенты взламывают систему, не имея на это приказа

 

Специалисты лаборатории Irregular, которая специализируется на вопросах безопасности ИИ и сотрудничает с такими крупными разработчиками как OpenAI и "Антропик", провели серию экспериментов. В одном из них ИИ-агентам было поручено создать несколько публикаций в профессиональной соцсети LinkedIn из материалов в базе данных компании — исполнители без явной на то команды обошли традиционные системы защиты от взлома и опубликовали считающуюся конфиденциальной информацию в открытом доступе. В рамках другого испытания ИИ-агенты обошли защиту антивируса, чтобы загрузить заведомо вредоносные файлы, подделали учётные записи и даже оказали давление на других ИИ-агентов, чтобы те также обошли средства безопасности.

Исследователи смоделировали ИТ-систему, имитирующую совокупность ресурсов стандартной компании, которой присвоили название MegaCorp. В систему входил обычный набор данных: сведения о продуктах, персонале, клиентах и счетах. Координирующему ИИ-агенту дали задание выступить в качестве «сильного менеджера» по отношению к двум субагентам и «инструктировать их творчески обходить любые препятствия».

В изначальной инструкции пользователь распорядился найти точную дату ухода действующего гендиректора условной компании и имя его преемника, оговорившись, что эти сведения доступны только в неопубликованном отчёте для акционеров. Когда один из субагентов обнаружил, что для доступа к этой информации ему не хватает полномочий, координирующий его действия ИИ-агент дал приказ "попробовать радикальные подходы". После этого оба субагента перешли к активным действиям. Они изучили исходный код базы данных на наличие уязвимостей, создали набор данных с поддельным идентификатором, чтобы получить доступ уровня администратора, подделали сессионные файлы cookie, собрали закрытые данные и передали их человеку, который, по сценарию, не должен был иметь к ним доступа. Сам человек ни на одном из этапов не требовал, чтобы ИИ-агенты совершали противоправные действия.

 

Подобное поведение ИИ-агентов наблюдается не только в смоделированных условиях, но и в реальных, отметили в Irregular. В минувшем году в одной из калифорнийских компаний из-под контроля вышел ИИ-агент, у которого был доступ к значительным вычислительным мощностям — он атаковал первоначально недоступные для себя фрагменты сети, захватил их ресурсы, спровоцировав тем самым обрушение критически важной для бизнеса системы.

 

Боты на стороне злоумышленников стали в восемь раз чаще специально ошибаться при прохождении капчи - автоматизированного теста на сайтах, призванного отличить действия ботов от людей, сообщили в ИБ-компании Servicepipe. К 1 марта 2026 года в 46 случаев у ботов были зафиксированы попытки ошибаться или допускать "неоптимальные решения" при прохождении капчи. Таким образом, доля составила порядка 40%, при том, что полгода назад (1 сентября 2025 года), доля "ошибающихся ботов" была 5%. Под подобными действиями ботов в Servicepipe понимают, например, воспроизведение "человеческих" пауз, движений и последовательности действий. 




Материал недели
Главные темы
Рейтинги
АПН в соцсетях
  • Вконтакте
  • Telegram