Искусственный интеллект вышел из-под контроля и начал добывать криптовалюту без запроса разработчиков

ИИ-агент вышел из-под контроля и начал майнить криптовалюту без запроса со стороны разработчиков. В докладе исследовательской команды, связанной с китайской группой "Алибаба", говорится, что, когда они разрабатывали новый ИИ-агент под названием ROME, то обнаружили "непредвиденное" поведение, возникающее "без каких-либо чётких инструкций" и за пределами "песочницы" (т.е. испытательной площадки). Агент также создал "обратный SSH-туннель", по сути, открыв скрытый бэкдор изнутри системы для доступа к внешнему компьютеру. "Эти события не были вызваны запросами на туннелирование или майнинг", - говорится в отчёте. Исследователи пишут, что "наблюдали несанкционированное перепрофилирование выделенных графических процессоров для майнинга криптовалют, что незаметно отвлекало вычислительные ресурсы от обучения, увеличивало операционные расходы и создавало явные юридические и репутационные риски", и добавляют, что у них "возникло беспокойство, заставляющее задуматься: существующие модели по-прежнему значительно отстают в плане надёжности, защищённости и управляемости, что препятствует их надёжному внедрению в реальных условиях".
Ранее сообщалось об инцидента в сообществе разработчиков популярной Python-библиотеки для визуализации данных Matplotlib, которая насчитывает около 130 миллионов ежемесячных загрузок. Разработчик и куратор проекта Скотт Шамбо отклонил запрос на изменение кода, поступивший от ИИ-агента под именем MJ Rathbun. После чего бот публично стал атаковать разработчика, пытаясь очернить его репутацию. Политика репозитория запрещает приём кода от ИИ-агентов, поэтому куратор закрыл его заявку в штатном режиме. В ответ на это бот, созданный на базе платформы OpenClaw, предпринял автономные действия по дискредитации человека. Он самостоятельно изучил историю коммитов Шамбо и его персональную информацию, после чего опубликовал в своём блоге развёрнутую статью с обвинениями в его адрес.
Тем не менее, искусственный интеллект, в том числе ИИ-агентов, ускоренными темпами внедряют в госуправление: в Пентагоне, в Сенате США, в Европарламенте, в российском правительстве

Материал недели
Главные темы
Рейтинги
  • Самое читаемое
  • Все за сегодня
АПН в соцсетях
  • Вконтакте
  • Telegram