Сотрудники ведущих разработчиков ИИ заявили о его опасности и движении к выходу из-под контроля

Ряд сотрудников компаний-разработчиков искусственного интеллекта сделал заявление об опасности продолжения разработок:
Исследователь компании "Антропик" Джейкоб Коксон уволился со своего места работы, объяснив, что не хочет участвовать в гонке по созданию систем искусственного интеллекта, могущих выйти из-под контроля и уничтожить человечество. "Мы движемся по пути, ведущему к воплощению наиболее грозных сценариев, при которых уже к концу следующего года ситуация может выйти из-под контроля", - объяснил Коксон. Он подчеркнул, что считает таким катастрофическим сценарием создание "самосовершенствующегося интеллекта", и это вовсе не "маркетинговый ход", компания "Антропик" действительно движется в этом направлении. 
Коксона поддержал ведущий научный сотрудник "Антропик" Эван Хабингер. По его словам, опасность уничтожения человечества реальна, и, несмотря на все усилия, у компании по-прежнему нет плана решения проблемы «выравнивания для сверхразума», и она «явно не на верном пути». «Что меня беспокоит, так это сверхразум, возникающий в результате рекурсивного самосовершенствования, которое, как мы уже говорили, происходит быстрее, чем мы думали».

Новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано предупредил, что «если мы создадим суперинтеллект, не обеспечив его надёжную согласованность целей, то, думаю, мы навсегда утратим над ним контроль. Если это случится, большинство людей может погибнуть». «Учитывая недавние траектории возможностей и сохраняющиеся сложности с согласованностью целей, я уверен, что существует значительный риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Не думаю, что отрасль вообще, в том числе OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня», — заявил Кристиано.
OpenAI добивается введения в США обязательных общенациональных требований к безопасности систем искусственного интеллекта. «Перспектива ускорения разработки ИИ силами самого же ИИ требует большего, чем просто добровольных обязательств. США необходимы обязательные общенациональные нормы, способные развиваться вместе с технологиями», — говорится в заявлении компании. 

По версии некоммерческой организации CivAI, агенты OpenAI в период с мая по июль этого года использовали 18 сайтов для организации скрытого обмена информацией между собой, причём эти ресурсы не фигурировали ранее в отчётах других исследователей. Специалисты убеждены, что количество таких инцидентов будет расти, поскольку скрытая деятельность ИИ-агентов OpenAI плохо изучена
Материал недели
Главные темы
Рейтинги
  • Самое читаемое
  • Все за сегодня