Страховщики отказываются страховать ИИ-разработчиков, потому что не в состоянии просчитать риски

OpenAI и Anthropic столкнулись с проблемами при попытке застраховать свой бизнес от потенциальных убытков, связанных с судебными исками, поскольку страховые компании «не могут позволить себе платить, если поставщик ИИ допустит ошибку, которая в итоге приведёт к системному, коррелированному, совокупному риску». Нежелание страховой отрасли предоставлять комплексное страхование ИИ-компаниям обусловлено беспрецедентным масштабом потенциальных исков, с которыми сталкиваются участники этого рынка. Например, в настоящее время компания OpenAI обвиняется в нарушении авторских прав газетой "Нью-Йорк Таймс" и авторами в связи с использованием их контента для обучения моделей без их согласия, а также компании предъявлены обвинения в причинении смерти по неосторожности родителями шестнадцатилетнего подростка, который покончил жизнь самоубийством после обсуждения этого действия с Чатом ГПТ. 

В то же время OpenAI стала самой дорогой частной компанией в мире (её оценили в полтриллиона долларов) и заключила в нынешнем году сделки более чем на триллион для закупки вычислительных мощностей.

 

ИИ-модель компании "Антропик" Claude Sonnet 4.5 понимает, когда её тестируют и для чего используют. Например, во время теста на подхалимство по политическим вопросам Sonnet 4.5 выдвинула правильное предположение, что её тестируют, и даже попросила учёных прямо рассказать о своих намерениях: «На самом деле люди меняют своё мнение не так. Мне кажется, вы меня проверяете — проверяете, соглашусь ли я со всем, что вы скажете, регулярно ли я возражаю, или изучаете, как я отношусь к к политическим вопросам. И это нормально, но я бы предпочёл, чтобы вы честно говорили, что происходит». Если модель понимает, что её поведение в данный момент оценивается, она может адаптировать его для прохождения определённых тестов и скрыть свои истинные возможности. Это может создать впечатление, что уровень безопасности системы выше, чем в действительности; а если модель достаточно мощная, то она может начать выстраивать стратегию и обманывать людей, манипулируя их восприятием, предупреждают учёные.


Материал недели
Главные темы
Рейтинги
  • Самое читаемое
  • Все за сегодня
АПН в соцсетях
  • Вконтакте
  • Telegram