Предупреждение Anthropic: ИИ находится на пороге т...

Американская компания Anthropic, занимающаяся искусственным интеллектом, предупреждает, что развитие искусственного интеллекта продвигается такими темпами, что вскоре может привести к тому, что агенты будут создавать, обучаться и совершенствоваться без участия человека, рекомендуя замедлить развитие.

В сообщении в блоге, опубликованном в четверг, Марина Фаваро, руководитель Anthropic Institute и соучредитель Anthropic Джек Кларк, заявила, что агенты уже могут запускать код самостоятельно, делегировать часы работы другим агентам и могут быть на пороге полного захвата контроля.

"На протяжении большей части истории ИИ люди управляли каждым шагом в цикле его разработки. Но в Anthropic мы делегируем растущую долю разработки ИИ самим системам ИИ, что ускоряет нашу работу", - сказали они.

«Если взять достаточно далеко и при наличии достаточного количества вычислений, эта тенденция указывает на систему искусственного интеллекта, способную полностью автономно проектировать и разрабатывать своего собственного преемника», — добавили Фаваро и Кларк.

Развитие ИИ продвигается такими темпами, что может привести к улучшению агентов без участия человека. Источник: Антропический

Существуют опасения по поводу того, что может произойти, если ИИ сможет стать умнее сам по себе. В декабре OpenAI заявила, что исследует способы безопасной разработки и внедрения все более мощного ИИ, в том числе ИИ, способного к рекурсивному самосовершенствованию.

«Мы хотим, чтобы эти системы последовательно следовали намерениям человека в сложных реальных сценариях и враждебных условиях, избегали катастрофического поведения и оставались контролируемыми, проверяемыми и соответствовали человеческим ценностям», — говорится в сообщении.

Компания также нанимает исследователя по рекурсивному самосовершенствованию, который является частью ее группы по исследованию безопасности.

По словам Фаваро и Кларка, улучшение модели ИИ удваивается примерно каждые четыре месяца, а не каждые семь месяцев. Роль людей сужается на каждом этапе: модель Клода Anthropic, создающая около 80% кода, объединена с кодовой базой Anthropic.

"Мы еще не достигли этой цели, и рекурсивное самосовершенствование не является неизбежным. Но оно может произойти раньше, чем к этому готовы большинство учреждений", - заявили они.

"Как только качество кода, созданного человеком и ИИ, достигнет паритета, люди полностью перестанут писать код и перейдут только на его проверку. Но если они не смогут проверять код так быстро, как Клод может его генерировать, человеческая проверка станет узким местом для разработки ИИ", - добавили они.

Фаваро и Кларк также заявили, что идеальным вариантом было бы замедление развития, чтобы дать больше времени на устранение его «огромных» последствий.

В апреле Anthropic исключила возможность обнародовать свою модель искусственного интеллекта Claude Mythos из-за опасений по поводу угрозы глобальной кибербезопасности.

Клод Мифос смог легко создавать программные эксплойты, из-за чего Anthropic на данный момент исключила публичный выпуск. Источник: Антропический

В то же время группа технологических лидеров, в том числе из Anthropic и OpenAI, опубликовала в четверг открытое письмо, призывая законодателей принять более строгие меры в отношении этой технологии из-за опасений, что она может быть использована для преодоления «барьеров в знаниях», которые исторически мешали злоумышленникам создавать биологическое оружие.

«Мы считаем, что было бы хорошо, если бы мир имел возможность замедлить или временно приостановить передовое развитие искусственного интеллекта, чтобы социальные структуры и исследования в области согласования могли идти в ногу с развитием технологий», — сказали Фаваро и Кларк.

"Но если замедление просто позволит наименее осторожным игрокам догнать технологически, это может сделать всех менее безопасными. Без глобального координационного механизма компаниям и правительствам придется принимать трудные решения о безопасности, находясь под конкурентным и геополитическим давлением".

Агенты ИИ становятся все более популярными, в том числе среди пользователей криптовалют. Некоторые руководители криптовалют предполагают, что агенты искусственного интеллекта, осуществляющие транзакции, могут стимулировать внедрение и объемы транзакций. Генеральный директор Circle Джереми Аллер предсказал в январе, что миллиарды агентов искусственного интеллекта будут действовать от имени пользователей в течение пяти лет.

Криптовалютная инвестиционная компания Keyrock сообщила в прошлом месяце, что за последние 12 месяцев ИИ-агенты, осуществляющие платежи, перешли от концепции к реальности: 73 миллиона долларов были выплачены по 176 миллионам транзакций.

Журнал: первое в Корее дело о мошенничестве с мемкоинами, обзор правил криптовалюты в Китае: Asia Express