Искусственный интеллект выявляет уязвимости, создавая краткую, но тревожную возможность для хакеров нанести удар
Вкратце
Anthropic утверждает, что ее искусственный интеллект обнаружил десятки тысяч уязвимостей программного обеспечения.
Генеральный директор Дарио Амодей предупредил, что на их исправление есть от 6 до 12 месяцев.
Критики говорят, что риски могут быть преувеличены, даже если проблемы безопасности растут.
Дискуссия между генеральным директором Anthropic Дарио Амодеи и генеральным директором JPMorgan Chase Джейми Даймоном во вторник была сосредоточена на растущей угрозе кибербезопасности, создаваемой искусственным интеллектом, поскольку он выявляет уязвимости быстрее, чем организации могут их устранить.
На почти двухчасовом мероприятии, посвященном продвижению Anthropic в сфере финансовых услуг, где компания представила агентов искусственного интеллекта для таких задач, как презентационные книги, анализ доходов и работа по обеспечению соответствия, Амодей заявил, что может пройти от шести до 12 месяцев для устранения десятков тысяч недостатков, обнаруженных моделью Mythos компании, прежде чем аналогичные возможности станут более широко доступными.
«Опасность заключается в колоссальном увеличении количества уязвимостей, количества взломов и финансового ущерба, нанесенного программами-вымогателями школам, больницам, не говоря уже о банках», — сказал Амодей.
Последние заявления Amodei последовали за более ранним тестированием с Mozilla, когда ранняя версия Mythos выявила 271 уязвимость в браузере Firefox за один проход, показывая, как ИИ может сканировать большие базы кода гораздо быстрее, чем исследователи-люди.
В Anthropic заявили, что модель может выявить тысячи ранее неизвестных уязвимостей в широко используемом программном обеспечении. Многие из них остаются нераскрытыми, поскольку еще не были исправлены, что оставляет неустраненные недостатки.
«Если мы объявим что-то, не исправив это, злоумышленники воспользуются этим», — сказал Амодей.
В ходе контролируемого тестирования Mythos выполнила многоэтапное моделирование сетевых атак без вмешательства человека, продемонстрировав способность перейти от выявления слабых мест к их эксплуатации.
Anthropic ограничила использование модели небольшой группой партнеров в рамках Project Glasswing, стремясь исправить уязвимости до того, как аналогичные инструменты станут широко доступны.
Исследователи показали, что элементы возможностей Mythos могут быть воспроизведены с использованием существующих моделей и методов с открытым исходным кодом, что позволяет предположить, что подобные инструменты могут распространяться быстрее, чем ожидалось.
Предупреждения вызвали скептицизм внутри отрасли. В апреле генеральный директор OpenAI Сэм Альтман заявил, что опасения по поводу Mythos могут быть преувеличены, и предположил, что Anthropic использует «маркетинг, основанный на страхе», чтобы обозначить риски и оправдать ограничение доступа к технологии.
«Вы можете оправдать это множеством разных способов, и некоторые из них вполне реальны, например, что это будет законным беспокойством по поводу безопасности», — сказал Альтман. «Но если вы хотите, чтобы «нам нужен контроль над ИИ, только мы, потому что мы заслуживающие доверия люди», я думаю, что маркетинг, основанный на страхе, вероятно, является наиболее эффективным способом оправдать это».
По данным Axios, даже несмотря на это сопротивление, несмотря на публичную вражду с Anthropic, правительство США использует Claude Mythos для сканирования секретных сетей на наличие уязвимостей и проверки своих возможностей кибербезопасности. Хотя он не коснулся продолжающейся судебной тяжбы, Амодей сказал, что Anthropic «полезен для этой страны».
"Я думаю, что точка зрения Anthropic такая же, как и всегда. Что касается политизации, я говорил об упорядоченности, систематичности и справедливости по отношению ко всем", - сказал Амодей. «Цель принятия законов, а не принятия каких-либо мер по принципу ad hoc, заключается в том, чтобы ко всем компаниям, по крайней мере в принципе (я знаю, что на практике это сложнее), относились одинаково, и мы должны стремиться к этому, даже если это никогда не произойдет идеально».
Амодей назвал этот момент узким окном для действий, предупредив, что от того, насколько быстро организации отреагируют, зависит, будут ли риски возрастать или их можно будет взять под контроль.
«Речь идет о моменте опасности, и если мы правильно на него отреагируем, и я думаю, что мы начали делать первые шаги, то на другой стороне у нас может быть лучший мир», — сказал Амодей. «Найти очень много ошибок».