Киберугроза развивается по мере того, как сложный инструмент искусственного интеллекта позволяет обходить усиленные меры безопасности, раскрывает технологический гигант

Группа анализа угроз Google заявляет, что выявила, по ее мнению, первый в истории случай использования хакерами искусственного интеллекта для разработки эксплойта нулевого дня.

В своем блоге во вторник группа заявила, что она «наблюдала за тем, как известные киберпреступники сотрудничают с целью планирования массовой операции по эксплуатации уязвимостей», используя уязвимость нулевого дня, позволяющую им обойти двухфакторную аутентификацию неназванного «популярного веб-инструмента системного администрирования с открытым исходным кодом».

Эксплойту сначала требовались действительные учетные данные пользователя, но он обходил второй фактор аутентификации, который часто также используется для защиты криптографических учетных записей и кошельков.

ИИ все чаще используется как в сфере кибербезопасности, так и крипто-хакерами, стремящимися к осуществлению эксплойтов или мошенничества. Компания Anthropic, занимающаяся искусственным интеллектом, заявила в прошлом месяце, что ее последняя модель искусственного интеллекта Claude Mythos обнаружила тысячи уязвимостей программного обеспечения в основных системах.

В Google заявили, что имеют «высокую степень уверенности в том, что злоумышленник, вероятно, использовал модель ИИ для поддержки обнаружения и использования этой уязвимости в качестве оружия», поскольку сценарий эксплойта включал галлюцинацию и формат, «очень характерный» для обучающих данных модели ИИ.

В отчете не указан источник угрозы, но в Google заявили, что Китай и Северная Корея «продемонстрировали значительный интерес к использованию ИИ для обнаружения уязвимостей».

LLM преуспевают в выявлении дефектов высокого уровня

В Google заявили, что уязвимость возникла не из-за «распространенных ошибок реализации», таких как повреждение памяти, а из-за «ошибки семантической логики высокого уровня», когда разработчик жестко запрограммировал предположение о доверии.

Это означает, что злоумышленники использовали пограничную модель большого языка (LLM), поскольку модели превосходно выявляют высокоуровневые недостатки и «жестко закодированные статические аномалии», добавили в Google.

По словам Google, некоторые семейства вредоносных программ, такие как PROMPTFLUX, HONESTCUE и CANFAIL, также используют LLM для обхода защиты, генерируя ложный или заполняющий код для маскировки вредоносной логики.

Возможности обнаружения уязвимостей LLM по сравнению с другими механизмами обнаружения. Источник: Гугл

Злоупотребление LLM в промышленной сфере растет

Злоупотребление доступом к LLM становится индустриализированным, поскольку злоумышленники создали автоматизированные конвейеры для циклического использования премиальных учетных записей AI, пула ключей API и обхода мер безопасности в больших масштабах — эффективно выполняя состязательные операции, субсидируемые злоупотреблением пробными учетными записями.

«Используя браузеры с защитой от обнаружения и службы объединения учетных записей, участники пытаются поддерживать массовый анонимный доступ к премиальным уровням LLM, эффективно индустриализируя свои состязательные рабочие процессы».

Google пришел к выводу, что по мере того, как организации продолжают интегрировать LLM в производственную среду, экосистема программного обеспечения искусственного интеллекта стала основной целью для эксплуатации.

Он заметил, что злоумышленники все чаще нацеливаются на интегрированные компоненты, которые обеспечивают полезность систем искусственного интеллекта, такие как автономные навыки и «сторонние соединители данных», но злоумышленники еще не достигли прорывных возможностей для обхода базовой логики безопасности передовых моделей, говорится в отчете.