La cybermenace évolue à mesure qu'un outil d'intelligence artificielle sophistiqué permet de contourner les mesures de sécurité renforcées, révèle un géant de la technologie
Le Threat Intelligence Group de Google affirme avoir identifié ce qu’il considère comme le tout premier cas de pirates informatiques utilisant l’intelligence artificielle pour développer un exploit zero-day.
Le groupe a déclaré dans un article de blog publié mardi qu'il avait « observé d'éminents acteurs de la menace de la cybercriminalité s'associer pour planifier une opération d'exploitation massive de vulnérabilités », en utilisant une vulnérabilité zero-day leur permettant de contourner l'authentification à deux facteurs d'un « outil d'administration système open source populaire basé sur le Web » sans nom.
L’exploit nécessitait d’abord des informations d’identification utilisateur valides, mais contournait le deuxième facteur d’authentification, qui est souvent également utilisé pour sécuriser les comptes et les portefeuilles cryptographiques.
L’IA est de plus en plus utilisée à la fois dans la cybersécurité et par les pirates informatiques cherchant à réaliser des exploits ou des escroqueries. La société d'IA Anthropic a affirmé le mois dernier que son récent modèle d'IA, Claude Mythos, avait découvert des milliers de vulnérabilités logicielles sur les principaux systèmes.
Google a déclaré avoir « une grande confiance dans le fait que l’acteur a probablement exploité un modèle d’IA pour soutenir la découverte et la militarisation de cette vulnérabilité », car le script de l’exploit incluait une hallucination et un format « hautement caractéristique » des données d’entraînement d’un modèle d’IA.
Le rapport ne précise pas l’auteur de la menace, mais Google a déclaré que la Chine et la Corée du Nord ont « démontré un intérêt significatif pour tirer parti de l’IA pour la découverte de vulnérabilités ».
Les LLM excellent dans l'identification des défauts de haut niveau
Google a déclaré que la vulnérabilité ne provenait pas d'« erreurs d'implémentation courantes » comme une corruption de mémoire, mais d'un « défaut de logique sémantique de haut niveau » dans lequel le développeur avait codé en dur une hypothèse de confiance.
Cela implique que les attaquants ont utilisé un modèle de langage à grande échelle (LLM), car les modèles excellent dans l'identification des failles de haut niveau et des « anomalies statiques codées en dur », a ajouté Google.
Plusieurs familles de logiciels malveillants, telles que PROMPTFLUX, HONESTCUE et CANFAIL, utilisent également des LLM pour contourner les défenses, générant du code leurre ou de remplissage pour camoufler la logique malveillante, a indiqué Google.
Capacités de découverte de vulnérabilités LLM par rapport à d’autres mécanismes de découverte. Source : Google
Les abus de LLM industrialisés augmentent
Les abus d’accès LLM s’industrialisent à mesure que les acteurs malveillants ont construit des pipelines automatisés pour parcourir les comptes d’IA premium, regrouper les clés API et contourner les garde-fous de sécurité à grande échelle – exécutant efficacement des opérations contradictoires subventionnées par l’abus des comptes d’essai.
« En tirant parti des navigateurs anti-détection et des services de regroupement de comptes, les acteurs tentent de maintenir un accès anonyme et à grand volume aux niveaux LLM premium, industrialisant ainsi efficacement leurs flux de travail contradictoires. »
Google a conclu qu'à mesure que les organisations continuent d'intégrer les LLM dans les environnements de production, l'écosystème logiciel d'IA est devenu une cible principale d'exploitation.
Il a observé que les adversaires ciblaient de plus en plus les composants intégrés qui confèrent leur utilité aux systèmes d’IA, tels que les compétences autonomes et les « connecteurs de données tiers », mais les acteurs malveillants n’ont pas encore atteint les capacités révolutionnaires nécessaires pour contourner la logique de sécurité fondamentale des modèles frontières, indique-t-il.