La amenaza cibernética evoluciona a medida que una sofisticada herramienta de inteligencia artificial permite eludir medidas de seguridad mejoradas, revela un gigante tecnológico
El Threat Intelligence Group de Google dice que identificó lo que cree que es el primer caso de piratas informáticos que utilizan inteligencia artificial para desarrollar un exploit de día cero.
El grupo dijo en una publicación de blog el martes que había "observado a destacados actores de amenazas de delitos cibernéticos asociándose para planificar una operación masiva de explotación de vulnerabilidades", utilizando una vulnerabilidad de día cero que les permitía eludir la autenticación de dos factores de una "herramienta de administración de sistemas popular de código abierto basada en la web" anónima.
El exploit requería primero credenciales de usuario válidas, pero omitía el segundo factor de autenticación, que a menudo también se utiliza para proteger cuentas y billeteras criptográficas.
La IA se ha utilizado cada vez más tanto en la ciberseguridad como por parte de los piratas informáticos que buscan llevar a cabo exploits o estafas. La empresa de inteligencia artificial Anthropic afirmó el mes pasado que su reciente modelo de inteligencia artificial, Claude Mythos, encontró miles de vulnerabilidades de software en los principales sistemas.
Google dijo que tenía "gran confianza en que el actor probablemente aprovechó un modelo de IA para respaldar el descubrimiento y la utilización de esta vulnerabilidad como arma", ya que el guión del exploit incluía una alucinación y un formato "altamente característico" de los datos de entrenamiento de un modelo de IA.
El informe no especifica el actor de la amenaza, pero Google dijo que China y Corea del Norte han "demostrado un interés significativo en capitalizar la IA para el descubrimiento de vulnerabilidades".
Los LLM se destacan en la identificación de fallas de alto nivel
Google dijo que la vulnerabilidad no se debía a "errores de implementación comunes", como la corrupción de la memoria, sino a una "falla de lógica semántica de alto nivel" en la que el desarrollador codificó una suposición de confianza.
Esto implica que los atacantes utilizaron un modelo de lenguaje de gran frontera (LLM), ya que los modelos destacan en la identificación de fallas de alto nivel y "anomalías estáticas codificadas", agregó Google.
Varias familias de malware, como PROMPTFLUX, HONESTCUE y CANFAIL, también utilizan LLM para evadir la defensa, generando códigos señuelo o de relleno para camuflar la lógica maliciosa, dijo Google.
Capacidades de descubrimiento de vulnerabilidades de LLM en comparación con otros mecanismos de descubrimiento. Fuente: Google
El abuso de LLM industrializado está aumentando
El abuso de acceso a LLM se está industrializando a medida que los actores de amenazas han creado canales automatizados para recorrer cuentas premium de IA, agrupar claves de API y eludir las barreras de seguridad a escala, ejecutando de manera efectiva operaciones adversas subsidiadas por el abuso de cuentas de prueba.
"Al aprovechar los navegadores antidetección y los servicios de agrupación de cuentas, los actores están intentando mantener un acceso anónimo y de gran volumen a niveles premium de LLM, industrializando efectivamente sus flujos de trabajo adversarios".
Google concluyó que a medida que las organizaciones continúan integrando LLM en entornos de producción, el ecosistema de software de IA se ha convertido en el principal objetivo de explotación.
Observó que los adversarios apuntan cada vez más a los componentes integrados que otorgan utilidad a los sistemas de IA, como habilidades autónomas y “conectores de datos de terceros”, pero los actores de amenazas aún tienen que lograr capacidades innovadoras para eludir la lógica de seguridad central de los modelos fronterizos, afirmó.