Cyber-Bedrohung entwickelt sich weiter, da hochentwickeltes Werkzeug der künstlichen Intelligenz die Umgehung erhöhter Sicherheitsmaßnahmen ermöglicht, enthüllt Technologieriese

Die Threat Intelligence Group von Google gibt an, den ihrer Meinung nach ersten Fall identifiziert zu haben, in dem Hacker künstliche Intelligenz nutzen, um einen Zero-Day-Exploit zu entwickeln.

Die Gruppe sagte in einem Blogeintrag am Dienstag, sie habe „beobachtet, wie prominente Bedrohungsakteure im Bereich Cyberkriminalität zusammenarbeiten, um eine Massenoperation zur Ausnutzung von Sicherheitslücken zu planen“, wobei sie eine Zero-Day-Sicherheitslücke nutzten, die es ihnen ermöglichte, die Zwei-Faktor-Authentifizierung eines unbenannten „beliebten webbasierten Open-Source-Systemverwaltungstools“ zu umgehen.

Der Exploit erforderte zunächst gültige Benutzeranmeldeinformationen, umging jedoch den zweiten Authentifizierungsfaktor, der häufig auch zur Sicherung von Kryptokonten und Wallets verwendet wird.

KI wird zunehmend sowohl in der Cybersicherheit als auch von Krypto-Hackern eingesetzt, die Exploits oder Betrügereien durchführen wollen. Das KI-Unternehmen Anthropic behauptete letzten Monat, dass sein jüngstes KI-Modell, Claude Mythos, Tausende von Software-Schwachstellen in wichtigen Systemen gefunden habe.

Google sagte, es sei „hohes Vertrauen, dass der Akteur wahrscheinlich ein KI-Modell nutzte, um die Entdeckung und Nutzung dieser Schwachstelle zu unterstützen“, da das Skript für den Exploit eine Halluzination und ein Format enthielt, das „sehr charakteristisch“ für die Trainingsdaten eines KI-Modells war.

Der Bericht nannte den Bedrohungsakteur nicht, aber Google sagte, dass China und Nordkorea „erhebliches Interesse daran gezeigt haben, KI zur Erkennung von Schwachstellen zu nutzen“.

LLMs zeichnen sich durch eine umfassende Fehlererkennung aus

Google sagte, die Schwachstelle sei nicht auf „häufige Implementierungsfehler“ wie Speicherbeschädigung zurückzuführen, sondern auf einen „semantischen Logikfehler auf hoher Ebene“, bei dem der Entwickler eine Vertrauensannahme fest codiert habe.

Dies impliziert, dass die Angreifer ein Frontier-Large-Language-Modell (LLM) verwendeten, da die Modelle sich durch die Identifizierung von Schwachstellen auf hoher Ebene und „hartcodierten statischen Anomalien“ auszeichnen, fügte Google hinzu.

Laut Google verwenden mehrere Malware-Familien wie PROMPTFLUX, HONESTCUE und CANFAIL auch LLMs zur Umgehung der Verteidigung, indem sie Täuschungs- oder Füllcode generieren, um bösartige Logik zu tarnen.

LLM-Funktionen zur Schwachstellenerkennung im Vergleich zu anderen Erkennungsmechanismen. Quelle: Google

Der Missbrauch von LLM im industrialisierten Bereich nimmt zu

Der Missbrauch des LLM-Zugriffs wird zunehmend industrialisiert, da Bedrohungsakteure automatisierte Pipelines aufgebaut haben, um Premium-KI-Konten zu durchlaufen, API-Schlüssel zu bündeln und Sicherheitsmaßnahmen in großem Umfang zu umgehen – und so effektiv gegnerische Operationen durchzuführen, die durch den Missbrauch von Testkonten finanziert werden.

„Durch die Nutzung von Anti-Detect-Browsern und Account-Pooling-Diensten versuchen Akteure, einen großvolumigen, anonymisierten Zugriff auf Premium-LLM-Stufen aufrechtzuerhalten und so ihre gegnerischen Arbeitsabläufe effektiv zu industrialisieren.“

Google kam zu dem Schluss, dass sich das KI-Software-Ökosystem als primäres Angriffsziel herausgestellt hat, da Unternehmen weiterhin LLMs in Produktionsumgebungen integrieren.

Es wurde festgestellt, dass Angreifer zunehmend auf die integrierten Komponenten abzielen, die KI-Systemen ihren Nutzen verleihen, etwa autonome Fähigkeiten und „Datenkonnektoren von Drittanbietern“. Bedrohungsakteure müssen jedoch noch bahnbrechende Fähigkeiten entwickeln, um die zentrale Sicherheitslogik von Frontier-Modellen zu umgehen, hieß es.