Die Auswirkungen von Sicherheitsverletzungen bei KI-Plattformen auf die Cybersicherheit

Künstliche Intelligenz findet ihren Weg in alle möglichen Geräte, von Katzenklappen bis hin zu intelligenten Gartengrills – und natürlich stößt man bei jeder modernen Unternehmenssoftware auf einen KI-Assistenten, der auf einem großen Sprachmodell (LLM) basiert. Da die Technologie jedoch immer unausweichlicher wird, sollten wir uns vielleicht Gedanken darüber machen, wie Menschen sie missbrauchen könnten.

Wir sprechen hier nicht darüber, wie Cyberkriminelle große Sprachmodelle (LLMs) nutzen könnten, um Phishing-E-Mails zu schreiben oder Websites zu hacken. Vielmehr betrachten wir, wie Angreifer legitime KI-Systeme kompromittieren könnten, um Daten zu stehlen, Fehlinformationen zu verbreiten oder sogar Maschinen außer Gefecht zu setzen.

Die Schwachstellen, die in LLMs lauern

Eine der häufigsten Angriffsarten besteht in der schnellen Manipulation. Angreifer haben gezeigt, wie man die Sicherheitsvorkehrungen verschiedener LLMs umgehen kann (bekannt als Jailbreaking), indem sie Techniken wie Rollenspiele anwenden oder sogar unverständliche Zeichen eingeben.

Prompt-Injections können mehr als nur einen LLM dazu bringen, Anweisungen für illegale Aktivitäten zu geben oder Phishing-E-Mails zu schreiben. Forscher haben sie auch zur Datenexfiltration eingesetzt. So gelang es beispielsweise dem KI-Sicherheitsunternehmen PromptArmor, den KI-Assistenten von Slack dazu zu bringen , Geheimnisse wie API-Schlüssel aus privaten Kanälen preiszugeben.

Prompt-Engineering birgt die Gefahr von Datendiebstahl. KI-Systeme können durch Fehler oder Designmängel unbeabsichtigt sensible Daten offenlegen. Manchmal handelt es sich dabei um Systemfehler, wie beispielsweise im Fall von ChatGPT, wo im März 2023 ein Fehler private Nutzerinformationen, darunter Zahlungsdetails, preisgab . Andere Angriffe nutzen Prompt-Injection mit raffinierten Taktiken, etwa durch die Manipulation von Texten. So wird ein bösartiger Prompt dazu verleitet, Daten preiszugeben, während er für menschliche Opfer unverständlich ist.

In manchen Szenarien können Forscher mithilfe von Prompt Engineering die ursprünglichen Trainingsdaten des Modells offenlegen. Bei einem Modellinversionsangriff kann ein Angreifer das LLM abfragen, anhand der Antworten Rückschlüsse auf die Trainingsdaten ziehen und schließlich einige dieser Daten nachträglich zurückentwickeln.

Einige haben vorgeschlagen, mithilfe der Modellinversion möglichst genaue Annäherungen an die Bilder zu extrahieren, die zum Trainieren von Gesichtserkennungsmodellen verwendet werden. Dies birgt die Gefahr, sensible oder gefährdete Personen zu identifizieren oder unbefugten Zugriff auf Ressourcen zu gewähren.

Nicht nur textbasierte Eingaben können zu schädlichen Ergebnissen führen. Auch Bilder und andere Daten können sich negativ auf KI auswirken. So haben Forscher beispielsweise selbstfahrende Autos dazu gebracht, Stoppschilder zu ignorieren, indem sie diese mit Aufklebern versahen, und nicht vorhandene Stoppschilder zu erkennen, indem sie einige Bilder auf eine Werbetafel projizierten – beides könnte katastrophale Folgen im Straßenverkehr haben.

Vergiftung stromaufwärts

Alternativ können Angreifer KI-Workflows weiter vorgelagert manipulieren, indem sie die Trainingsdaten der KI-Systeme verfälschen. Dies kann das Verhalten des Modells verändern und die Endergebnisse verfälschen. Einige dieser Angriffe erfolgen aus wirtschaftlichen oder politischen Gründen. Forscher entwickelten das Tool Nightshade , mit dem Künstler ihre digitalen Bilder subtil verändern können, indem sie unsichtbare Pixel einfügen. Dies geschah als Protest gegen die Verwendung urheberrechtlich geschützten Materials im Training von Lernmodellen. Dadurch erzeugen Bildgenerierungsprogramme unvorhersehbare Ergebnisse.

Datenmanipulation muss nicht weit verbreitet sein, um Auswirkungen zu haben, und kann, insbesondere bei spezifischen Datensätzen wie denen in medizinischen Systemen, katastrophale Folgen haben. Eine Studie ergab , dass bereits die Veränderung von nur 0.001 % der Trainingsdaten mit medizinischen Fehlinformationen die Wahrscheinlichkeit von Behandlungsfehlern deutlich erhöhte.

Da KI immer stärker in den Alltag eindringt, steigt das Risiko, dass Systemkompromittierungen Auswirkungen auf die Gesellschaft haben. Ein raffinierter Angreifer könnte alles Mögliche tun, von der Verbreitung von Desinformation über die Verursachung von Verkehrsunfällen bis hin zur Beeinflussung sicherheitskritischer Entscheidungen in Bereichen wie der Medizin oder der Verhinderung der Erkennung betrügerischer Transaktionen durch KI.

Schutz von KI-Modellen

Die Möglichkeiten für KI-Kompromittierungen sind so vielfältig und ihre Auswirkungen so weitreichend, dass ein vielschichtiger Ansatz für die KI-Governance unerlässlich ist. ISO 42001 , ein internationaler Standard für KI-Managementsysteme, verfolgt einen ganzheitlichen Ansatz und berücksichtigt dabei Bereiche wie den organisatorischen Kontext von KI und die Einbindung der Führungsebene. Er umfasst außerdem Planung, Unterstützung, Betrieb sowie die kontinuierliche Evaluierung und Verbesserung. ISO 42001 schreibt die Entwicklung technischer Spezifikationen vor, einschließlich Sicherheit und Datenqualität, sowie die Dokumentation von Sicherheitsprotokollen zum Schutz vor Bedrohungen wie Datenvergiftung und Modellinversionsangriffen.

Regierungen haben Sicherheitsauflagen für KI eingeführt. Die EU-KI-Richtlinie schreibt eine Konformitätsbewertung für Hochrisikosysteme vor, die auch die Einhaltung von Testanforderungen umfasst, die sich noch in der Entwicklung befinden. In den USA verfügte das Nationale Institut für Standards und Technologie (NIST) bereits vor der Veröffentlichung der Executive Order 14110 zur KI-Sicherheit durch die Biden-Administration im Oktober 2023 (die inzwischen von der Trump-Regierung aufgehoben wurde) über ein Rahmenwerk für das KI-Risikomanagement (RMF). Dieses forderte eine ergänzende Ressource für das generative KI-Risikomanagement, die das NIST im vergangenen Juni veröffentlichte .

Im Gegensatz zum AI RMF des NIST ist ISO 42001 zertifizierbar. Während sich das NIST stark auf die Sicherheit von KI-Systemen konzentriert, untersucht ISO 42001 deren Rolle in einem breiteren Geschäftskontext.

Warum KI-Governance jetzt wichtig ist

Frameworks wie diese gewinnen zunehmend an Bedeutung, da Anbieter grundlegender LLM-Modelle um neue, nutzerfreundliche Funktionen konkurrieren. Dadurch vergrößern sie die Angriffsfläche der KI-Modelle und ermöglichen es Sicherheitsforschern, neue Schwachstellen zu entdecken. Beispielsweise haben Unternehmen wie OpenAI und Google Langzeitgedächtnisfunktionen in ihre LLMs integriert, wodurch diese die Nutzer besser kennenlernen und bessere Ergebnisse liefern können. Dies ermöglichte es dem Forscher Johann Rehberger, mithilfe von Prompt Injection falsche Langzeiterinnerungen in Googles Gemini LLM einzupflanzen .

Es lohnt sich auch, die Sicherheit von KI-Modellen im Kontext grundlegender Cybersicherheitsmaßnahmen zu betrachten. Im Januar 2025 deckten Forscher eine Datenpanne beim chinesischen Basismodell LLM DeepSeek auf, das mit seiner hohen Leistungsfähigkeit die Öffentlichkeit begeistert hatte. Die Ursache der Datenpanne lag nicht in schneller Entwicklung, Modellinversion oder irgendwelchen besonderen KI-Fähigkeiten; sie resultierte aus einer öffentlich zugänglichen Cloud-Datenbank , die Chatverläufe und Benutzerdaten enthielt. In der aufregenden Welt der KI sind einige der schädlichsten Schwachstellen erschreckend altbekannt.