Die Auswirkungen von Sicherheitsverletzungen bei KI-Plattformen auf die Cybersicherheit

Künstliche Intelligenz findet ihren Weg in alle möglichen Geräte, von Katzenklappen bis hin zu intelligenten Gartengrills – und natürlich stößt man bei jeder modernen Unternehmenssoftware auf einen KI-Assistenten, der auf einem großen Sprachmodell (LLM) basiert. Da die Technologie jedoch immer unausweichlicher wird, sollten wir uns vielleicht Gedanken darüber machen, wie Menschen sie missbrauchen könnten.

Wir sprechen hier nicht darüber, wie Cyberkriminelle große Sprachmodelle (LLMs) nutzen könnten, um Phishing-E-Mails zu schreiben oder Websites zu hacken. Vielmehr betrachten wir, wie Angreifer legitime KI-Systeme kompromittieren könnten, um Daten zu stehlen, Fehlinformationen zu verbreiten oder sogar Maschinen außer Gefecht zu setzen.

Die Schwachstellen, die in LLMs lauern

Einer der häufigsten Angriffe dieser Art ist die Manipulation von Prompts. Angreifer haben gezeigt, wie sie die Sicherheitsvorkehrungen verschiedener LLMs (bekannt als Jailbreaking) mithilfe von Techniken wie Rollenspielen und sogar Kauderwelsch eingeben.

Prompt-Injektionen können mehr bewirken, als nur einen LLM dazu zu bringen, Anweisungen für illegale Aktivitäten zu übermitteln oder Phishing-E-Mails zu verfassen. Forscher haben sie bereits zur Datenexfiltration eingesetzt. Beispielsweise das KI-Sicherheitsunternehmen PromptArmor ausgetrickst Der KI-Assistent von Slack gibt Geheimnisse wie API-Schlüssel aus privaten Kanälen preis.

Schnelles Engineering schafft Möglichkeiten für Datendiebstahl. KI-Systeme können durch Bugs oder Designfehler unbeabsichtigt sensible Daten preisgeben. Manchmal können dies Störungen sein, wie zum Beispiel ein ChatGPT-Bug durchgesickert Die privaten Informationen der Benutzer, einschließlich Zahlungsdetails, werden im März 2023 gelöscht. Andere Angriffe nutzen die Prompt-Injektion mit hinterhältigen Taktiken, wie etwa der Veränderung von Text, sodass eine bösartige Eingabeaufforderung einen LLM dazu bewegt, Daten herauszugeben, während sie für menschliche Opfer unverständlich bleibt.

In manchen Szenarien können Forscher mithilfe von Prompt Engineering die ursprünglichen Trainingsdaten des Modells offenlegen. Bei einem Modellinversionsangriff kann ein Angreifer das LLM abfragen, anhand der Antworten Rückschlüsse auf die Trainingsdaten ziehen und schließlich einige dieser Daten nachträglich zurückentwickeln.

Einige haben vorgeschlagen, mithilfe der Modellinversion möglichst genaue Annäherungen an die Bilder zu extrahieren, die zum Trainieren von Gesichtserkennungsmodellen verwendet werden. Dies birgt die Gefahr, sensible oder gefährdete Personen zu identifizieren oder unbefugten Zugriff auf Ressourcen zu gewähren.

Es müssen nicht nur textbasierte Eingaben sein, die schädliche Ergebnisse liefern. Auch Bilder und andere Daten können negative Auswirkungen auf die KI haben. Forscher haben beispielsweise selbstfahrende Autos dazu gebracht, Stoppschilder zu ignorieren, indem sie Hinzufügen von Aufklebern und Stoppschilder zu sehen, die nicht da sind, Projektion einiger Bilder auf eine Plakatwand – beides könnte im Straßenverkehr katastrophale Folgen haben.

Vergiftung stromaufwärts

Alternativ können Angreifer KI-Workflows weiter vorgelagert manipulieren, indem sie die Daten, aus denen KI-Systeme lernen, verfälschen. Dies kann das Verhalten des Modells verändern und die Endergebnisse verfälschen. Einige dieser Angriffe erfolgen aus wirtschaftlichen oder politischen Gründen. Forscher haben ein Tool entwickelt, Nachtschatten, um Künstlern zu helfen, ihre digitalen Bilder subtil zu verändern, indem sie unsichtbare Pixel einfügen, um gegen die Ausbildung von LLMs an urheberrechtlich geschütztem Material zu protestieren. Dies führt dazu, dass Bilderzeugungsprogramme unvorhersehbare Ergebnisse liefern.

Datenvergiftung muss nicht weit verbreitet sein, um Auswirkungen zu haben, und wenn sie auf spezifische Datensätze angewendet wird, wie sie in medizinischen Systemen verwendet werden, können die Folgen katastrophal sein. Eine Studie gefunden dass die Änderung von nur 0.001 % der Schulungstoken mit medizinischen Fehlinformationen die Wahrscheinlichkeit medizinischer Fehler erheblich erhöht.

Da KI immer stärker in den Alltag eindringt, steigt das Risiko, dass Systemkompromittierungen Auswirkungen auf die Gesellschaft haben. Ein raffinierter Angreifer könnte alles Mögliche tun, von der Verbreitung von Desinformation über die Verursachung von Verkehrsunfällen bis hin zur Beeinflussung sicherheitskritischer Entscheidungen in Bereichen wie der Medizin oder der Verhinderung der Erkennung betrügerischer Transaktionen durch KI.

Schutz von KI-Modellen

Die Möglichkeiten einer KI-Kompromittierung sind so vielfältig – und ihre Auswirkungen so weitreichend –, dass ein vielschichtiger Ansatz zur KI-Governance von entscheidender Bedeutung ist. ISO 42001 , ein internationaler Standard für KI-Managementsysteme, verfolgt einen ganzheitlichen Ansatz, der Bereiche wie den organisatorischen Kontext von KI und die Einbindung von Führungskräften umfasst. Er umfasst außerdem Planung, Support, Betrieb sowie kontinuierliche Evaluierung und Verbesserung. Er schreibt die Entwicklung technischer Spezifikationen, einschließlich Sicherheit und Datenqualität, sowie die Dokumentation von Sicherheitsprotokollen zum Schutz vor Bedrohungen wie Datenvergiftung und Modellinversionsangriffen vor.

Regierungen haben Sicherheitsbeschränkungen für KI eingeführt. Der KI-Act der EU schreibt eine Konformitätsbewertung für Hochrisikosysteme vor, die auch die Einhaltung von Testanforderungen umfasst, die sich noch in der Entwicklung befinden. In den USA hatte das National Institute of Standards and Technology (NIST) bereits eine KI-Risikomanagement-Framework (RMF), bevor die Biden-Administration im Oktober 14110 ihre Executive Order 2023 zur KI-Sicherheit veröffentlichte (die inzwischen von der Trump-Regierung aufgehoben wurde). Diese forderte eine ergänzende generative KI-Risikomanagementressource, die NIST veröffentlicht Letzten Juni.

Im Gegensatz zum AI RMF des NIST ist ISO 42001 zertifizierbar. Während sich das NIST stark auf die Sicherheit von KI-Systemen konzentriert, untersucht ISO 42001 deren Rolle in einem breiteren Geschäftskontext.

Warum KI-Governance jetzt wichtig ist

Frameworks wie diese werden immer wichtiger, da Anbieter grundlegender LLM-Modelle um neue Funktionen wetteifern, die die Verbraucher begeistern. Dadurch vergrößern sie die Angriffsfläche der KI-Modelle und ermöglichen es Sicherheitsforschern, neue Schwachstellen zu finden. Beispielsweise haben Unternehmen wie OpenAI und Google Langzeitgedächtnisfunktionen in ihre LLMs integriert, um die Nutzer besser kennenzulernen und bessere Ergebnisse zu erzielen. Dies ermöglichte es dem Forscher Johann Rehberger, eine sofortige Injektion zu nutzen, die Pflanze falsche Langzeiterinnerungen in Googles Gemini LLM.

Es lohnt sich auch, die Sicherheit von KI-Modellen im Kontext grundlegender Cyber-Hygiene zu untersuchen. Im Januar 2025 deckten Forscher einen Datenverstoß beim in China entwickelten LLM DeepSeek auf, der mit seiner hohen Leistung die Öffentlichkeit begeisterte. Die Ursache des Datenverstoßes hatte nichts mit Prompt Engineering, Modellinversion oder irgendwelchen magischen KI-Fähigkeiten zu tun; sie resultierte aus einer öffentlich zugängliche Cloud-Datenbank mit Chatverläufen und Benutzerdetails. In der aufregenden neuen Welt der KI sind einige der schädlichsten Schwachstellen deprimierend altmodisch.