Was DeepSeek uns über Cyberrisiken und große Sprachmodelle verrät

Nicht viele Unternehmen können im Alleingang eine Billion Dollar Marktkapitalisierung vom US-Aktienmarkt vernichten. Doch genau das ist es, was das chinesische KI-Startup DeepSeek verwaltet Ende Januar, nachdem ein neues Modell vorgestellt wurde, das angeblich zu einem Bruchteil der Kosten von OpenAI mit ähnlichen Ergebnissen arbeiten soll. Seitdem haben sich die Märkte erholt, und es gibt Nachrichten über schwerwiegende Sicherheits- und Datenschutzprobleme mit dem DeepSeek-R1 Large Language Model (LLM) und der Front-End-App des Unternehmens.

Doch bevor CISOs die Achseln zucken und weitermachen, wollen wir die Situation im Kontext betrachten. Nur weil die Technologie von DeepSeek als risikoreich eingestuft wurde, heißt das nicht, dass andere Modelle völlig fehlerfrei sind. Sicherheitsteams benötigen möglicherweise Best-Practice-Standards, um die Risiken in diesem sich schnell entwickelnden Bereich besser zu managen.

Was ist falsch an DeepSeek?

Laut ein Forschungsprojekt, DeepSeek-R1 hat zwei Hauptprobleme:

• Es ist anfällig für „Jailbreaking“ per Prompt-Injektion. Anders ausgedrückt: Durch die Eingabe spezifischer Eingabeaufforderungen können Benutzer die integrierten Sicherheitsvorkehrungen der DeepSeek-Entwickler umgehen – was zu unethischen und geradezu gefährlichen Ergebnissen führt. Als Kela-Forscher beispielsweise den LLM dazu aufforderten, eine „böse“ Rolle anzunehmen, frei von ethischen oder sicherheitsrelevanten Einschränkungen, lieferte dieser gerne ein Infostealer-Malware-Skript, Vorschläge für Cybercrime-Marktplätze und sogar Anleitungen zum Bau einer Selbstmorddrohne.
• Es ist anfällig für „Halluzinationen“ – zum Beispiel die Bereitstellung einer Liste mit persönlichen Informationen über leitende OpenAI-Mitarbeiter, die falsch war

Eine separate Studie von EnkryptAI bestätigt, dass DeepSeek anfällig für Fehlinformationen und schädliche Inhalte ist. Das Modell sei:

• 3x voreingenommener als Claude-3 Opus
• 4x anfälliger für die Generierung von unsicherem Code als OpenAIs O1
• 4x giftiger als GPT-4o
• 11x höhere Wahrscheinlichkeit, schädliche Ergebnisse zu erzeugen als OpenAI O1
• 3.5-mal wahrscheinlicher, chemische, biologische, radiologische und nukleare (CBRN) Inhalte zu produzieren als OpenAI O1 und Claude-3 Opus

Weitere Bedenken hinsichtlich der Sicherheit der Back-End-Infrastruktur von DeepSeek kamen auf, nachdem ein Sicherheitsanbieter entdeckt eine öffentlich zugängliche Datenbank des Unternehmens, die hochsensible Daten preisgibt, darunter Protokollströme, API-Geheimnisse und Betriebsdetails.

Separate Analyse von SecurityScorecard enthüllt eine Reihe von Sicherheits- und Datenschutzproblemen bei der DeepSeek Android-App, darunter:

• Schwache Sicherheit, wie z. B. fest codierte Verschlüsselungsschlüssel, schwache kryptografische Algorithmen und SQL-Injection-Risiken
• Zu umfangreiche Datenerfassung über Benutzer, einschließlich Eingaben, Gerätedetails und Tastenanschlagmustern, die alle auf Servern in China gespeichert werden
• Nicht offengelegter Datenaustausch mit chinesischen Staatsunternehmen und dem TikTok-Mutterkonzern ByteDance sowie vage Datenschutzrichtlinien

Anti-Debugging-Techniken, die normalerweise eingesetzt werden, um Sicherheitsanalysen zu behindern.

LLM-Risiken aufgedeckt

Obwohl konkurrierende Modelle wie das von OpenAI als weitaus sicherer gelten, wäre es töricht anzunehmen, dass die von DeepSeek-R1 aufgezeigten Risiken auch anderswo nicht vorhanden seien.

„Der DeepSeek-Vorfall sollte nicht als bequemer Grund genutzt werden, schwerwiegende Verstöße und KI-bezogene Risiken anderer GenAI-Anbieter plötzlich zu vergessen. Sonst sehen wir den Wald vor lauter Bäumen nicht“, argumentiert Ilia Kolochenko, CEO von ImmuniWeb, Cybersicherheitspartner bei Platt Law und Professor an der Capitol Technology University.

Unabhängig davon, ob Unternehmen ein LLM eines Drittanbieters wie DeepSeek verwenden oder selbst eines entwickeln bzw. optimieren, müssen sie sich darüber im Klaren sein, wie sich dadurch die Angriffsfläche des Unternehmens vergrößern kann. Mögliche Risikopunkte sind das Modell selbst, die Daten, mit denen es trainiert wird, APIs, Open-Source-Bibliotheken von Drittanbietern, Front-End-Anwendungen und die Back-End-Cloud-Infrastruktur.

OWASP hat zusammengestellt a Top 10 für LLM-Bewerbungen Auflistung der wichtigsten Sicherheitsprobleme – einige davon betrafen DeepSeek. Diese sind:

1. Prompt-Injection-Schwachstellen Dies kann ausgenutzt werden, indem bestimmte Eingaben erstellt werden, um das Verhalten des Modells zu ändern und Sicherheitsfunktionen zu umgehen.
2. Offenlegung sensibler Informationen Dazu können auch Unternehmensgeheimnisse oder Kundendaten gehören.
3. Schwachstellen in der Lieferkette, wie etwa Fehler in Open-Source-Komponenten, die ausgenutzt werden könnten, um unbeabsichtigte Ausgaben zu erzeugen, vertrauliche Daten zu stehlen oder Systemausfälle zu verursachen.
4. Daten- und Modellvergiftung, wo Daten vor dem Training, der Feinabstimmung oder dem Einbetten manipuliert werden, um Schwachstellen, Hintertüren oder Verzerrungen einzuführen.
5. Unsachgemäße Ausgabeverarbeitung, Dies kann auf eine unzureichende Validierung, Bereinigung und Handhabung zurückzuführen sein und möglicherweise zu Halluzinationen oder Sicherheitslücken führen.
6. Übermäßige Handlungsfreiheit resultiert aus übermäßiger Funktionalität, Berechtigungen und/oder Autonomie und könnte zu einer Reihe negativer Folgen führen, darunter Verstöße und Compliance-Probleme.
7. System prompte Leckage, Dies geschieht, wenn Systemaufforderungen vertrauliche Informationen enthalten und Angreifer diese Erkenntnisse als Waffe einsetzen können.
8. Vektor- und Einbettungsschwächen sind spezifisch für LLM-Systeme, die Retrieval Augmented Generation (RAG) verwenden, und könnten ausgenutzt werden, um schädliche Inhalte einzuschleusen, Modellausgaben zu manipulieren oder auf vertrauliche Informationen zuzugreifen.
9. Fehlinformationen, die größtenteils auf Halluzinationen zurückzuführen sind.
10. Grenzenloser Konsum, Dies sei auf „übermäßige und unkontrollierte Schlussfolgerungen“ zurückzuführen und könne zu einer Dienstverweigerung führen.

Kann ISO 42001 helfen?

Die gute Nachricht ist, dass CISOs, die die Leistungsfähigkeit von LLMs in ihren Betrieben und/oder bei der Bereitstellung für Kunden nutzen möchten, dies dank eines bahnbrechenden neuen Standards auf eine Weise tun können, die diese Risiken mindert. ISO 42001 bietet einen Rahmen für den Aufbau, die Implementierung, die Wartung und die kontinuierliche Verbesserung eines KI-Managementsystems (AIMS). Es deckt den gesamten Lebenszyklus von KI-Systemen ab und unterstützt Unternehmen dabei:

• Integrieren Sie ethische Prinzipien in die KI, um Voreingenommenheit zu vermeiden und die Menschenrechte zu respektieren
• Erhöhen Sie die Transparenz von KI-Systemen und Algorithmen, um Vertrauen und Verantwortlichkeit zu fördern
• Identifizieren, bewerten und minimieren Sie Risiken, wie sie von OWASP hervorgehoben und in DeepSeek gefunden wurden.
• Verbessern Sie die Compliance, indem Sie KI-Operationen an bestehende rechtliche und regulatorische Rahmenbedingungen anpassen
• Fördern Sie eine Kultur der kontinuierlichen Verbesserung im KI-Systemmanagement

Kolochenko erklärt gegenüber ISMS.online, dass solche Standards kein Allheilmittel seien, aber einen wertvollen Zweck erfüllen könnten.

„Der neue ISO 42001-Standard wird sicherlich einen Mehrwert bringen, indem er das Regulierungsvakuum im Bereich der KI füllt, obwohl die Zahl der Vorfälle im Zusammenhang mit KI – darunter auch sehr schwerwiegende – wahrscheinlich weiterhin exponentiell zunehmen wird“, argumentiert er.

Corian Kennedy, Senior Threat Insights & Attribution Manager bei SecurityScorecard, geht noch weiter.

„Sowohl ISO 42001 als auch ISO 27001 bieten Governance- und Sicherheitsrahmen, die dazu beitragen, Risiken durch unsichere Apps von Drittanbietern wie DeepSeek und risikoreiche LLMs zu mindern – ob extern oder intern erstellt“, sagt er gegenüber ISMS.online.

„Gemeinsam tragen sie dazu bei, die Risiken unsicherer KI-Modelle zu reduzieren, indem sie eine strenge Governance durchsetzen, die Einhaltung gesetzlicher Vorschriften stärken, um eine unbefugte Datenfreigabe zu verhindern, und interne KI-Systeme mit Zugriffskontrollen, Verschlüsselung und sorgfältiger Lieferantenprüfung sichern.“

Kennedy weist jedoch darauf hin, dass ISO 42001 zwar eine „solide Grundlage für KI-Sicherheit, Datenschutz und Governance“ bieten kann, es jedoch möglicherweise an kontextbezogenen Geschäftsrisiken mangelt.

„Daher liegt es in der Verantwortung derjenigen, die in der Cyberabwehr tätig sind, zusätzliche Kontrollen zu implementieren, die auf dem Kontext der Bedrohungslandschaft basieren und das Geschäft unterstützen“, argumentiert er.