Forscher haben eine Schwachstelle in Microsoft 365 Copilot, „EchoLeak“, beschrieben, die es Angreifern ermöglichen könnte, vertrauliche Unternehmensdaten ohne Benutzerinteraktion abzugreifen. Angesichts solcher Probleme stellt sich die Frage, ob Unternehmen angesichts der Bedrohung durch KI nachlässig sind.

Im Juni gaben Forscher bekannt, dass sie einen Fehler in Microsoft 365 gefunden hatten. Copilot Dies könnte Angreifern ermöglichen, vertrauliche Unternehmensdaten in einem „Zero-Click“-Angriff zu exfiltrieren, der keine Interaktion des Benutzers erfordert.

Der „EchoLeak“ genannte und als das Erste seiner ArtDie Sicherheitslücke nutzt Designfehler aus, die in Abruf erweiterte Generation-basierte Chatbots und KI-Agenten, sagten Forscher von Aim Labs.

Kurz und BlogDie Forscher erklärten, wie sie eine neue Angriffstechnik namens Large Language Model (LLM) Scope Violation einsetzten. „Dies stellt einen wichtigen Forschungsfortschritt dar, wie Bedrohungsakteure KI-Agenten angreifen können – indem sie die Mechanik interner Modelle ausnutzen“, schrieben sie.

Microsoft hat das Problem behoben, bevor es für reale Angriffe genutzt werden konnte, aber EchoLeak zeigt die sehr realen Risiken, die von KI-Tools im Unternehmen.

Angesichts der zunehmenden Zahl solcher Schwachstellen stellt sich die Frage, ob Unternehmen angesichts der Bedrohung durch KI selbstgefällig sind und welche Schritte sie unternehmen müssen, um ihre Widerstandsfähigkeit zu gewährleisten.

KI-basierte Bedrohungen

KI-Tools bergen zahlreiche Risiken für Unternehmen. So seien sie zwar darauf trainiert, hilfreich zu sein, wüssten aber nicht immer, was nicht weitergegeben werden sollte, sagt Sam Peters, Chief Product Officer bei ISMS.online.

Eines der größten Risiken liegt in der Art und Weise, wie generative KI-Systeme trainiert oder gesteuert werden. „Sie könnten unbeabsichtigt und ohne böse Absicht sensible Informationen speichern oder weitergeben“, warnt Lillian Tsang, Rechtsanwältin für Datenschutz und Privatsphäre bei der Kanzlei Harper James.

Bei schlechter Konfiguration könnten KI-Tools sogar Kunden- oder Mitarbeiterdaten auf Anfrage ausspuckten. „Hintergrundprozesse können durch Interaktionen mit externen Systemen zwischengespeicherte oder tokenisierte Informationen offenlegen“, erklärt Tsang. „Das Schlimmste daran ist, dass der Nutzer möglicherweise nie erfährt, dass seine Daten falsch verarbeitet wurden, was die Erkennung und Reaktion zusätzlich erschwert.“

Erschwerend kommt hinzu, dass KI-Tools immer schneller eingeführt werden. KI-Tools werden zunehmend tief in die Unternehmensinfrastruktur eingebettet – oft mit „vagen Richtlinien“ oder „eingeschränkter Transparenz in Bezug auf die Datenverarbeitung und -speicherung“, sagt Robert Rea, Chief Technical Officer bei Graylog.

Schwachstellen in KI-Tools gießen weiteres Öl ins Feuer. EchoLeak ist ein klares Zeichen dafür, dass sich die Sicherheitsmodelle, auf die sich Unternehmen verlassen, nicht gut auf KI übertragen lassen, sagt Emilio Pinna, Direktor bei SecureFlag. „Tools wie Copilot arbeiten mit mehreren Quellen und Berechtigungen und greifen automatisch auf Daten zu, um die Produktivität zu steigern. Die Herausforderung besteht darin, dass KI nicht denselben klaren Grenzen folgt wie herkömmliche Apps.“

KI-Tools wie Microsoft Copilot sind zweifellos leistungsstark, aber nur so sicher wie die Systeme und die Governance, die sie umgeben, sagt Peters. „Dieser Vorfall verdeutlicht, dass das eigentliche Risiko von KI derzeit nicht nur im vorsätzlichen Missbrauch liegt, sondern in der unbeabsichtigten Offenlegung.“

Risikobewusst

Wie EchoLeak zeigt, ist die Bedrohung real und wächst. Experten gehen jedoch davon aus, dass einige Unternehmen die mit KI-Tools verbundenen Gefahren ignorieren. Dies liegt zum Teil daran, dass der Fokus zu sehr auf den Möglichkeiten von KI liegt und nicht auf den damit verbundenen Risiken.

„Bis zu einem gewissen Grad sind Unternehmen derzeit von der Neuheit der KI und ihren Möglichkeiten geblendet“, sagt Joseph Thompson, Anwalt im Handels- und Technologieteam von Birketts LLP ISMS.online„Wir fragen uns nicht, ob es sicher ist, welche Risiken bestehen und wie wir uns und unsere Unternehmen schützen können.“

Das größte Problem sei, dass viele Unternehmen KI immer noch als Zusatz betrachten und nicht als etwas, das den Zugriff auf Daten und deren Offenlegung grundlegend verändert, so Peters. „Man geht davon aus, dass die Anbieter alles im Griff haben.“

Die Realität sei jedoch, dass KI nicht isoliert sei, sagt er. „Sie beeinflusst alles. Gerade diese Vernetzung macht sie ohne die richtigen Kontrollen so riskant.“

Da KI tief in zentrale Produktivitätspakete integriert ist, steigen die damit verbundenen Risiken deutlich, so Rea. „KI-Systeme funktionieren nicht mehr als isolierte Werkzeuge, sondern entwickeln sich zu allgegenwärtigen Schichten, die in Anwendungen, APIs und Kommunikationskanäle eingebettet sind. Diese weitreichende Integration erhöht das Potenzial für Missbrauch, versehentliche Datenfreigabe und Datenverlust.“

Wenn jetzt nichts unternommen wird, um das Problem anzugehen, wird sich die Lage verschlechtern. Mit der Weiterentwicklung der Technologie wird KI mehr Daten, Systeme und Arbeitsabläufe beeinflussen und so die potenziellen Angriffsflächen deutlich vergrößern, sagt Thompson.

Gleichzeitig müssen sich Unternehmen mit immer ausgefeilteren Angriffsmethoden auseinandersetzen. „Angreifer werden sich nicht mehr nur auf Code und Infrastruktur konzentrieren, sondern sich auf das KI-Verhalten selbst konzentrieren“, warnt Thompson.

All dies werde die KI-Governance zunehmend komplexer machen und die Zusammenarbeit von Teams aus dem gesamten Unternehmen erfordern, um die Einhaltung der Vorschriften zu überwachen und potenzielle Bedrohungen zu überwinden, fügt Thompson hinzu.

Stärkung der KI-Governance-Strategien

In erster Linie sei EchoLeak ein Weckruf, sagt Thompson. „Es geht nicht nur darum, die Schwachstelle zu schließen und weiterzumachen. Unternehmen müssen sowohl das Ausmaß als auch die Art und Weise der KI-Integration in geschäftskritische Systeme überdenken.“

Angesichts der zunehmenden Zahl an KI-Tools und -Anwendungen, die auf den Markt kommen, müssen Unternehmen schnell reagieren. Dies erfordere einen „deutlichen Wandel“ in der KI-Governance, so Peters. „So langweilig es auch klingen mag, dazu gehören Dinge wie eine klare Datenklassifizierung, strengere Zugriffskontrollen, besseres Monitoring und vor allem die Schulung Ihrer Mitarbeiter, damit diese die Funktionsweise dieser Tools verstehen.“

Es lohnt sich, NISTs KI-Risikomanagement-Framework, das den Unternehmen dabei helfen wird, die Vorteile der Technologie zu nutzen und gleichzeitig ihre Risiken zu mindern. ISO 42001:2023 Das Framework schlägt auch vor, wie KI-Managementsysteme innerhalb von Organisationen verantwortungsvoll erstellt und gepflegt werden können.

Effektive Governance darf nicht nachträglich in Angriff genommen werden. Sonst haben Sie bereits versagt, sagt Peters. Damit Governance Ihr Unternehmen wirksam schützt, muss sie von Anfang an in Ihre Risiko- und Compliance-Strategien integriert werden, rät er.

„Kein Unternehmen kann es sich leisten, ‚keine KI‘ zu sagen. Wir alle wollen die Vorteile nutzen, aber es muss verantwortungsvoll geschehen“, erklärt Peters.

Dies bedeutet, dass Sie schwierige Fragen dazu stellen müssen, wo Ihre Daten gespeichert sind, wie sie durch Ihr Unternehmen und zu Ihren Lieferanten fließen und wer – oder was – Zugriff auf sie hat.

„Ich befürchte, dass Unternehmen, wenn sie jetzt nicht frühzeitig reagieren, ständig auf Vorfälle reagieren müssen, anstatt sie zu verhindern“, sagt Peters. „Aus geschäftlicher Sicht wird dies angesichts der rasanten KI-Entwicklung schnell unhaltbar werden.“