Was die Deloitte-Australia-Saga über die Risiken des KI-Managements aussagt

Generative KI (GenAI) hat seit ihrem Auftauchen Ende 2022 die Höhen des Branchenhypes erreicht. Nun befindet sie sich laut Gartner im „Tal der Ernüchterung“, da die Implementierungen die überzogenen Erwartungen nicht erfüllen. Im Jahr 2023 McKinsey schätzte GenAI könnte jährlich zusätzliche Einnahmen in Höhe von 2.6 bis 4.4 Billionen US-Dollar in 63 Anwendungsfällen generieren. Doch weniger als ein Jahr später behaupteten weniger als 30 % der KI-Experten, dass dies möglich sei. Laut Gartner waren ihre CEOs mit dem ROI der Projekte zufrieden.

Schlimmer noch: Die mit dem Einsatz dieser Technologie verbundenen Geschäftsrisiken können erheblich sein. Man frage nur bei Deloitte Australien nach, das kürzlich dafür kritisiert wurde, KI-generierte Fehler in einen von ihm verfassten Bericht für die Bundesregierung aufgenommen zu haben. Da Unternehmen im Wettlauf um die Einführung dieser Technologie Wettbewerbsvorteile erzielen wollen, werden Governance-Leitlinien unerlässlich.

Deloitte stand rot vor Wut

Der 237-seitige Bericht von Deloitte wurde ursprünglich im Juli auf der Website des Ministeriums für Beschäftigung und Arbeitsbeziehungen veröffentlicht. nach den BerichtenDie Ergebnisse deuteten auf eine Diskrepanz zwischen den von der Regierung eingesetzten Systemen zur Bekämpfung von Sozialbetrug und den tatsächlichen politischen Zielen hin. Der Universitätsforscher Chris Rudge bemerkte jedoch, dass etwas nicht stimmte.

Nach weiteren Nachforschungen entdeckte er angeblich 20 Fehler in dem Bericht, darunter:

• Ein gefälschtes Zitat eines Bundesrichters, dessen Nachname falsch geschrieben war
• Zehn Verweise auf ein Buch mit dem Titel „Rechtsstaatlichkeit und Verwaltungsjustiz im Wohlfahrtsstaat“, das in Wirklichkeit nicht existiert
• Die fälschliche Zuordnung dieses Buches zu einem Professor der Universität Sydney
• Verweise auf nicht existierende Berichte, die Rechts- und Softwareentwicklungsexperten zugeschrieben werden.

Deloitte Australien erklärte daraufhin lediglich, die Angelegenheit sei „direkt mit dem Kunden geklärt“ worden. Die Regierung teilte jedoch mit, dass das Beratungsunternehmen sich bereit erklärt habe, einen Teil der Projektgebühr von 440,000 AU$ (290,000 USD) zurückzuzahlen. In einer aktualisierten Version des Berichts wurden die Fehler offenbar korrigiert und der Hinweis hinzugefügt, dass Azure OpenAI für die Erstellung des Berichts verwendet wurde.

Halluzinationen und mehr

Deloitte Australien ist nicht das einzige Unternehmen, dem KI am Arbeitsplatz peinlich ist. Ein Bericht des Konkurrenten KPMG vom April dieses Jahres bestätigt dies. zeigt, dassWährend 67 % der Angestellten KI nutzen, um ihre Produktivität zu steigern, geben fast sechs von zehn (57 %) zu, dass sie aufgrund von Fehlern, die durch die Technologie verursacht wurden, Fehler bei ihrer Arbeit gemacht haben.

Halluzinationen stellen eine anhaltende Herausforderung dar, insbesondere wenn öffentlich verfügbare KI-Tools für Aufgaben eingesetzt werden, die ein hohes Maß an Fachwissen erfordern. Sie werden manchmal, aber nicht immer, durch unvollständige oder fehlerhafte Trainingsdaten verursacht. Das Risiko besteht jedoch darin, dass die KI so selbstsicher agiert, dass auch Laien den Halluzinationen erliegen können.

Halluzinationen sind jedoch nicht das einzige Risiko, das vom Einsatz von KI am Arbeitsplatz ausgeht. Nutzer können versehentlich sensible Unternehmensdaten oder Kundeninformationen in Eingabeaufforderungen an ein öffentliches Modell weitergeben. Dies birgt erhebliche Risiken für Datenlecks und Compliance-Verstöße, da dieselben Informationen theoretisch an andere Nutzer weitergegeben werden könnten. Zudem besteht die Gefahr des Diebstahls durch den Entwickler des Modells. KI-Tools selbst können Schwachstellen aufweisen oder Ziel von Angriffen sein, die darauf abzielen, unbeabsichtigte Ergebnisse zu erzeugen.

Diese Risiken sind nicht theoretisch. Das ISMS Bericht zum Stand der Informationssicherheit 2025 Die Studie zeigt, dass 26 % der britischen und US-amerikanischen Unternehmen im vergangenen Jahr Opfer eines Datenvergiftungsangriffs wurden. Ein Drittel (34 %) ist zudem besorgt über die zunehmende Verbreitung von Schatten-KI im Unternehmen.

Diese Risiken könnten sich durch die weitverbreitete Einführung agentenbasierter KI, die für die autonome Ausführung von Arbeitsabläufen mit deutlich weniger menschlicher Aufsicht zur Aufgabenerledigung konzipiert ist, verstärken. Die Befürchtung besteht darin, dass es wesentlich länger dauern könnte, zu erkennen, wann der Agent sich ungewöhnlich oder nicht regelkonform verhält.

Für Organisationen wie Deloitte Australien, die von den Auswirkungen betroffen sind, kann der unkontrollierte Einsatz von KI Reputations-, Finanz- und Compliance-Risiken mit sich bringen. Im konkreten Fall waren die finanziellen Schäden für ein Unternehmen von Deloittes Größe zwar geringfügig. Der Vorfall könnte jedoch potenzielle Neukunden dazu veranlassen, eine Vertragsunterzeichnung zu überdenken.

ISO 42001 als Lösung?

Dies ist nicht das erste Mal, dass KI-Halluzinationen Einzelpersonen und Organisationen, die es eigentlich besser wissen sollten, in Verlegenheit gebracht haben. Im Jahr 2023 stellte sich heraus, dass eine US-amerikanische Anwaltskanzlei In einem Personenschadenprozess wurden von ChatGPT erfundene Fälle und Zitate angeführt. Der zuständige Bundesrichter bezeichnete dies damals als „beispiellosen Umstand“. Obwohl Entwickler an Möglichkeiten arbeiten, solche Halluzinationen zu minimieren, steigt mit zunehmender Nutzung der Technologie ohne angemessene Schutzmaßnahmen und Aufsicht die Wahrscheinlichkeit, dass andere Unternehmen dem Beispiel von Deloitte Australien folgen.

Für Ruth Astbury, Mitbegründerin von ExpandAI, ist der Fall „eine deutliche Erinnerung daran, dass KI-Risiken nicht nur technischer Natur sind – sie sind organisatorischer Natur und berühren alle Bereiche des betrieblichen Risikomanagements.“ Sie argumentiert, dass es an ausreichender „Governance, Verantwortlichkeit und kontinuierlicher menschlicher Aufsicht“ mangelte und dies letztendlich zu einem Vorfall führte, der dem Ruf des Unternehmens enormen Schaden zufügen könnte.

„Wenn KI-Tools ohne klar definierte Zuständigkeiten, ethische Grenzen oder Nutzungsrichtlinien eingeführt werden, ist das keine Innovation – man spielt mit dem Ruf seiner Marke“, erklärt sie gegenüber ISMS.online. „Die Geschäftsrisiken unkontrollierter KI reichen von Datenschutzverletzungen und Verzerrungen bis hin zu Compliance-Verstößen und dem Verlust des Kundenvertrauens.“

Obwohl KI Forschern helfen kann, sollte sie niemals die „altmodische Überprüfung, Verfeinerung und Sicherstellung von Fakten“ ersetzen, fügt Astbury hinzu. „Überraschend ist, dass dies bei einer der vier größten Unternehmensberatungen passiert ist“, fährt sie fort. „KI-Partner und leitende Berater leben und atmen ihre Fachgebiete. Sie können und sollten Verweise oder Behauptungen in Berichten erkennen, die ihnen unbekannt sind oder die offensichtlich nur Einbildung sind.“

Die Antwort könnte ISO 42001 sein, die entwickelt wurde, um Organisationen bei der Einrichtung, Implementierung, Aufrechterhaltung und kontinuierlichen Verbesserung von KI-Managementsystemen zu unterstützen.

„Die Lösung ist einfach: Organisationen benötigen einen strukturierten Ansatz für das KI-Risikomanagement, klare Richtlinien, transparente Entscheidungsfindung und Mitarbeiterschulungen, die Verantwortlichkeit auf allen Ebenen verankern. Hier setzt die KI-Governance an, die auf einem KI-Management-Rahmenwerk wie ISO/IEC 42001 basiert“, erklärt Astbury.

„ISO/IEC 42001 bietet ein Managementsystem für KI, ähnlich wie ISO 27001 für Informationssicherheit, und stellt sicher, dass fortlaufende KI-Governance, Risikomanagement, Überwachung und ethisches Design in jede KI-Initiative integriert werden.“

Bis KI-Tools zum Einsatz kommen, ist es noch ein weiter Weg. Gartners berühmte Plateau der Produktivität. Doch um dieses Plateau zu erreichen, müssen Organisationen erkennen, dass menschliches Fachwissen stets eine Voraussetzung für erfolgreiche Anwendungsfälle sein wird.