Seit dem Start von ChatGPT, der einen neuen technologischen Wettlauf auslöste, sind zwar drei Jahre vergangen, doch nun richtet sich der Fokus auf agentenbasierte KI. Befürworter behaupten, sie werde generative KI (GenAI) übertreffen, indem sie selbstständig Aufgaben für ihre menschlichen Auftraggeber erledigt. Laut [Quelle einfügen] experimentieren bereits fast zwei Drittel (62 %) der Unternehmen zumindest mit KI-Agenten, wobei größere Firmen die Pilotphase bereits hinter sich gelassen haben. McKinsey.

Doch Autonomie birgt Risiken. Erst letzten Monat Anthropopic enthüllt Es handelte sich angeblich um die erste „KI-gesteuerte Cyber-Spionagekampagne“, bei der der Chatbot Claude gegen Dutzende von Organisationen eingesetzt wurde. Auch Analysten warnen vor dieser Bedrohung.

Forresters Wichtige Cybersicherheitsprognosen Die Prognose für 2026 lautet, dass der Einsatz von KI-Systemen zu einem öffentlich bekannt gewordenen Sicherheitsverstoß und in der Folge zu Entlassungen von Mitarbeitern führen wird. Die Frage ist, ob Unternehmen über die notwendigen Werkzeuge, Rahmenbedingungen und das Know-how verfügen, um solche Risiken zu managen und gleichzeitig die enormen Geschäftsvorteile dieser Technologie zu nutzen.

So funktioniert agentenbasierte KI

Während GenAI lediglich Inhalte auf Basis von Nutzereingaben zusammenfasst und erstellt, sind agentenbasierte KI-Systeme so konzipiert, dass sie Aufgaben ohne ständige menschliche Aufsicht erledigen. Dazu sammeln sie Informationen aus Datenbanken, Sensoren, von Nutzern und APIs. Anschließend verarbeiten sie diese Daten, um Erkenntnisse und Kontext zu gewinnen. Daraufhin setzt sich die KI Ziele basierend auf vordefinierten Vorgaben oder Nutzereingaben, ermittelt die Wege zu deren Erreichung und wählt mithilfe von Schlussfolgerungen die beste Option aus mehreren möglichen Aktionen aus.

Im nächsten Schritt erfolgt die Ausführung dieser Aktion, üblicherweise durch Interaktion mit Drittsystemen und -daten. Anschließend werden die Ergebnisse ausgewertet und die KI kontinuierlich optimiert und dazugelernt. Ihre Fähigkeit, komplexe, mehrstufige Aufgaben auf diese Weise zu bewältigen – und sich dabei potenziell dynamisch an neue Informationen anzupassen – macht sie so wertvoll. Die Anwendungsfälle sind nahezu unbegrenzt. Die Technologie könnte alles unterstützen, von vorausschauenden Wartungsabläufen in der Industrie bis hin zum Customer-Journey-Management für E-Commerce-Unternehmen.

Bei gezieltem Einsatz könnte KI-gestützte Prozesssteuerung menschliche Fehler bei manuellen Aufgaben eliminieren, Mitarbeiter für wertschöpfendere Tätigkeiten freistellen und die betriebliche Effizienz und Produktivität deutlich steigern. Diese Effizienzgewinne dürften zu Kostensenkungen führen. Darüber hinaus könnten KI-gesteuerte Prozesse in bestimmten Branchen das Kundenerlebnis erheblich verbessern.

Wie es zu einem Sicherheitsverstoß kommen könnte

Da die KI jedoch weniger gut überwacht wird, besteht ein größeres Risiko für böswillige Manipulation oder versehentliches Datenleck, bevor Sicherheitsteams überhaupt etwas bemerken. Je wichtiger die Entscheidungen sind, die ein Agent treffen kann, desto größer ist das potenzielle Risiko. Prompt Injection ist ein besonders großes Problem. Indem Angreifer schädliche Anweisungen in etwas einbetten, das ein Agent verarbeitet – beispielsweise in ein Dokument, eine Webseite oder einen Online-Kommentar –, können sie ihn dazu bringen, sensible Daten preiszugeben.

Lecks können auch versehentlich auftreten, wenn die Schutzmechanismen nicht korrekt implementiert sind. Überprivilegierte Agenten und eine unkontrollierte Ausbreitung des Agentennetzwerks erhöhen die Wahrscheinlichkeit von Fehlern.

Forrester warnt vor möglichen Sicherheitslücken aufgrund einer „Kaskade von Fehlern“. Senior Analyst Paddy Harrington erläutert gegenüber ISMS.online drei Szenarien:

Zu viel Zugriff auf Daten: „In ihrem Eifer, agentenbasierte KI einzuführen, ignorieren Abteilungen und Teams möglicherweise die gängigen Zero-Trust-Zugriffsrichtlinien. Da es sich um ein ‚Programm‘ und nicht um eine Person handelt, könnten sie annehmen, dass der Zugriff auf bestimmte Datensätze ausreichend eingeschränkt ist“, erklärt er. „Leider hat sich gezeigt, dass jeder Agent, der auf Daten zugreifen kann, manipuliert werden kann, um auf diese Daten zuzugreifen, wie die fehlende Segmentierung von Benutzern und Geräten gezeigt hat. Kommt dann noch der Diebstahl eines Authentifizierungstokens hinzu, kann die Menge an Daten, die abgegriffen werden kann, ein Unternehmen lahmlegen.“

Mangelhafte Authentifizierungshygiene: „Die Agenten benötigen eine Autorisierung für den Datenzugriff, was eine Authentifizierung erfordert. Sind die Authentifizierungsverfahren zu einfach – beispielsweise durch falsch gespeicherte statische Token oder eine zu weit gefasste Autorisierung –, können diese Agenten von Angreifern manipuliert werden“, erklärt Harrington. „Erstellt ein Benutzer einen agentenbasierten Workflow ohne entsprechende Richtlinien, besteht die Möglichkeit, dass Daten an externe Speicherorte gesendet oder über diese autonomen Workflows auf sensible Daten zugegriffen wird. Fehlen entsprechende Schutzmechanismen, könnten Personal-, Finanz- oder sogar Authentifizierungsdaten offengelegt werden.“

Ungenauen Informationen vertrauen: „Die Genauigkeit vieler probabilistischer Modelle schwankt zwischen 60 % und 10 %. Im Kontext von IT- oder Sicherheitswarnungen kann ein übereilt auf den Markt gebrachtes Modell zu einer Vielzahl von Fehlalarmen oder, schlimmer noch, zu falsch-negativen Warnungen führen“, argumentiert Harrington. „Dies kann die Teams von den eigentlichen Problemen ablenken oder dazu führen, dass sie diese komplett übersehen. Was die Kaskade betrifft: Wenn man einen solchen Workflow mit mehreren Agenten erstellt, bei dem die Agenten zusammenarbeiten, kann eine Fehlinformation eines Agenten dazu führen, dass die nachfolgenden Agenten diese Fehlinformation übernehmen, eigene Fehlinformationen generieren und so weiter. Das Ergebnis oder die endgültigen Aktionen sind dann ein Sicherheits-/IT-Albtraum.“

Leitplanken und Richtlinien

Forrester empfiehlt, die Agentic AI Guardrails For Information Security (AEGIS) zu befolgen. RahmenEs basiert auf sechs „Domänen“:

  • Governance, Risiko und Compliance (GRC)
  • Identitäts- und Zugriffsmanagement (IAM)
  • Datensicherheit und Datenschutz
  • Anwendungssicherheit
  • Bedrohungsmanagement
  • Zero Trust-Architektur

Der Analyst empfiehlt, mit GRC zu beginnen – Governance-Richtlinien zu etablieren, Agenteninventarsysteme aufzubauen und die zulässige Nutzung zu definieren. Anschließend sollten Sicherheitsteams IAM und Datensicherheit implementieren und Agenten als „neue Identitätsklasse“ behandeln. Daraufhin sollten Verbesserungen an DevSecOps folgen, um den Agentenlebenszyklus abzusichern und Fehlalarme zu erkennen. Abschließend empfiehlt sich die Optimierung mittels Zero Trust, um das Prinzip der minimalen Handlungsfähigkeit durchzusetzen, ungeplantes Verhalten zu überwachen und fehlerhafte Agenten zu isolieren.

Laut Harrington können auch Best-Practice-Standards wie ISO 42001 hilfreich sein, da es erhebliche Überschneidungen mit dem AEGIS-Ansatz gibt. Unabhängig von der letztendlichen Methode rät er Organisationen dringend, Sicherheit von Anfang an in Projekte mit agentenbasierter KI zu integrieren.

„Alle bewegen sich zu schnell, als dass die notwendigen Schutzmaßnahmen getroffen werden könnten. Unternehmensführer sehen in der Implementierung von KI-Agenten und agentenbasierten Arbeitsabläufen eine Möglichkeit, enorme Kosteneinsparungen zu erzielen und die Effizienz zu steigern“, schließt er.

„Die Sicherheitsabteilung, die Abteilung des ‚Nein‘, bremst oft die Geschwindigkeit, weil wir die Leute dazu anhalten, sich Zeit für die Einhaltung sicherer Betriebspraktiken zu nehmen. Und diese Hürden werden als Hindernis wahrgenommen. Aber so gut wie jedes Mal, wenn die Sicherheit ignoriert wird, endet es letztendlich in Problemen.“