KI-Agenten brauchen Leitplanken, nicht nur bessere Prompts

Vom Antworten zum Handeln

Der Begriff „Agent“ wird großzügig verwendet. Technisch interessant wird er dort, wo ein Modell sein Vorgehen selbst steuert, Werkzeuge auswählt, Ergebnisse beobachtet und den Plan anpasst. Anthropic beschreibt diesen Ablauf als selbstgerichtete Schleife aus Planen, Handeln, Beobachten und Korrigieren.[3]

Diese Schleife macht Agenten nützlich: Sie können eine Datei nicht nur erklären, sondern bearbeiten; einen Fehler nicht nur vermuten, sondern mit einem Test reproduzieren. Sie vergrößert aber auch den möglichen Schaden eines Irrtums. Aus einer falschen Antwort wird im ungünstigen Fall eine falsche Aktion.

Das Modell ist nicht die Sicherheitsgrenze

Ein leistungsfähiges Modell kann trotzdem in einem schlecht abgesicherten System scheitern. Entscheidend sind mindestens vier Ebenen: Modell, Orchestrierung, Werkzeuge und die Umgebung, in der Aktionen ausgeführt werden. Zu breite Dateirechte, ein ungeschützter API-Schlüssel oder ein Werkzeug ohne Eingabeprüfung lassen sich nicht durch einen besonders höflichen System-Prompt kompensieren.

Die OWASP Top 10 für LLM-Anwendungen führen unter anderem Prompt Injection, unsichere Ausgabeverarbeitung und „Excessive Agency“ als eigene Risikoklassen auf.[2] Das ist ein wichtiger Perspektivwechsel: Nicht nur die Qualität des Textes zählt, sondern auch, welche Befugnisse aus diesem Text entstehen.

Fünf Leitplanken, die in der Praxis wirken

Das NIST-Profil für generative KI bettet solche Maßnahmen in einen größeren Risikomanagement-Prozess ein. Es ergänzt das AI Risk Management Framework um spezifische Risiken und Maßnahmen für generative Systeme.[1] Wichtig ist dabei der Lebenszyklus: Ein Agent ist nicht „sicher“, weil ein einmaliger Demo-Test funktioniert hat. Änderungen an Modell, Werkzeugen, Datenquellen oder Berechtigungen können sein Verhalten später verschieben.

Freigaben dort setzen, wo Konsequenzen entstehen

Eine Bestätigung vor jedem harmlosen Leseschritt erzeugt Müdigkeit. Gar keine Bestätigung verlagert dagegen zu viel Vertrauen auf das Modell. Sinnvoller sind risikobasierte Grenzen: Lesen innerhalb eines Projektordners kann automatisch erlaubt sein, das Versenden einer Nachricht oder Löschen von Daten verlangt eine explizite Freigabe.

Bei langen Abläufen hilft eine Planfreigabe: Der Mensch prüft die Strategie, bevor der Agent Dutzende Einzelschritte ausführt. Trotzdem muss er den Lauf beobachten und unterbrechen können. Transparente Protokolle sollten deshalb zeigen, welches Werkzeug mit welchen Parametern aufgerufen wurde und was das System tatsächlich zurückmeldete.

Zuverlässigkeit braucht messbare Kriterien

„Hat meistens funktioniert“ ist keine Betriebsmetrik. Gute Agententests verwenden klar prüfbare Endzustände: Existiert die Datei? Besteht der Test? Wurde genau der vorgesehene Datensatz geändert? Ist die veröffentlichte Seite von außen erreichbar?

Dazu gehören auch Negativtests. Ein Agent muss ungültige Eingaben ablehnen, bei fehlenden Informationen nachfragen und nach wiederholten Fehlern stoppen. Besonders wichtig sind Tests mit manipulierten Webseiten oder Dokumenten, denn externe Inhalte können versteckte Anweisungen enthalten.

Die eigentliche Innovation ist kontrollierte Autonomie

Der nützlichste Agent ist nicht derjenige, der immer ohne Rückfrage handelt. Es ist derjenige, der Routine selbständig erledigt, Unsicherheit erkennt und Entscheidungen mit großer Tragweite an einen Menschen zurückgibt.

Damit wird die Architektur wichtiger als die Modellrangliste. Ein etwas schwächeres Modell mit engen Rechten, überprüfbaren Ergebnissen und sauberem Rollback kann im Alltag vertrauenswürdiger sein als ein Spitzenmodell mit Vollzugriff. Fortschritt bedeutet bei Agenten daher nicht maximale Autonomie, sondern möglichst viel nützliche Autonomie innerhalb klarer Grenzen.