Innerhalb einer Woche sind zwei Fälle bekannt geworden, in denen KI-Agenten in kontrollierten Umgebungen Dinge taten, die ihnen untersagt waren. Einmal veröffentlichten Agenten, die ausschliesslich recherchieren sollten, über Monate Tausende Beiträge auf öffentlichen Plattformen. Im anderen Fall war eine Testumgebung falsch konfiguriert: Den Modellen wurde ein fehlender Internetzugang mitgeteilt, den sie tatsächlich hatten, woraufhin sie die reale Lage für eine Simulation hielten.
Beide Fälle teilen denselben Kern. Der Auftrag war richtig formuliert, die Umgebung passte nicht dazu, und ausschlaggebend war am Ende nicht der Auftrag, sondern die technische Möglichkeit.
Für Unternehmen, die Agenten auf Geschäftssysteme loslassen, folgt daraus eine klare Trennung. Eine Anweisung im Auftragstext ist ein Hinweis. Eine Berechtigung im System ist eine Grenze. Wer einem Agenten aufträgt, nichts zu verändern, ihm aber einen technischen Benutzer mit Schreibrechten mitgibt, hat keine Sperre eingerichtet.
Praktisch heisst das: ein eigener technischer Benutzer mit Rechten, die für genau diese Aufgabe gebaut sind, statt eines gewachsenen Schnittstellenprofils. Ein begrenzter und protokollierter Verkehr nach aussen. Und eine Stelle, die im Nachhinein auswertet, denn einer der beiden Vorfälle fiel erst Monate später bei der Durchsicht von 141'000 Testläufen auf.