Patterns für Agenten, die sicher handeln

Sicherheit

Stellbefehl mit Sicherheitsprüfung

Der KI-Knoten schlägt vor, ein deterministischer Verifier entscheidet. Der Aktor ist vom KI-Knoten aus unerreichbar. Er kann nur über den Verifier feuern. Das Pattern funktioniert gleichermaßen mit einem klassischen ML-Modell, einem SLM oder einem LLM.

Das Modell schlägt einen Sollwert vor, ein deterministisches Regelwerk prüft, ob er innerhalb der physikalischen Sicherheitsgrenzen liegt, erst dann schaltet die Heizung. Der Aktor ist mit dem Verifier verkabelt, nicht mit dem KI-Knoten, sodass die Policy Teil der Architektur ist, nicht nachträglich angebaut.

Sicherste KI-Nutzung

KI als Klassifizierer

Der KI-Knoten klassifiziert nur in eine endliche Menge möglicher Pfade. Die ganze Action-Logik ist deterministisch. Die sicherste denkbare KI-Verwendung in einer Steuerung. In vielen Fällen reicht für die Klassifikation selbst ein klassisches ML-Modell oder ein SLM, kein Frontier-LLM.

Der Knoten ordnet die Situation einer Klasse aus {normal | warning | critical | unknown} zu. Jede nachgelagerte Aktion ist deterministischer Code. Für genau diesen Schritt ist ein klassisches ML-Modell oder ein SLM auf der eigenen Hardware oft die bessere Wahl als ein Frontier-LLM: günstiger im Betrieb, geringere Latenz, und keine Daten verlassen das Gerät. Das kontextuelle Reasoning bleibt beim Modell, die Sicherheit beim Graphen.

Engineering

Replay-Tests

Jeder Modell-Aufruf ist ein Knoten mit strukturiertem Input und Output. Produktionsläufe werden aufgezeichnet und in CI mit gemocktem Modell nachgespielt, egal, ob darunter ein klassisches ML-Modell, ein SLM oder ein LLM steckt.

Produktionsläufe werden als (Input, Modell-Antwort)-Paare an der Knoten-Grenze aufgezeichnet, in CI gibt das gemockte Modell die aufgezeichnete Antwort zurück und jede nachgelagerte Verzweigung wird deterministisch durchlaufen. Regressionen werden vor dem Geräte-Deploy gefunden, auch dann, wenn der KI-Knoten zwischendurch von einem Cloud-LLM auf ein on-device SLM gewechselt wird.

Kosten

Modell-Kaskade nach Konfidenz

Ein günstiges, schnelles Modell entscheidet die einfachen Fälle. Bei niedriger Konfidenz übernimmt die nächstgrößere Stufe, im Zweifel ein Mensch. Die Kaskade kann klassisches ML → SLM → LLM heißen oder, wie bei Anthropic, Haiku → Sonnet → Opus. Beides funktioniert, beides folgt derselben Logik.

Ein klassisches ML-Modell oder ein SLM auf der eigenen Hardware übernimmt die einfachen Klassifikationen, bei niedriger Konfidenz wird ein größeres Modell hinzugezogen, und nur die seltenen schwierigen Fälle erreichen ein Frontier-LLM oder einen Menschen. Nach unserer Erfahrung rund eine Größenordnung Kostenreduktion bei gehaltener Qualität am Tail, und ein zweiter, oft unterschätzter Effekt: für die Mehrheit der Fälle bleiben die Daten im Haus, weil die einfachen Stufen on-device antworten.

Betrieb

Schattenbetrieb-Rollout

Der neue Agent läuft parallel zur bestehenden deterministischen Logik. Sein Output geht ins Log statt zum Aktor. Nach N Tagen Vergleich: eine Verbindung umbiegen, der neue Agent ist live.

Der Auslöser geht an die bestehende deterministische Logik und gleichzeitig an den neuen Agenten, dessen Output in einem Log statt am Aktor landet. Nach dem Vergleichsfenster wird eine einzige Verbindung umgebogen, um den Agenten produktiv zu schalten: keine parallelen Daemons, kein externer Vergleicher.

Graph-nativ

Zustandsmaschine mit KI-Erweiterung

Die meisten Übergänge sind deterministische FSM-Kanten. Ein KI-Knoten wird nur für mehrdeutige Übergänge aufgerufen, oft ein SLM, das schnell und auf der eigenen Hardware antwortet. Der Graph kombiniert beide in einer Runtime.

Die meisten Zustandsübergänge sind deterministische Kanten, und ein KI-Knoten feuert nur, wenn die Regeln nicht entscheiden können. Dann routet der Graph zum nächsten Zustand. Die Topologie erzwingt die Invarianten, das Modell liefert das kontextuelle Urteil. Weil die Mehrheit der Übergänge ohne Modell auskommt, reicht für den KI-Knoten in vielen Fällen ein SLM auf der eigenen Hardware.