Kleine Sprachmodelle (SLM) auf Edge-Hardware

Der Reflex sitzt tief. Sobald irgendwo „KI“ draufsteht, wandert die Anfrage an ein großes Modell in der Cloud. Für eine Maschine in der Fertigung, einen Schaltschrank in der Gebäudetechnik oder einen Sensorknoten im Feld ist das die falsche Standardannahme. Jede Anfrage kostet Latenz, Bandbreite und Geld, und vor allem verlässt sie das Haus. Wer eine Anlage betreibt, möchte selten, dass Betriebsdaten bei jedem Schritt an einen externen Dienst gehen. Die bessere Frage lautet deshalb nicht „Wie groß muss das Modell sein?“, sondern „Wie klein darf es sein, damit die Aufgabe noch zuverlässig gelöst wird?“. Genau hier setzen kleine Sprachmodelle auf Edge-Hardware an.

Die Intelligenz-Kaskade

Nicht jede Entscheidung braucht ein Sprachmodell, und schon gar nicht das größte. Sinnvoller ist eine Kaskade, in der jede Stufe genau das übernimmt, was die darunterliegende nicht mehr leisten kann.

• Regelwerk. Schwellwerte, Zustandsautomaten, klassische Logik. Sub-Millisekunden, direkt auf dem Gerät, vollständig deterministisch.
• Klassische ML. Kompakte Klassifikatoren, Anomalieerkennung, Regression. Millisekunden, ebenfalls lokal.
• Kompaktes SLM (1-3B). Der Sweet Spot. Sprache verstehen, Sachverhalte erklären, unstrukturierten Text ordnen. On-Device, Antwort in Sekunden.
• Mittelgroßes Open-Weight-Modell. Auf einer GPU im Haus (on-prem), wenn die Aufgabe mehr Synthese verlangt.
• Frontier-Cloud-LLM. Die Ausnahme. Maximale Fähigkeit, aber die Daten verlassen das Haus. Nur, wenn die Aufgabe es wirklich erzwingt.

Der Punkt ist die Reihenfolge. Man beginnt unten und steigt erst auf, wenn es die Aufgabe verlangt, nicht umgekehrt.

Was ein kleines Sprachmodell ausmacht

Ein SLM ist klein genug, um lokal zu laufen, und auf seine Domäne zugeschnitten. In der Größenordnung von ein bis drei Milliarden Parametern passt es auf Hardware, die ohnehin schon an der Maschine steht. Bereitgestellt wird es über einen lokalen, OpenAI-kompatiblen Inferenzserver (etwa llama.cpp), der direkt neben der Engine läuft. Selbst auf Hardware der SBC-Klasse, vom Single-Board-Computer bis zum Industrie-Controller, erreicht ein solches Modell brauchbare Token-Raten für interaktive Aufgaben.

Entscheidend ist, dass für eng umrissene Aufgaben Domänenwissen die schiere Größe schlägt. Ein kleines Modell, das die Fehlercodes, Begriffe und Abläufe einer konkreten Anlagenklasse kennt, liefert verlässlicheren Output als ein Allzweckriese, der alles ein bisschen kann. Lokale Sprachmodelle in der Industrie gewinnen nicht durch Parameterzahl, sondern durch Passung.

Warum die meisten Aufgaben kein Frontier-Modell brauchen

Industrielle Aufgaben sind selten enzyklopädisch. Einen Fehlercode in Klartext übersetzen. Einen Messwert in Kontext einordnen. Eine kurze Handlungsanweisung formulieren. Eine Logzeile zusammenfassen. Das sind klar umrissene Aufgaben mit klar umrissenem Output, keine Fragen, für die man Allgemeinbildung über die halbe Welt braucht.

Für einen großen Teil dieser Aufgaben genügt ein On-Device-SLM. Die Kaskade reserviert die teure, datenexponierte oberste Stufe für den seltenen Ausnahmefall. Das senkt nicht nur Kosten und Latenz, es hält die Verarbeitung dort, wo die Daten entstehen.

Die richtige Intelligenz am richtigen Ort

Die richtige Intelligenz am richtigen Ort heißt auch, dass das Sprachmodell nicht in den Regelkreis gehört. Ein Edge Agent sitzt nie im Echtzeit-Control-Loop. Der deterministische Regler läuft unbeirrt weiter, und der KI-Agent auf der Maschine schreibt allenfalls Parameter, gepuffert, als Werkzeug, nie als Flaschenhals. Diese Trennung ist kein Detail, sondern die Voraussetzung dafür, dass On-Device-KI in einer Anlage überhaupt verantwortbar ist.

Getragen wird das vom Graph-first-Prinzip. Der Workflow-Graph ist das Programm, und das Modell ist ein Knoten darin, begrenzt, nachvollziehbar, prüfbar. Man sieht, wann das Modell aufgerufen wird, mit welchem Kontext und was es zurückgibt.

Ein Beispiel aus der Praxis

Stellen wir uns eine Verpackungslinie vor. Mitten im Betrieb meldet die Steuerung einen kryptischen Fehlercode. Der übliche Ablauf ist, im Handbuch zu blättern oder den Support anzurufen, also Stillstand, bis jemand antwortet.

Mit einem Edge Agent auf dem Controller läuft es anders. Ein Regel-Knoten fängt den Fehler ab. Ein On-Device-SLM verwandelt den Code zusammen mit dem jüngsten Sensorkontext in eine verständliche Erklärung und einen konkreten nächsten Schritt, direkt auf dem lokalen Bedienpanel. Kein Datenpaket verlässt die Linie, und es funktioniert auch dann, wenn die Anbindung nach außen gerade nicht steht. Die Erklärung für den Bediener entsteht lokal, in Sekunden.

So läuft das am Edge

Die Kaskade ist keine Theorie, sondern als Knoten in den Graphen verdrahtet. Ein Schwellwert- oder Regel-Knoten entscheidet zuerst, ob der Fall trivial ist. Erst wenn Sprache gebraucht wird, ruft der Graph das lokale SLM über den OpenAI-kompatiblen Endpunkt auf. Der Inferenzserver läuft neben der Engine, und mit einem lokalen Modell arbeitet die Engine offline-by-default.

Dasselbe Binary läuft dabei auf dem Single-Board-Computer, auf dem Beschleuniger-Board und auf dem Industrie-Controller, neu ausrollen statt neu schreiben. Für Wissen, das nicht ins Modell passt, steht semantische Suche über eine Wissensbasis bereit, und dauerhaftes Gedächtnis liegt lokal in Dateien. Erst wenn die lokale Stufe wirklich nicht ausreicht, eskaliert der Graph an ein größeres Modell, als sichtbare, explizite Ausnahme, die man im Graphen nachvollziehen kann. From Hardware to Intelligence. Die Intelligenz sitzt dort, wo die Daten und die Maschine sind.

Das Wichtigste in Kürze

• Die richtige Frage ist nicht, wie groß ein Modell sein muss, sondern wie klein es sein darf, und die Intelligenz-Kaskade beantwortet sie Stufe für Stufe.
• Für einen großen Teil industrieller Aufgaben genügt ein kompaktes, domänentrainiertes SLM (1-3B) direkt auf dem Gerät.
• Lokale Sprachmodelle laufen über einen OpenAI-kompatiblen Inferenzserver neben der Engine, Edge KI mit brauchbaren Token-Raten bis hinab zur SBC-Klasse.
• Der KI-Agent schreibt nur Parameter und sitzt nie im Echtzeit-Regelkreis, und das Graph-first-Prinzip hält jeden Modellaufruf begrenzt und prüfbar.
• Das Frontier-Cloud-LLM bleibt die Ausnahme für den Fall, in dem Daten das Haus verlassen dürfen, nicht der Standard.