Vergleich
ForestHub vs LiteRT-LM
Dieser Vergleich unterscheidet sich von den anderen auf diesem Hub: LiteRT-LM und ForestHub sind keine Konkurrenten. LiteRT-LM ist Googles On-Device-Inference-Engine, die Schicht, die ein Modell lädt und Tokens generiert. ForestHub ist die Orchestrierungs-Plattform über dieser Schicht. Das ehrliche Framing ist Engine gegen Plattform, und die interessanteste Frage ist, wie beide zusammenspielen.
LiteRT-LM ist die bessere Wahl, wenn
- Die Aufgabe ist das Ausführen eines quantisierten LLMs on-device mit maximaler Hardware-Beschleunigung
- GPU- und NPU-Ausführung, Speculative Decoding und multimodale Eingaben zählen am meisten
- Eine App bindet Inference direkt über C++-, Kotlin- oder Python-APIs ein
ForestHub ist die bessere Wahl, wenn
- Das Modell ist eine Komponente und das eigentliche Problem sind Workflow, Protokolle und Governance
- LLM-Entscheidungen müssen in prüfbare Graphen mit Regeln und Aktionen eingebettet sein
- Mehrere Modelle und Provider brauchen Routing, lokal und in der Cloud
Im Überblick
| Dimension | ForestHub | LiteRT-LM |
|---|---|---|
| Kategorie | Edge AI und Agents Orchestration Platform | On-Device-LLM-Inference-Engine |
| Lizenz | Open-Source-Runtime (AGPL-3.0, ForestHubAI/edge-agents), kommerzielles Backend | Apache 2.0. Externe Code-Beiträge werden derzeit nicht angenommen |
| Deployment | Engine als Docker-Image auf Linux-Edge-Geräten (amd64 und arm64), läuft on-premise | C++-Library und CLI für Android, iOS, Windows, macOS, Linux und Web. GPU und NPU auf ausgewählten Plattformen |
| Industrieprotokolle | MQTT first-party, HTTP- und REST-APIs | Keine dokumentiert. Der Scope ist Modell-Laden, Sessions und Token-Generierung |
| Ökosystem und Integrationen | Multi-LLM-Routing, Knowledge Bases (RAG), HTTP-APIs | Gemma-, Llama-, Phi-4-mini- und Qwen-Modelle im .litertlm-Format, OpenAI-kompatibler Server-Modus |
| KI und Agents | Graph-first Agents. Das LLM ist ein Knoten unter vielen, jeder Run wird aufgezeichnet und ist nachvollziehbar | Function Calling mit Constrained Decoding. Keine Orchestrierung oder Workflow-Ebene dokumentiert |
| Preismodell | Runtime kostenlos und Open Source (AGPL-3.0), Plattform-Registrierung auf app.foresthub.ai | Kostenlos unter Apache 2.0. Modellgewichte haben eigene Nutzungsbedingungen (zum Beispiel Gemma) |
Alle Angaben zu LiteRT-LM folgen den unten verlinkten Quellen und geben den Stand von Juni 2026 wieder.
Zwei Schichten, keine Rivalen
Der dokumentierte Scope von LiteRT-LM ist LLM-Inferenz: Modelle laden, Sessions verwalten, Tokens generieren, Tool-Calls parsen. Industrieprotokolle, Hardware-I/O oder Workflow-Features gehören nicht zum dokumentierten Scope. Es ist die Runtime hinter On-Device-AI in Google-Produkten wie Chrome und ChromeOS.
ForestHub sitzt eine Schicht darüber. Es orchestriert, was vor und nach einem Modellaufruf passiert: Trigger, Maschinendaten über MQTT, Regel-Knoten, Knowledge Bases, Aktionen und den Audit-Trail. Eine Inference-Engine ist etwas, das ForestHub nutzt, nicht etwas, mit dem es konkurriert.
Was LiteRT-LM wirklich gut kann
Als Inference-Engine ist LiteRT-LM auf seinen Zielplattformen Stand der Technik: CPU überall, GPU auf Android, iOS, macOS, Windows und Linux, NPU auf Android, auf Windows im Early Preview. Speculative Decoding über Multi-Token Prediction erreicht nach Googles eigener Messung bis zu 2,2-fachen Decode-Speedup für Gemma 4.
Constrained Decoding erzwingt strukturierte Ausgaben, etwa gegen ein JSON-Schema, bereits auf Sampling-Ebene. Quantisierte Gemma-, Llama-, Phi-4-mini- und Qwen-Modelle kommen im .litertlm-Containerformat, Vision- und Audio-Eingaben werden on-device unterstützt.
LiteRT-LM unter ForestHub betreiben
Seit v0.13.0 bringt LiteRT-LM einen OpenAI-API-kompatiblen Server-Modus mit. Das ist der natürliche Integrationspunkt: Die Engine serviert ein lokales Modell über HTTP, und ein ForestHub-Graph erreicht es wie jeden anderen lokalen Dienst.
Die Arbeitsteilung ist sauber. LiteRT-LM entscheidet, wie schnell und wie gut ein Modell auf dem Silizium läuft. ForestHub entscheidet, wann das Modell befragt wird, welche Daten es sieht, was es auslösen darf und wie die Entscheidung dokumentiert wird.
Offenheit, genau gelesen
LiteRT-LM ist Apache-2.0-lizenziert, aber das Repository nimmt derzeit keine externen Code-Beiträge an, und Modellgewichte wie Gemma haben eigene Nutzungsbedingungen. Kostenlos nutzbar, in der Richtung von Google gesteuert.
Auch die ForestHub-Runtime ist Open Source, unter AGPL-3.0 mit öffentlichem Repository auf GitHub (ForestHubAI/edge-agents). Das Plattform-Backend darum ist kommerziell, und die Richtung sind Edge Agents für den industriellen Einsatz.
Eine ehrliche Empfehlung
Für das Einbetten von Inference in eine Mobile- oder Desktop-App ist LiteRT-LM eine der stärksten Optionen, und ForestHub ist dafür keine Alternative. Der Vergleich wird erst auf der Orchestrierungs-Ebene real.
Für Agents am Industrial Edge lässt eine Inference-Engine allein die eigentliche Arbeit offen: Protokolle, Regeln, Audit, Aktionen. Dort ist das realistische Setup beides, ein lokales Modell hinter einer Engine wie LiteRT-LM innerhalb eines ForestHub-Graphen.
Häufige Fragen
Ist LiteRT-LM eine Alternative zu ForestHub?
Nein, die beiden lösen verschiedene Schichten. LiteRT-LM führt LLMs on-device aus, ForestHub orchestriert Agents und Workflows, die solche Modelle nutzen. Eine Alternative zu LiteRT-LM wäre eine andere Inference-Runtime. Eine Alternative zu ForestHub wäre eine andere Orchestrierungs-Plattform.
Lassen sich mit LiteRT-LM agentische Workflows bauen?
LiteRT-LM liefert Bausteine für Agents: Function Calling mit Constrained Decoding und einen OpenAI-kompatiblen Server-Modus. Orchestrierung, State, Protokolle und Audit liegen außerhalb des dokumentierten Scopes. Die kommen aus einer Schicht darüber, etwa Googles ADK in der App-Welt oder ForestHub auf industriellen Linux-Edge-Geräten.
Läuft LiteRT-LM auf Linux-Edge-Geräten?
Ja. CPU-Inferenz wird auf Linux unterstützt, GPU-Support ist für Linux gelistet, und CLI plus OpenAI-kompatibler Server-Modus machen es headless nutzbar. NPU-Support zielt Stand Juni 2026 auf Android, auf Windows im Early Preview.
Ist LiteRT-LM dasselbe wie LiteLLM?
Nein. LiteRT-LM ist Googles On-Device-Inference-Engine, um quantisierte Modelle lokal auszuführen. LiteLLM ist ein Proxy und SDK, das Aufrufe an über 100 gehostete LLM-APIs im OpenAI-Format vereinheitlicht. Die Namen ähneln sich, die Jobs liegen an fast entgegengesetzten Enden des Stacks.
Quellen und Stand
Alle Aussagen zu LiteRT-LM auf dieser Seite wurden gegen die unten gelisteten Quellen geprüft, zuletzt am 12. Juni 2026. Veraltete Angaben werden nach einem kurzen Hinweis an das Team korrigiert.
Einen Graphen bauen, einen Run nachvollziehen
Auf app.foresthub.ai Workflows als Graphen im Visual Builder bauen und die Engine auf ein Linux-Edge-Gerät deployen. Für Enterprise-Evaluierungen geht das Team Architektur-, Audit- und Rollout-Fragen gemeinsam durch.