Inference Manager: Ubuntu bekommt eine zentrale Verwaltung für lokale KI-Modelle

Worum es geht

Canonical, das Unternehmen hinter der Linux-Distribution Ubuntu, hat auf seiner Hausmesse Ubuntu Summit ein neues Werkzeug vorgestellt: den Inference Manager. Damit lassen sich KI-Modelle direkt auf dem eigenen Computer installieren, verwalten und anderen Programmen zur Verfügung stellen. Inferenz bezeichnet dabei den Moment, in dem ein fertig trainiertes Modell tatsächlich arbeitet, also eine Frage beantwortet oder Sprache in Text umwandelt. Wie heise berichtet, ist das Tool ab sofort im Snap Store erhältlich, Ubuntus offizieller Softwarequelle.

Der Inference Manager ist Teil einer größeren KI-Strategie, die Canonical in den vergangenen Monaten skizziert hat. Ihr Kern lautet: KI soll in Ubuntu lokal laufen, auf offenen Modellen beruhen und grundsätzlich freiwillig sein.

So funktioniert der Inference Manager

Das Tool bringt den Kommandozeilenbefehl inference mit. Installiert wird es per sudo snap install inference oder grafisch über das Ubuntu App Center. Ein Modell richtet man danach etwa mit inference install smollm2 ein. SmolLM2 ist ein besonders kleines Sprachmodell, das auch auf schwächerer Hardware läuft.

Die Modelle werden als sogenannte Inference-Snaps ausgeliefert. Snap ist Ubuntus eigenes Paketformat: Ein Snap enthält ein Programm samt allem, was es zum Laufen braucht, und ist vom restlichen System abgeschottet. Bei KI-Modellen steckt im Paket nicht nur das Modell selbst, sondern auch die passende Laufzeitumgebung und, wo vorhanden, Einstellungen für die Beschleunigung auf der jeweiligen Hardware. Laut Startup Fortune hatte Canonical schon in früheren Beta-Phasen optimierte Pakete etwa für DeepSeek R1 und Qwen 2.5 VL auf ausgewählten Chip-Architekturen angeboten. Die Idee dahinter: Nutzer sollen nicht mehr selbst Treiber, Laufzeitumgebungen, quantisierte (also durch gröbere Zahlenspeicherung verkleinerte) Modelle und hardwarespezifische Einstellungen zusammenbasteln müssen.

Der eigentliche Mehrwert des Inference Managers ist die einheitliche Schnittstelle. Alle installierten Modelle lassen sich über eine HTTP-Schnittstelle auf TCP-Port 8400 ansprechen. Laut Canonical ist sie zur OpenAI-API kompatibel, also zu dem Format, in dem Programme üblicherweise mit ChatGPT-Modellen kommunizieren. Für die Praxis heißt das: Viele bestehende Programme, die eigentlich für OpenAIs Cloud gebaut wurden, kann man einfach auf den eigenen Rechner umleiten. Chat-Assistenten auf dem Desktop, Coding-Agenten im Code-Editor oder Diktierprogramme greifen dann alle über denselben Weg auf ihre Modelle zu. Eine Internetverbindung ist dafür nicht nötig.

Erstes Praxisbeispiel: Diktieren mit Myna

Wie das im Alltag aussehen kann, zeigt Myna. Das Speech-to-Text-Programm, also eine Software, die gesprochene Sprache in Text umwandelt, kam mit der aktuellen Ubuntu-Version 26.10 „Stonking Stingray“. Laut heise ermöglicht Myna auf dem Desktop flüssiges Diktieren und schreibt das Ergebnis in beliebige Textfelder. Es nutzt genau die Inference-Snaps, die nun der Inference Manager verwaltet.

Auf dem Summit führte Canonical das Konzept mit einer Carrera-Bahn vor, auf der KI-Modelle die Autos steuerten. In einer Webanwendung konnte man verschiedene Modelle als „Fahrer“ auswählen, die auf Sprachbefehle wie „fahr schneller“ reagierten.

Die größere Strategie: implizite und explizite KI

Den Fahrplan hinter dem Tool hat Jon Seager, Vizepräsident für Engineering bei Canonical, in einem Blogbeitrag beschrieben. Linux Journal und Developer Tech fassen ihn zusammen. Canonical unterscheidet dabei zwei Arten von KI-Funktionen:

• Implizite KI: Bestehende Systemfunktionen werden im Hintergrund durch KI verbessert, ohne dass sich die Bedienung ändert. Beispiele sind Spracherkennung und Sprachausgabe (Text-to-Speech), die vor allem der Barrierefreiheit dienen.
• Explizite KI: Sichtbare, neue Arbeitsabläufe, etwa agentische Workflows. Gemeint sind KI-Agenten, die im Auftrag des Nutzers selbst Aktionen ausführen, zum Beispiel Dokumente oder Anwendungen schreiben oder Aufgaben automatisieren.

Als konkrete Beispiele nennt Seager laut Developer Tech die Fehlersuche bei einer WLAN-Verbindung oder das Einrichten einer Open-Source-Software-Forge (einer Plattform zum Verwalten von Code-Projekten) mit fertig konfigurierter Sicherheit und TLS-Verschlüsselung. Auch Administratoren sollen profitieren: Site Reliability Engineers, also Fachleute, die für den stabilen Betrieb von Servern sorgen, könnten bei Störungen Logdateien von der KI auswerten lassen, Ursachen analysieren oder geplante Wartung unter strengen Auflagen automatisieren.

Für solche Agenten sollen dieselben Schutzmechanismen gelten wie in produktiven Systemen: Zugriffskontrollen, Protokolle über alle Aktionen (Audit Trails), eng begrenzte Berechtigungen und eine klare Trennung zwischen bloßem Beobachten und tatsächlichem Handeln. Die Frage sei nicht nur, ob man Agenten vertrauen könne, sondern ob sie innerhalb der bereits bestehenden Kontrollen arbeiten können, so Seager.

Canonical beobachtet außerdem neuere Modelle, die Tool Calling beherrschen. Damit kann ein Modell selbst externe Programme oder Schnittstellen aufrufen, im Web suchen oder auf Dateien zugreifen, sofern man es erlaubt.

Offenheit, Lizenzen und Datenschutz

Canonical betont, dass alle KI-Funktionen als Opt-in kommen, also erst nach ausdrücklicher Zustimmung aktiv werden, und sich jederzeit wieder deinstallieren lassen. Weil sie als modulare Snaps ausgeliefert werden, ist das technisch einfach umzusetzen. Lokale Inferenz soll laut Linux Journal der Standard sein, Cloud-Dienste nur dann zum Einsatz kommen, wenn Nutzer sie bewusst wählen. Inference-Snaps unterliegen laut Developer Tech denselben Abschottungsregeln (Confinement) wie andere Snaps, was den Zugriff der Modelle auf Rechner und Daten begrenzen soll.

Bevorzugt werden Open-Weight-Modelle, deren Gewichte frei herunterladbar sind, sowie quelloffene „Harnesses“, also die Software, die ein Modell einbettet und steuert. Canonical will sich aber nicht allein darauf verlassen, ob Gewichte verfügbar sind, sondern auch die Lizenzbedingungen eines Modells abwägen. Seager stellt klar:

„Ubuntu wird kein KI-Produkt.“

Auch intern setzt Canonical auf Zurückhaltung. Mitarbeitende sollen nicht danach bewertet werden, wie viel sie KI nutzen. Seager wird mit den Worten zitiert, er werde die Leute weiterhin daran messen, wie gut sie liefern. Minderwertige KI-generierte Beiträge zu Open-Source-Projekten seien nie akzeptabel gewesen.

Grenzen: Hardware und Zeitplan

Seager räumt ein, dass die Hardware der Engpass bleibt. Kleine Modelle laufen auf gängigen Rechnern, reichen aber für viele Aufgaben noch nicht an große Modelle heran. Canonical beobachtet die Entwicklung von Consumer-Chips mit stärkeren KI-Beschleunigern und will neben der Geschwindigkeit auch auf den Stromverbrauch achten. Lokale Beschleuniger könnten den Energiebedarf für Inferenz senken.

Einen genauen Zeitplan für einzelne Funktionen gibt es nicht. Sie sollen im Laufe des kommenden Jahres erscheinen, sobald Canonical sie für ausgereift hält. Die Arbeit an Inference-Snaps will das Unternehmen ausbauen, mit neueren Modellen und optimierten Varianten für mehr Chip-Plattformen. Laut Startup Fortune unterstützt Ubuntu bereits Hardware von Nvidia, AMD, Arm, Intel und weiteren Herstellern.

Einordnung

Neu ist die Idee nicht: Werkzeuge wie Ollama oder LM Studio bieten schon länger lokale Modelle mit OpenAI-kompatibler Schnittstelle. Der Unterschied liegt in der Integration ins Betriebssystem. Wenn Ubuntu selbst eine zentrale, standardisierte Adresse für lokale KI bereitstellt, können Programme sich darauf verlassen, statt jeweils eigene Modelle mitzubringen. Myna ist ein erstes Beispiel dafür. Die hardwareoptimierten Pakete könnten Einsteigern das mühsame Einrichten von Treibern und Laufzeitumgebungen ersparen.

Offen ist, wie groß das Modellangebot im Snap Store ausfällt, wie gut die Optimierungen auf verschiedener Hardware tatsächlich funktionieren und wie sich der Inference Manager im Vergleich zu etablierten Tools schlägt. Unabhängige Tests dazu liegen noch nicht vor. Die Aussagen zu Datenschutz und Abschottung sind bislang Herstellerangaben. Startup Fortune weist zudem auf das Risiko hin: KI-Funktionen, die aufdringlich, undurchsichtig oder unfertig wirken, würden das Vertrauen einer Community, die viel Wert auf Kontrolle legt, schnell beschädigen. Mit dem konsequenten Opt-in-Ansatz und dem Fokus auf lokale, offene Modelle geht Canonical diesem Problem bewusst aus dem Weg und unterscheidet sich damit deutlich von Cloud-zentrierten Ansätzen wie bei Windows.