Microsoft veröffentlicht Aion 1.0 Instruct: kleines Windows-Sprachmodell unter MIT-Lizenz
Microsoft hat Aion 1.0 Instruct mit 2,3 Milliarden Parametern frei auf Hugging Face gestellt. Ab Ende Januar 2027 soll eine optimierte Fassung als lokale KI direkt in Windows laufen. Das Modell verarbeitet lange Texte und versteht Deutsch, und weil es unter MIT-Lizenz steht, darf man es fast ohne Einschränkungen nutzen.

Worum es geht
Microsoft hat auf Hugging Face das Sprachmodell Aion 1.0 Instruct veröffentlicht: microsoft/Aion-1.0-Instruct-2.3B. Entwickelt hat es die Applied Sciences Group der Sparte Windows & Devices. Mit rund 2,3 Milliarden Parametern ist es ein sogenanntes Small Language Model (SLM), also ein Sprachmodell, das bewusst klein gehalten ist. So soll es direkt auf dem eigenen Rechner laufen statt in einem Rechenzentrum. Microsoft nennt das „On-Device-KI“.
Die Hugging-Face-Fassung ist laut Microsoft eine Vorschau. Eine weiter optimierte Version soll zusammen mit Microsofts Modell zur Inhaltsmoderation bis Ende Januar 2027 zum festen Sprachmodell von Windows werden. Sie löst damit Phi Silica ab, das bisherige Windows-Sprachmodell. Microsoft begründet die frühe Veröffentlichung mit Transparenz und bittet ausdrücklich um Rückmeldungen. Das Modell steht unter der MIT-Lizenz, man darf es also auch kommerziell nutzen, verändern und weitergeben.
Wofür das Modell gedacht ist
Aion Instruct ist auf alltägliche Textaufgaben ausgelegt: Dokumente verstehen, Inhalte analysieren, Fragen beantworten, Texte zusammenfassen und umformulieren sowie chatten. Das Kontextfenster, also die Textmenge, die das Modell auf einmal im Blick behalten kann, umfasst 32.768 Tokens. Laut Microsoft reicht das für mehrseitige Dokumente, lange E-Mail-Verläufe oder technische Spezifikationen. Weil alles auf dem eigenen Gerät läuft, verlassen die Daten den Rechner nicht.
Das Modell unterstützt Englisch, Deutsch, Spanisch, Portugiesisch, Italienisch, Französisch, Chinesisch und Japanisch. Allerdings machen mehrsprachige Daten nur etwa 6 Prozent der Trainingsdaten aus, und Microsoft räumt ein, dass die Qualität je nach Sprache schwanken kann. Außerdem beherrscht Aion Tool Calling: Es kann strukturierte Aufrufe an externe Funktionen ausgeben, etwa an eine Kalender- oder Such-Funktion, die ein Programm dann ausführt.
Zu den Grenzen ist Microsoft offen. Das Modell sei nicht darauf trainiert, viel Weltwissen zu haben. Es könne Details übersehen, falsche Aussagen machen und an komplexen, mehrstufigen Überlegungen scheitern. Gegen gezielte Manipulationsversuche sei es womöglich anfällig. Für medizinische Diagnosen oder rechtliche Entscheidungen ist es ausdrücklich nicht gedacht.
Benchmarks
Microsoft hat die Tests überwiegend mit EleutherAIs lm-evaluation-harness durchgeführt, einem verbreiteten Testwerkzeug. Wo ein Bewertungsmodell nötig war, übernahm GPT-4o diese Rolle. Es handelt sich um Herstellerangaben:
| Bereich | Benchmark | Ergebnis |
|---|---|---|
| Wissen | MMLU | 55,15 % |
| Wissen | MMLU-Pro | 33,35 % |
| Wissen | MMMLU (mehrsprachig) | 45,51 % |
| Wissen | GPQA | 28,18 % |
| Mathe | GSM8K | 74,91 % |
| Mathe | GSMPlus | 49,56 % |
| Mathe | MATH-500 | 48,00 % |
| Anweisungen befolgen | IFEval | 83,90 % |
| Anweisungen befolgen | IFBench | 32,00 % |
| Anweisungen befolgen | Multi-IF | 64,70 % |
| Übersetzung | chrF++ | 43,18 |
Am stärksten ist das Modell beim Befolgen von Anweisungen (IFEval) und bei einfacher Schulmathematik (GSM8K). Bei Wissensfragen ist es deutlich schwächer, wie man es von einem Modell dieser Größe erwarten kann. Direkte Vergleiche mit anderen Modellen liefert die Modellkarte nicht. Laut ad-hoc-news hat Microsoft auf der Build 2026 erklärt, Aion sei kleiner und schneller als Phi-4-mini.
Technik unter der Haube
Das Modell hat 28 Schichten. Davon arbeiten 21 mit Sliding-Window-Attention: Sie betrachten nur die letzten 2.048 Tokens, ähnlich wie ein Leser, der sich vor allem an die letzten Seiten erinnert. Die übrigen 7 Schichten sehen den gesamten Text. Diese Mischung spart Speicher und Rechenzeit bei langen Texten. Dazu kommt Grouped-Query Attention (GQA) mit 24 Abfrage- und 8 Schlüssel-Wert-Köpfen. Mehrere Abfragen teilen sich dabei einen gemeinsamen Zwischenspeicher, was ebenfalls Speicher spart.
Das Vokabular umfasst 200.029 Tokens, der Wissensstand reicht bis Dezember 2025. Die Trainingsdaten bauen auf denen von Phi Silica auf: streng gefilterte öffentliche Dokumente und neu erzeugte synthetische Daten, also von KI erstellte Übungstexte, für Mathematik, Programmieren, Alltagslogik und Allgemeinwissen.
Hintergrund: die Aion-Familie
Laut ad-hoc-news hat Microsoft die Aion-1.0-Familie im Juni 2026 auf der Entwicklerkonferenz Build vorgestellt. Neben dem für Prozessoren (CPUs) optimierten Instruct-Modell gehört dazu Aion 1.0 Plan mit 14 Milliarden Parametern. Es soll komplexe Denkaufgaben und Werkzeugaufrufe in automatisierten Abläufen übernehmen. Damals war die Veröffentlichung der offenen Gewichte für Juli 2026 angekündigt, tatsächlich erschienen sie erst jetzt im November.
Außerdem gab es auf der Build laut dem Bericht neue Windows-KI-Schnittstellen für CPUs, Grafikkarten (GPUs) und NPUs, also spezielle KI-Chips in neueren Laptops. Hinzu kamen eine abgeschottete Umgebung für lokale KI-Agenten namens Microsoft Execution Containers (MXC) und der Entwicklerrechner Surface RTX Spark Dev Box.
Was du zum Ausprobieren brauchst
Auf Hugging Face gibt es bisher nur die unkomprimierte Version im Zahlenformat bfloat16. Die Datei ist ungefähr 4,5 bis 5 GB groß. Auf einer Grafikkarte solltest du für diese Fassung etwa 6 GB Grafikspeicher (VRAM) einplanen. Mit den angekündigten quantisierten Versionen, die durch gröber gespeicherte Zahlen kleiner werden, dürften bei 4 Bit schon etwa 3 GB reichen.
Da das Modell für CPUs optimiert ist, läuft es auch ohne Grafikkarte auf einem normalen PC mit 8 bis 16 GB Arbeitsspeicher, nur langsamer. Ein Mac mit Apple Silicon oder ein kostenloses Google-Colab-Notebook reicht ebenfalls.
Beim Start musst du einige Punkte beachten:
- Microsoft verwendet eigenen Modellcode. Deshalb muss beim Laden
trust_remote_code=Truegesetzt sein. - Das Modell wurde mit Transformers 5.x exportiert, du brauchst also eine aktuelle Version dieser Python-Bibliothek.
- Fertige GGUF-Dateien für Programme wie llama.cpp oder Ollama gibt es noch nicht.
Einordnung
Aion 1.0 Instruct ist kein Spitzenmodell, und Microsoft gibt das auch nicht vor. Interessant ist es aus anderen Gründen. Microsoft legt das Modell offen, das ab 2027 auf vielen Millionen Windows-Rechnern laufen soll, noch dazu unter einer sehr freien Lizenz. Entwickler können damit schon jetzt Anwendungen bauen, die später auf die Windows-eigene KI zurückgreifen.
Das lange Kontextfenster, die Unterstützung für Deutsch und das Tool Calling machen das Modell brauchbar für lokale Zusammenfassungen und einfache Assistenzaufgaben. Es konkurriert mit anderen kleinen offenen Modellen um zwei bis vier Milliarden Parameter, etwa Microsofts eigenem Phi-4-mini.
Einige Punkte sind noch offen. Unabhängige Tests gibt es bisher nicht. Mit nur 6 Prozent mehrsprachigen Trainingsdaten ist unklar, wie gut die deutschen Antworten wirklich sind. Und die Windows-Version soll weiter optimiert und mit einem Moderationsmodell kombiniert werden, die Hugging-Face-Fassung entspricht also nicht genau dem späteren Endprodukt.
Quellen
- Reddit r/LocalLLaMA huggingface.co
- ad-hoc-news.de ad-hoc-news.de
Selbst ausprobieren: Aion-1.0-Instruct-2.3B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Aion 1.0 Instruct ist ein kleines Sprachmodell von Microsoft für Textaufgaben direkt auf dem eigenen Rechner. Es fasst Dokumente zusammen, formuliert Texte um, beantwortet Fragen zu einem Text, den du ihm gibst, und eignet sich für einfache Chats. Mit einem Kontextfenster von 32.768 Tokens kann es auch lange E-Mail-Verläufe oder mehrseitige Berichte auf einmal verarbeiten, ohne dass Daten ins Internet gehen. Es versteht acht Sprachen, darunter Deutsch, allerdings bestehen nur etwa 6 Prozent der Trainingsdaten aus nicht-englischen Texten, deshalb sind englische Antworten oft besser. Beim Befolgen von Anweisungen ist es stark: In IFEval erreicht es laut Microsoft 83,9 Prozent. Für Wissensfragen und komplexe, mehrstufige Überlegungen ist es dagegen nur begrenzt geeignet, große Modelle wie ChatGPT sind hier klar überlegen. Es kann außerdem Funktionsaufrufe (Tool Calling) erzeugen und eignet sich damit für einfache lokale Assistenten.
Für wen lohnt es sich?
Das Modell lohnt sich für alle, die ein schnelles, sparsames und datenschutzfreundliches Modell für Zusammenfassungen und Umformulierungen suchen. Auch für Entwickler, die sich auf die künftige Windows-KI vorbereiten wollen, ist es interessant, ebenso für Bastler mit schwacher Hardware. Wer ein Modell mit viel Weltwissen, guter Programmierhilfe oder tiefem logischem Denken braucht, sollte zu einem größeren Modell greifen.
Ideen: Was du damit anstellen kannst
Kopiere einen langen Mail-Verlauf in den Chat und bitte um die wichtigsten Punkte und offenen Aufgaben. Dank 32.768 Tokens Kontext passt viel Text auf einmal hinein, und nichts verlässt deinen Rechner.
Lass Bewerbungen, Beschwerden oder Vereinsrundschreiben höflicher, kürzer oder einfacher formulieren. Du gibst den Originaltext und den gewünschten Ton vor und bekommst in Sekunden eine überarbeitete Fassung.
Füge einen Mietvertrag, eine Bedienungsanleitung oder einen Bericht ein und stelle gezielte Fragen dazu. Die Antworten sind brauchbarer, wenn sie sich auf den eingefügten Text stützen, als wenn das Modell aus dem Gedächtnis antworten muss.
Entwickler können über Tool Calling eigene Funktionen anbinden, etwa eine Notiz-Datenbank oder einen Kalender. Das Modell entscheidet, wann eine Funktion aufgerufen wird, und gibt den Aufruf im JSON-Format aus.
Wer Windows-Software entwickelt, kann jetzt schon testen, wie sich das künftige System-Sprachmodell verhält. Ab Ende Januar 2027 soll eine optimierte Version direkt in Windows verfügbar sein.
Was dein Rechner braucht
Werte geschätzt aus der Modellgröße – die Model Card kann genauere Angaben enthalten.
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
4-bit (Q4) Standard |
1,4 GB | 3 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
8-bit (Q8) |
2,5 GB | 4 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
16-bit (Original) |
4,6 GB | 6,5 GB | z. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600 |
Bisher gibt es nur die unkomprimierte Version in bfloat16, die Modelldatei ist ungefähr 4,5 bis 5 GB groß. Sie läuft auf Grafikkarten mit etwa 6 GB VRAM oder auf der CPU mit 8 bis 16 GB Arbeitsspeicher. Microsoft hat komprimierte Versionen angekündigt. Wer wenig Speicher hat oder llama.cpp bzw. Ollama nutzen möchte, sollte auf diese Versionen warten, eine 4-Bit-Variante dürfte mit rund 3 GB auskommen.
- Die aktuelle bfloat16-Version braucht etwa 5 GB Speicherplatz. Auf einer Grafikkarte solltest du etwa 6 GB VRAM einplanen.
- Laut Microsoft ist das Modell für die Ausführung auf CPUs optimiert. Es läuft daher auch ohne Grafikkarte, dann aber langsamer.
- Lange Eingaben bis 32.768 Tokens kosten zusätzlichen Speicher. Durch die hybride Sliding-Window-Attention fällt dieser Mehrbedarf aber geringer aus als bei vielen anderen Modellen.
- Ein Mac mit Apple Silicon und mindestens 8 GB gemeinsamem Speicher sowie ein kostenloses Google-Colab-Notebook reichen aus.
- Quantisierte Versionen, die weniger Speicher brauchen, sollen folgen. GGUF-Dateien für llama.cpp oder Ollama gibt es noch nicht.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 4 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Dieses Modell läuft mit Python. Unser Skript erledigt die Einrichtung automatisch: Es legt eine abgeschottete Python-Umgebung an, installiert die nötigen Programme (PyTorch, ca. 3 GB) und lädt das Modell (1,4 GB (bei 100 MBit/s ca. 2 Min.)).
- Grafikkartentreiber aktualisieren (NVIDIA): aktuellen Treiber installieren. Ohne NVIDIA-Karte läuft es auf dem Prozessor – deutlich langsamer.
- Python installieren. Auf python.org Python 3.12 herunterladen und starten. Wichtig: Unten im ersten Fenster das Häkchen bei Add python.exe to PATH setzen, dann Install Now.
- Ordner anlegen und Dateien laden. Einen Ordner erstellen, z. B.
Dokumente\KI-Test, und beide Dateien hineinspeichern: - Terminal im Ordner öffnen. Den Ordner im Explorer öffnen, Rechtsklick auf eine freie Stelle → In Terminal öffnen.
- Starten. Diesen Befehl einfügen und Enter drücken:
Jetzt laufen Installation und Download. Das kann beim ersten Mal 10–30 Minuten dauern.powershell -ExecutionPolicy Bypass -File try_windows.ps1 - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
- Nochmal mit eigener Eingabe:
demo.pymit dem Editor öffnen, den Beispieltext ändern, speichern. Dann im Terminal:.\.venv-aion-1-0-instruct-2-3b\Scripts\Activate.ps1 python demo.py
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Terminal öffnen. Cmd + Leertaste, Terminal eintippen, Enter.
- Entwicklerwerkzeuge installieren (nur beim ersten Mal, liefert Python mit):
Im Fenster auf Installieren klicken. Kommt „already installed“, ist alles schon da.xcode-select --install - Dateien herunterladen – beide landen im Ordner Downloads:
- Starten:
Installation und Download dauern beim ersten Mal 10–30 Minuten.cd ~/Downloads bash try_mac.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Python-Grundlagen installieren (Ubuntu/Debian):
sudo apt update && sudo apt install -y python3-venv python3-pip git - Dateien in einen Ordner laden und dort ein Terminal öffnen:
- Starten:
bash try_linux.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Das kannst du ausprobieren
Fasse diesen Text in drei Stichpunkten zusammen: [Text einfügen]Formuliere diese E-Mail höflicher und kürzer: „Ich warte seit zwei Wochen auf Ihre Antwort, das ist inakzeptabel.“Hier ist ein langer E-Mail-Verlauf. Welche offenen Aufgaben gibt es, und wer ist jeweils zuständig? [Verlauf einfügen]Übersetze diesen Absatz ins Englische und erkläre danach in einem Satz, welche Stellen schwierig zu übersetzen waren: [Absatz einfügen]Lies diese technische Spezifikation und erstelle eine Tabelle mit allen genannten Anforderungen und ihren Grenzwerten: [Text einfügen]
Tipps für bessere Ergebnisse
- Gib dem Modell den Text, um den es gehen soll, direkt in der Eingabe mit. Fragen zum Weltwissen ohne Textgrundlage beantwortet es oft ungenau, wie Microsoft selbst schreibt.
- Formuliere klare, einzelne Arbeitsaufträge wie „fasse zusammen“ oder „formuliere um“ statt verschachtelter Aufgaben mit vielen Schritten. Teile komplexe Aufgaben in mehrere Schritte auf.
- Nutze die Chat-Vorlage über `apply_chat_template`. Dort lassen sich auch das aktuelle Datum und eine eigene Systemanweisung setzen.
- Wenn deutsche Antworten holprig wirken, lass das Modell zuerst auf Englisch arbeiten und übersetze danach. Der Anteil mehrsprachiger Trainingsdaten liegt nur bei etwa 6 Prozent.
- Prüfe Fakten und Zahlen in den Antworten. Kleine Modelle neigen laut Microsoft dazu, falsche Aussagen zu machen.
Wenn es hakt
Microsoft liefert eigenen Modellcode mit. Ohne `trust_remote_code=True` lässt sich das Modell nicht laden.
Das Modell wurde mit Transformers 5.x exportiert. Ältere Versionen der Bibliothek scheitern beim Laden, deshalb vorher `pip install -U transformers accelerate` ausführen.
Im Quickstart der Modellkarte steht die Kennung `asgmodels/Aion-Instruct-v1`. Nutze stattdessen die offizielle Repo-Kennung `microsoft/Aion-1.0-Instruct-2.3B`.
Es gibt noch keine GGUF- oder anderen quantisierten Dateien. Ollama und LM Studio funktionieren daher noch nicht direkt, für den Anfang eignen sich Transformers oder vLLM.
Jede Gesprächsrunde endet mit dem Token `<|end|>`. Wenn du eigene Chat-Oberflächen baust, nutze die mitgelieferte Chat-Vorlage, sonst hört das Modell eventuell nicht auf zu schreiben.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: mit.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.