K2 Horizon: Sechs komplett offene KI-Modelle – mit Trainingsdaten und Code
Das Institute of Foundation Models aus Abu Dhabi hat mit K2 Horizon sechs Sprachmodelle von 0,9 bis 375 Milliarden Parametern veröffentlicht. Zum Download gibt es nicht nur die Modelle selbst, sondern auch Trainingsdaten, Zwischenstände und den gesamten Code. Jetzt liegt auch das technische Paper vor.

Worum es geht
Das Institute of Foundation Models (IFM) aus Abu Dhabi hat eine ganze Familie von Sprachmodellen veröffentlicht, die es selbst „Flotte“ nennt: K2 Horizon. Dazu gehören sechs Modelle, vom winzigen 0.9B-Modell, das laut IFM sogar auf einer Smartwatch laufen soll, bis zum Flaggschiff mit 375 Milliarden Parametern. Die Modelle selbst hat das IFM laut Pressemitteilung schon am 3. September 2026 vorgestellt. Seit dem 16. November steht auf Hugging Face Papers auch das ausführliche technische Paper „K2-Horizon: A Frontier Fleet of Open Source Language Models“.
Besonders ist nicht so sehr die Leistung, sondern wie offen das Projekt ist. Viele Labore stellen nur die fertigen Gewichte zum Download bereit („Open Weights“). Das IFM veröffentlicht dagegen auch die Trainingsdaten, Zwischenstände aus allen Trainingsphasen, Trainingslogs, Evaluationscode und die komplette Trainingsinfrastruktur. Alles ist über die Projektseite ifm.ai/k2 zu finden. Die Modelle liegen auf Hugging Face, Gewichte und Code stehen unter der Apache-2.0-Lizenz.
Hinter dem IFM steht die Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), die das Institut im Mai 2025 gegründet hat. Es hat inzwischen Standorte im Silicon Valley, in Paris und in Abu Dhabi. Gründer ist Eric Xing, der auch Präsident der MBZUAI ist. Zum Portfolio des IFM gehören außerdem das arabische Sprachmodell Jais und das Weltmodell PAN.
Die sechs Modelle im Überblick
Alle Modelle teilen sich Architektur, Vokabular, Trainingsmethode und Werkzeuge. Nur das kleinste Modell hat ein kleineres Vokabular. Zwei Modelle sind sogenannte Mixture-of-Experts-Modelle (MoE). Bei dieser Bauweise arbeitet pro Wort nur ein kleiner Teil des Netzes, so wie in einer großen Firma nur die zuständigen Fachleute an einem Auftrag sitzen. Die Angabe „A23B“ bedeutet: Von insgesamt 375 Milliarden Parametern sind pro Token nur 23 Milliarden aktiv.
| Modell | Bauweise | Einsatzzweck laut IFM |
|---|---|---|
| K2 Horizon 0.9B | dicht | Uhren, Brillen, sehr schwache Hardware |
| K2 Horizon 3.7B | dicht | Smartphones, gut zum Feintunen |
| K2 Horizon 7B | dicht | Smartphones, Softwareentwicklung, Recherche |
| K2 Horizon 32B | dicht | Laptops und eigene Server |
| K2 Horizon 36B-A4B | MoE, 4B aktiv | günstiger Betrieb auf eigener Hardware |
| K2 Horizon 375B-A23B | MoE, 23B aktiv | Flaggschiff für Agenten und Unternehmen |
Nach Angaben des IFM sind die Modelle mit 0.9B, 3.7B und 7B jeweils die besten ihrer Größenklasse in Mathematik, logischem Denken und Werkzeugnutzung. Das 7B-Modell sei sogar das beste Modell unter 10 Milliarden Parametern. Das Paper formuliert vorsichtiger: Die Modelle seien bei Agenten- und Programmier-Benchmarks führend oder auf Augenhöhe mit starken offenen Modellen gleicher Größe. Konkrete Benchmark-Zahlen stehen in den vorliegenden Quellen nicht, daher lassen sich diese Aussagen hier nicht prüfen.
Praktisch gedacht ist auch das dynamische Model-Routing des IFM. Dabei wird jede Aufgabe automatisch an das günstigste Modell geschickt, das sie lösen kann. Entwickler sollen erst mit kleinen Modellen ausprobieren und später zu den großen wechseln können, ohne ihre Abläufe umzubauen.
Technische Neuerungen: MoVA und Uno
Das Paper stellt mehrere neue Bausteine vor:
- Mixture-of-Value Attention (MoVA): Die Attention ist der Teil eines Modells, mit dem es entscheidet, welche früheren Wörter für das nächste wichtig sind. Bei MoVA wird das Expertenprinzip auf einen Teil davon angewendet, die sogenannten Value-Projektionen. Das soll das logische Denken verbessern, ohne mehr Rechenaufwand zu kosten.
- Softplus-Attention-Gating: Ein flexiblerer, theoretisch begründeter „Regler“, der steuert, wie viel Information durch die Attention fließt.
- Uno: Das sind verlustfreie Diffusions-Adapter, die mehrere Tokens parallel in Blöcken erzeugen statt eines nach dem anderen. Laut Paper wird die Textausgabe dadurch bis zu 2,2-mal schneller, und es braucht kein separates Hilfsmodell (Draft-Modell), wie es beim üblichen „Speculative Decoding“ nötig ist.
Die Angaben zum Tempo widersprechen sich: Die Pressemitteilung spricht bei der „Diffusion Distillation“ von etwa dreifacher Geschwindigkeit, das Paper nennt „bis zu 2,2x“. Die Zahl aus dem Paper ist die vorsichtigere und vermutlich verlässlichere.
Am 36B-A4B-Modell zeigt das IFM, was MoVA und das Gating bringen. Es erreicht nach eigenen Angaben fast die Leistung eines dichten 32B-Modells, das auf denselben Daten trainiert wurde, obwohl es nur ein Siebtel der aktiven Parameter nutzt.
Was „vollständig offen“ hier bedeutet
Das IFM richtet sich nach der Open-Source-Definition von LLM360, einer Initiative für transparente Sprachmodelle. Das Team hat schon frühere K2-Modelle auf diese Weise veröffentlicht. Diesmal gehören zum Paket:
- Zwischenstände (Checkpoints) aus allen Trainingsphasen
- Vortrainingsdaten und Trainingslogs
- der gesamte Trainings-, Evaluations- und Infrastruktur-Code, darunter das Framework xLLM für das Training dichter und MoE-Modelle in Produktionsgröße und RL360 für Reinforcement Learning, also Training durch Belohnung für gute Antworten
- alle Pipelines, mit denen die Trainingsdaten erstellt wurden
Gerade der letzte Punkt ist selten. Laut Paper ist das genau der Teil der Modellentwicklung, den offene Veröffentlichungen am seltensten preisgeben. Mit diesen Pipelines entstanden rund 10 Billionen synthetische Tokens, also von anderen Modellen erzeugte Trainingstexte. Laut IFM zeigt das, dass synthetische Daten im großen Maßstab einen wichtigen Teil des Vortrainings ausmachen können. Vier der sechs Modelle wurden mit demselben Korpus von 22 Billionen Tokens und demselben Rezept trainiert. Forscher können damit sauber untersuchen, wie sich Modellgröße und Sparsity (also wie viele Teile des Netzes jeweils aktiv sind) auswirken.
IFM-Gründer Eric Xing sagt dazu:
„Open Source ist viel mehr als offene Gewichte. Wissenschaft funktioniert, wenn andere die Daten sehen, der Methode folgen, das Ergebnis reproduzieren und es verbessern können.“
Wo die Offenheit an Grenzen stößt
Das Tech-Portal shattered.io weist auf Schwachstellen hin. Laut einer technischen Prüfung, auf die sich die Seite beruft, trug das 0.9B-Modell in seinen Metadaten zeitweise den Lizenzhinweis „internal-only“, und eine LICENSE-Datei fehlte ganz. Das zeigt, dass das IFM sein Offenheitsversprechen und die tatsächlichen Lizenzbedingungen noch nicht ganz in Einklang gebracht hat. Gewichte und Code stehen unter Apache 2.0, die Datensätze aber unter ihren jeweils eigenen Lizenzen. Nicht alles, womit trainiert wurde, darf vollständig weitergegeben werden. Laut shattered.io enthält die Veröffentlichung die Trainingsdaten nur „wo die Lizenz es erlaubt“. Wer ein Modell komplett von Grund auf nachbauen will, muss sich also durch ein Geflecht verschiedener Lizenzen arbeiten.
Verfügbarkeit und Unterstützung
Die Modelle liegen auf Hugging Face und laufen ab dem ersten Tag mit den verbreiteten Inferenz-Engines vLLM und SGLang, also Programmen, mit denen man Sprachmodelle effizient betreibt. Laut shattered.io gibt es auch Unterstützung durch Ollama (für das 0.9B-Modell) und Unsloth (für das 7B-Modell). Wer nichts selbst hosten will, kann K2 Horizon über eine API bei Partnern wie Compass, Cerebras, AWS und Nebius nutzen.
Was du zum Ausprobieren brauchst
Welche Hardware du brauchst, hängt stark vom Modell ab. Offizielle Angaben zum Speicherbedarf gibt es in den Quellen nicht. Die folgenden Werte sind grobe Schätzungen für eine 4-Bit-Quantisierung, bei der das Modell verkleinert wird, indem seine Zahlen gröber gespeichert werden:
- 0.9B und 3.7B: laufen auf fast jedem Rechner, auch nur mit dem Prozessor (CPU) oder auf einem Mac mit Apple Silicon. Etwa 1 bis 4 GB Speicher reichen.
- 7B: eine Grafikkarte mit etwa 6 bis 8 GB VRAM oder ein Mac mit 16 GB Arbeitsspeicher. Mit einer kostenlosen Google-Colab-GPU sollte es ebenfalls gehen.
- 32B und 36B-A4B: etwa 20 bis 24 GB VRAM, also eine RTX 3090 oder 4090 bzw. ein Mac mit 32 GB oder mehr. Das 36B-A4B ist pro Token viel schneller, braucht aber trotzdem Platz für alle Parameter.
- 375B-A23B: gehört ins Rechenzentrum, also auf mehrere große GPUs. Privat nutzt du es realistischerweise über die API.
Zum Herunterladen solltest du je nach Modell zwischen etwa 1 GB und weit über 100 GB freien Speicher einplanen. Ein längerer Kontext, also mehr Text im „Gedächtnis“ des Modells, braucht zusätzlich Speicher.
Einordnung
K2 Horizon tritt gegen starke Konkurrenz an: Qwen von Alibaba, Mistral und DeepSeek veröffentlichen ebenfalls leistungsfähige Modelle unter freien Lizenzen. Laut shattered.io wirbt das IFM deshalb auch nicht damit, jeden Benchmark zu gewinnen. Sein Argument ist die Nachvollziehbarkeit. Für die Forschung ist das wertvoll: Wer Benchmark-Ergebnisse prüfen, Sicherheitsmaßnahmen testen oder den Einfluss von Trainingsdaten untersuchen will, braucht Daten und Zwischenstände, nicht nur das fertige Modell. Auch Behörden und Unternehmen in regulierten Branchen wollen zunehmend wissen, womit ein Modell trainiert wurde.
Offen bleibt einiges. Die Aussagen „bestes Modell seiner Größe“ sind bisher Herstellerangaben und brauchen unabhängige Tests. Die Tempoangaben widersprechen sich (2,2x im Paper, etwa 3x in der Pressemitteilung). Bei den Lizenzen gab es zum Start Unstimmigkeiten. Und die Bezeichnung „größte vollständig offene Veröffentlichung der KI-Geschichte“ stammt aus der Pressemitteilung, nicht aus einer neutralen Quelle. Trotzdem ist K2 Horizon eine der umfassendsten offenen Modellveröffentlichungen bisher. Andere Labore, die zwar Gewichte herausgeben, ihre Datenpipelines aber geheim halten, geraten damit unter Druck.
Quellen
- Hugging Face Papers huggingface.co
- finance.yahoo.com finance.yahoo.com
- shattered.io shattered.io
- prnewswire.com prnewswire.com
Selbst ausprobieren: K2-Horizon-7B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
K2 Horizon ist eine Familie von Textmodellen, die vor allem auf logisches Denken, Mathematik, Programmieren und Agenten-Aufgaben ausgelegt ist, also Aufgaben, bei denen das Modell mehrere Schritte plant und Werkzeuge nutzt. Lokal kannst du damit chatten, Texte zusammenfassen, Code schreiben und erklären lassen oder Rechenaufgaben Schritt für Schritt lösen. Das 7B-Modell ist laut IFM das beste Modell unter 10 Milliarden Parametern und soll besonders stark bei Softwareentwicklung und Recherche sein. Unabhängige Tests gibt es dazu bisher nicht. Die kleinen Modelle (0.9B, 3.7B) sind für schwache Geräte gedacht und erwartbar weniger gut bei Allgemeinwissen und langen Texten. Da alle Trainingsdaten offen sind, eignen sich die Modelle besonders für Forschung und eigenes Feintuning. Bilder oder Audio verarbeiten sie laut den Quellen nicht, sie arbeiten nur mit Text.
Für wen lohnt es sich?
Interessant ist K2 Horizon für Entwickler, Forschende und Bastler, die ein leistungsfähiges Modell mit nachvollziehbarer Herkunft und kommerziell nutzbarer Lizenz suchen, und für alle, die selbst feintunen wollen. Wer nur einen möglichst bequemen Alltags-Chatbot sucht, ist mit etablierten Modellen wie Qwen in Ollama oder LM Studio vorerst einfacher bedient, weil die Unterstützung durch Tools dort ausgereifter ist.
Ideen: Was du damit anstellen kannst
Du lässt das 7B- oder 36B-A4B-Modell auf deinem Rechner laufen und bindest es in deinen Code-Editor ein. Es erklärt fremden Code, schreibt Tests oder findet Fehler. Dein Quellcode verlässt dabei nie deinen Rechner.
Du gibst Hausaufgaben oder Übungsaufgaben ein und lässt dir den Lösungsweg Schritt für Schritt erklären. So verstehst du, wo du hängen bleibst, statt nur das Ergebnis zu sehen.
Mit dem 3.7B-Modell und Tools wie Unsloth trainierst du das Modell auf eigene Texte nach, zum Beispiel auf die FAQ deines Vereins oder deine Fachdokumente. Am Ende hast du einen spezialisierten Assistenten mit Apache-2.0-Lizenz.
Das 0.9B-Modell läuft auch auf alten Laptops oder Kleinrechnern wie einem Raspberry Pi. Für einfache Zusammenfassungen, Umformulierungen oder kurze Fragen funktioniert es ganz ohne Internet.
Da Daten und Zwischenstände offen sind, kannst du vergleichen, wie sich das Modell zwischen Trainingsphasen verändert. Das ist praktisch für Abschlussarbeiten oder für Experimente zu synthetischen Daten.
Was dein Rechner braucht
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
Q4_K_M Standard |
5,6 GB | 7,5 GB | z. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600 |
Q5_K_M |
6,5 GB | 8,5 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
Q6_K |
7,4 GB | 9,5 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
Q8_0 |
9,6 GB | 12 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
BF16 |
18 GB | 21 GB | z. B. RTX 3090, RTX 4090, Tesla P40 |
Für normale PCs und Laptops ist das 7B-Modell der beste Einstieg (etwa 6–8 GB VRAM bei 4-Bit oder ein Mac mit 16 GB). Für sehr schwache Rechner oder reinen CPU-Betrieb nimmst du 0.9B oder 3.7B. Mit einer 24-GB-Grafikkarte (RTX 3090/4090) oder einem Mac mit 32 GB oder mehr kannst du 32B oder 36B-A4B ausprobieren. Das 36B-A4B antwortet schneller, weil pro Token nur 4 Milliarden Parameter rechnen. Das 375B-A23B nutzt du am besten über die API der Partner (z. B. Cerebras, AWS, Nebius). Alle VRAM-Werte sind Schätzungen, keine Herstellerangaben.
- 7B in 4-Bit: grob 6–8 GB VRAM. In voller bfloat16-Genauigkeit (wie im vLLM-Beispiel) sind es etwa 15 GB oder mehr.
- 0.9B und 3.7B laufen auch ohne Grafikkarte auf der CPU oder auf Apple-Silicon-Macs.
- 32B und 36B-A4B brauchen in 4-Bit etwa 20–24 GB VRAM. Beim MoE-Modell müssen trotz nur 4B aktiver Parameter alle 36B in den Speicher passen.
- Das 375B-A23B-Modell braucht Rechenzentrums-Hardware mit mehreren großen GPUs.
- Langer Kontext kostet zusätzlich Speicher. Bei Speichermangel die Kontextlänge reduzieren.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 6 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.
- Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
- Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
- Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
- Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
Beim ersten Mal lädt Ollama das Modell herunter (5,6 GB (bei 100 MBit/s ca. 7 Min.)). Danach geht es sofort.ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M - Losschreiben. Sobald
>>> Send a messageerscheint, deine Frage eintippen und Enter drücken. Mit/byebeendest du den Chat.
Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M.
Lieber automatisch? Skript, das die passende Variante selbst auswählt
- Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
- Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
- Diesen Befehl einfügen und Enter drücken:
powershell -ExecutionPolicy Bypass -File try_windows.ps1
Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
- Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
- Modell starten. Befehl einfügen (Cmd + V) und Enter:
Beim ersten Mal wird das Modell heruntergeladen (5,6 GB (bei 100 MBit/s ca. 7 Min.)).ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M - Losschreiben. Frage eintippen, Enter. Mit
/byebeenden.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Ollama installieren:
curl -fsSL https://ollama.com/install.sh | sh - Modell starten:
Mitollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M/byebeenden. Mitollama pssiehst du, ob das Modell auf der GPU läuft. - Oder automatisch die passende Variante wählen lassen:
bash try_linux.sh # mit Python/transformers statt Ollama: MODE=hf bash try_linux.sh
Das kannst du ausprobieren
Erkläre mir in drei Sätzen, was ein Mixture-of-Experts-Modell ist.Ein Zug fährt um 9:40 Uhr mit 120 km/h los, ein zweiter um 10:10 Uhr mit 160 km/h auf derselben Strecke. Wann holt der zweite den ersten ein? Rechne Schritt für Schritt.Schreibe eine Python-Funktion, die alle doppelten Dateien in einem Ordner anhand ihres Hashwerts findet, und erkläre den Code.Hier ist eine Fehlermeldung aus meinem Programm: [Fehlermeldung einfügen]. Was ist die wahrscheinliche Ursache und wie behebe ich sie?Plane eine Recherche zur Frage, ob sich eine Wärmepumpe in einem Altbau von 1960 lohnt: Welche Teilfragen, Quellen und Rechnungen brauche ich?
Tipps für bessere Ergebnisse
- Fang mit dem 7B-Modell an und wechsle erst zu 32B oder 36B-A4B, wenn dir die Antworten nicht reichen. Die Familie ist ausdrücklich für diesen Weg gebaut.
- Bei Mathe- und Logikaufgaben ausdrücklich um eine Schritt-für-Schritt-Lösung bitten, denn darauf sind die Modelle trainiert.
- Für eigene Anwendungen mit vLLM lässt sich das Modell als OpenAI-kompatible Schnittstelle starten (z. B. Port 8000). So funktionieren viele bestehende Tools direkt.
- Wenn du feintunen willst, ist laut IFM das 3.7B-Modell dafür besonders geeignet. Es ist schnell trainiert und braucht wenig Hardware.
Wenn es hakt
Neue Architektur (MoVA, Softplus-Gating): Ältere Versionen von vLLM, SGLang oder Transformers erkennen das Modell eventuell nicht. Also immer die neueste Version installieren.
Für Ollama gab es laut Berichten zum Start nur das 0.9B-Modell. Für die größeren Varianten musst du eventuell auf GGUF-Dateien aus der Community warten.
Die Lizenzangaben waren zum Start nicht einheitlich. Beim 0.9B fehlte zeitweise die LICENSE-Datei. Prüfe vor kommerzieller Nutzung die Modellkarte.
Gewichte und Code stehen unter Apache 2.0, die Trainingsdatensätze aber unter eigenen Lizenzen. Für eine Weiterverwendung der Daten musst du diese einzeln prüfen.
Das Tempo-Feature Uno (Diffusions-Adapter) wird möglicherweise nicht von jedem Tool unterstützt. Ohne Uno läuft das Modell mit normaler Geschwindigkeit.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.