K2 Horizon: Sechs komplett offene KI-Modelle – mit Trainingsdaten und Code

Das Institute of Foundation Models aus Abu Dhabi hat mit K2 Horizon sechs Sprachmodelle von 0,9 bis 375 Milliarden Parametern veröffentlicht. Zum Download gibt es nicht nur die Modelle selbst, sondern auch Trainingsdaten, Zwischenstände und den gesamten Code. Jetzt liegt auch das technische Paper vor.

Modell-Releases Selbst ausprobieren 16. Nov. 2026 8 Min. Lesezeit Quelle: Hugging Face Papers
Symbolbild, KI-generiert

Worum es geht

Das Institute of Foundation Models (IFM) aus Abu Dhabi hat eine ganze Familie von Sprachmodellen veröffentlicht, die es selbst „Flotte“ nennt: K2 Horizon. Dazu gehören sechs Modelle, vom winzigen 0.9B-Modell, das laut IFM sogar auf einer Smartwatch laufen soll, bis zum Flaggschiff mit 375 Milliarden Parametern. Die Modelle selbst hat das IFM laut Pressemitteilung schon am 3. September 2026 vorgestellt. Seit dem 16. November steht auf Hugging Face Papers auch das ausführliche technische Paper „K2-Horizon: A Frontier Fleet of Open Source Language Models“.

Besonders ist nicht so sehr die Leistung, sondern wie offen das Projekt ist. Viele Labore stellen nur die fertigen Gewichte zum Download bereit („Open Weights“). Das IFM veröffentlicht dagegen auch die Trainingsdaten, Zwischenstände aus allen Trainingsphasen, Trainingslogs, Evaluationscode und die komplette Trainingsinfrastruktur. Alles ist über die Projektseite ifm.ai/k2 zu finden. Die Modelle liegen auf Hugging Face, Gewichte und Code stehen unter der Apache-2.0-Lizenz.

Hinter dem IFM steht die Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), die das Institut im Mai 2025 gegründet hat. Es hat inzwischen Standorte im Silicon Valley, in Paris und in Abu Dhabi. Gründer ist Eric Xing, der auch Präsident der MBZUAI ist. Zum Portfolio des IFM gehören außerdem das arabische Sprachmodell Jais und das Weltmodell PAN.

Die sechs Modelle im Überblick

Alle Modelle teilen sich Architektur, Vokabular, Trainingsmethode und Werkzeuge. Nur das kleinste Modell hat ein kleineres Vokabular. Zwei Modelle sind sogenannte Mixture-of-Experts-Modelle (MoE). Bei dieser Bauweise arbeitet pro Wort nur ein kleiner Teil des Netzes, so wie in einer großen Firma nur die zuständigen Fachleute an einem Auftrag sitzen. Die Angabe „A23B“ bedeutet: Von insgesamt 375 Milliarden Parametern sind pro Token nur 23 Milliarden aktiv.

Modell Bauweise Einsatzzweck laut IFM
K2 Horizon 0.9B dicht Uhren, Brillen, sehr schwache Hardware
K2 Horizon 3.7B dicht Smartphones, gut zum Feintunen
K2 Horizon 7B dicht Smartphones, Softwareentwicklung, Recherche
K2 Horizon 32B dicht Laptops und eigene Server
K2 Horizon 36B-A4B MoE, 4B aktiv günstiger Betrieb auf eigener Hardware
K2 Horizon 375B-A23B MoE, 23B aktiv Flaggschiff für Agenten und Unternehmen

Nach Angaben des IFM sind die Modelle mit 0.9B, 3.7B und 7B jeweils die besten ihrer Größenklasse in Mathematik, logischem Denken und Werkzeugnutzung. Das 7B-Modell sei sogar das beste Modell unter 10 Milliarden Parametern. Das Paper formuliert vorsichtiger: Die Modelle seien bei Agenten- und Programmier-Benchmarks führend oder auf Augenhöhe mit starken offenen Modellen gleicher Größe. Konkrete Benchmark-Zahlen stehen in den vorliegenden Quellen nicht, daher lassen sich diese Aussagen hier nicht prüfen.

Praktisch gedacht ist auch das dynamische Model-Routing des IFM. Dabei wird jede Aufgabe automatisch an das günstigste Modell geschickt, das sie lösen kann. Entwickler sollen erst mit kleinen Modellen ausprobieren und später zu den großen wechseln können, ohne ihre Abläufe umzubauen.

Technische Neuerungen: MoVA und Uno

Das Paper stellt mehrere neue Bausteine vor:

  • Mixture-of-Value Attention (MoVA): Die Attention ist der Teil eines Modells, mit dem es entscheidet, welche früheren Wörter für das nächste wichtig sind. Bei MoVA wird das Expertenprinzip auf einen Teil davon angewendet, die sogenannten Value-Projektionen. Das soll das logische Denken verbessern, ohne mehr Rechenaufwand zu kosten.
  • Softplus-Attention-Gating: Ein flexiblerer, theoretisch begründeter „Regler“, der steuert, wie viel Information durch die Attention fließt.
  • Uno: Das sind verlustfreie Diffusions-Adapter, die mehrere Tokens parallel in Blöcken erzeugen statt eines nach dem anderen. Laut Paper wird die Textausgabe dadurch bis zu 2,2-mal schneller, und es braucht kein separates Hilfsmodell (Draft-Modell), wie es beim üblichen „Speculative Decoding“ nötig ist.

Die Angaben zum Tempo widersprechen sich: Die Pressemitteilung spricht bei der „Diffusion Distillation“ von etwa dreifacher Geschwindigkeit, das Paper nennt „bis zu 2,2x“. Die Zahl aus dem Paper ist die vorsichtigere und vermutlich verlässlichere.

Am 36B-A4B-Modell zeigt das IFM, was MoVA und das Gating bringen. Es erreicht nach eigenen Angaben fast die Leistung eines dichten 32B-Modells, das auf denselben Daten trainiert wurde, obwohl es nur ein Siebtel der aktiven Parameter nutzt.

Was „vollständig offen“ hier bedeutet

Das IFM richtet sich nach der Open-Source-Definition von LLM360, einer Initiative für transparente Sprachmodelle. Das Team hat schon frühere K2-Modelle auf diese Weise veröffentlicht. Diesmal gehören zum Paket:

  • Zwischenstände (Checkpoints) aus allen Trainingsphasen
  • Vortrainingsdaten und Trainingslogs
  • der gesamte Trainings-, Evaluations- und Infrastruktur-Code, darunter das Framework xLLM für das Training dichter und MoE-Modelle in Produktionsgröße und RL360 für Reinforcement Learning, also Training durch Belohnung für gute Antworten
  • alle Pipelines, mit denen die Trainingsdaten erstellt wurden

Gerade der letzte Punkt ist selten. Laut Paper ist das genau der Teil der Modellentwicklung, den offene Veröffentlichungen am seltensten preisgeben. Mit diesen Pipelines entstanden rund 10 Billionen synthetische Tokens, also von anderen Modellen erzeugte Trainingstexte. Laut IFM zeigt das, dass synthetische Daten im großen Maßstab einen wichtigen Teil des Vortrainings ausmachen können. Vier der sechs Modelle wurden mit demselben Korpus von 22 Billionen Tokens und demselben Rezept trainiert. Forscher können damit sauber untersuchen, wie sich Modellgröße und Sparsity (also wie viele Teile des Netzes jeweils aktiv sind) auswirken.

IFM-Gründer Eric Xing sagt dazu:

„Open Source ist viel mehr als offene Gewichte. Wissenschaft funktioniert, wenn andere die Daten sehen, der Methode folgen, das Ergebnis reproduzieren und es verbessern können.“

Wo die Offenheit an Grenzen stößt

Das Tech-Portal shattered.io weist auf Schwachstellen hin. Laut einer technischen Prüfung, auf die sich die Seite beruft, trug das 0.9B-Modell in seinen Metadaten zeitweise den Lizenzhinweis „internal-only“, und eine LICENSE-Datei fehlte ganz. Das zeigt, dass das IFM sein Offenheitsversprechen und die tatsächlichen Lizenzbedingungen noch nicht ganz in Einklang gebracht hat. Gewichte und Code stehen unter Apache 2.0, die Datensätze aber unter ihren jeweils eigenen Lizenzen. Nicht alles, womit trainiert wurde, darf vollständig weitergegeben werden. Laut shattered.io enthält die Veröffentlichung die Trainingsdaten nur „wo die Lizenz es erlaubt“. Wer ein Modell komplett von Grund auf nachbauen will, muss sich also durch ein Geflecht verschiedener Lizenzen arbeiten.

Verfügbarkeit und Unterstützung

Die Modelle liegen auf Hugging Face und laufen ab dem ersten Tag mit den verbreiteten Inferenz-Engines vLLM und SGLang, also Programmen, mit denen man Sprachmodelle effizient betreibt. Laut shattered.io gibt es auch Unterstützung durch Ollama (für das 0.9B-Modell) und Unsloth (für das 7B-Modell). Wer nichts selbst hosten will, kann K2 Horizon über eine API bei Partnern wie Compass, Cerebras, AWS und Nebius nutzen.

Was du zum Ausprobieren brauchst

Welche Hardware du brauchst, hängt stark vom Modell ab. Offizielle Angaben zum Speicherbedarf gibt es in den Quellen nicht. Die folgenden Werte sind grobe Schätzungen für eine 4-Bit-Quantisierung, bei der das Modell verkleinert wird, indem seine Zahlen gröber gespeichert werden:

  • 0.9B und 3.7B: laufen auf fast jedem Rechner, auch nur mit dem Prozessor (CPU) oder auf einem Mac mit Apple Silicon. Etwa 1 bis 4 GB Speicher reichen.
  • 7B: eine Grafikkarte mit etwa 6 bis 8 GB VRAM oder ein Mac mit 16 GB Arbeitsspeicher. Mit einer kostenlosen Google-Colab-GPU sollte es ebenfalls gehen.
  • 32B und 36B-A4B: etwa 20 bis 24 GB VRAM, also eine RTX 3090 oder 4090 bzw. ein Mac mit 32 GB oder mehr. Das 36B-A4B ist pro Token viel schneller, braucht aber trotzdem Platz für alle Parameter.
  • 375B-A23B: gehört ins Rechenzentrum, also auf mehrere große GPUs. Privat nutzt du es realistischerweise über die API.

Zum Herunterladen solltest du je nach Modell zwischen etwa 1 GB und weit über 100 GB freien Speicher einplanen. Ein längerer Kontext, also mehr Text im „Gedächtnis“ des Modells, braucht zusätzlich Speicher.

Einordnung

K2 Horizon tritt gegen starke Konkurrenz an: Qwen von Alibaba, Mistral und DeepSeek veröffentlichen ebenfalls leistungsfähige Modelle unter freien Lizenzen. Laut shattered.io wirbt das IFM deshalb auch nicht damit, jeden Benchmark zu gewinnen. Sein Argument ist die Nachvollziehbarkeit. Für die Forschung ist das wertvoll: Wer Benchmark-Ergebnisse prüfen, Sicherheitsmaßnahmen testen oder den Einfluss von Trainingsdaten untersuchen will, braucht Daten und Zwischenstände, nicht nur das fertige Modell. Auch Behörden und Unternehmen in regulierten Branchen wollen zunehmend wissen, womit ein Modell trainiert wurde.

Offen bleibt einiges. Die Aussagen „bestes Modell seiner Größe“ sind bisher Herstellerangaben und brauchen unabhängige Tests. Die Tempoangaben widersprechen sich (2,2x im Paper, etwa 3x in der Pressemitteilung). Bei den Lizenzen gab es zum Start Unstimmigkeiten. Und die Bezeichnung „größte vollständig offene Veröffentlichung der KI-Geschichte“ stammt aus der Pressemitteilung, nicht aus einer neutralen Quelle. Trotzdem ist K2 Horizon eine der umfassendsten offenen Modellveröffentlichungen bisher. Andere Labore, die zwar Gewichte herausgeben, ihre Datenpipelines aber geheim halten, geraten damit unter Druck.

Quellen

#open source#llm#mixture-of-experts#ifm#abu dhabi#k2
Originalquelle lesen

Selbst ausprobieren: K2-Horizon-7B

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

K2 Horizon ist eine Familie von Textmodellen, die vor allem auf logisches Denken, Mathematik, Programmieren und Agenten-Aufgaben ausgelegt ist, also Aufgaben, bei denen das Modell mehrere Schritte plant und Werkzeuge nutzt. Lokal kannst du damit chatten, Texte zusammenfassen, Code schreiben und erklären lassen oder Rechenaufgaben Schritt für Schritt lösen. Das 7B-Modell ist laut IFM das beste Modell unter 10 Milliarden Parametern und soll besonders stark bei Softwareentwicklung und Recherche sein. Unabhängige Tests gibt es dazu bisher nicht. Die kleinen Modelle (0.9B, 3.7B) sind für schwache Geräte gedacht und erwartbar weniger gut bei Allgemeinwissen und langen Texten. Da alle Trainingsdaten offen sind, eignen sich die Modelle besonders für Forschung und eigenes Feintuning. Bilder oder Audio verarbeiten sie laut den Quellen nicht, sie arbeiten nur mit Text.

Für wen lohnt es sich?

Interessant ist K2 Horizon für Entwickler, Forschende und Bastler, die ein leistungsfähiges Modell mit nachvollziehbarer Herkunft und kommerziell nutzbarer Lizenz suchen, und für alle, die selbst feintunen wollen. Wer nur einen möglichst bequemen Alltags-Chatbot sucht, ist mit etablierten Modellen wie Qwen in Ollama oder LM Studio vorerst einfacher bedient, weil die Unterstützung durch Tools dort ausgereifter ist.

Ideen: Was du damit anstellen kannst

Lokaler Programmierhelfer

Du lässt das 7B- oder 36B-A4B-Modell auf deinem Rechner laufen und bindest es in deinen Code-Editor ein. Es erklärt fremden Code, schreibt Tests oder findet Fehler. Dein Quellcode verlässt dabei nie deinen Rechner.

Nachhilfe in Mathe

Du gibst Hausaufgaben oder Übungsaufgaben ein und lässt dir den Lösungsweg Schritt für Schritt erklären. So verstehst du, wo du hängen bleibst, statt nur das Ergebnis zu sehen.

Eigenes Modell feintunen

Mit dem 3.7B-Modell und Tools wie Unsloth trainierst du das Modell auf eigene Texte nach, zum Beispiel auf die FAQ deines Vereins oder deine Fachdokumente. Am Ende hast du einen spezialisierten Assistenten mit Apache-2.0-Lizenz.

Offline-Assistent auf schwacher Hardware

Das 0.9B-Modell läuft auch auf alten Laptops oder Kleinrechnern wie einem Raspberry Pi. Für einfache Zusammenfassungen, Umformulierungen oder kurze Fragen funktioniert es ganz ohne Internet.

Forschung zu Trainingsdaten

Da Daten und Zwischenstände offen sind, kannst du vergleichen, wie sich das Modell zwischen Trainingsphasen verändert. Das ist praktisch für Abschlussarbeiten oder für Experimente zu synthetischen Daten.

Größe9 Mrd. Parameter
Download5,6 GB (bei 100 MBit/s ca. 7 Min.)
Lizenzapache-2.0
ArtSprachmodell (Text-Chat)
Hugging FaceIFM/K2-Horizon-7B

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 7,5 GB VRAMz. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600
Mac (Apple Silicon M1–M5) ab 16 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Nur Prozessor (ohne Grafikkarte) Ohne Grafikkarte flüssig nutzbargeschätzt 8 Wörter pro Sekunde auf einem aktuellen Desktop-PC. Dafür mindestens 16 GB Arbeitsspeicher.
Speicherplatz ca. 7,6 GB freiModell-Download plus Programme
Google Colab läuft kostenlosGratis-GPU Tesla T4 mit 15 GB reicht

Welche Variante passt zu mir?

Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.

VarianteDownloadBraucht ca.Passende Grafikkarten
Q4_K_M Standard 5,6 GB7,5 GBz. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600
Q5_K_M 6,5 GB8,5 GBz. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT
Q6_K 7,4 GB9,5 GBz. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT
Q8_0 9,6 GB12 GBz. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT
BF16 18 GB21 GBz. B. RTX 3090, RTX 4090, Tesla P40

Für normale PCs und Laptops ist das 7B-Modell der beste Einstieg (etwa 6–8 GB VRAM bei 4-Bit oder ein Mac mit 16 GB). Für sehr schwache Rechner oder reinen CPU-Betrieb nimmst du 0.9B oder 3.7B. Mit einer 24-GB-Grafikkarte (RTX 3090/4090) oder einem Mac mit 32 GB oder mehr kannst du 32B oder 36B-A4B ausprobieren. Das 36B-A4B antwortet schneller, weil pro Token nur 4 Milliarden Parameter rechnen. Das 375B-A23B nutzt du am besten über die API der Partner (z. B. Cerebras, AWS, Nebius). Alle VRAM-Werte sind Schätzungen, keine Herstellerangaben.

  • 7B in 4-Bit: grob 6–8 GB VRAM. In voller bfloat16-Genauigkeit (wie im vLLM-Beispiel) sind es etwa 15 GB oder mehr.
  • 0.9B und 3.7B laufen auch ohne Grafikkarte auf der CPU oder auf Apple-Silicon-Macs.
  • 32B und 36B-A4B brauchen in 4-Bit etwa 20–24 GB VRAM. Beim MoE-Modell müssen trotz nur 4B aktiver Parameter alle 36B in den Speicher passen.
  • Das 375B-A23B-Modell braucht Rechenzentrums-Hardware mit mehreren großen GPUs.
  • Langer Kontext kostet zusätzlich Speicher. Bei Speichermangel die Kontextlänge reduzieren.
Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Google Colab (im Browser, ohne Installation)

Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.

  1. Notebook herunterladen. Klick auf den Knopf und speichere die Datei.

    colab.ipynb herunterladen

  2. Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
  3. Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei colab.ipynb auswählen.
  4. Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
  5. Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
  6. Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 6 Minuten.
  7. Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
  8. Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.

Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.

Windows 10 / 11

Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.

  1. Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
  2. Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
  3. Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
  4. Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
    ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M
    Beim ersten Mal lädt Ollama das Modell herunter (5,6 GB (bei 100 MBit/s ca. 7 Min.)). Danach geht es sofort.
  5. Losschreiben. Sobald >>> Send a message erscheint, deine Frage eintippen und Enter drücken. Mit /bye beendest du den Chat.

Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M.

Lieber automatisch? Skript, das die passende Variante selbst auswählt
  1. Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
  2. Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
  3. Diesen Befehl einfügen und Enter drücken:
    powershell -ExecutionPolicy Bypass -File try_windows.ps1

Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.

macOS

Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.

  1. Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
  2. Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
  3. Modell starten. Befehl einfügen (Cmd + V) und Enter:
    ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M
    Beim ersten Mal wird das Modell heruntergeladen (5,6 GB (bei 100 MBit/s ca. 7 Min.)).
  4. Losschreiben. Frage eintippen, Enter. Mit /bye beenden.
Automatisch die passende Variante wählen

try_mac.sh

cd ~/Downloads
bash try_mac.sh

Linux

  1. Grafikkarte prüfen. nvidia-smi sollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:
    sudo ubuntu-drivers install
  2. Ollama installieren:
    curl -fsSL https://ollama.com/install.sh | sh
  3. Modell starten:
    ollama run hf.co/IFM/K2-Horizon-7B-GGUF:Q4_K_M
    Mit /bye beenden. Mit ollama ps siehst du, ob das Modell auf der GPU läuft.
  4. Oder automatisch die passende Variante wählen lassen:

    try_linux.sh

    bash try_linux.sh
    # mit Python/transformers statt Ollama:
    MODE=hf bash try_linux.sh

Das kannst du ausprobieren

Erkläre mir in drei Sätzen, was ein Mixture-of-Experts-Modell ist.
Ein Zug fährt um 9:40 Uhr mit 120 km/h los, ein zweiter um 10:10 Uhr mit 160 km/h auf derselben Strecke. Wann holt der zweite den ersten ein? Rechne Schritt für Schritt.
Schreibe eine Python-Funktion, die alle doppelten Dateien in einem Ordner anhand ihres Hashwerts findet, und erkläre den Code.
Hier ist eine Fehlermeldung aus meinem Programm: [Fehlermeldung einfügen]. Was ist die wahrscheinliche Ursache und wie behebe ich sie?
Plane eine Recherche zur Frage, ob sich eine Wärmepumpe in einem Altbau von 1960 lohnt: Welche Teilfragen, Quellen und Rechnungen brauche ich?

Tipps für bessere Ergebnisse

  • Fang mit dem 7B-Modell an und wechsle erst zu 32B oder 36B-A4B, wenn dir die Antworten nicht reichen. Die Familie ist ausdrücklich für diesen Weg gebaut.
  • Bei Mathe- und Logikaufgaben ausdrücklich um eine Schritt-für-Schritt-Lösung bitten, denn darauf sind die Modelle trainiert.
  • Für eigene Anwendungen mit vLLM lässt sich das Modell als OpenAI-kompatible Schnittstelle starten (z. B. Port 8000). So funktionieren viele bestehende Tools direkt.
  • Wenn du feintunen willst, ist laut IFM das 3.7B-Modell dafür besonders geeignet. Es ist schnell trainiert und braucht wenig Hardware.

Wenn es hakt

Neue Architektur (MoVA, Softplus-Gating): Ältere Versionen von vLLM, SGLang oder Transformers erkennen das Modell eventuell nicht. Also immer die neueste Version installieren.

Für Ollama gab es laut Berichten zum Start nur das 0.9B-Modell. Für die größeren Varianten musst du eventuell auf GGUF-Dateien aus der Community warten.

Die Lizenzangaben waren zum Start nicht einheitlich. Beim 0.9B fehlte zeitweise die LICENSE-Datei. Prüfe vor kommerzieller Nutzung die Modellkarte.

Gewichte und Code stehen unter Apache 2.0, die Trainingsdatensätze aber unter eigenen Lizenzen. Für eine Weiterverwendung der Daten musst du diese einzeln prüfen.

Das Tempo-Feature Uno (Diffusions-Adapter) wird möglicherweise nicht von jedem Tool unterstützt. Ohne Uno läuft das Modell mit normaler Geschwindigkeit.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.