Inkling 2 Mini: Thinking Machines bringt Schleifen-Modell für den heimischen PC

Das Start-up der früheren OpenAI-Technikchefin Mira Murati hat mit Inkling 2 Mini ein kompaktes, multimodales Modell mit frei herunterladbaren Gewichten veröffentlicht. Der Kniff: Ein Teil der Schichten wird dreimal hintereinander durchlaufen, so wirkt das Modell größer, als es ist. Laut Hugging Face spielt es auf dem Niveau von Qwen 3.8 27B und läuft dank 4-Bit-Version auch auf Grafikkarten für Privatleute.

Modell-Releases Selbst ausprobieren 20. Nov. 2026 8 Min. Lesezeit Quelle: Hugging Face Blog
Symbolbild, KI-generiert

Worum es geht

Thinking Machines Lab, das Start-up der früheren OpenAI-Technikchefin Mira Murati, hat Inkling 2 Mini veröffentlicht. Hugging Face stellt das Modell in einem gemeinsamen Blogbeitrag vor. Es ist das kleinste Mitglied der Inkling-2-Familie und ausdrücklich für den lokalen Einsatz gedacht, also für den eigenen PC, den Mac oder einen einzelnen Server. Die Gewichte liegen auf Hugging Face unter thinkingmachines/Inkling-2-Mini. Quantisierte Fassungen gibt es ebenfalls: 4-Bit- und 8-Bit-GGUF-Dateien für llama.cpp und MLX-Versionen für Apple-Rechner.

Das Modell verarbeitet Text und Bilder, kann bis zu 1 Million Tokens Kontext aufnehmen und Werkzeuge aufrufen (Tool Calling). Hugging Face schreibt, man sei „super begeistert“. In den eigenen, eher informellen Tests („Vibe-Tests“) sei das Modell mindestens mit Qwen 3.8 27B vergleichbar. Das Team räumt aber ein, dass noch mehr Prüfung nötig ist.

Der Trick mit der Schleife

Inkling 2 Mini ist ein Mixture-of-Experts-Modell (MoE). Statt eines großen Netzes gibt es viele spezialisierte Teilnetze, die „Experten“, und für jedes Token wird nur eine kleine Auswahl davon aktiv. Insgesamt hat das Modell rund 26 Milliarden Parameter, pro Token rechnen aber nur etwa 3 Milliarden mit. Deshalb ist es vergleichsweise schnell.

Die eigentliche Neuerung ist der Looped Transformer. Das Modell hat 24 physische Schichten. Die Schichten 0 bis 5 und 18 bis 23 laufen einmal durch, die zwölf mittleren Schichten 6 bis 17 dagegen dreimal hintereinander, und zwar jedes Mal mit denselben Gewichten. Rechnerisch verhält sich das Modell also, als hätte es 48 Schichten (6 + 3 × 12 + 6), muss aber nur 24 speichern. Man kann sich das vorstellen wie einen Text, den man dreimal überarbeitet, statt drei verschiedene Lektoren zu beschäftigen.

Schleifen haben schon andere Architekturen wie Nanbeige ausprobiert. Bei Inkling 2 Mini funktionieren sie aber besonders: Jeder Durchlauf durch den Schleifenkern startet mit derselben Eingabe, nämlich dem Ergebnis der ersten sechs Schichten. Was ein Durchlauf herausgefunden hat, gibt er über „Cross-Pass-Nachrichten“ an den nächsten weiter. Jede Schleifenschicht liest eine solche Nachricht aus den Ergebnissen des vorherigen Durchlaufs. Ein kleiner Steuermechanismus (Gating) entscheidet dann, wie viel von der aktuellen Eingabe vergessen und wie viel von der Nachricht übernommen wird. So verfeinert jeder Durchlauf die Arbeit des vorherigen.

Weitere technische Eckdaten laut Blogbeitrag:

Merkmal Inkling 2 Mini Inkling 2 Small
Schichtdurchläufe pro Token 48 48
Physische Schichten 24 (12 davon in der Schleife) k. A.
Hidden Size (Breite) 2.304 4.608
Experten pro Schicht 128 384
Aktive Experten pro Durchlauf 8 8
Parameter gesamt / aktiv ca. 26 Mrd. / 3 Mrd. 594 Mrd. / 17 Mrd.

In jedem Block aus sechs Schichten arbeiten fünf mit Sliding-Window-Attention: Sie schauen nur auf die letzten 1.024 Tokens, so wie man beim Lesen nur die letzten Absätze im Kopf behält. Nur eine Schicht pro Block sieht den gesamten Kontext. Das spart bei langen Texten Speicher und Rechenzeit. Die Attention nutzt 24 Query-Köpfe und acht KV-Köpfe. Jeder Durchlauf hat dabei seinen eigenen Zwischenspeicher (KV-Cache), sodass die Schleife beim Speicher nicht völlig umsonst ist.

Thinking Machines liefert die Experten-Gewichte in einem gemischten Format aus, NVFP4 und MXFP8. Das sind platzsparende 4- bzw. 8-Bit-Zahlenformate, die vor allem neuere Nvidia-Chips direkt beschleunigen. Dazu kommt ein DSpark-Drafter, ein kleines Hilfsmodell mit drei Schichten. Es rät mehrere Tokens im Voraus, das große Modell prüft sie nur noch. Diese Technik heißt Speculative Decoding und beschleunigt die Ausgabe bei etwas mehr Speicherbedarf.

Forschungsvariante mit einstellbarer Schleife

Neben dem eigentlichen Modell gibt es ein Forschungsartefakt namens TML-d24-varloop-research. Es hat dieselbe Architektur, wurde aber so trainiert, dass es mit einer variablen Zahl an Schleifendurchläufen zurechtkommt. Mit einem oder zwei statt drei Durchläufen rechnet es deutlich schneller, die Antworten können dann aber etwas schlechter ausfallen. Hugging Face hat die Variante getestet und schreibt, sie funktioniere. Gründlich ausgewertet habe man sie aber noch nicht.

Was das Modell kann: Benchmarks und Demos

Laut Hugging Face ist Inkling 2 Mini im Artificial Analysis Intelligence Index v5 das beste Modell seiner Klasse. Verglichen wurde es mit Gemma 4 31B, Muse Glimmer, Qwen3.8-27B und Nemotron 3.5 Super VL. In 32 von 48 Benchmarks liegt Inkling vorn. Sie decken Programmieren, Agenten-Suche und Werkzeugnutzung, Bildverständnis, logisches Denken sowie Sicherheit ab. Beim Programmieren führt es im FrontierCode v2.0, liegt im Terminal-Bench 4.0 gleichauf mit Qwen3.8-27B und hinter Qwen im AutomationBench-AA. Konkrete Zahlen nennt der Blogbeitrag nicht, sie stehen laut Hugging Face in der Model Card. Alle Vergleiche stammen von den beteiligten Unternehmen selbst.

Die Demos zeigen vor allem agentisches Programmieren mit dem Pi-Coding-Harness, also einer Umgebung, in der das Modell selbstständig Code schreibt, ausführt und Screenshots prüft:

  • Sternennacht als Animation: Aus einem Referenzbild von Van Goghs „Sternennacht“ schrieb das Modell eine HTML-Seite mit einem einzigen WebGL-Shader. Das Bild entsteht komplett aus Code, mit wirbelndem Himmel, schwankender Zypresse und flackernden Fenstern. Dafür hat Inkling sein Ergebnis in 24 Runden per Screenshot kontrolliert und verbessert.
  • Vom Serviettenentwurf zur App: Aus dem Foto einer handgezeichneten Skizze für eine App zum Aufteilen von Reisekosten baute das Modell eine funktionierende Web-App mit Ausgabenliste, Formular, Saldenansicht und Speicherung im Browser. Der erste von drei Versuchen bestand alle 13 automatisierten Prüfungen.
  • Website im 4-Bit-Modus: Auch die stark komprimierte IQ4_NL-Version baute aus einem einzigen Satz eine Website für eine fiktive Firma namens „Plant Therapy“, samt selbst gezeichneter SVG-Grafiken und Logik für die Zuordnung.
  • 3D-Flug: Im direkten Vergleich mit Qwen 3.8 27B erzeugten beide Modelle einen Sonnenuntergangs-Flug über prozedurale Berge.

Einstellen lässt sich die Denktiefe (reasoning_effort): von „none“ (0,0) über „low“ (0,2) und „medium“ (0,7) bis „high“ (0,9, Standard) und „max“ (0,99), oder als beliebige Zahl dazwischen. Je niedriger der Wert, desto weniger „Nachdenk-Tokens“ erzeugt das Modell und desto schneller kommt die Antwort.

Was du zum Ausprobieren brauchst

Der einfachste Weg führt über die Llama App (Mac und Windows) oder llama.cpp. Unter Linux genügt der Befehl llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL. Für die 8-Bit-Version ersetzt du die Endung durch :Q8_0. Die App stellt dann auch eine OpenAI-kompatible Schnittstelle bereit, die Coding-Agenten und Editoren nutzen können.

  • Grafikkarte: Die 4-Bit-Version eines Modells mit 26 Milliarden Parametern braucht grob geschätzt 16 bis 18 GB Grafikspeicher. Sie passt damit ungefähr auf eine Karte mit 24 GB. Mit 16 GB kann es eng werden, dann muss ein Teil in den Arbeitsspeicher ausgelagert werden. Das ist bei MoE-Modellen mit wenigen aktiven Parametern meist noch erträglich schnell. Die 8-Bit-Version braucht etwa doppelt so viel Speicher. Die Hersteller nennen dazu keine offiziellen Werte, die Angaben sind eigene Schätzungen.
  • Langer Kontext: 1 Million Tokens ist das Maximum, kostet aber viel zusätzlichen Speicher. Zu Hause solltest du mit deutlich kleineren Kontextlängen starten.
  • Mac: Über MLX läuft das Modell auf Apple Silicon, auch mit Bildern. Hugging Face hat die Demo-Animation auf einem M4 Max aufgezeichnet. Ein Mac mit 32 GB gemeinsamem Speicher dürfte für die 4-Bit-Variante reichen.
  • Rechenzentrum: SGLang unterstützt das Modell vom ersten Tag an, setzt laut Blog aber Nvidias neueste Architektur (SM103, etwa B300) voraus. Für Privatleute ist das nicht relevant.
  • Speicherplatz: Für die 4-Bit-Datei solltest du grob 15 bis 20 GB freien Platz einplanen.

Hintergrund: Thinking Machines und die Inkling-Familie

Mira Murati hat Thinking Machines im Februar 2025 unter anderem mit John Schulman und Lilian Weng gegründet. Im Juli 2025 sammelte das Start-up 2 Milliarden Dollar bei 12 Milliarden Dollar Bewertung ein. Laut Memeburn erschien das erste Modell, Inkling, im Juli 2026: ein MoE-Riese mit 975 Milliarden Parametern unter Apache-2.0-Lizenz, der sich nur auf Servern oder Workstations mit Hunderten Gigabyte RAM betreiben lässt. Memeburn weist darauf hin, dass im frühen Nachtraining auch synthetische Daten des chinesischen Modells Kimi K2.5 verwendet wurden.

Kurz vor dem Mini-Modell kam Inkling 2 Small mit 594 Milliarden Parametern (17 Milliarden aktiv). Laut Trending Topics war es im Index von Artificial Analysis mit 31 Punkten das stärkste offene Modell außerhalb Chinas, vor Mistral Large 4. Allerdings stand das unter dem Vorbehalt, dass die Gewichte tatsächlich erscheinen. Artificial Analysis kritisierte, dass der starke Rückgang der Halluzinationen vor allem daher komme, dass das Modell seltener antwortet. Parallel verhandelt Murati laut Business Insider über eine Finanzierung von 5 Milliarden Dollar.

Einordnung

Inkling 2 Mini ist interessant, weil es eine echte Architekturidee in ein Modell bringt, das man zu Hause nutzen kann. Die Schleife verschafft einem kleinen Modell mehr Rechentiefe, ohne den Speicherbedarf zu verdoppeln. Die Forschungsvariante mit einstellbarer Schleifenzahl macht diese Idee zum Ausprobieren greifbar. Mit Bildverständnis, Tool Calling, einstellbarer Denktiefe und Unterstützung in allen gängigen Programmen zum Start ist es ein ernsthafter Kandidat für lokales Programmieren und für Agenten.

Vorsicht ist trotzdem angebracht. Die Benchmark-Aussagen stammen von Hugging Face und Thinking Machines, unabhängige Ergebnisse fehlen noch. Hugging Face selbst schreibt, es brauche „mehr Validierung“. Auch die Lizenz für das Mini-Modell nennt der Blogbeitrag nicht ausdrücklich. Die Vorgänger erschienen unter Apache 2.0, ergänzt um eine Nutzungsrichtlinie. Der Vergleich mit Qwen 3.8 27B ist spannend: Inkling braucht pro Token nur einen Bruchteil der aktiven Parameter. Ob es im Alltag wirklich mithält, werden die nächsten Wochen zeigen.

Quellen

#thinking machines#inkling#open weights#moe#lokale ki#multimodal
Originalquelle lesen

Selbst ausprobieren: Inkling 2 Mini

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Inkling 2 Mini ist ein lokales Allround-Modell für Text und Bilder mit Stärken beim Programmieren und bei Agenten-Aufgaben. Es kann aus einer kurzen Beschreibung komplette Webseiten oder kleine Web-Apps in einer einzigen HTML-Datei bauen. Aus Fotos von Skizzen erkennt es Beschriftungen und Notizen und setzt sie in Code um. Es beschreibt Bilder, beantwortet Fragen dazu und kann Werkzeuge wie eine Wetter-API selbstständig aufrufen. Wie lange es nachdenkt, lässt sich von „none“ bis „max“ einstellen. Laut Hugging Face spielt es in eigenen Tests mindestens auf dem Niveau von Qwen 3.8 27B, braucht pro Token aber nur rund 3 Milliarden aktive Parameter und ist dadurch flott. Unabhängige Tests fehlen noch, und an die großen Cloud-Modelle reicht ein Modell dieser Größe nicht heran.

Für wen lohnt es sich?

Es lohnt sich für alle, die eine Grafikkarte mit etwa 24 GB Speicher oder einen Mac mit 32 GB oder mehr besitzen und einen lokalen Programmierhelfer oder Agenten suchen, der auch Bilder versteht. Bastler, die sich für neue Architekturen interessieren, können mit der Forschungsvariante die Schleifentiefe selbst ausprobieren. Wer nur 8 GB Grafikspeicher hat oder ein ganz einfaches Chatmodell sucht, ist mit kleineren Modellen besser bedient.

Ideen: Was du damit anstellen kannst

Skizze wird zur Web-App

Fotografiere eine handgezeichnete App-Idee, etwa einen Reisekosten-Rechner, und gib das Bild mit der Bitte um eine HTML-App an das Modell. Es liest Beschriftungen und Notizen und baut daraus eine funktionierende Seite, die du im Browser öffnen kannst.

Website für Verein oder Hobby

Beschreib in ein, zwei Sätzen, worum es geht, zum Beispiel um deinen Gartenverein. Inkling 2 Mini erstellt eine komplette HTML-Seite mit eigenen Grafiken, die du direkt anpassen und hochladen kannst.

Lokaler Programmierhelfer

Binde das Modell über die OpenAI-kompatible Schnittstelle der Llama App in deinen Code-Editor ein. Es erklärt Code, schreibt Funktionen oder repariert Fehler, und dein Quellcode verlässt dabei nicht deinen Rechner.

Fotos und Dokumente verstehen

Lade ein Bild hoch, etwa einen Screenshot, ein Diagramm oder ein Foto eines Schildes, und lass es dir beschreiben oder erklären. Praktisch für Barrierefreiheit oder zum schnellen Auswerten von Material.

Eigene Werkzeuge anbinden

Mit Tool Calling kann das Modell selbst entscheiden, wann es eine Funktion aufruft, etwa eine Wetter-Abfrage oder eine Datenbanksuche. So baust du kleine Assistenten, die echte Daten nutzen.

Kreative Shader-Kunst

Lass dir animierte Szenen in WebGL schreiben, von Sonnenuntergängen bis zu Gemälde-Nachbauten wie Van Goghs Sternennacht. Das Ergebnis läuft als einzelne HTML-Datei im Browser.

Größe26,4 Mrd. Parameter (3 Mrd. aktiv)
Download18 GB (bei 100 MBit/s ca. 23 Min.)
Lizenzapache-2.0
ArtBild + Text (versteht Bilder)

Was dein Rechner braucht

Grafikkarte (NVIDIA), komplett im VRAM mind. 12 GB VRAM, empfohlen 20 GBz. B. RTX 3090, RTX 4090, Tesla P40 – am schnellsten; mit weniger VRAM siehe nächste Zeile
Grafikkarte + Arbeitsspeicher (MoE-Offloading) ab ca. 6 GB VRAM + 32 GB RAMdie Experten liegen im Arbeitsspeicher, nur der Kern auf der Grafikkarte (llama.cpp/LM Studio). Langsamer als komplett im VRAM, aber auf normalen PCs machbar
Mac (Apple Silicon M1–M5) ab 32 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Nur Prozessor (ohne Grafikkarte) Ohne Grafikkarte flüssig nutzbargeschätzt 12 Wörter pro Sekunde auf einem aktuellen Desktop-PC (MoE: nur 3 Mrd. Parameter pro Wort aktiv). Dafür mindestens 32 GB Arbeitsspeicher.
Speicherplatz ca. 20 GB freiModell-Download plus Programme
Google Colab läuft kostenlosGratis-GPU Tesla T4 mit 15 GB reicht

Welche Variante passt zu mir?

Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.

VarianteDownloadBraucht ca.Passende Grafikkarten
UD-Q2_K_XL 9,1 GB12 GBz. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT
UD-Q3_K_XL 14 GB16 GBz. B. RTX 4060 Ti 16 GB, RTX 4080, RTX 5080, RX 7800 XT
UD-Q4_K_XL Standard 18 GB20 GBz. B. RTX 3090, RTX 4090, Tesla P40
UD-Q8_K_XL 23 GB26 GBz. B. RTX 5090

Für die meisten ist die 4-Bit-GGUF (IQ4_NL) aus ggml-org/Inkling-2-Mini-GGUF der beste Start. Sie passt grob geschätzt auf Karten mit 24 GB, mit 16 GB muss teilweise in den Arbeitsspeicher ausgelagert werden. Wer viel Speicher hat (ca. 32 GB oder mehr), nimmt die 8-Bit-Version Q8_0 für etwas bessere Qualität. Auf dem Mac nutzt du MLX, entweder die Quants aus mlx-community oder das Original-Checkpoint im nativen NVFP4/MXFP8-Format, also ohne Qualitätsverlust durch Umwandlung. Die Forschungsvariante TML-d24-varloop-research (ebenfalls als GGUF) lohnt sich, wenn du mit 1 oder 2 Schleifendurchläufen mehr Tempo willst. SGLang ist nur für Rechenzentrumshardware gedacht.

  • Die 4-Bit-Version (IQ4_NL) braucht grob geschätzt 16 bis 18 GB Grafikspeicher. Ideal ist eine Karte mit 24 GB.
  • Die 8-Bit-Version (Q8_0) braucht etwa doppelt so viel Speicher, also ungefähr 30 GB.
  • Auf Apple Silicon läuft das Modell über MLX inklusive Bildeingabe. Hugging Face hat die Demos auf einem M4 Max gezeigt.
  • Der maximale Kontext von 1 Million Tokens kostet viel zusätzlichen Speicher. Zu Hause besser mit 8.000 bis 32.000 Tokens starten.
  • SGLang setzt laut Blog eine Nvidia-GPU mit SM103-Architektur (z. B. B300) voraus und ist nichts für Heim-PCs.
  • Weil pro Token nur etwa 3 Milliarden Parameter aktiv sind, bleibt das Modell auch bei teilweisem Auslagern in den RAM vergleichsweise schnell.
Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Google Colab (im Browser, ohne Installation)

Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.

  1. Notebook herunterladen. Klick auf den Knopf und speichere die Datei.

    colab.ipynb herunterladen

  2. Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
  3. Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei colab.ipynb auswählen.
  4. Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
  5. Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
  6. Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 10 Minuten.
  7. Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
  8. Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.

Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.

Windows 10 / 11

Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.

  1. Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
  2. Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
  3. Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
  4. Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
    ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL
    Beim ersten Mal lädt Ollama das Modell herunter (18 GB (bei 100 MBit/s ca. 23 Min.)). Danach geht es sofort.
  5. Losschreiben. Sobald >>> Send a message erscheint, deine Frage eintippen und Enter drücken. Mit /bye beendest du den Chat.

Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q2_K_XL.

Lieber automatisch? Skript, das die passende Variante selbst auswählt
  1. Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
  2. Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
  3. Diesen Befehl einfügen und Enter drücken:
    powershell -ExecutionPolicy Bypass -File try_windows.ps1

Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.

macOS

Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.

  1. Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
  2. Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
  3. Modell starten. Befehl einfügen (Cmd + V) und Enter:
    ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL
    Beim ersten Mal wird das Modell heruntergeladen (18 GB (bei 100 MBit/s ca. 23 Min.)).
  4. Losschreiben. Frage eintippen, Enter. Mit /bye beenden.
Automatisch die passende Variante wählen

try_mac.sh

cd ~/Downloads
bash try_mac.sh

Linux

  1. Grafikkarte prüfen. nvidia-smi sollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:
    sudo ubuntu-drivers install
  2. Ollama installieren:
    curl -fsSL https://ollama.com/install.sh | sh
  3. Modell starten:
    ollama run hf.co/unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL
    Mit /bye beenden. Mit ollama ps siehst du, ob das Modell auf der GPU läuft.
  4. Oder automatisch die passende Variante wählen lassen:

    try_linux.sh

    bash try_linux.sh
    # mit Python/transformers statt Ollama:
    MODE=hf bash try_linux.sh

Das kannst du ausprobieren

Warum ist der Himmel blau? Erkläre es so, dass ein Zehnjähriger es versteht.
Was ist auf diesem Bild zu sehen? Beschreibe alle Details und lies vorhandene Beschriftungen vor. (mit angehängtem Foto)
Baue mir eine Website für mein Start-up „Pflanzentherapie“, das Zimmerpflanzen an zugelassene Therapeuten vermittelt. Liefere alles in einer einzigen HTML-Datei.
Hier ist ein Foto meiner handgezeichneten App-Skizze. Setze sie als funktionierende Web-App in einer HTML-Datei mit reinem HTML, CSS und JavaScript um und speichere die Daten in localStorage.
Schreibe eine einzelne index.html mit einem WebGL-Fragment-Shader, der einen endlosen Kameraflug über prozedural erzeugte Berge bei Sonnenuntergang zeigt, ohne externe Dateien.

Tipps für bessere Ergebnisse

  • Für Programmieraufgaben lohnt sich ein Agenten-Werkzeug wie der Pi-Coding-Harness oder ein Editor, der über die OpenAI-kompatible Schnittstelle der Llama App angebunden ist. So kann das Modell seine Ergebnisse selbst testen und verbessern.
  • Lass das Modell seine eigene Arbeit prüfen: In den Demos hat es Screenshots seiner Ergebnisse angeschaut und in bis zu 24 Runden nachgebessert.
  • Für einfache Fragen und Tool-Aufrufe reicht reasoning_effort="low" und spart viel Zeit. Für komplexen Code nutzt du „high“ oder „xhigh“.
  • Formuliere Aufgaben wie eine Spezifikation: Was genau soll herauskommen, in welchem Format (z. B. eine einzige HTML-Datei), welche Einschränkungen gelten.
  • Wenn die 4-Bit-Version zu ungenau wirkt und genug Speicher da ist, wechsle auf Q8_0. Auf dem Mac kannst du das Original-Checkpoint mit MLX laden.

Wenn es hakt

Das Modell ist eine neue Architektur. Du brauchst aktuelle Versionen von llama.cpp/Llama App, Transformers, mlx-lm oder SGLang, ältere Versionen laden es nicht.

In Transformers wird das Modell über die Klasse AutoModelForMultimodalLM geladen, nicht über AutoModelForCausalLM.

Bei der Forschungsvariante wird die Zahl der Durchläufe über text_config={"loop_num_passes": 2} beim Laden gesetzt. Weniger Durchläufe sind schneller, liefern aber eventuell schlechtere Antworten.

Standardmäßig ist reasoning_effort auf „high“ (0,9) eingestellt, dann kann das Modell lange nachdenken. Für schnelle Antworten „low“ oder „none“ wählen.

Der Speculative-Decoding-Drafter (DSpark) ist in SGLang nur mit --speculative-algorithm DSPARK aktiv und begrenzt dort den Kontext laut Beispiel auf 131.072 Tokens.

Die Lizenz des Mini-Modells nennt der Blogbeitrag nicht ausdrücklich. Prüfe vor kommerzieller Nutzung die Model Card auf Hugging Face.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.