Die große KI baut die Zwerg-KI: Was Mini-Modelle auf Diskette wirklich wissen

Bastler lassen Claude neuerdings nicht nur den Code schreiben, sondern auch die Trainingsdaten und das Training selbst. Herauskommen Modelle für DOS-PCs, Game Boys und Mikrocontroller, die Fakten statt Kindergeschichten können. Wir haben die Projekte nebeneinandergelegt und nachgerechnet, was sie wirklich leisten und ob das überhaupt erlaubt ist.

Analysen 16. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Ein Sprachmodell auf dem Mikrocontroller, auf dem Commodore oder auf dem Game Boy war bisher fast immer dieselbe Vorführung. Es lief ein Checkpoint von TinyStories, einem Datensatz aus einfachen Kindergeschichten. Das Modell erzeugte Sätze wie „Lily ging in den Park“, und sonst konnte es nichts. Die übliche Kritik („das ist kein Chatbot“) traf deshalb fast immer zu.

In den letzten Tagen ist etwas Neues dazugekommen. Bastler lassen ein großes Claude-Modell nicht nur den Inferenz-Code schreiben, sondern auch die Trainingsdaten erzeugen und den Trainingslauf steuern. Das bekannteste Beispiel ist Tiny-2.1: ein Frage-Antwort-Modell mit 367.000 Parametern, das unter DOS von einer Diskette läuft. Dazu kommt Tim Hwangs Game-Boy-Modell mit 6 Millionen Parametern. Unsere Frage ist: Steckt in diesen Zwergen echtes, verdichtetes Wissen, oder sind sie nur eine sehr teuer gebaute Nachschlagetabelle?

Tiny-2.1: Was im README steht und was fehlt

Das Repository github.com/WollyMonjac/Tiny-2.1 beschreibt einen Transformer in Turbo C 2.0. Er hat 4 Schichten mit einer Breite von 96 und arbeitet auf Zeichenebene: Er liest und schreibt Buchstabe für Buchstabe, statt mit Wortstücken zu rechnen. Die Gewichte sind mit 8 Bit gespeichert, mit einem Skalierungsfaktor pro Zeile. Die Datei TINY.BIN ist etwa 380 KB groß. Zum Laufen braucht das Programm rund 540 KB freien konventionellen Speicher, also den klassischen DOS-Arbeitsspeicher unterhalb von 640 KB. Im README heißt es knapp:

„Geschrieben von Fable 5.2 und trainiert von Opus 5.5.“

Laut README.TXT kennt das Modell etwa 3.500 Fakten zu Ländern, chemischen Elementen, Tieren, Wissenschaft und Geschichte. Dazu kommen einfache Fremdwörter, Rechnen und Buchstabieren. Die Grenzen sind eng gezogen: Summen gehen nur bis 20 + 20, Multiplikation nur bis zum Zwölfer-Einmaleins. Mit einem Mathe-Koprozessor (FPU, ein Zusatzchip für Kommazahlen, ab dem 486DX eingebaut) dauert eine Antwort „ein paar Sekunden“, ohne ihn „mehrere Minuten“. Eine Angabe in Token pro Sekunde gibt es nicht.

Die viel zitierten Trefferquoten stammen aus dem README selbst. Bei Fragen im trainierten Wortlaut sind etwa 90 Prozent der Antworten richtig. Bei 780 Testfragen mit „neuen Formulierungen und neuen Kombinationen“ sind es etwa 61 Prozent. Die erste Version kam im selben Test auf 6 Prozent. Als Schwächen nennt das README Fragen zu zwei Ländern gleichzeitig, seltene Elemente, Division und erfundene Namen. Bei Letzteren denkt sich das Modell oft eine Antwort aus, statt zuzugeben, dass es sie nicht weiß.

Wie die Testfragen entstanden sind, verrät das README nicht. Unklar ist auch, ob dasselbe Modell sie formuliert hat, das die Trainingsdaten geschrieben hat. Das README verweist zwar auf ein „TRAINKIT“-Archiv mit Datengenerator und Trainingsskript. Im Repository fehlt es aber. Ein offenes Issue vom 16. November fragt genau danach. Pasquale Pillitteri kritisiert, dass anfangs nur ein Video als Beleg existierte. Seine Einschätzung:

„Es zeigt, dass die Architektur auf die Diskette passt, nicht, dass sie neue Fragen beantworten kann.“

WindowsForum bemängelt, dass niemand das Projekt unabhängig nachgemessen hat. Inzwischen sind die Binärdateien und der Quellcode zwar öffentlich, unabhängige Tests von außen haben wir aber nicht gefunden.

Die Projekte im Vergleich

Projekt Parameter Größe Datenquelle Tempo Was es wirklich kann
Tiny-2.1 (DOS) 367.000 ca. 380 KB (8 Bit) ca. 3.500 Fakten, laut Berichten von Opus 5.5 erzeugt „ein paar Sekunden“ pro Antwort mit FPU Faktenfragen: 90 % im Trainingswortlaut, 61 % bei neuer Formulierung
Tim Hwangs Game-Boy-Modell 6 Mio. 3,2 MB von Claude trainiert, Datenquelle offen keine Angabe Gespräch mit einem Finken, der viel über den Unabhängigkeitskrieg weiß
esp32-ai (ESP32-S3) 28,9 Mio. (nur 556.416 im Kern) 14,9 MB (4 Bit) 300 MB TinyStories 9,88 Token/s, im Fork von InsiderLLM 22,6 Kindergeschichten
Habr-Artikel (ESP32-S3) 260.000 274 KB (8 Bit) TinyStories (Karpathy) 406 Token/s Kindergeschichten
vellm (DOS) 15 Mio. / 42 Mio. 8 Bit (Q8_0) TinyStories 0,27 / 0,11 Token/s auf Pentium OverDrive 83 MHz Kindergeschichten, Code laut README zu „100 %“ von Claude Code
Single Floppy 346K 346.104 1,32 MB (FP32) 1,36 MB Capybara-ShareGPT keine Angabe laut Autor „immer noch Unsinn“
tiny-voca (TTS) 4,5 Mio. 18–21 MB 17,6 Std. synthetische Sprache aus Qwen3-TTS ca. 70-fache Echtzeit auf 4 CPU-Threads englische Sprachausgabe, 2 Stimmen
Hugging Face PyBot kein neuronales Netz ca. 500.000 Zeilen Python von über 1.000 Agenten geschrieben ca. 1 s pro Antwort ca. 26 % Gewinnrate, etwa auf dem Niveau von SmolLM-360M

Zu Tim Hwangs Projekt gibt es bisher nur seinen Post auf X: Claude habe „eine volle Woche und eine lächerliche Menge Fable-Credits“ gebraucht, um ein 6-Millionen-Modell in 3,2 MB für den Game Boy zu trainieren. Ein Repository, Gewichte oder Messwerte haben wir nicht gefunden. Rechnet man nach, entfallen auf jeden Parameter etwa 4,3 Bit (3,2 MB × 8 ÷ 6 Mio.). Unsere Vermutung ist deshalb eine 4-Bit-Quantisierung. Bei der Quantisierung werden die Zahlen des Modells gröber gespeichert, damit es kleiner wird. Zur Einordnung: Der ursprüngliche Game Boy taktet mit 4,19 MHz und hat 8 KiB Arbeitsspeicher. Eine frühere Demo mit TinyStories-260K auf dem Game Boy Color schaffte laut einem Kommentator rund 0,006 Token pro Sekunde und lieferte laut ihrem Erbauer „Kauderwelsch“.

Warum Token/s ohne Parameterzahl nichts sagen

Die Tabelle zeigt ein Grundproblem. Die 406 Token/s aus dem Habr-Titel und die rund 20 Token/s, die andere auf dem ESP32 messen, stammen vom selben Chip. Der Unterschied liegt in den Modellen: 260.000 gegenüber 28,9 Millionen Parametern. Beim Habr-Projekt passt das 260K-Modell nach der Umstellung auf 8 Bit mit 274 KB fast komplett in den schnellen internen Speicher. Der Autor hat es mit Vektorbefehlen und beiden Prozessorkernen auf das 18-Fache seiner naiven Ausgangsversion beschleunigt und Schritt für Schritt geprüft, dass am Ende dieselben Token herauskommen.

Selbst die Parameterzahl kann täuschen. Vom 28,9-Millionen-Modell gehören laut Model Card 25,2 Millionen zu einer Per-Layer-Embedding-Tabelle. Das ist eine Art Nachschlagetabelle im Flash-Speicher, von der pro Token nur wenige Zeilen gelesen werden. Der eigentliche Rechenkern hat nur 556.416 Parameter, kaum mehr als Tiny-2.1.

Auf alten PCs ist das Muster dasselbe. Laut den Messungen von dosllam2 schafft ein Pentium MMX mit 200 MHz unter DOS 15,32 Token/s mit dem 260K-Modell, aber nur 0,43 Token/s mit dem 15M-Modell. Das ist ein Faktor 36. Unsere Einschätzung: Eine Tempoangabe ohne Parameterzahl, Quantisierung und Speicherort ist für einen Vergleich wertlos.

Destillation oder Nachschlagetabelle?

Destillation heißt: Ein kleines Modell lernt aus den Ausgaben eines großen. Das ist an sich nichts Neues. Auch TinyStories ist laut dem zugehörigen Paper ein synthetischer Datensatz, den GPT-3.5 und GPT-4 geschrieben haben. Die alte Welle der Mini-Demos war also ebenfalls destilliert, nur von OpenAI-Modellen und eben auf Kindergeschichten.

Neu ist die Spezialisierung, und die lässt sich grob nachrechnen. Allen-Zhu und Li haben 2024 gemessen, dass Sprachmodelle höchstens etwa 2 Bit Wissen pro Parameter speichern, auch mit 8-Bit-Quantisierung. Für Tiny-2.1 ergibt das rund 734.000 Bit oder etwa 92 KB. Geteilt durch 3.500 Fakten bleiben pro Fakt rund 210 Bit, also etwa 26 Zeichen. Das reicht für „Hauptstadt von Peru: Lima“, aber kaum für mehr. Unsere Einschätzung: Das Modell ist ziemlich genau so groß, wie es für seinen Faktenbestand sein muss. Viel Platz für Verallgemeinerung bleibt nicht.

Auch das Rechnen deutet darauf hin. Summen bis 20 + 20 sind 441 Kombinationen, das Zwölfer-Einmaleins umfasst 144 Aufgaben. Das kann ein Modell vollständig auswendig lernen. Dass Division am schlechtesten klappt, passt ebenfalls dazu.

Ist das also nur eine Nachschlagetabelle? Nicht ganz. Eine reine Tabelle mit exaktem Textvergleich käme bei neu formulierten Fragen auf null Prozent. Tiny-2.1 schafft 61 Prozent und verträgt Tippfehler. Version 1 lag noch bei 6 Prozent, der Fortschritt ist also echt. Allerdings zeigt PyBot, dass Agenten auch ohne neuronales Netz robuste Mustererkennung programmieren können. Unsere Einschätzung: Tiny-2.1 ist eine gelernte, unscharfe Suche über einen festen Faktenbestand, den Opus vorgegeben hat. Die Antworten kann es abrufen, die Denkfähigkeit des Lehrers hat es nicht übernommen. Wo das Modell nichts weiß, erfindet es laut README selbstbewusst etwas. Darin unterscheidet es sich nicht von seinen großen Verwandten.

Das Gegenbeispiel liefert das Hugging-Face-Modell Single Floppy 346K. Es hat fast genauso viele Parameter, wurde aber auf allgemeinen Chat-Daten trainiert und erzeugt laut seinem Autor „immer noch Unsinn“. Laut RuntimeWire schnitt es nach seinen Worten sogar schlechter ab als ein Modell mit 1.000 Parametern. Eine Messmethode nennt er nicht. Der Unterschied zu Tiny-2.1 liegt nicht in der Größe, sondern im eng zugeschnittenen Lernstoff.

Was kostet das, und ist es erlaubt?

Hwang beziffert seine „lächerliche Menge Fable-Credits“ nicht. Bekannt ist: Fable 5.2 kostet über die API laut Founderz 8 US-Dollar pro Million Eingabe-Token und 40 US-Dollar pro Million Ausgabe-Token. Ein einzelner achtstündiger Agentenlauf für ein Spiel kam dort auf rund 550 US-Dollar. Pro- und Team-Nutzer konnten Fable seit dem 9. November bis zur Hälfte ihres Wochenlimits ohne Zusatzkosten nutzen. Diese Gratiswoche endet am 16. November um 23:59 Uhr pazifischer Zeit. Danach wird Fable wieder über Nutzungsguthaben abgerechnet. Wochenlange Trainingsläufe werden dann zum echten Kostenfaktor.

Heikler ist die Rechtslage. Anthropics Nutzungsrichtlinie (gültig ab 12. November 2026) verbietet unter „Do Not Abuse Our Platform“ ausdrücklich, Ausgaben zum Training eines KI-Modells zu nutzen, „etwa ‚Model Distillation‘“, sofern Anthropic das nicht vorher erlaubt hat. Ein Konkurrenzprodukt muss dafür nicht im Spiel sein. Die Verbraucher-AGB (Abschnitt 3) und die kommerziellen Bedingungen (D.4) verbieten zusätzlich, mit den Diensten konkurrierende Produkte zu bauen, „einschließlich“ des Trainings konkurrierender KI-Modelle.

Den Trainingscode von Claude schreiben zu lassen, ist davon nicht betroffen, wie bei vellm. Wenn aber Opus die Fakten erzeugt hat, mit denen Tiny-2.1 trainiert wurde, fällt das dem Wortlaut nach unter das Verbot. Ob Anthropic gegen Hobbyprojekte vorgeht, ist offen. Laut Pillitteri hatte sich das Unternehmen bis zum 15. November nicht geäußert.

Unser Fazit

Die neue Welle ist ein echter Schritt über TinyStories hinaus. Ein großes Modell schneidet einen schmalen Wissensausschnitt zu und verdichtet ihn so weit, dass er auf eine Diskette passt. Bei neu formulierten Fragen gelingt das zu 61 Prozent, wenn man den Herstellerangaben glaubt. Unsere Einschätzung: Das ist Destillation von Wissen, aber nicht von Intelligenz. Näher an der Wahrheit als „Chatbot“ ist „lernfähiges Lexikon mit 3.500 Einträgen“.

Für die Praxis ist das interessanter, als es klingt. Ein Mikrocontroller, der 200 feste Fragen zu einer Maschine oder einem Museumsexponat tolerant beantwortet, braucht genau so etwas. Offen bleiben drei Dinge: unabhängige Tests (Testdaten und Generator fehlen), die tatsächlichen Kosten der Agenten-Trainingsläufe und die Frage, ob solche Projekte überhaupt mit Anthropics eigenen Regeln vereinbar sind. Wer künftig Token/s-Rekorde liest, sollte zuerst nach der Parameterzahl fragen und danach, was das Modell eigentlich weiß.

#mini-modelle#claude#destillation#retro-computing#mikrocontroller#esp32

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.