Meta-Paper: Kleine KI-Modelle lesen Rohbytes statt Tokens

Worum es geht

Unter dem Titel „Meta trained small AI models to read raw bytes instead of tokens“ wurde im Forum r/LocalLLaMA ein arXiv-Paper (Kennung 2609.12303) vorgestellt. Die Quelle ist die Zusammenfassung eines Nutzers, nicht das Paper selbst. Alle Angaben hier beruhen darauf, und die Zuordnung zu Meta stammt aus dem Titel des Beitrags. Das Paper selbst konnte ich nicht einsehen.

Die Grundidee: Heutige Sprachmodelle zerlegen Text zuerst in Tokens. Das sind Wortbausteine aus einer festen Liste, ein Token umfasst meist etwa 4–5 Buchstaben. Hier lesen die Modelle stattdessen die rohen Bytes, also praktisch Buchstabe für Buchstabe, und brauchen keine riesige Wortliste mehr.

Wie das Experiment aufgebaut war

Die Forschenden trainierten kleine Modelle mit rund 1 Milliarde Parametern. Parameter sind grob gesagt die Stellschrauben, die ein Modell beim Training lernt. Ein Teil der Modelle arbeitete mit Tokens, ein Teil mit Bytes.

Trainiert wurde teilweise per Destillation: Ein kleines „Schüler“-Modell lernt, indem es ein größeres „Lehrer“-Modell nachahmt, hier Llama 3 8B. Das war der knifflige Teil, denn der Lehrer denkt in Tokens, der Schüler liest Bytes. Die Autoren mussten daher einen sauberen Weg finden, die Ausgaben beider Seiten ineinander zu übersetzen. Details dazu nennt die Quelle nicht.

Was sie fanden

• Bei wenig Training gewinnen die Token-Modelle deutlich.
• Bei mehr Training flachen die Token-Modelle ab, die Byte-Modelle werden weiter besser.
• Verlängert man die Trendlinien, übertrifft das Byte-Modell Llama 3.2 1B und Gemma 3 1B um einige Punkte.
• Die Byte-Modelle erreichten das gleiche Niveau mit etwa 6-mal weniger Text.

Die Einschränkungen

Der Beitragsautor nennt selbst mehrere Haken:

• Die Überlegenheit gegenüber Llama und Gemma ist eine Vorhersage. Die Kurven wurden über das tatsächlich Trainierte hinaus verlängert. In den echten Läufen lag das Token-Modell noch vorn.
• Byte für Byte zu lesen ist langsamer. Da ein Token 4–5 Buchstaben entspricht, braucht man grob 5-mal mehr Schritte für denselben Text. Es werden also weniger Daten, aber mehr Rechenaufwand benötigt.
• Tokens sind nicht ganz verschwunden, weil der Lehrer sie weiter nutzt.
• Getestet wurde nur mit kleinen Modellen; ob es bei größeren Modellen gilt, ist offen.

Einordnung

Für kleine Modelle auf Handys und Laptops wäre es wertvoll, aus gleicher Größe mehr Qualität herauszuholen. Der Beitragsautor vermutet zudem, dass der Verzicht auf die große Wortliste Schwächen wie das falsche Zählen von Buchstaben in Wörtern mindern könnte. Das ist eine Vermutung, kein belegtes Ergebnis. Entscheidend bleibt, ob sich der Trend bei echtem, längerem Training bestätigt und ob Byte-Modelle schnell genug laufen können. Der Autor fragt in der Community genau danach. Bis das Paper geprüft ist, sollte man die Ergebnisse als vielversprechende, aber vorläufige Forschung betrachten.