DiffusionGemma: Googles offenes KI-Modell schreibt ganze Textblöcke statt Wort für Wort

Worum es geht

Google DeepMind hat ein neues Mitglied der offenen Gemma-4-Familie veröffentlicht, das grundlegend anders arbeitet als fast alle heutigen Chatbots: DiffusionGemma. Statt Text Wort für Wort von links nach rechts zu schreiben, erzeugt das Modell ganze Textblöcke auf einmal und verfeinert sie in mehreren Durchgängen, bis lesbarer Text entsteht. Das Ziel ist Tempo: Google verspricht bis zu viermal schnellere Textausgabe als bei klassischen Modellen gleicher Größe.

Das Modell ist ausdrücklich als experimentell gekennzeichnet und richtet sich an Entwickler und Forschende, nicht an Endnutzer. Die Gewichte stehen unter der freizügigen Apache-2.0-Lizenz auf Hugging Face und GitHub bereit, sie dürfen also auch kommerziell genutzt, verändert und weitergegeben werden. Außerdem lässt sich DiffusionGemma in der Cloud über Google Cloud Model Garden und Nvidia NIM nutzen.

Wie Diffusion bei Text funktioniert

Nahezu alle großen Sprachmodelle sind autoregressiv – sie erzeugen ein Token (ein Wortstück) nach dem anderen, und jedes neue Token hängt von allen vorherigen ab. Das ist ein bisschen wie Tippen auf einer Schreibmaschine. Die Google-Forscher Brendan O'Donoghue und Sebastian Flennerhag beschreiben den Unterschied in ihrem Blogbeitrag so:

Es macht aus der Modell-Inferenz statt einer einzelnen, sequenziellen Schreibmaschine eine riesige Druckerpresse, die den gesamten Textblock auf einmal stempelt.

DiffusionGemma übernimmt das Prinzip von KI-Bildgeneratoren. Diese starten mit reinem Bildrauschen und entfernen es Schritt für Schritt, bis ein Bild entsteht. Bei DiffusionGemma ist der Startpunkt eine „Leinwand aus zufälligen Platzhalter-Token“ – also unlesbarer Zeichensalat. In mehreren Durchgängen bestimmt das Modell, welche Token es schon sicher vorhersagen kann, und nutzt diese, um die übrigen besser zu schätzen. Am Ende steht ein „entrauschter“ Block von bis zu 256 Token.

Dazu kommen zwei Eigenschaften, die klassische Modelle so nicht haben:

• Bidirektionale Attention – jedes Token im Block kann alle anderen „sehen“, auch die, die eigentlich später im Text stehen. Das Modell hat so einen Überblick über den ganzen Abschnitt statt nur über das bisher Geschriebene.
• Selbstkorrektur – über eine Art Zuversichtswert (Confidence Score) prüft das Modell im nächsten Durchgang Token erneut und kann Widersprüche innerhalb desselben Blocks ausbessern, statt einen Fehler wie ein autoregressives Modell einfach „weiterzuschleppen“.

Technisch verschiebt das den Engpass: Bei autoregressiven Modellen bremst vor allem die Speicherbandbreite – die Grafikkarte wartet ständig darauf, dass Daten aus dem Speicher geladen werden, und rechnet pro Schritt nur ein einziges Token. DiffusionGemma gibt dem Chip pro Durchgang deutlich mehr Rechenarbeit, wodurch eine einzelne GPU besser ausgelastet wird. Laut Computerworld bleiben GPUs und TPUs bei lokalen Einzelnutzer-Szenarien sonst oft unterbeschäftigt.

Zahlen und Technik

DiffusionGemma baut auf Gemma 4 und Googles Forschungsprojekt Gemini Diffusion auf. Es ist ein Mixture-of-Experts-Modell (MoE) – das Netz besteht aus vielen spezialisierten Teilnetzen („Experten“), von denen pro Rechenschritt nur wenige arbeiten.

Laut Ars Technica entspricht das etwa dem Vierfachen der Ausgabe ähnlich großer autoregressiver Gemma-Modelle. Unabhängige Messungen liegen in den Quellen nicht vor – die Tempoangaben stammen von Google.

Wofür das Modell gedacht ist

Google sieht die Stärken vor allem bei Aufgaben, die nicht streng linear sind:

• Code-Infilling – also fehlende Stücke mitten in bestehendem Code ergänzen, wobei der Code davor und danach berücksichtigt wird.
• In-line-Editing – Text oder Code direkt an Ort und Stelle überarbeiten.
• Strukturierte Formate wie JSON, bei denen Klammern und Felder am Ende zusammenpassen müssen.
• Mathematische Graphen, Logikaufgaben sowie laut Pulse2 und Ars Technica Sequenzen von Aminosäuren und Molekülen.

Als Vorzeigebeispiel hat Google das Modell auf Sudoku feinabgestimmt. Für klassische Modelle ist das notorisch schwer, weil jede Zahl von Feldern abhängt, die erst später „geschrieben“ werden. DiffusionGemma kann dagegen das ganze Raster gleichzeitig betrachten und immer wieder korrigieren. Technologie-Analyst Carmi Levy sagte gegenüber Computerworld, dies zeige „recht eindrucksvoll“, dass das Modell auch komplexere Probleme angehen kann. Er verweist zudem auf einen eingebauten Denkmodus, der beim Problemlösen helfe.

Google nennt außerdem Echtzeit-Anwendungen, eingebaute Schreib- und Programmierassistenten und schnelle Iterationsschleifen. Levy sieht Potenzial etwa im Kundenservice, wo schnelle lokale Antworten zählen, und bei den Kosten: Abrechnungsmodelle pro Token würden ineffiziente Lösungen bestrafen; DiffusionGemma könne „eine neue Generation aufgabenspezifischer, effizienter Lösungen“ einläuten.

Die Haken

Google verschweigt die Kompromisse nicht:

• Geringere Qualität: Die Antworten sind schlechter als die des normalen Gemma 4. Wer maximale Genauigkeit braucht, soll laut Google beim autoregressiven Gemma 4 bleiben. Ein Ersatz für Gemma oder Gemini ist DiffusionGemma ausdrücklich nicht.
• Nur bei kleinen Lasten im Vorteil: Das Modell ist für kleine bis mittlere Batch-Größen auf einem einzelnen leistungsfähigen Beschleuniger optimiert. In Cloud-Umgebungen mit sehr vielen Anfragen pro Sekunde bringe die parallele Erzeugung „abnehmenden Nutzen“ und könne laut Google sogar höhere Betriebskosten verursachen. Dort sind die Grafikkarten ohnehin schon gut ausgelastet.
• Keine Kostenzahlen: Konkrete Betriebskosten nennt Google nicht.

Levy meint, die geringere Präzision lasse sich teilweise durch weitere Verfeinerungsdurchgänge ausgleichen – belegt ist das in den Quellen nicht.

Was du zum Ausprobieren brauchst

Quantisiert – also verkleinert, indem die Zahlen im Modell gröber gespeichert werden – braucht DiffusionGemma laut Google rund 18 GB Grafikspeicher. Das schaffen Karten wie die RTX 4090 (24 GB) oder RTX 5090 (32 GB), mit denen Google und Nvidia das Modell optimiert haben. Karten mit 8, 12 oder 16 GB reichen dafür nicht. Ungequantisiert wäre der Bedarf bei 26 Milliarden Parametern deutlich höher (grob 50 GB und mehr), das ist nur für Profi-Hardware wie H100 oder DGX-Systeme realistisch. Plane etwa 32 GB Arbeitsspeicher und – je nach Variante – 15 bis 55 GB Festplattenplatz ein.

Softwareseitig werden Hugging Face Transformers, vLLM und MLX unterstützt – Letzteres heißt, dass auch Macs mit Apple Silicon und genügend gemeinsamem Speicher (sinnvoll ab 32 GB) in Frage kommen. Die Unterstützung für llama.cpp ist erst angekündigt; Programme wie Ollama oder LM Studio, die darauf aufbauen, dürften das Modell daher noch nicht ohne Weiteres laden. Zum Feintuning nennt Google Hackable Diffusion, Unsloth und Nvidia NeMo. Ein reiner CPU-Betrieb ist nicht sinnvoll – der Tempovorteil hängt gerade an der GPU. In Google Colab reicht die kostenlose T4-GPU (16 GB) nicht, eine A100 oder L4 aus den Bezahlstufen schon eher.

Einordnung

Diffusion-Sprachmodelle sind nicht völlig neu – Google hat mit Gemini Diffusion selbst daran geforscht, und auch Startups arbeiten an dem Ansatz. Neu ist, dass ein großer Anbieter ein solches Modell in dieser Größe mit offenen Gewichten und freier Lizenz veröffentlicht. Damit können Entwickler erstmals breit testen, wie sich Diffusion bei Text im Alltag schlägt – auf einer einzigen Gaming-Grafikkarte.

Interessant ist das vor allem für Werkzeuge, bei denen jede Sekunde Wartezeit stört: Code-Vervollständigung im Editor, Textüberarbeitung, Formular- und JSON-Ausgaben. Kritisch bleibt: Alle Tempowerte sind Herstellerangaben, Qualitätsbenchmarks im direkten Vergleich fehlen in den Quellen, und Google selbst stuft die Qualität unter Gemma 4 ein. Wer einfach einen guten lokalen Chatbot sucht, ist mit einem klassischen Modell derzeit besser bedient. Für alle, die wissen wollen, wohin sich Sprachmodelle jenseits des Wort-für-Wort-Schreibens entwickeln könnten, ist DiffusionGemma aber eines der spannendsten offenen Experimente des Jahres.