Bildgenerator für 21.000 Dollar: Zwei-Personen-Labor veröffentlicht offenes Modell

Worum es geht

Linum, ein Forschungslabor aus nur zwei Personen, hat ein Text-zu-Bild-Modell veröffentlicht. Das Modell erzeugt aus einer Textbeschreibung ein Bild, und das Training hat nur rund 21.000 US-Dollar gekostet. Die Gewichte stehen unter der Apache-2.0-Lizenz zum Download bereit. Diese Lizenz erlaubt auch die kommerzielle Nutzung. Vorgestellt wurde das Modell am 4. November 2026 in einem Blogbeitrag und als „Show HN“-Beitrag auf Hacker News. Linum hat dazu eine Modellkarte auf Hugging Face und ein GitHub-Repository mit Code veröffentlicht.

Eigentlich entwickelt Linum Modelle, die Videos erzeugen. Das Ziel sind Kreativwerkzeuge, die Animation für alle zugänglich machen. Der Bildgenerator ist ein Zwischenschritt auf dem Weg zum nächsten Videomodell, eine Art Belastungstest für eine neue Architektur. Nach eigenen Angaben waren die Entwickler selbst überrascht, wie gut die Ergebnisse für ein so kleines Modell aussehen. Deshalb veröffentlichen sie es als experimentelle Version.

Das Problem: Videomodelle sind zu teuer und zu langsam

Linum zufolge haben heutige Videogeneratoren zwei große Schwächen: Sie sind zu langsam und zu teuer, und sie lassen sich nicht fein genug steuern. Kreatives Arbeiten bedeute aber, etwas zu erstellen, nachzubessern und es so immer weiter zu verbessern. Solange jeder Versuch viel Zeit und Geld kostet, seien Videomodelle zum Geschichtenerzählen praktisch nutzlos. Bei der Entwicklung von Linum v3 ging es deshalb vor allem darum, die Kosten für die Inferenz zu senken, also für das Erzeugen von Inhalten mit dem fertigen Modell.

Der Engpass ist die sogenannte Attention, der Mechanismus, mit dem ein Transformer-Modell jedes Bildstück mit jedem anderen in Beziehung setzt. Ihr Aufwand wächst quadratisch mit der Zahl der Tokens. Tokens sind die kleinen Einheiten, in die ein Bild zerlegt wird. Doppelt so viele Tokens bedeuten also viermal so viel Rechenarbeit. Wer Bilder mit weniger Tokens darstellen kann, spart deshalb beim Training und bei der Nutzung erheblich.

Wie es funktioniert: Pixel statt VAE

Üblicherweise übernimmt ein eigenes Modell die Kompression, ein sogenannter Variational Autoencoder (VAE). Er presst ein Bild in eine kompakte Zwischendarstellung, den „Latent Space“, und das eigentliche Diffusionsmodell arbeitet dann nur noch in diesem komprimierten Raum. Linum hält das nicht für optimal. VAEs stoßen nach den Erfahrungen des Labors an eine Obergrenze, wie stark sie komprimieren können. Außerdem kann ein VAE, der Bilder besser rekonstruiert, sogar zu schlechteren Ergebnissen im nachgelagerten Diffusionsmodell führen.

Linum lässt den VAE deshalb ganz weg. Die neue Architektur heißt Pyramid-JiT (P-JiT) und arbeitet direkt im Pixelraum, also mit den Bildpunkten selbst. Das Diffusionsmodell soll Kompression und Bilderzeugung gleichzeitig lernen. Diffusionsmodelle erzeugen Bilder, indem sie schrittweise Rauschen entfernen, ähnlich wie ein Bild, das langsam aus dem Schnee eines Fernsehers auftaucht. Nach Angaben von Linum braucht P-JiT 11-mal weniger Trainingsbeispiele als Linum v2, bis das Modell gut ist. Gleichzeitig reduziert es die Zahl der Tokens viermal stärker: Ein Bild mit 512 × 512 Pixeln wird mit so vielen Tokens dargestellt wie früher eines mit 256 × 256 Pixeln.

Zwei Kniffe sind dafür entscheidend. Erstens hat Linum einen Rauschplan gefunden, der Pixelmodellen hilft, feine Details zu lernen. Zweitens gibt es Zwischenausgaben entlang des Netzes. Andere Forschungsarbeiten wie REPA, RAE-v2 und Self-Flow deuten darauf hin, dass die frühen Schichten eines Diffusion Transformers (DiT) nur schwache Lernsignale bekommen. Weil bei P-JiT jede Schicht eine Version des fertigen Bildes vorhersagt, kann man schon früh niedrig aufgelöste Varianten prüfen und so das Training beschleunigen.

Aufbau und Training im Detail

Text und Bild durchlaufen zunächst jeweils zwei eigene Vorverarbeitungsblöcke, sogenannte „Refiner“. Danach werden sie in einem gemeinsamen Strang aus 22 identischen DiT-Blöcken zusammengeführt. Den Text versteht das Modell mit Hilfe des eingefrorenen Sprachmodells Qwen3.5-4B, das beim Training nicht verändert wird. Linum liest dessen interne Darstellungen an drei Schichten aus (7, 15 und 27). Das Bild wird in Kacheln von 32 × 32 Pixeln zerlegt und in einen 1024-dimensionalen Raum komprimiert.

Nach Block 5 gleicht eine Zwischenausgabe die interne Darstellung mit dem Bildmodell DINOv3-L ab. Nach den Blöcken 10 und 16 sagen zwei weitere Ausgaben das saubere Bild in einem Viertel und der Hälfte der Auflösung voraus. Trainiert wurde zuerst mit hohem Rauschanteil, damit das Modell grobe Strukturen lernt. Danach wurde die Bandbreite erweitert, damit es auch feine Details lernt.

Für das Nachtraining, also die Feinabstimmung nach dem Haupttraining, nutzte Linum eine Variante der Methode Finite Difference Flow Optimization (FDFO), kombiniert mit dem Bewertungsmodell JEV-Image und menschlichen Bewertern. Die Entwickler nennen Post-Training bei Diffusionsmodellen eine „sehr junge Disziplin“. Bei Sprachmodellen habe es in den vergangenen 18 Monaten etwa beim Programmieren große Fortschritte gebracht, bei Bildmodellen stehe es noch am Anfang. Das ältere Verfahren DPO passe sich zu stark an bestimmte ästhetische Vorlieben an. Als Grund für die Schwierigkeiten vermutet Linum, dass Diffusionsmodelle, anders als Sprachmodelle, keine guten Wahrscheinlichkeitsschätzungen liefern. Details zum Post-Training wollen die Entwickler in den kommenden Wochen nachliefern.

Grenzen des Modells

Linum benennt die Schwächen offen. Das Modell kann keinen Text in Bildern darstellen, also auch keine Plakate oder Infografiken erzeugen. Bilder mit Schrift wie PDFs, Buchseiten oder Folien wurden bewusst aus den Trainingsdaten entfernt, weil sie für Animationswerkzeuge keine Rolle spielen. Außerdem hat das Modell Probleme mit:

• ganzen Körpern (ein Beispiel zeigt verformte Beine in einem Startblock),
• vielen Objekten, etwa sechs Autos oder Menschenmengen,
• Szenen, in denen mehrere Personen miteinander interagieren,
• Weltwissen.

Gelegentlich gelingen auch solche Motive. Ein größeres Modell mit etwa 7 Milliarden Parametern und mehr Post-Training dürfte laut Linum helfen.

Ungewöhnlich offen ist auch die Erklärung zur Entstehung der Texte: Den Blog haben die Entwickler selbst geschrieben. Modellkarte und GitHub-Repository hat dagegen Claude Opus 5.5 automatisch aus dem internen Experimentiercode erstellt.

Was du zum Ausprobieren brauchst

Das Modell ist mit 2 Milliarden Parametern für den Bildteil plus 4 Milliarden für den Text-Encoder vergleichsweise klein. Der Blog nennt keine Hardware-Anforderungen für die Nutzung. Eine grobe eigene Schätzung: In voller bf16-Genauigkeit belegen beide Teile zusammen etwa 12 GB Speicher auf der Grafikkarte. Eine Karte mit 12 bis 16 GB VRAM sollte daher reichen. Mit verkleinerten Versionen des Text-Encoders oder wenn er in den Arbeitsspeicher ausgelagert wird, dürften auch Karten mit etwa 8 GB funktionieren. Zum Speicherplatz macht die Quelle keine Angaben, du solltest aber mit mindestens rund 15 GB rechnen. Fertige Pakete für ComfyUI oder Ollama werden nicht erwähnt. Zum Start nutzt du den Code aus dem GitHub-Repository mit Python und PyTorch, idealerweise auf einer Nvidia-Grafikkarte. Google Colab mit einer stärkeren GPU ist eine denkbare Alternative, auf Apple Silicon oder reiner CPU ist der Betrieb nicht dokumentiert.

Einordnung

Mit dem Modell will Linum nicht Branchengrößen wie FLUX, Midjourney oder GPT-Image überholen, und dafür ist es auch zu klein. Bemerkenswert ist der Preis: Ein brauchbares Text-zu-Bild-Modell, das komplett neu trainiert wurde, kostet in Rechenzeit offenbar nur noch so viel wie ein Kleinwagen. Das ist auch für Universitäten, Start-ups und Hobbyforscher erreichbar. Die Apache-Lizenz und die sehr ausführliche Dokumentation der Trainingseinstellungen machen das Projekt besonders für Forschende interessant, die eigene Modelle nachtrainieren wollen.

Allerdings stammen alle Qualitätsaussagen von Linum selbst. Unabhängige Benchmarks oder Vergleichstests liegen nicht vor, und die Entwickler sprechen selbst von einer experimentellen Version. Ob der Ansatz ohne VAE bei Videos aufgeht, wo die Ersparnis durch weniger Tokens am stärksten zählt, muss Linum erst noch zeigen.