Krea-2-Feintuning: Comics und Text per Koordinaten-Boxen exakt platzieren
Jimmy Carter hat ein Feintuning von Krea 2 veröffentlicht, das Layout steuerbar macht: Mehrpanel-Comics, Sprechblasen im richtigen Panel, gleiche Figuren über mehrere Bilder und Text an der gewünschten Stelle. Gesteuert wird es über eine kompakte Layout-Sprache mit Koordinaten-Boxen.
Worum es geht
Auf Hugging Face ist unter jimmycarter/krea2-turbo-bbox ein Feintuning des Bildmodells Krea 2 erschienen. Es soll Layout steuerbar machen: Mehrpanel-Comics, Sprechblasen, die innerhalb ihres Panels landen, Figuren, deren Aussehen über mehrere Panels gleich bleibt, und Text an der gewünschten Stelle. Die Veröffentlichung ist die finale Version (epoch-20-step-104548) nach 20 Trainingsepochen. Eine Epoche ist ein vollständiger Durchlauf durch die Trainingsdaten. Zu Lizenz, Parameterzahl oder Hardwarebedarf macht die Quelle keine Angaben.
Zwei Varianten, sechs Gewichtssätze
Es gibt zwei Ausführungen, jeweils als Feintuning selbst und als zwei EMA-Schatten. EMA (Exponential Moving Average) bedeutet einen gleitenden Mittelwert der Gewichte während des Trainings. Der höhere Decay-Wert mittelt über ein längeres Zeitfenster. Verfügbar sind Decay 0,9995 und 0,99975.
- Turbo: das Feintuning plus die Differenz zwischen Krea-2-Turbo und Krea-2-Raw (turbo = finetune + (Turbo − Raw)). Es braucht 8 Sampling-Schritte und kein CFG.
- Raw: das Feintuning wie trainiert, auf Basis von Krea-2-Raw. Es braucht 50 Schritte mit CFG 5,5. CFG (Classifier-Free Guidance) bestimmt, wie stark sich das Bild an den Prompt hält.
| Variante | Unterordner | Sampling |
|---|---|---|
| Turbo Feintuning | turbo/transformer | 8 Schritte, CFG aus |
| Turbo EMA 0,9995 | turbo/ema_0.9995/transformer | 8 Schritte, CFG aus |
| Turbo EMA 0,99975 | turbo/ema_0.99975/transformer | 8 Schritte, CFG aus |
| Raw Feintuning | raw/transformer | 50 Schritte, CFG 5,5 |
| Raw EMA 0,9995 | raw/ema_0.9995/transformer | 50 Schritte, CFG 5,5 |
| Raw EMA 0,99975 | raw/ema_0.99975/transformer | 50 Schritte, CFG 5,5 |
Die Layout-Sprache
Laut Autor nutzten etwa 90 % des Trainings eine kompakte Layout-Sprache ("grounding DSL"), nicht gewöhnliche Prosa. Sie platziert Panels, Figuren und wörtlichen Text in Boxen der Form [x0,y0,x1,y1] auf einem Raster von 0 bis 1000. Normale Prompts funktionieren weiterhin, weil sie die übrigen 10 % des Trainings ausmachten. Eine vollständige Spezifikation steht in der Datei PROMPTING.md.
Aufbau eines Prompts im Beispiel:
- Erste Zeile: Beschreibung der Gesamtszene.
@führt Stil und Kameraangaben ein, etwa "clean line art, flat colors; Digital illustration".~beschreibt den Hintergrund.p[...]ist ein Panel,o[...]ein Objekt,t[...]"Text"ein Textelement,pe,ac,fcstehen für Person, Anime-Figur und Furry-Figur. Nummern wieac:1kennzeichnen dieselbe Figur über mehrere Boxen hinweg.
Wichtig: Die x-Koordinate kommt zuerst. Wer [y0,x0,y1,x1] schreibt, bekommt kein Fehlermeldung, sondern ein falsches Ergebnis – laut Autor der häufigste Fehler.
Beispiele und Vergleich
Die Modellseite zeigt viele Beispiele, jeweils mit gleichem Seed durch vier Transformer-Netze: das Originalmodell, das Feintuning und beide EMA-Varianten. Bei Layout-Prompts gibt es eine zweite Zeile mit eingezeichneten Boxen. Gezeigt werden normale Prompts (Katze am Fenster, Café-Tafel mit Schreibschrift, Makroaufnahme eines Uhrwerks, Albumcover mit Tracklist, Retro-Reiseplakat) und Layout-Prompts wie ein Vier-Panel-Comic mit Katzenmädchen und Hund, ein Anime-Key-Visual mit Titellogo, ein Siebdruck-Poster, ein Kaffeebeutel-Produktfoto oder eine Ramen-Bude bei Nacht. Das Bildmaterial selbst liegt der Quelle nicht in auswertbarer Form bei, daher lässt sich die Qualität hier nicht beurteilen.
Was du zum Ausprobieren brauchst
Die Seite zeigt Nutzung per Diffusers (pip install -U diffusers transformers accelerate, bfloat16, device_map cuda, für Apple-Geräte "mps"). Genannt werden außerdem Google Colab, Kaggle sowie die Apps Draw Things und DiffusionBee. Konkrete VRAM-Zahlen stehen nicht in der Quelle. Als grobe Faustregel für ein modernes Bildmodell sind eine Grafikkarte mit viel Speicher und reichlich Festplatte für sechs Gewichtssätze sinnvoll; wähle zum Start nur eine Variante.
Einordnung
Layoutkontrolle ist für Comics, Poster und Produktbilder nützlich, weil Standardmodelle Text und Positionen oft ungenau umsetzen. Der Ansatz ist ein Community-Feintuning, kein Release des Herstellers. Offen bleiben Lizenz, Hardwarebedarf und objektive Qualitätsvergleiche; die Beispiele stammen vom Autor selbst. Die Layout-Sprache hat eine Lernkurve, und Fehler in den Koordinaten bleiben unbemerkt.
Quellen
- r/StableDiffusion huggingface.co
Selbst ausprobieren: Krea2-Turbo-BBox
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Das Modell erzeugt Bilder und ist darauf trainiert, Layouts exakt zu befolgen. Du kannst Comicseiten mit mehreren Panels erstellen, Sprechblasen im richtigen Panel platzieren, dieselbe Figur über mehrere Panels beibehalten und Text an einer gewünschten Stelle setzen. Dazu schreibst du Boxen in einer kleinen Layout-Sprache auf einem Raster von 0 bis 1000. Normale Beschreibungen funktionieren auch, wurden aber nur in etwa 10 % des Trainings genutzt. Wie gut es im Vergleich zu anderen Modellen ist, lässt sich aus der Quelle nicht belegen.
Für wen lohnt es sich?
Für Comic-, Poster- und Layout-Fans, die Bildmodelle bereits lokal nutzen und genaue Kontrolle wollen. Wer nur schnell hübsche Einzelbilder will, braucht das nicht.
Ideen: Was du damit anstellen kannst
Du definierst Panels mit p-Boxen, platzierst Figuren und Sprechblasen und erzeugst eine ganze Seite in einem Durchgang.
Überschrift, Datum und Kleingedrucktes lassen sich per t-Box an feste Stellen setzen, etwa für ein Vereinsfest.
Verpackung, Schriftzug und Untergrund werden mit Boxen angeordnet, um Ideen für Shop-Bilder zu testen.
Eine Figur, ein Logo und ein Hintergrund werden mit Boxen gesteuert, zum Beispiel für ein Rollenspiel-Projekt.
Was dein Rechner braucht
Für schnelle Ergebnisse die Turbo-Variante (8 Schritte, ohne CFG). Für maximale Kontrolle über die Prompttreue die Raw-Variante (50 Schritte, CFG 5,5). Beginne mit dem normalen Feintuning und probiere dann die EMA-Gewichte.
- Die Quelle nennt keinen VRAM-Bedarf; Basis ist Krea 2, prüfe dessen Anforderungen.
- Nutzung per Diffusers mit bfloat16 auf CUDA; für Apple-Geräte device_map auf mps umstellen.
- Turbo braucht nur 8 Schritte und ist deutlich schneller als Raw mit 50 Schritten.
- Google Colab und Kaggle sind als Notebook-Optionen verlinkt, ebenso Draw Things und DiffusionBee.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: zu groß für Colab – selbst die größten Colab-GPUs reichen nicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen (mit Colab Pro: L4 oder A100) → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 178 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Dieses Modell läuft mit Python. Unser Skript erledigt die Einrichtung automatisch: Es legt eine abgeschottete Python-Umgebung an, installiert die nötigen Programme (PyTorch, ca. 3 GB) und lädt das Modell (523 GB (bei 100 MBit/s ca. 11,6 Std.)).
- Grafikkartentreiber aktualisieren (NVIDIA): aktuellen Treiber installieren. Ohne NVIDIA-Karte läuft es auf dem Prozessor – deutlich langsamer.
- Python installieren. Auf python.org Python 3.12 herunterladen und starten. Wichtig: Unten im ersten Fenster das Häkchen bei Add python.exe to PATH setzen, dann Install Now.
- Ordner anlegen und Dateien laden. Einen Ordner erstellen, z. B.
Dokumente\KI-Test, und beide Dateien hineinspeichern: - Terminal im Ordner öffnen. Den Ordner im Explorer öffnen, Rechtsklick auf eine freie Stelle → In Terminal öffnen.
- Starten. Diesen Befehl einfügen und Enter drücken:
Jetzt laufen Installation und Download. Das kann beim ersten Mal 10–30 Minuten dauern.powershell -ExecutionPolicy Bypass -File try_windows.ps1 - Ergebnis. Im Ordner liegt jetzt das erzeugte Bild
output.png. - Nochmal mit eigener Eingabe:
demo.pymit dem Editor öffnen, den Beispieltext ändern, speichern. Dann im Terminal:.\.venv-krea2-turbo-bbox\Scripts\Activate.ps1 python demo.py
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Terminal öffnen. Cmd + Leertaste, Terminal eintippen, Enter.
- Entwicklerwerkzeuge installieren (nur beim ersten Mal, liefert Python mit):
Im Fenster auf Installieren klicken. Kommt „already installed“, ist alles schon da.xcode-select --install - Dateien herunterladen – beide landen im Ordner Downloads:
- Starten:
Installation und Download dauern beim ersten Mal 10–30 Minuten.cd ~/Downloads bash try_mac.sh - Ergebnis. Im Ordner liegt jetzt das erzeugte Bild
output.png.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Python-Grundlagen installieren (Ubuntu/Debian):
sudo apt update && sudo apt install -y python3-venv python3-pip git - Dateien in einen Ordner laden und dort ein Terminal öffnen:
- Starten:
bash try_linux.sh - Ergebnis. Im Ordner liegt jetzt das erzeugte Bild
output.png.
Das kannst du ausprobieren
Eine Katze sitzt bei Sonnenuntergang auf einer Fensterbank.Eine Tafel vor einem Café mit der Aufschrift 'Best Coffee in Town' in schöner Schreibschrift.Ein Vier-Panel-Comic, in dem eine Handwerkerin und ein Kater ein Regal aufbauen und scheitern (mit p[...]- und t[...]-Boxen).Ein Anime-Key-Visual mit Schwertkämpferin auf einem Dach und Titellogo oben links.Ein Siebdruck-Poster für ein Herbstfest mit Überschrift, Datumszeile und Kleingedrucktem.Tipps für bessere Ergebnisse
- Beginne mit den Beispielprompts der Modellseite und passe sie schrittweise an.
- Vergleiche Feintuning und EMA-Gewichte mit demselben Seed.
- Gib Figuren gleiche Nummern, damit ihre Identität über Panels erhalten bleibt.
- Teste erst mit der schnellen Turbo-Variante und wechsle für Details zu Raw.
Wenn es hakt
Die Koordinaten müssen x zuerst stehen: [x0,y0,x1,y1]. Vertauschte Achsen fallen nicht auf.
Lies die Datei PROMPTING.md, bevor du eigene Layout-Prompts schreibst.
Turbo und Raw brauchen unterschiedliche Einstellungen (8 Schritte ohne CFG gegen 50 Schritte mit CFG 5,5).
Die Gewichte liegen in Unterordnern, zum Beispiel turbo/transformer; wähle den passenden Ordner.
Die Lizenz ist in der Quelle nicht genannt; prüfe sie vor kommerzieller Nutzung.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.