MOSS-Image-SFT als 8-Step-DMD-Distillation mit LoRA
Ein Community-Entwickler destilliert das Bildmodell MOSS-Image-SFT von 50 Schritten mit CFG auf nur 8 Schritte ohne CFG und liefert LoRAs für ComfyUI.
Worum es geht
Der Nutzer lodestones hat eine Work-in-progress-Destillation von OpenMOSS-Team/MOSS-Image-SFT veröffentlicht. Statt 50 Schritten mit CFG 3 braucht das Modell nur 8 Netzwerkaufrufe ohne CFG, was die Bildgenerierung deutlich beschleunigt.
Die wichtigsten Fakten
- Methode: Data-space DMD (arXiv 2610.12102)
- 5,1 Mrd. Parameter, Lizenz Apache-2.0
- Nutzung als LoRA (Rank 128) in ComfyUI: lora.safetensors bei Stärke 1, lora_latest bei 0,7
- Trainiert auf kompakten JSON-scene_graph-Captions
- Der Transformer muss in fp32 laufen, da das Destillations-Delta kleiner als der bf16-Rundungsschritt ist; mit bf16-Basis die Adapter ungemerged nutzen
- Checkpoint: Update 2600 (EMA); Demo-Space vorhanden
- Über 75.000 Downloads
Einordnung
Für Nutzer mit begrenzter GPU ist die Beschleunigung praktisch, da die Adapter auf das Basismodell aufgesetzt werden. Das Projekt ist laut Autor noch in Arbeit, und Teile der Dokumentation sind veraltet. Qualitätsvergleiche fehlen.
🧪 Selbst ausprobieren: MOSS-Image-SFT-8-steps-dmd
| Hugging Face | lodestones/MOSS-Image-SFT-8-steps-dmd |
|---|---|
| Größe | 5.1 Mrd. Parameter |
| VRAM (4-bit, geschätzt) | ~4.6 GB |
| Lizenz | apache-2.0 |
| Typ | image-gen · text-to-image |
☁️ Google Colab
Notebook herunterladen- colab.research.google.com öffnen
- Datei → Notebook hochladen →
colab.ipynb - Laufzeit → Laufzeittyp ändern → GPU (T4)
- Laufzeit → Alle ausführen
Die Skripte sind automatisch erzeugt. Vor dem Ausführen kurz reinschauen – und die Model Card lesen, manche Modelle brauchen spezielle Versionen.