Iris-Z: Offener Bildgenerator auf Flux-2-Basis erzeugt Bilder samt Tiefenkarte
Das Team Speridlabs hat Iris-Z veröffentlicht, ein offenes Bildmodell, das neben dem Bild auch dessen räumliche Tiefe berechnet. Dieselben Gewichte erzeugen Bilder aus Text, schätzen die Tiefe in Fotos und machen aus Tiefenkarten wieder Bilder. Bei der Tiefenschätzung soll es laut den Entwicklern besser sein als spezialisierte Modelle.
Worum es geht
Im Reddit-Forum r/StableDiffusion hat das Team hinter dem Hugging-Face-Konto speridlabs ein neues Bildmodell namens Iris-Z vorgestellt. Die Kernidee: Ein Bildgenerator erzeugt nicht nur, wie ein Bild aussieht, sondern gleichzeitig auch seine Geometrie, also wie weit jeder Bildpunkt von der Kamera entfernt ist. Die Entwickler beschreiben das so:
Ein generatives Modell für Bilder und ihre Tiefe.
Iris-Z baut auf Flux 2 auf, der Bildmodell-Familie des Freiburger Unternehmens Black Forest Labs. Es gibt zwei Varianten, eine große mit 32,2 Milliarden und eine kleine mit 9,1 Milliarden Parametern. Die Gewichte kann man frei herunterladen: huggingface.co/speridlabs/iris-z.
Vier Aufgaben, ein Modell
Normalerweise braucht man für Bilderzeugung und Tiefenschätzung getrennte Werkzeuge. Für die Bilder nimmt man ein Modell wie Flux oder Stable Diffusion, für die Tiefe ein eigenes Schätzmodell. Iris-Z soll beides mit denselben Gewichten können:
- Text zu Bild: ganz normale Bilderzeugung aus einer Beschreibung (Prompt).
- Text zu Bild plus Tiefe: Das Modell liefert zum Bild gleich eine passende Tiefenkarte mit, ein Graustufenbild, in dem helle und dunkle Töne für nahe und ferne Bereiche stehen.
- Foto zu Tiefe: Man gibt ein vorhandenes Foto ein und bekommt dessen Tiefenkarte zurück. Fachleute sprechen von monokularer Tiefenschätzung, also Tiefe aus einem einzigen Bild ohne zweite Kamera oder Tiefensensor.
- Tiefe zu Bild: Aus einer Tiefenkarte entsteht ein fertiges Bild. Damit lassen sich Aufbau und Perspektive einer Szene genau festlegen, ähnlich wie man es von ControlNet-Erweiterungen kennt.
Das Modell soll dabei weiter Bilder erzeugen wie das Flux-2-Modell, auf dem es aufbaut. Wenn das stimmt, hätte die Erweiterung um die Tiefenfähigkeit die eigentliche Bildqualität nicht verschlechtert.
Was die Entwickler versprechen
Die wichtigste Behauptung: Auf den üblichen Tiefen-Benchmarks, also standardisierten Testdatensätzen mit gemessener echter Tiefe, sei Iris-Z genauer als die besten Spezialmodelle für Tiefenschätzung. Konkrete Zahlen, die verwendeten Benchmarks oder die Namen der Vergleichsmodelle nennt der Reddit-Beitrag allerdings nicht. Die Aussage ist deshalb vorerst eine Herstellerangabe, die noch unabhängig geprüft werden muss.
Ganz neu ist der Ansatz nicht. In der Forschung hat sich schon gezeigt, dass Bildgeneratoren beim Training viel über die räumliche Struktur von Szenen lernen und sich für Tiefenschätzung umbauen lassen. Bekanntes Beispiel ist das Projekt Marigold, das auf Stable Diffusion basiert. Iris-Z überträgt die Idee auf ein deutlich größeres und moderneres Grundmodell und hält dabei die Bilderzeugung ausdrücklich am Laufen.
Die technischen Daten
| Iris-Z-big | Iris-Z-small | |
|---|---|---|
| Parameter | 32,2 Mrd. | 9,1 Mrd. |
| Auflösung | 512 und 1024 Pixel | 512 und 1024 Pixel |
| Empfohlene Guidance | 3,5 | 4,0 |
| Grafikspeicher (alle Aufgaben) | ca. 112 GB | ca. 33 GB |
| Ordner im Repo | Iris-Z-big/ |
Iris-Z-small/ |
Guidance bestimmt, wie streng sich das Modell an den Prompt hält. Höhere Werte bringen mehr Treue zum Text, zu hohe Werte führen aber oft zu überzeichneten Bildern. Die Größen passen zur Flux-2-Familie: Das 32-Milliarden-Modell entspricht der Größe von Flux 2 [dev], die kleine Variante der 9-Milliarden-Klasse. Welches Flux-2-Modell genau die Basis ist, schreibt der Beitrag nicht.
Was du zum Ausprobieren brauchst
Die Hardware-Anforderungen sind hoch. Laut Modellseite braucht Iris-Z-small etwa 33 GB Grafikspeicher, wenn alle Aufgaben laufen sollen. Das schafft keine normale Consumer-Grafikkarte allein, auch eine RTX 4090 oder 5090 mit 24 bzw. 32 GB ist knapp oder zu klein. Realistisch sind Profikarten mit 40 oder 48 GB oder gemietete Cloud-GPUs. Iris-Z-big braucht etwa 112 GB und damit eine Rechenzentrums-GPU wie eine H200 oder mehrere Karten zusammen.
Verkleinerte Versionen (Quantisierung, dabei werden die Zahlen im Modell gröber gespeichert, damit es weniger Speicher braucht) erwähnt der Beitrag nicht. Wenn die Community solche Versionen baut, wie es bei Flux 2 üblich war, könnte die kleine Variante später auch auf 16- oder 24-GB-Karten laufen. Das ist aber noch offen. Für die Download-Größe solltest du je nach Variante mehrere Dutzend Gigabyte freien Speicherplatz einplanen. Auf einem Mac oder nur mit dem Prozessor dürfte das Modell im jetzigen Zustand kaum sinnvoll laufen. In Google Colab reicht nur eine A100- oder H100-Instanz mit genug Speicher für die kleine Variante.
Einordnung
Iris-Z ist interessant, weil es zwei bisher getrennte Werkzeugkästen zusammenlegt. Wer Bilder für 3D-Anwendungen, Parallax-Effekte, Compositing oder als Vorlage für 3D-Szenen erzeugt, braucht oft die Tiefe gleich mit. Bisher hieß das: erst Bild erzeugen, dann ein Tiefenmodell wie Depth Anything darüberlaufen lassen. Iris-Z erledigt beides in einem Schritt und kann den umgekehrten Weg von Tiefe zu Bild auch noch.
Vieles ist aber noch offen. Die Benchmark-Behauptung kommt ohne Zahlen, unabhängige Tests gibt es noch nicht. Die Lizenz nennt der Beitrag nicht. Weil Flux 2 [dev] unter einer nicht-kommerziellen Lizenz steht, solltest du vor einem gewerblichen Einsatz auf der Modellseite nachsehen, was erlaubt ist. Außerdem bleibt der Speicherbedarf das größte Hindernis: Mit 33 GB für die kleinste Variante ist Iris-Z vorerst eher etwas für Forschende, Studios und Leute mit Cloud-Zugang als für den Heim-PC. Wer die nötige Hardware hat, bekommt dafür ein Modell, das seinen Ansatz offen zum Selbsttesten anbietet.
Quellen
- Reddit r/StableDiffusion reddit.com
- research.google research.google
Selbst ausprobieren: Iris-Z
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Iris-Z ist ein Bildgenerator auf Basis von Flux 2, der neben dem Bild auch dessen räumliche Tiefe erzeugen kann. Du kannst aus einem Text ein Bild machen, aus einem Text ein Bild samt Tiefenkarte, aus einem eigenen Foto eine Tiefenkarte berechnen oder aus einer Tiefenkarte ein neues Bild erzeugen. Laut den Entwicklern ist die Tiefenschätzung genauer als die besten Spezialmodelle, unabhängige Zahlen dazu gibt es aber noch nicht. Die Bildqualität soll der des Flux-2-Grundmodells entsprechen. Die Auflösung ist auf 512 oder 1024 Pixel festgelegt. Die größte Grenze ist der Speicherbedarf: Schon die kleine Variante braucht rund 33 GB Grafikspeicher.
Für wen lohnt es sich?
Interessant ist Iris-Z für 3D-Künstler, VFX- und Compositing-Leute, Entwickler von AR- oder 3D-Anwendungen und Forschende, die eine leistungsstarke GPU oder Cloud-Zugang haben. Wer nur eine normale Gaming-Grafikkarte mit 8 bis 16 GB hat oder einfach schöne Bilder erzeugen will, ist mit kleineren Flux- oder SDXL-Modellen derzeit besser bedient.
Ideen: Was du damit anstellen kannst
Lass Iris-Z die Tiefenkarte eines Urlaubsfotos berechnen und lade beides in ein Parallax- oder 3D-Foto-Tool. So entsteht ein leicht bewegtes Bild mit Tiefenwirkung, etwa für Social Media oder eine Präsentation.
Zeichne oder erzeuge eine grobe Tiefenkarte, etwa einen Raum mit Tisch im Vordergrund, und lass Iris-Z daraus ein fertiges Bild machen. So bestimmst du Perspektive und Anordnung genau, statt auf Glück beim Prompt zu hoffen.
Erzeuge Konzeptbilder samt Tiefe und nutze die Tiefenkarte in Blender als Displacement, also zum Verformen einer Fläche. Daraus entsteht schnell eine einfache 3D-Kulisse für Previs oder Spieleprototypen.
Mit der Tiefenkarte kannst du in Bildbearbeitungsprogrammen gezielt den Hintergrund unscharf machen oder Nebel und Licht nach Entfernung einfügen. Das funktioniert für erzeugte und für eigene Fotos.
Wer an Tiefenschätzung arbeitet, kann Iris-Z auf eigenen Datensätzen gegen Spezialmodelle antreten lassen. So lässt sich prüfen, ob die Herstellerangabe zur Genauigkeit in der Praxis stimmt.
Was dein Rechner braucht
Iris-Z-small (9,1 Milliarden Parameter, ca. 33 GB Grafikspeicher für alle Aufgaben) ist die realistische Wahl für eine einzelne Profikarte mit 40 bis 48 GB oder eine gemietete A100/H100. Iris-Z-big (32,2 Milliarden Parameter, ca. 112 GB) ist nur etwas für Rechenzentrums-GPUs oder mehrere Karten zusammen. Quantisierte Versionen nennt die Quelle nicht, darauf solltest du nicht von Anfang an setzen.
- Iris-Z-small braucht laut Modellseite etwa 33 GB Grafikspeicher für alle Aufgaben, also mehr als die meisten Consumer-Karten haben.
- Iris-Z-big braucht etwa 112 GB Grafikspeicher, das geht praktisch nur mit H200-Klasse oder mehreren GPUs.
- Unterstützt werden die Auflösungen 512 und 1024 Pixel; 512 ist schneller und eignet sich für erste Tests.
- Für den Download solltest du je nach Variante mehrere Dutzend Gigabyte Speicherplatz einplanen.
- Ohne quantisierte Versionen ist der Betrieb auf Mac oder rein auf dem Prozessor derzeit nicht praktikabel; Cloud-GPUs sind die einfachste Alternative.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (speridlabs/iris-z-sdk auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Im Browser (ohne Installation)
Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Quelle nennt nur eine NVIDIA-Grafikkarte mit CUDA 13.0, Windows erwähnt sie nicht. Mit Treiber 580 oder neuer sollte es gehen. Sicherer ist WSL2, also ein Linux innerhalb von Windows, mit der Linux-Anleitung. Ohne passende Karte bleibt der Hugging Face Space speridlabs/iris-z.
- Voraussetzungen prüfen. Installiere Git und Python 3.10 und öffne PowerShell. Du brauchst eine NVIDIA-Grafikkarte mit rund 33 GB Grafikspeicher und den NVIDIA-Treiber 580 oder neuer, denn das Programm nutzt CUDA 13.0, die Rechenschnittstelle von NVIDIA. nvidia-smi zeigt dir die Treiberversion und den Speicher.
git --version python --version nvidia-smi - uv installieren. uv ist das Werkzeug, das die Umgebung baut und die Pakete installiert. Zeigt uv --version eine Nummer, hat es geklappt.
pip install uv uv --version - Programm herunterladen. Lade das Programm von GitHub und wechsle in den Ordner.
git clone https://github.com/speridlabs/iris-z-sdk.git cd iris-z-sdk - Umgebung anlegen und installieren. uv sync legt im Ordner .venv eine eigene Python-Umgebung an und installiert PyTorch und alles Weitere. Das dauert ein paar Minuten. Bricht es mit Fehlern ab, nimm WSL2 und die Linux-Anleitung.
uv sync - Zugang zum FLUX.2-Autoencoder freischalten. Iris-Z braucht den geschützten Autoencoder von FLUX.2, der Bilder in Zahlen übersetzt und zurück. Akzeptiere auf huggingface.co auf der Seite black-forest-labs/FLUX.2-dev die Bedingungen. Leg dann unter Access Tokens einen Lese-Token an und füge ihn bei hf auth login ein.
pip install -U huggingface_hub hf auth login - Testfoto bereitlegen. Kopiere ein beliebiges Foto in den Ordner iris-z-sdk und nenne es photo.jpg. Achte darauf, dass Windows nicht heimlich photo.jpg.jpg daraus macht.
- Erste Tiefenkarte erzeugen. --model small wählt die kleine Variante. Ohne diese Angabe lädt das Programm die große mit etwa 112 GB Bedarf. Beim ersten Start lädt es rund 18 GB Gewichte herunter. Danach liegt photo_depth.png im Ordner.
uv run python -m iris_z.sample depth --image photo.jpg --model small - Bild aus Text erzeugen. So malt Iris-Z ein Bild aus einer Beschreibung. Das dauert deutlich länger als die Tiefenkarte.
uv run python -m iris_z.sample image --prompt "a lighthouse at dusk" --model small - Ergebnis. Im Ordner iris-z-sdk liegen photo_depth.png (farbige Tiefenkarte: nah = rot, fern = blau), photo_depth.npy (Rohdaten) und photo_input.png.
macOS
macOS: nicht unterstützt. Laut Quelle braucht Iris-Z eine NVIDIA-Grafikkarte mit CUDA 13.0, und die gibt es für Macs nicht. Probier stattdessen den Hugging Face Space speridlabs/iris-z im Browser aus oder miete einen Cloud-Rechner mit NVIDIA-Karte.
Linux
Linux: unterstützt. Laut Quelle ist Linux mit NVIDIA-Grafikkarte die vorgesehene Umgebung, mit PyTorch 2.9.1 für CUDA 13.0. Du brauchst den NVIDIA-Treiber 580 oder neuer und rund 33 GB Grafikspeicher. Ohne passende Karte kannst du den Hugging Face Space speridlabs/iris-z im Browser nutzen.
- Voraussetzungen prüfen. Du brauchst Git, Python 3.10 und eine NVIDIA-Grafikkarte mit rund 33 GB Grafikspeicher. Der NVIDIA-Treiber muss Version 580 oder neuer sein, weil das Programm CUDA 13.0 nutzt. CUDA ist die Rechenschnittstelle von NVIDIA. nvidia-smi zeigt dir oben die Treiberversion und darunter den Speicher deiner Karte.
git --version python3 --version nvidia-smi - uv installieren. Das Projekt nutzt das Werkzeug uv. Es legt die Python-Umgebung an und installiert die passenden Pakete. Zeigt uv --version eine Versionsnummer, hat es geklappt.
pip install uv uv --version - Programm herunterladen. Dieser Befehl lädt das Iris-Z-Programm von GitHub. Danach wechselst du in den neuen Ordner.
git clone https://github.com/speridlabs/iris-z-sdk.git cd iris-z-sdk - Umgebung anlegen und installieren. uv sync legt im Ordner .venv eine eigene, abgeschottete Python-Umgebung an. Dort installiert es Python 3.10, PyTorch 2.9.1 und alles Weitere. Das dauert ein paar Minuten und lädt mehrere GB herunter.
uv sync - Zugang zum FLUX.2-Autoencoder freischalten. Iris-Z braucht den Autoencoder von FLUX.2. Ein Autoencoder ist der Teil, der Bilder in Zahlen übersetzt und zurück. Er ist geschützt: Melde dich bei huggingface.co an, öffne die Seite black-forest-labs/FLUX.2-dev und akzeptiere dort die Bedingungen. Leg dann in deinen Kontoeinstellungen unter Access Tokens einen Lese-Token an und füge ihn nach hf auth login ein.
pip install -U huggingface_hub hf auth login - Testfoto bereitlegen. Für den ersten Test brauchst du ein beliebiges Foto, zum Beispiel ein Handyfoto einer Straße oder eines Zimmers. Kopiere es in den Ordner iris-z-sdk und nenne es photo.jpg.
- Erste Tiefenkarte erzeugen. Der Befehl berechnet aus deinem Foto eine Tiefenkarte, also wie weit jeder Bildpunkt entfernt ist. --model small wählt die kleinere Variante mit 9,1 Mrd. Parametern, denn ohne diese Angabe lädt das Programm die große Variante. Beim ersten Start lädt es die Gewichte automatisch herunter, allein die kleine Variante hat rund 18 GB. Danach findest du photo_depth.png im Ordner: Rot ist nah, Blau ist fern.
uv run python -m iris_z.sample depth --image photo.jpg --model small - Bild aus Text erzeugen. Iris-Z kann auch aus einer Beschreibung ein Bild malen. Bei 1024 Pixeln dauert das selbst auf einer H200 rund 40 Sekunden. Mit rgbd statt image bekommst du Bild und Tiefe zusammen.
uv run python -m iris_z.sample image --prompt "a lighthouse at dusk" --model small - Ergebnis. Im Ordner iris-z-sdk liegen photo_depth.png (farbige Tiefenkarte: nah = rot, fern = blau), photo_depth.npy (Rohdaten) und photo_input.png.
So geht es nach dem ersten Ergebnis weiter
- Ganzer Ordner auf einmal: Mit --image photos/ --model small berechnet Iris-Z die Tiefe für alle Fotos in einem Ordner.
- Aus einer Tiefenkarte ein neues Bild malen: uv run python -m iris_z.sample paint --depth-map depth.png --prompt "a snowy village" --model small. Mit --depth-format legst du fest, ob hell nah oder fern bedeutet.
- Wichtige Optionen: --resolution 512 oder 1024, --width und --height (Vielfache von 16), --steps, --guidance (wie stark der Text befolgt wird) und --seed für andere Varianten.
- In eigenen Python-Skripten nutzt du IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="small"). Brauchst du nur Tiefe, spart load_text_encoder=False den Textteil ein.
Das kannst du ausprobieren
Ein gemütliches Café an einem verregneten Nachmittag, Blick durch das Fenster auf die StraßeEine lange Bahnhofshalle mit Glasdach, Menschen im Vorder- und Hintergrund, WeitwinkelEine Bergkette bei Sonnenaufgang mit Nebel in den Tälern, mehrere hintereinander gestaffelte GipfelEin Schreibtisch von oben mit Laptop, Kaffeetasse, Pflanze und verstreuten NotizzettelnEin enger mittelalterlicher Gassenblick mit Treppen, Bögen und Laternen, starke PerspektiveTipps für bessere Ergebnisse
- Nutze die empfohlenen Guidance-Werte: 3,5 für Iris-Z-big und 4,0 für Iris-Z-small.
- Prompts mit klarer räumlicher Staffelung (Vordergrund, Mittelgrund, Hintergrund) zeigen am besten, was die Tiefenkarte kann.
- Teste die Tiefenschätzung mit eigenen Fotos und vergleiche das Ergebnis mit einem bekannten Tiefenmodell wie Depth Anything, um die Herstellerangabe selbst zu prüfen.
- Starte bei 512 Pixeln, um Zeit und Speicher zu sparen, und wechsle für finale Ergebnisse auf 1024.
Wenn es hakt
Der Speicher reicht nicht: Mit weniger als ca. 33 GB Grafikspeicher startet auch die kleine Variante voraussichtlich nicht; dann eine Cloud-GPU mieten oder auf quantisierte Community-Versionen warten.
Die Lizenz ist im Beitrag nicht genannt; weil die Basis Flux 2 ist und Flux 2 [dev] nicht-kommerziell lizenziert ist, vor gewerblicher Nutzung die Modellseite prüfen.
Die richtigen Gewichte nehmen: Das Repo enthält die Ordner Iris-Z-big/ und Iris-Z-small/, lade gezielt nur die Variante herunter, die du brauchst.
Andere Auflösungen als 512 oder 1024 Pixel sind laut Modellseite nicht vorgesehen und können schlechtere Ergebnisse liefern.
Da es sich um ein neues Modell handelt, kann die Unterstützung in gängigen Oberflächen wie ComfyUI noch fehlen; die Anleitung auf der Hugging-Face-Seite ist der erste Anlaufpunkt.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.