77 KI-Bilder in 15 Sekunden: iPhone 13 erzeugt Bilder komplett offline
Das QVAC-Team hat seinen Fork von stable-diffusion.cpp so umgebaut, dass die Bildberechnung auf dem Neural Engine des iPhones läuft statt auf dessen Grafikchip. Auf einem iPhone 13 aus dem Jahr 2021 steigt die Geschwindigkeit dadurch laut den Entwicklern um etwa das 20-Fache. Der Code ist Open Source.

Worum es geht
Im Reddit-Forum r/StableDiffusion zeigt das Entwicklerteam QVAC, wie schnell ein altes iPhone KI-Bilder erzeugen kann. Auf einem iPhone 13 von 2021 entstehen laut den Entwicklern 77 Bilder in 15 Sekunden. Alles läuft auf dem Gerät selbst, das Telefon war dabei im Flugmodus. Laut Beitrag ist das etwa 20-mal schneller als bisher. Der Code ist Open Source und liegt als Pull Request – ein Änderungsvorschlag am Quellcode – im GitHub-Repository tetherto/qvac-ext-stable-diffusion.cpp#66. Der Beitragstitel lautet „Bildgenerierung auf dem iPhone ist gelöst“. Das ist eine zugespitzte Selbstdarstellung und sollte man mit etwas Abstand lesen (siehe Einordnung).
Der Vergleich: gleiche App, gleiches Modell, anderer Chip
Das Team hat dieselbe App mit demselben Modell 15 Sekunden lang laufen lassen. Geändert wurde nur der Chip, auf dem die Berechnung läuft:
| Recheneinheit | Bilder in 15 s | Zeit pro Bild |
|---|---|---|
| GPU (Metal) | 3 | ca. 3,8 s |
| Neural Engine (Core ML) | 77 | ca. 192 ms |
Als Modell diente SDXS bei einer Auflösung von 512 × 512 Pixeln. SDXS ist ein stark verkleinertes, auf Tempo getrimmtes Diffusionsmodell aus der Stable-Diffusion-Familie. Ein Diffusionsmodell erzeugt ein Bild, indem es aus zufälligem Rauschen Schritt für Schritt ein Motiv herausarbeitet. SDXS kommt dabei mit sehr wenigen Schritten aus. Deshalb ist es für schwache Hardware gut geeignet. Mit großen Modellen wie SDXL oder Flux kann es bei der Bildqualität aber nicht mithalten.
Wie der Geschwindigkeitssprung zustande kommt
In iPhones stecken mehrere Recheneinheiten. Die GPU (Grafikchip) spricht man über Apples Schnittstelle Metal an. Daneben gibt es den Neural Engine, einen Spezialchip nur für die Rechenarten neuronaler Netze. Er ist für solche Aufgaben oft deutlich schneller und sparsamer als die GPU. Apps können ihn aber nicht direkt ansprechen, sondern nur über Apples Framework Core ML.
Die Basis ist stable-diffusion.cpp, ein schlankes Open-Source-Programm, das Stable-Diffusion-Modelle ohne große Python-Umgebung ausführt. QVAC pflegt davon einen eigenen Fork, also eine abgezweigte Weiterentwicklung. In diesem Fork hat das Team zwei Bausteine des Modells auf den Neural Engine verlegt:
- das UNet: das Herzstück, das aus dem Rauschen das eigentliche Bild berechnet,
- den winzigen Decoder: er übersetzt die komprimierte interne Darstellung des Bildes in echte Pixel.
Der Text-Encoder bleibt auf der GPU. Er übersetzt die Texteingabe (den Prompt) in Zahlen, mit denen das Modell arbeiten kann. Laut Team braucht es weder Server noch Netzwerk.
Bemerkenswert ist die Hardware. Das iPhone 13 hat nur 4 GB Arbeitsspeicher, den sich das Modell mit Betriebssystem und App teilen muss. Neuere iPhones haben schnellere Neural Engines und mehr Speicher. Dort dürfte es eher noch flotter gehen. Messwerte dazu nennt der Beitrag aber nicht.
Wer hinter QVAC steckt
Das GitHub-Konto „tetherto“ gehört zum Umfeld von Tether, dem Unternehmen hinter dem Stablecoin USDT. Unter dem Namen QVAC baut Tether Software für lokale KI, die ohne Cloud-Dienste direkt auf Geräten läuft. Dass ein Unternehmen aus der Kryptobranche Open-Source-Werkzeuge für KI auf dem Gerät entwickelt, ist ungewöhnlich. Für Nutzer zählt am Ende aber, dass der Code offen einsehbar und frei verwendbar ist.
Was das für Nutzer und Entwickler bedeutet
In erster Linie ist das ein Fortschritt für Entwickler. Wer stable-diffusion.cpp in eine iOS-App einbaut, kann mit dieser Änderung schnelle Bildgenerierung auch auf älteren Geräten anbieten. Möglich wären etwa Sticker-Generatoren, Skizzen-Tools oder Vorschauen während der Eingabe. Bei rund 0,2 Sekunden pro Bild kann man Bilder fast in Echtzeit erzeugen, während man den Prompt noch tippt. Weil nichts das Gerät verlässt, bleiben die Eingaben privat. Es fallen keine Serverkosten an, und es funktioniert auch ohne Empfang.
Eine fertige App für Endnutzer stellt der Beitrag nicht vor. Wer es ausprobieren will, muss den Code selbst bauen, zum Beispiel mit Xcode.
Einordnung
Das Ergebnis zeigt, wie viel Leistung in Smartphones ungenutzt bleibt, wenn Software die Spezialchips nicht anspricht. Allein der Wechsel von der GPU zum Neural Engine bringt hier den Faktor 20. Apple selbst hat schon früher Core-ML-Varianten von Stable Diffusion veröffentlicht. Dass ein so verbreitetes Projekt wie stable-diffusion.cpp jetzt einen solchen Weg bekommt, macht die Technik leichter zugänglich.
Die Aussage „gelöst“ ist trotzdem übertrieben. SDXS ist ein kleines Modell für 512 × 512 Pixel. Bei Detailtreue, Textdarstellung und Prompt-Verständnis liegt es weit hinter aktuellen großen Bildmodellen. Offen ist auch, ob die 192 Millisekunden den kompletten Durchlauf messen, also inklusive Text-Encoder, der weiter auf der GPU läuft. Ebenso unklar ist, ob die Werte für größere Modelle oder höhere Auflösungen gelten. Alle Zahlen stammen vom QVAC-Team selbst. Unabhängige Messungen gibt es bisher nicht.
Quellen
- Reddit r/StableDiffusion reddit.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.