Apples SHARP: Aus einem Foto wird in Sekunden eine 3D-Szene – lokal auf dem Mac
Apples frei verfügbares Forschungsmodell SHARP wandelt ein einzelnes Foto in eine 3D-Gaussian-Splat-Szene um, die man frei drehen kann. Ein Test von MakeUseOf zeigt: Auf einem MacBook Air läuft es offline in unter einer Minute pro Bild.
Worum es geht
Apple hat im Dezember 2025 SHARP veröffentlicht, ein offenes Forschungsmodell, das aus einem einzigen 2D-Foto eine fotorealistische 3D-Szene erzeugt. Das Paper heißt „Sharp Monocular View Synthesis in Less Than a Second“. Der Code liegt auf GitHub und wird per Kommandozeile bedient. MakeUseOf hat es nun am 4. November 2026 auf einem M5 MacBook Air ausprobiert.
Wie es funktioniert
Das Ergebnis ist ein 3D-Gaussian-Splat: Statt harter Polygone besteht die Szene aus Millionen weicher, halbtransparenter Farbkleckse (Ellipsoide mit Position, Größe, Ausrichtung, Farbe und Transparenz), die in Echtzeit gerendert werden. Klassisch braucht man dafür dutzende bis hunderte Fotos aus verschiedenen Winkeln. SHARP sagt die Parameter laut Apple in einem einzigen Durchlauf durch ein neuronales Netz voraus, trainiert auf synthetischen und realen Daten. Die Darstellung ist metrisch, hat also echten Maßstab – eine Szene kann in einem Headset lebensgroß wirken; laut MakeUseOf betrachteten Nutzer SHARP-Szenen schon wenige Tage nach Release auf der Vision Pro.
Zahlen
Laut Apple (via Auganix) „setzt SHARP einen neuen Stand der Technik“ auf mehreren Datensätzen, senkt Bildqualitätsfehler um 25–43 % und rendert mit über 100 Bildern pro Sekunde auf einer Standard-GPU. Die Ausgabe ist eine .ply-Datei, kompatibel mit öffentlichen Splat-Viewern, im OpenCV-Koordinatensystem. Pro Szene gibt es etwa 1,2 Millionen Gaussians in zwei Schichten à 768×768.
Grenzen
SHARP bildet nur nahe Blickwinkel zuverlässig ab, nicht verdeckte Bereiche; man kann sich also nicht weit vom Originalstandpunkt entfernen (Creative Bloq). Im MakeUseOf-Test funktionierte ein Spielzeug auf dem Schreibtisch am besten, ein Porträt war überzeugend mit Verschmierungen hinter dem Kopf, ein unaufgeräumtes Foto eines Chihuahuas auf dem Sofa zerfiel in schwebende Ebenen. Das Paper nennt Makroaufnahmen, Sternenhimmel und Wasserspiegelungen als Schwachstellen. Für 3D-Druck ist es nicht gedacht; dafür nennt der Autor Bezahltools wie Meshy.
Was du zum Ausprobieren brauchst
Getestet wurde ein MacBook Air mit M5; auf Apple Silicon nutzt die CLI automatisch Metal (MPS). Rechne mit gut 2,6 GB für das Modell und etwa 66 MB pro Ergebnis. Linux mit Nvidia-GPU wird ebenfalls unterstützt, Windows läuft laut Test, ist aber nicht dokumentiert. Eine Grafikkarte mit CUDA brauchst du nur fürs Video-Rendering (--render).
So lief die Einrichtung im Test
Miniconda per Homebrew installieren, Repository klonen, eine Python-3.13-Umgebung anlegen, pip install -r requirements.txt ausführen und dann sharp predict -i ~/sharp-in -o ~/sharp-out starten. Die Ergebnisse öffnet man im kostenlosen Browser-Editor SuperSplat (Version 3.7.0 drehte die y-down-Szenen automatisch richtig). SHARP liest die Brennweite aus den EXIF-Daten (Standard 30 mm), HEIC-Dateien funktionieren direkt. Der Test dauerte inklusive Modellladen ca. zwei Minuten für drei Bilder.
Einordnung
SHARP ist ein kostenloses, offline laufendes Werkzeug für alle, die Fotos als 3D-Szenen für VR oder Web teilen wollen; die Einrichtung erfordert aber Terminal-Kenntnisse. Konkurrenz wie SpAItial AIs Echo (editierbare 3D-Welten) oder Bezahldienste sind komfortabler oder zielen auf andere Aufgaben. Die Geschwindigkeits- und Qualitätsangaben stammen von Apple selbst; der MakeUseOf-Autor sieht für sich noch keinen praktischen Nutzen. Die Lizenz wird in den Quellen nicht genannt.
Quellen
- Google News (US) makeuseof.com
- creativebloq.com creativebloq.com
- auganix.org auganix.org
- 80.lv 80.lv
Selbst ausprobieren: SHARP
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
SHARP macht aus einem einzelnen Foto eine 3D-Szene aus Gaussian Splats, die du im Browser drehen kannst. Es läuft komplett lokal und offline, auf einem MacBook Air dauert ein Bild etwa 12 bis 58 Sekunden. Die Szene hat echten Maßstab und kann in VR-Headsets lebensgroß wirken. Am besten klappen Bilder mit einfachem Motiv, etwa ein Gegenstand auf dem Tisch. Bei unruhigen Szenen entstehen schwebende Ebenen, und große Blickwinkeländerungen sind nicht möglich. Es ist ein Forschungsmodell, kein fertiges Produkt, und eher zum Anschauen als für 3D-Druck gedacht.
Für wen lohnt es sich?
Für Neugierige mit etwas Terminal-Erfahrung, 3D-Hobbyisten und VR-Fans, die alte Fotos räumlich erleben wollen. Wer 3D-Modelle zum Drucken oder weite Kamerafahrten braucht, ist hier falsch.
Ideen: Was du damit anstellen kannst
Wandle ein Lieblingsfoto in eine Splat-Szene um und sieh es dir im Browser oder in einem VR-Headset lebensgroß an.
Fotografiere einen Gegenstand und exportiere einen HTML-Viewer, den du als einzelne Datei verschicken kannst.
Wie ein Entwickler bei 80 Level: Splats als Grundlage für Partikel-Generatoren und traumhafte Visuals nutzen.
Ohne Fotogrammetrie-Aufwand ausprobieren, wie Gaussian Splatting aussieht, bevor du in Tools für Unreal oder Cinema 4D einsteigst.
Was dein Rechner braucht
Es gibt ein Modell-Checkpoint (ca. 2,62 GB), das beim ersten Lauf automatisch geladen wird. Ein Mac mit Apple Silicon genügt; alternativ Linux, für Videorendering mit Nvidia-GPU.
- Apple Silicon nutzt die GPU automatisch über Metal (MPS); getestet auf M5 MacBook Air.
- Modell-Download ca. 2,62 GB, jede Ausgabedatei ca. 66 MB.
- Videorendering (--render) erfordert laut README CUDA, also eine Nvidia-GPU.
- Apple dokumentiert Mac und Linux; Windows läuft laut Quelle ebenfalls, ist aber nicht dokumentiert.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 4 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Dieses Modell läuft mit Python. Unser Skript erledigt die Einrichtung automatisch: Es legt eine abgeschottete Python-Umgebung an, installiert die nötigen Programme (PyTorch, ca. 3 GB) und lädt das Modell (0,3 GB (bei 100 MBit/s ca. 1 Min.)).
- Grafikkartentreiber aktualisieren (NVIDIA): aktuellen Treiber installieren. Ohne NVIDIA-Karte läuft es auf dem Prozessor – deutlich langsamer.
- Python installieren. Auf python.org Python 3.12 herunterladen und starten. Wichtig: Unten im ersten Fenster das Häkchen bei Add python.exe to PATH setzen, dann Install Now.
- Ordner anlegen und Dateien laden. Einen Ordner erstellen, z. B.
Dokumente\KI-Test, und beide Dateien hineinspeichern: - Terminal im Ordner öffnen. Den Ordner im Explorer öffnen, Rechtsklick auf eine freie Stelle → In Terminal öffnen.
- Starten. Diesen Befehl einfügen und Enter drücken:
Jetzt laufen Installation und Download. Das kann beim ersten Mal 10–30 Minuten dauern.powershell -ExecutionPolicy Bypass -File try_windows.ps1 - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
- Nochmal mit eigener Eingabe:
demo.pymit dem Editor öffnen, den Beispieltext ändern, speichern. Dann im Terminal:.\.venv-sharp\Scripts\Activate.ps1 python demo.py
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Terminal öffnen. Cmd + Leertaste, Terminal eintippen, Enter.
- Entwicklerwerkzeuge installieren (nur beim ersten Mal, liefert Python mit):
Im Fenster auf Installieren klicken. Kommt „already installed“, ist alles schon da.xcode-select --install - Dateien herunterladen – beide landen im Ordner Downloads:
- Starten:
Installation und Download dauern beim ersten Mal 10–30 Minuten.cd ~/Downloads bash try_mac.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Python-Grundlagen installieren (Ubuntu/Debian):
sudo apt update && sudo apt install -y python3-venv python3-pip git - Dateien in einen Ordner laden und dort ein Terminal öffnen:
- Starten:
bash try_linux.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Das kannst du ausprobieren
sharp predict -i ~/sharp-in -o ~/sharp-outEin Foto deines Spielzeugs oder einer Tasse auf dem Schreibtisch als Testbild verwendenEin Porträt mit ruhigem Hintergrund umwandeln und in SuperSplat drehenMehrere Fotos in einen Ordner legen und als Stapel in einem Lauf verarbeitenTipps für bessere Ergebnisse
- Wähle Fotos mit einfachem Hauptmotiv und klarer Tiefe.
- Nutze Originaldateien mit EXIF-Daten; HEIC vom iPhone geht direkt.
- Verarbeite mehrere Bilder als Stapel, da das Modell nur einmal geladen wird.
- Exportiere für Teilen ein HTML-Viewer-Paket oder komprimiertes PLY aus SuperSplat, das ist viel kleiner als 66 MB.
Wenn es hakt
Python 3.13 ist laut README vorgegeben; eine eigene conda-Umgebung verwenden.
Bei Terms-of-Service-Fehler von conda hilft `conda tos accept`, dann den Befehl wiederholen.
`pip install -r requirements.txt` muss im ml-sharp-Ordner laufen, sonst wird der Befehl `sharp` nicht installiert.
Szenen können in anderen Viewern auf dem Kopf stehen (y-down); SuperSplat 3.7.0 korrigiert das automatisch.
Fehlende EXIF-Daten führen zur Annahme von 30 mm Brennweite; Originale sind besser als Kopien.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.