Apple Depth Pro 2: Vier offene Modelle messen Tiefe in Metern aus Fotos und Videos

Apple hat Depth Pro 2 auf Hugging Face und GitHub veröffentlicht: vier Modelle, die aus einem einzigen Foto oder Video abschätzen, wie weit jeder Bildpunkt entfernt ist, und zwar in Metern. Sie laufen auf Nvidia-Grafikkarten, auf Apple-Silicon-Macs und sogar auf dem Prozessor. Die Lizenz erlaubt allerdings nur nicht-kommerzielle Forschung.

Modell-Releases Selbst ausprobieren 20. Nov. 2026 6 Min. Lesezeit Quelle: Google News (IN)
Symbolbild, KI-generiert

Worum es geht

Apple hat Depth Pro 2 veröffentlicht, den Nachfolger seines Tiefenschätzers Depth Pro. Das Paket umfasst vier Tiefenmodelle in verschiedenen Größen, einen kleinen Brennweiten-Schätzer und ein Kommandozeilenprogramm. Damit werden Fotos, Videos und Live-Kamerabilder zu metrischen Tiefenkarten, also Bildern, in denen für jeden Pixel die Entfernung zur Kamera in Metern steht. Die Gewichte liegen auf Hugging Face in der Sammlung apple/DepthPro2, der Code im GitHub-Repository github.com/apple-aiml-research/ml-depth-pro-2.

Einen Haken gibt es: Die Gewichte stehen unter der Apple Machine Learning Research Model License. Sie erlaubt die Nutzung laut README „ausschließlich für Forschungszwecke“, gemeint sind nicht-kommerzielle Forschung und akademische Arbeit. Die Informationen hier stammen aus einem Bericht von explainx.ai, der Modellkarte, README und Projektseite ausgewertet hat.

Was „monokulare metrische Tiefe“ bedeutet

Monokular heißt: eine Kamera, ein Bild. Es gibt kein Stereo-Kamerapaar und keinen Lidar-Sensor, wie ihn manche iPhones zum Messen mit Laser haben. Das Modell muss die Entfernung aus Hinweisen im Bild ableiten, etwa aus der Perspektive, aus Texturen und aus der bekannten Größe alltäglicher Gegenstände.

Metrisch heißt: Das Ergebnis kommt in echten Einheiten. Eine relative Tiefenkarte sagt nur, dass die Lampe näher ist als die Wand. Eine metrische sagt, dass die Lampe 1,8 Meter entfernt ist. Erst damit kann man einen Raum vermessen, virtuelle Objekte in der richtigen Größe einsetzen oder einen Roboter steuern.

Schwierig ist das, weil der Maßstab mehrdeutig ist: Ein Modellhaus und ein echtes Haus können auf einem Foto fast gleich aussehen. Deshalb liefert Apple den Brennweiten-Schätzer mit. Er hat 23,5 Millionen Parameter (etwa 94 MB) und sagt die Brennweite der Kamera in Pixeln voraus. Pixelmaße lassen sich nämlich nur mit bekannter Brennweite in Meter umrechnen, und viele Bilder und Videos haben keine verlässlichen Metadaten. Geladen wird er mit FOVEstimator.from_pretrained("apple/DepthPro2-focal").

Was neu ist: schärfere Kanten und ruhigeres Video

Der technische Bericht trägt laut Modellkarte den Titel „Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth“. Zwei Eigenschaften stehen also im Mittelpunkt.

Scharf bezieht sich auf Objektkanten. Viele Tiefenmodelle verwischen die Übergänge. Bei Effekten wie Hintergrundunschärfe im Porträtmodus oder 3D-Parallaxe fällt das sofort als Lichthof um eine Person auf. Laut Projektseite schlägt Depth Pro 2 frühere Arbeiten beim Boundary F1, einer Kennzahl dafür, wie genau die vorhergesagten Tiefenkanten mit den echten übereinstimmen.

Zeitlich konsistent bezieht sich auf Video. Wendet man ein Einzelbild-Modell auf jedes Frame an, flackert die Tiefe, weil schon kleine Bildänderungen zu anderen Schätzungen führen. Bei der Kennzahl Jitter, die dieses Zittern von Frame zu Frame misst, soll Depth Pro 2 ebenfalls vorn liegen. Beide Angaben sind laut Apple über die Datensätze Sintel und Spring gemittelt. Welche Vergleichsmodelle Apple herangezogen hat und welche Werte herauskamen, steht nicht auf der Seite.

Zur Architektur verrät Apple wenig. Ein Multi-View-Transformer verarbeitet ein oder mehrere Frames gemeinsam. Nach dem ersten Drittel seiner Blöcke wechselt er ab: Mal achtet er auf Zusammenhänge innerhalb eines Bildes, mal auf Zusammenhänge zwischen den Bildern. Ein DPT-Decoder erzeugt danach für jedes Frame eine inverse Tiefenkarte. Einfach gesagt: Das Modell sieht mehrere Bilder gleichzeitig und kann sich deshalb über die Zeit selbst treu bleiben. Videos verarbeitet es entweder in gepufferten Clips aus 16 Frames mit 4 Frames Überlappung oder als Live-Stream Frame für Frame.

Die vier Größen

Modell Parameter Download Gedacht für
S 24 Mio. 97 MB Laptops, schnelle Tests, Live-Einsatz
B 97 Mio. 386 MB Mittelweg, wenn S zu weich wirkt
L 334 Mio. 1,3 GB Bessere Qualität auf Desktop-GPU
H+ 872 Mio. 3,5 GB Standard, beste Qualität, Video in voller Auflösung

Auf Nvidia- und Apple-GPUs rechnet der Code in bfloat16, einem platzsparenden Zahlenformat, auf der CPU in float32. Auf Hugging Face liegen zusätzlich Core-ML-Exporte, also Fassungen für Apples eigenes KI-Framework. Das Repository enthält außerdem eine Live-Tiefen-Demo für den Mac. Sie setzt Apple Silicon, macOS 15 oder neuer und Xcode 16 oder neuer voraus.

So probierst du es aus

Der Schnellstart aus dem README braucht das Python-Werkzeug uv (docs.astral.sh/uv):

git clone https://github.com/apple-aiml-research/ml-depth-pro-2
cd ml-depth-pro-2
uv run depth-pro-2 predict -i assets/example.jpg -o out/

Heraus kommt eine farbige Tiefen-PNG oder bei Videos eine MP4-Datei. Über Optionen gibt es zusätzlich 16-Bit-PNGs mit inverser Tiefe und NPZ-Dateien mit der Tiefe in Metern und der Brennweite in Pixeln. Für eigene Programme bietet das Paket eine Python-Schnittstelle mit den Funktionen create_model_and_transforms, infer, infer_video und stream. Das große Modell heißt auf Hugging Face apple/DepthPro2-H.

Ein wichtiges Detail: Ein Videoclip bekommt eine einzige Brennweite für alle Frames. Zoomt die Kamera im Clip, stimmt diese Annahme nicht mehr, und der Meter-Maßstab verrutscht.

Was du zum Ausprobieren brauchst

Die Hürden sind niedrig. Eine Grafikkarte ist nicht zwingend nötig, denn die Modelle laufen auch auf dem Prozessor, bei den großen Varianten allerdings langsam. Das kleine S-Modell mit 97 MB eignet sich laut README für Laptops. Das größte Modell H+ ist 3,5 GB groß. Mit einer Nvidia-Karte mit etwa 4 GB Grafikspeicher oder einem Apple-Silicon-Mac mit 16 GB Arbeitsspeicher solltest du gut zurechtkommen (das ist eine Schätzung, Apple nennt keine Mindestwerte). Hochaufgelöste Videos brauchen mehr. Für alle vier Modelle reichen etwa 5 bis 6 GB Speicherplatz. Auf Macs läuft es über die GPU (MPS), die Live-Demo braucht macOS 15 und Xcode 16. Geschwindigkeitsangaben gibt es keine, du musst also selbst messen.

Was noch fehlt

Vieles bleibt offen. Es gibt kein genaues Veröffentlichungsdatum, keine Benchmark-Tabelle, keine Bildraten für die einzelnen Modelle und Geräte und keinen direkten Vergleich mit Depth Pro 1. Der arXiv-Link zum technischen Bericht ist noch ein Platzhalter. Trainings- und Evaluationscode fehlen, die Ergebnisse lassen sich also weder nachprüfen noch auf eigenen Daten nachtrainieren. Als explainx.ai nachsah, hatte das GitHub-Projekt weder Sterne noch Forks, Tests aus der Community gibt es also noch nicht. Die Video-Vergleiche auf der Projektseite nutzen 2K- bis 4K-Material. H+ läuft dort in nativer Auflösung, die Vergleichsmodelle in ihren Standardeinstellungen. Das zeigt die Schärfe gut, ist aber kein kontrollierter Vergleich.

Einordnung

Tiefenschätzung ist ein Grundbaustein für viele Anwendungen: Porträt-Unschärfe in Videos, Augmented Reality, Robotik, 3D-Rekonstruktion und Kamera-Tracking. Ein Modell, das echte Meter liefert, bei Video nicht flackert und schon in einer 97-MB-Version auf einem Laptop läuft, ist für Forscher und Bastler sehr interessant. Die Core-ML-Exporte machen es besonders für Mac-Nutzer attraktiv.

Apples Angaben sind aber bisher nur qualitativ, die Galerie auf der Projektseite stammt vom Hersteller selbst. Belastbar wird das Ganze erst mit dem Paper und echten Zahlen. Die Lizenz schließt jede kommerzielle Nutzung aus, auch interne Werkzeuge, die Umsatz unterstützen. Apple bleibt damit bei seinem bekannten Muster: Forscher bekommen die Gewichte, die kommerzielle Nutzung behält Apple seinen eigenen Produkten vor. Für Prototypen und Experimente lohnt sich ein Blick, für Produkte vorerst nicht.

Quellen

#apple#tiefenschätzung#computer vision#open weights#hugging face#video
Originalquelle lesen

Selbst ausprobieren: Depth Pro 2 H+

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Depth Pro 2 macht aus einem normalen Foto, einem Video oder einem Live-Kamerabild eine Tiefenkarte. Für jeden Bildpunkt steht darin, wie viele Meter er von der Kamera entfernt ist. Als Ergebnis bekommst du ein farbiges Tiefenbild (PNG) oder ein Tiefenvideo (MP4). Auf Wunsch gibt es auch Rohdaten mit Metern und Brennweite als NPZ-Datei, die man in Python oder 3D-Programmen weiterverarbeiten kann. Laut Apple sind die Kanten besonders scharf und die Tiefe flackert bei Videos kaum, weil das Modell mehrere Frames gemeinsam betrachtet. Ein mitgelieferter Brennweiten-Schätzer sorgt dafür, dass auch Bilder ohne Kameradaten in Meter umgerechnet werden können. Grenzen: Zoomt die Kamera im Video, stimmt der Maßstab nicht mehr. Unabhängige Benchmarks gibt es noch nicht, und jede kommerzielle Nutzung ist laut Lizenz verboten.

Für wen lohnt es sich?

Interessant ist das für Studierende, Forschende und Hobby-Bastler, die mit 3D-Effekten, Augmented Reality, Robotik oder Fotografie experimentieren wollen. Mac-Nutzer profitieren von den Core-ML-Exporten und der Live-Demo. Wer etwas für ein Produkt, eine bezahlte App oder die Firma bauen will, kann die Gewichte wegen der Forschungslizenz nicht nutzen.

Ideen: Was du damit anstellen kannst

Porträt-Unschärfe für Videos

Lass ein Handyvideo durch das Modell laufen und nutze die Tiefenkarte als Maske in einem Videoschnittprogramm. So machst du den Hintergrund unscharf wie im Kino-Porträtmodus. Weil die Kanten scharf sein sollen, gibt es weniger Lichthöfe um Personen.

Raum grob vermessen

Fotografiere ein Zimmer und lass dir die NPZ-Datei mit Metern ausgeben. In Python liest du ab, wie weit Wand, Sofa oder Tür entfernt sind. Für exakte Maße taugt das nicht, für eine erste Einschätzung aber schon.

3D-Parallaxe aus Urlaubsfotos

Aus Foto und Tiefenkarte lässt sich in Programmen wie Blender ein 2,5D-Effekt bauen, bei dem sich Vorder- und Hintergrund beim Kameraschwenk unterschiedlich bewegen. So wird ein statisches Bild zu einer kleinen Animation.

Robotik- und Mapping-Experimente

Hobby-Roboter mit einer einfachen Webcam können über die Stream-Funktion eine Tiefenschätzung in Metern bekommen. Damit lassen sich Hindernisse erkennen oder einfache Karten eines Raums erstellen.

Lernprojekt Computer Vision

Studierende können die vier Modellgrößen auf denselben Bildern vergleichen und Qualität, Geschwindigkeit und Speicherbedarf selbst messen. Das ist ein guter Einstieg in Tiefenschätzung und Video-Konsistenz.

Größe0,9 Mrd. Parameter
Download3,5 GB (bei 100 MBit/s ca. 5 Min.)
Lizenzeigene Lizenz (siehe Model Card)
ArtKI-Modell
Hugging Faceapple/DepthPro2-H

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 8 GB VRAMDie Zahl kommt von Apple: 8,3 GiB Spitzenverbrauch für einen Videoclip mit 32 Bildern in VGA-Auflösung, gemessen auf einer NVIDIA B200 in bfloat16. Ein einzelnes kleines Foto braucht weniger, hochauflösende Fotos und Videos brauchen viel mehr (bei 1080p 29,5 GiB). Mehr Grafikspeicher erlaubt höhere Auflösungen und längere Videoclips. Bei wenig Speicher hilft das Modell S.
Mac (Apple Silicon M1–M5) ab 16 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Speicherplatz ca. 5,5 GB freiModell-Download plus Programme
Im Browser Online-Demo vorhandenauf Hugging Face ausprobieren, ganz ohne Installation

Fang laut README mit dem S-Modell an (24 Mio. Parameter, 97 MB). Es reicht für Laptops, schnelle Tests und den Live-Einsatz. Wirken die Kanten zu weich, nimm B (386 MB) oder L (1,3 GB, sinnvoll mit Desktop-Grafikkarte). H+ (872 Mio. Parameter, 3,5 GB) ist der Standard und liefert die beste Qualität, auch bei Videos in voller Auflösung. Dafür ist eine GPU oder ein Apple-Silicon-Mac zu empfehlen.

  • Läuft auf Nvidia-Grafikkarten (CUDA), Apple-Silicon-GPUs (MPS) oder rein auf der CPU.
  • Auf GPUs wird in bfloat16 gerechnet, auf der CPU in float32. Große Modelle sind auf der CPU entsprechend langsam.
  • Downloadgrößen: S 97 MB, B 386 MB, L 1,3 GB, H+ 3,5 GB, dazu der Brennweiten-Schätzer mit etwa 94 MB.
  • Die Live-Tiefen-Demo für den Mac braucht Apple Silicon, macOS 15 oder neuer und Xcode 16 oder neuer.
  • Apple nennt keine Geschwindigkeitswerte. Für den Live-Einsatz solltest du die Bildrate auf deiner eigenen Hardware messen.
  • Hochaufgelöste Videos (2K bis 4K) mit H+ brauchen spürbar mehr Grafikspeicher als einzelne Fotos.
Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (apple-aiml-research/ml-depth-pro-2 auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Im Browser (ohne Installation)

Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.

Online-Demo öffnen

Windows 10 / 11

Windows 10 / 11: nicht offiziell getestet. Laut README laufen nur Linux und Macs mit Apple-Chip offiziell. Windows wird nicht erwähnt, sollte mit einer NVIDIA-Grafikkarte aber gehen. Sicherer ist WSL2 (ein Linux innerhalb von Windows), dort folgst du der Linux-Anleitung.

  1. Voraussetzungen installieren. Du brauchst ein aktuelles Python 3 (bei der Installation „Add Python to PATH“ anhaken) und Git für Windows. Für Tempo brauchst du eine NVIDIA-Grafikkarte mit aktuellem Treiber. Öffne danach die PowerShell, das ist die Windows-Kommandozeile. Mit den beiden Befehlen prüfst du, ob alles da ist: Beide müssen eine Versionsnummer zeigen.
    python --version
    git --version
  2. Programm herunterladen. Damit holst du den Programmcode von Apple. Darin liegen auch ein Beispielfoto und ein Beispielvideo. Danach wechselst du in den neuen Ordner.
    git clone https://github.com/apple-aiml-research/ml-depth-pro-2
    cd ml-depth-pro-2
  3. Eigene Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgeschotteter Ordner für die Python-Pakete. So bleibt der Rest deines Systems unberührt. Klappt das Aktivieren, steht (.venv) vorne in der Zeile. Meldet Windows, dass Skripte gesperrt sind, gib vorher einmal „Set-ExecutionPolicy -Scope CurrentUser RemoteSigned“ ein.
    python -m venv .venv
    .venv\Scripts\Activate.ps1
  4. Depth Pro 2 installieren. Dieser Befehl stammt aus der Model Card. Er installiert Depth Pro 2 samt PyTorch, der Rechenbibliothek dahinter. Das kann ein paar Minuten dauern.
    pip install "git+https://github.com/apple-aiml-research/ml-depth-pro-2"
  5. Grafikkarte prüfen. Hier prüfst du, ob PyTorch deine NVIDIA-Karte findet. Steht da „True“, passt alles. Bei „False“ hat pip eine Version nur für den Prozessor installiert. Dann installierst du PyTorch neu, und zwar mit dem Befehl für CUDA, den dir die PyTorch-Webseite anzeigt.
    python -c "import torch; print(torch.cuda.is_available())"
  6. Erstes Tiefenbild erzeugen. Damit schätzt du die Tiefe im mitgelieferten Beispielfoto. Beim ersten Start lädt das Programm das H+-Modell herunter (3,5 GB). Am Ende liegt im Ordner „out“ die Datei example-depth.png. Rot heißt nah, Blau heißt fern.
    depth-pro-2 predict -i assets\example.jpg -o out\
  7. Ohne starke Grafikkarte. Hast du keine NVIDIA-Karte oder zu wenig Grafikspeicher, nimm das kleine Modell S (97 MB). Es läuft deutlich schneller, auch auf dem Prozessor.
    depth-pro-2 predict -i assets\example.jpg -o out\ -m depthpro2-s
  8. Ergebnis. Im Ordner „out“ liegt die Datei example-depth.png. Sie zeigt die Tiefe als Farbbild: Rot ist nah, Blau ist fern.

macOS

macOS: unterstützt. Macs mit Apple-Chip (M1 oder neuer) werden laut README unterstützt. Das Programm rechnet dort auf dem Grafikchip, über die Apple-Schnittstelle MPS. Für Intel-Macs gibt es keine Angabe. Auf einem MacBook empfiehlt Apple das kleine Modell S.

  1. Voraussetzungen installieren. Du brauchst einen Mac mit Apple-Chip. Öffne das Programm „Terminal“ und installiere die Xcode-Befehlszeilenwerkzeuge von Apple, darin steckt auch Git. Bestätige das Fenster, das danach aufgeht. Mit „git --version“ prüfst du, ob es geklappt hat.
    xcode-select --install
    git --version
  2. uv installieren. uv ist ein Werkzeug, das Python und alle Pakete von selbst passend einrichtet. Die Entwickler von Depth Pro 2 empfehlen es. Du kannst es mit pip installieren. Danach muss „uv --version“ eine Versionsnummer zeigen.
    pip3 install uv
    uv --version
  3. Programm herunterladen. Damit holst du den Programmcode von Apple. Darin liegen auch ein Beispielfoto und ein Beispielvideo. Danach wechselst du in den neuen Ordner.
    git clone https://github.com/apple-aiml-research/ml-depth-pro-2
    cd ml-depth-pro-2
  4. Erstes Tiefenbild erzeugen. Beim ersten Start legt uv von selbst eine Umgebung an und installiert alles. Danach lädt das Programm das H+-Modell herunter (3,5 GB). Das dauert eine Weile. Am Ende liegt im Ordner „out“ die Datei example-depth.png.
    uv run depth-pro-2 predict -i assets/example.jpg -o out/
  5. Auf dem Laptop: kleines Modell. Auf einem MacBook ist H+ eher langsam. Mit dem Zusatz „-m depthpro2-s“ nimmst du das kleine Modell S (97 MB). Das empfiehlt Apple selbst.
    uv run depth-pro-2 predict -i assets/example.jpg -o out/ -m depthpro2-s
  6. Ergebnis ansehen. Öffne den Ordner mit dem Befehl unten im Finder. Im Tiefenbild steht Rot für nah und Blau für fern.
    open out
  7. Ergebnis. Im Ordner „out“ liegt die Datei example-depth.png. Sie zeigt die Tiefe als Farbbild: Rot ist nah, Blau ist fern.

Linux

Linux: unterstützt. Linux wird laut README offiziell unterstützt. Das Programm nimmt von selbst eine NVIDIA-Grafikkarte (CUDA), wenn eine da ist, sonst den Prozessor. Ohne Grafikkarte ist H+ sehr langsam, dann nimm das Modell S.

  1. Voraussetzungen installieren. Du brauchst Git und Python 3, bei den meisten Linux-Systemen ist beides schon dabei oder schnell über die Paketverwaltung installiert. Für Tempo brauchst du eine NVIDIA-Grafikkarte mit installiertem Treiber. „nvidia-smi“ zeigt dir deine Karte und ihren Grafikspeicher.
    git --version
    python3 --version
    nvidia-smi
  2. uv installieren. uv ist ein Werkzeug, das Python und alle Pakete von selbst passend einrichtet. Die Entwickler von Depth Pro 2 empfehlen es. Lehnt dein System „pip install“ ab, installiere uv über deine Paketverwaltung oder nimm den Installer von der uv-Webseite. Danach muss „uv --version“ eine Versionsnummer zeigen.
    pip install uv
    uv --version
  3. Programm herunterladen. Damit holst du den Programmcode von Apple. Darin liegen auch ein Beispielfoto und ein Beispielvideo. Danach wechselst du in den neuen Ordner.
    git clone https://github.com/apple-aiml-research/ml-depth-pro-2
    cd ml-depth-pro-2
  4. Erstes Tiefenbild erzeugen. Beim ersten Start legt uv von selbst eine Umgebung an und installiert PyTorch und alles Weitere. Danach lädt das Programm das H+-Modell herunter (3,5 GB). Am Ende liegt im Ordner „out“ die Datei example-depth.png. Rot heißt nah, Blau heißt fern.
    uv run depth-pro-2 predict -i assets/example.jpg -o out/
  5. Video ausprobieren. Genauso klappt es mit dem Beispielvideo. Das Ergebnis ist die Datei out/example-depth.mp4. Ein Video braucht mehr Grafikspeicher als ein Foto.
    uv run depth-pro-2 predict -i assets/example.mp4 -o out/
  6. Bei wenig Speicher: kleines Modell. Reicht der Grafikspeicher nicht oder hast du keine NVIDIA-Karte, nimm das kleine Modell S (97 MB). Bei Videos kannst du stattdessen zuerst „--window“ verkleinern. Das ist die Zahl der Bilder, die das Modell auf einmal bearbeitet.
    uv run depth-pro-2 predict -i assets/example.jpg -o out/ -m depthpro2-s
  7. Ergebnis. Im Ordner „out“ liegt die Datei example-depth.png. Sie zeigt die Tiefe als Farbbild: Rot ist nah, Blau ist fern.

So geht es nach dem ersten Ergebnis weiter

  • Eigene Fotos: Gib mit -i dein Bild oder einen ganzen Ordner an, z. B. „-i meinfoto.jpg“. Das Programm liest die Brennweite (Zoomstufe der Kamera) aus den Fotodaten oder schätzt sie selbst.
  • Mit „--save-npz“ speichert das Programm zusätzlich die echte Tiefe in Metern. Mit „--save-png16“ bekommst du 16-Bit-Graustufenbilder für Blender oder Nuke.
  • Für Videos gibt es „--window“ und „--overlap“: Damit stellst du ein, wie viele Bilder das Modell zusammen bearbeitet. Für Livebilder von einer Kamera gibt es „--mode unbuffered“.
  • Auf dem Mac gibt es im Ordner demo/ eine kleine App für Live-Tiefe von der Kamera (braucht macOS 15 und Xcode 16). Achtung: Die Modellgewichte darfst du nur für nicht-kommerzielle Forschung nutzen.

Das kannst du ausprobieren

uv run depth-pro-2 predict -i assets/example.jpg -o out/ (mitgeliefertes Beispielbild als Funktionstest)
uv run depth-pro-2 predict -i wohnzimmer.jpg -o out/ (eigenes Foto eines Raums, um zu prüfen, ob die Meterangaben plausibel sind)
uv run depth-pro-2 predict -i portrait.jpg -o out/ (Personenfoto, um die Kantenschärfe an Haaren und Schultern zu begutachten)
uv run depth-pro-2 predict -i spaziergang.mp4 -o out/ (Handyvideo ohne Zoom, um zu prüfen, ob die Tiefe flackert)
In Python: Modell mit create_model_and_transforms laden und infer_video auf einen Clip anwenden, der als Frames im Format (T, 3, H, W) übergeben wird

Tipps für bessere Ergebnisse

  • Beginne mit S und wechsle erst zu B, L oder H+, wenn die Kanten auf deinem eigenen Material zu weich wirken.
  • Bewerte die Qualität an deinen eigenen Bildern und Videos, nicht nur an Apples Galerie. Achte besonders auf Kanten und Flackern.
  • Für Messungen und 3D-Weiterverarbeitung lässt du die NPZ-Ausgabe erzeugen. Sie enthält die Tiefe in Metern und die Brennweite in Pixeln.
  • Wenn die echte Brennweite deiner Kamera bekannt ist, sind die Meterangaben verlässlicher als mit einer geschätzten. Bei Fotos ohne Metadaten übernimmt das der Brennweiten-Schätzer.
  • Für Live-Anwendungen auf dem Mac nutzt du die Core-ML-Exporte von Hugging Face.

Wenn es hakt

Für den Schnellstart brauchst du das Werkzeug uv (docs.astral.sh/uv). Installiere es vorher, sonst funktioniert der Befehl „uv run“ nicht.

Die Lizenz erlaubt nur nicht-kommerzielle Forschung. Die Gewichte dürfen also nicht in Apps, bezahlte APIs oder Firmenwerkzeuge.

Pro Videoclip gibt es nur eine Brennweite. Bei Zoom-Aufnahmen verrutscht deshalb der Meter-Maßstab, nimm also Videos mit fester Brennweite.

Trainings- und Evaluationscode fehlen. Nachtrainieren auf eigenen Daten oder Nachmessen der Apple-Ergebnisse ist nicht möglich.

Die Mac-Live-Demo startet nur mit macOS 15 und Xcode 16 oder neuer.

Auf der CPU sind die großen Modelle sehr langsam. Nimm ohne GPU besser das S-Modell.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.