Sehtest für die KI: Warum Claude, Gemini und GPT das Detail auf deinem Foto übersehen
Wer ein großes Foto an einen KI-Dienst schickt, glaubt, das Modell sehe jedes Pixel. Tatsächlich schrumpft jeder Anbieter das Bild vorher auf seine eigene Weise oder lehnt es ganz ab. Ein neues Paper misst, ab welcher Schriftgröße die Modelle nichts mehr erkennen, wann Zuschneiden hilft und welches Modell dabei selbstsicher falsch antwortet.

Darum geht es
Du fotografierst mit der Drohne einen Parkplatz, 8000 × 6000 Pixel, und fragst eine KI, welche Farbe das Auto in der hinteren Ecke hat. Auf dem Originalfoto ist das Auto 20 Pixel breit. Bei Claude kommt es nur noch mit etwa 6 Pixeln an. OpenAI verarbeitet das Foto in der Standardeinstellung gar nicht und lehnt es ab. Das Modell ist also nicht unbedingt „blind“: Das Bild wird verkleinert, bevor das Modell es überhaupt zu sehen bekommt.
So beginnt das Paper „Know When to Zoom“ von Siddharth Vohra und Min Xu von der Carnegie Mellon University. Es erschien am 17. November und ist laut Projektseite für den SENSE-Workshop der WACV 2027 angenommen. Die beiden haben sieben Modelle von vier Anbietern mit einer Art Sehtest geprüft und dazu 601 Fragen zu kleinen Objekten auf echten Fotos gestellt. Code (MIT-Lizenz), Testmaterial und alle 31.053 Modellantworten liegen auf GitHub. Das Thema ist gerade wichtig, weil KI-Agenten zunehmend Bildschirme bedienen. Google hat zum Beispiel am 19. November Computer Use für die Gemini-App auf dem Mac gestartet. Ob dabei ein kleines Häkchen oder eine Fußnote beim Modell ankommt, hängt an genau diesen Regeln.
Was mit deinem Foto passiert, bevor die KI es sieht
Sprachmodelle verarbeiten Bilder nicht Pixel für Pixel, sondern in Bild-Token: Das Bild wird in kleine Quadrate (Patches) zerlegt, und jedes Quadrat wird zu einer Recheneinheit. Jeder Anbieter legt fest, wie viele solcher Token ein Bild höchstens bekommt. Ist das Bild größer, wird es verkleinert. Wir haben die Regeln in den offiziellen Dokumentationen gegengeprüft:
- Claude: Laut Anthropic-Doku ist ein Token 28 × 28 Pixel groß. Ab Claude 4.7 gilt eine Obergrenze von 2.576 Pixeln an der langen Kante und 4.784 Token, ältere Modelle bekommen 1.568 Pixel und 1.568 Token. Bei fast allen Fotos ist laut Doku die Token-Grenze die engere. Bilder über 8000 Pixel werden abgelehnt.
- Gemini 4 und 3: Über den Parameter
media_resolutionstehen vier Stufen zur Wahl: 280, 560, 1.120 (Standard) und 2.240 Token. Die höchste Stufe heißt „ultra_high“, ist laut Google unter anderem für Computer Use gedacht und lässt sich nur pro Bild setzen. Wie viele Pixel ein Token abdeckt, verrät Google nicht. Die Autoren schätzen, dass Gemini Flash bei der Standardstufe etwa 2.300 bis 2.600 Pixel an der langen Kante behält. - OpenAI: Hier sind die Patches 32 × 32 Pixel groß. In der Standardeinstellung „auto“ behält ein Bild seine volle Größe. Braucht es aber mehr als 30.000 Patches, wird es abgelehnt und nicht verkleinert. Das gilt laut aktueller Doku auch für gpt-6-astra. Die Einstellung „high“ schrumpft das Bild dagegen auf höchstens 2.500 Patches.
- Qwen3.8-27B (offenes Modell beim Hoster): Verkleinert wird erst ab 16.384 Token.
Die Ablehnung bei OpenAI ist kein theoretisches Problem. Im GitHub-Issue eines Agenten-Projekts beschreiben die Entwickler, dass gpt-6.1-sol ein 4536 × 8064 Pixel großes JPEG mit HTTP-Fehler 400 zurückwies: Es brauchte 35.784 Patches. Ihre Lösung verkleinert solche Bilder jetzt auf 1.568 Pixel. Das Bild wird damit angenommen, kleine Details gehen dabei aber verloren.
Wir haben nachgerechnet, was von dem 20 Pixel breiten Auto übrig bleibt. Grundlage sind die dokumentierten Regeln, bei Gemini die Schätzung der Autoren:
| Dienst und Einstellung | Bild kommt an mit ca. | Auto (Original 20 px) |
|---|---|---|
| Claude ab 4.7 | ~2.200 px Breite | ~5,5–6 px |
| Claude ältere Modelle | ~1.280 px | ~3 px |
| Gemini „high“ (Standard) | ~2.300–2.600 px (geschätzt) | ~6 px |
| Gemini „ultra_high“ | ~3.100–3.400 px (geschätzt) | ~8 px |
| OpenAI „auto“ | abgelehnt (47.000 Patches) | – |
| OpenAI „high“ | ~1.850 px | ~4,6 px |
| Qwen (Hoster-Standard) | ~4.700 px | ~12 px |
Der Sehtest: Ab wann die Modelle nichts mehr erkennen
Für den Sehtest druckten die Forscher zufällige fünfstellige Codes in zehn Schriftgrößen von 4 bis 128 Pixeln Versalhöhe (also der Höhe eines Großbuchstabens) auf graue Flächen in vier Größen von 1024 × 768 bis 8000 × 6000 Pixel. Gemessen wurde, ab welcher Schriftgröße ein Modell den Code in der Hälfte der Fälle exakt richtig liest.
| Modell (Einstellung) | Bild 1024 px | Bild 8000 px |
|---|---|---|
| Claude Sonnet 5.5 | 4,2 px | 12,0 px |
| Claude Haiku 5.5 | 4,7 px | 14,4 px |
| Claude Haiku (alte Regel) | 4,4 px | 24,8 px |
| Gemini 3.8 Flash „high“ | 4,2 px | 13,2 px |
| Gemini 3.8 Flash „ultra_high“ | 4,2 px | 10,8 px |
| Gemini 3.8 Flash „low“ | 4,4 px | 26,7 px |
| GPT-6.1 Sol „auto“ | 4,3 px | abgelehnt |
| GPT-6.1 Sol „high“ | 4,2 px | 15,7 px |
| Qwen3.8-27B | 5,4 px | 15,1 px |
Bei kleinen Bildern liegen alle Modelle fast gleichauf. Die Unterschiede entstehen erst durch das Verkleinern. Für ein 8K-Foto (7680 × 4320) sagen die Autoren in der Standardeinstellung eine Lesegrenze von 10 bis 13 Pixeln voraus. Auffällig ist Qwen: Das Modell behält zwar die meisten Pixel, liest auf der großen Fläche aber nicht besser als Sonnet. Mehr Pixel helfen also nur, wenn das Modell sie auch nutzen kann.
Zuschneiden hilft, aber richtig
Getestet wurden zwei Strategien. Bei den Kacheln bekommt das Modell eine verkleinerte Übersicht und dazu das Foto als 2 × 2- oder 3 × 3-Raster, wobei sich die Kacheln um ein Zehntel überlappen. Beim Zoom in zwei Schritten nennt das Modell zuerst den Bildbereich, den es braucht. Danach bekommt es die Übersicht plus einen Ausschnitt aus dem Original mit 20 Prozent Rand.
| Modell | Foto unverändert | 3×3-Kacheln | Zwei-Schritt-Zoom |
|---|---|---|---|
| Claude Haiku 5.5 | 59,2 % | 73,7 % | 73,5 % |
| Claude Sonnet 5.5 | 72,4 % | 83,5 % | 81,0 % |
| Gemini 3.5 Flash-Lite | 58,6 % | 70,5 % | 72,2 % |
| Gemini 3.8 Flash | 68,1 % | 80,5 % | 83,0 % |
| GPT-6 Luna | 38,6 % | 65,7 % | 70,2 % |
| GPT-6.1 Sol | 50,7 % | 83,7 % | 82,2 % |
Bei OpenAI wurden in der Standardeinstellung 215 der 601 Fotos abgelehnt. Bei den angenommenen Fotos erreichte Sol schon ohne Zuschneiden 79,0 Prozent. Der große Sprung kommt also vor allem daher, dass keine Fotos mehr abgelehnt werden. Bei Gemini die Auflösung auf die höchste Stufe zu stellen, brachte nur 3,7 bzw. 5,5 Punkte und damit deutlich weniger als Kacheln. Der Zwei-Schritt-Zoom kam mit etwa 40 Prozent der Bild-Token aus, die die Kacheln brauchen. Bei Lu透 Luna lag er um 4,5 Punkte vor den Kacheln, bei Sonnet 2,5 Punkte dahinter.
Wer zugibt, dass er nichts sieht
Die Forscher sahen sich die Fälle genauer an, in denen das Detail auf dem ganzen Foto verloren ging, mit Kacheln aber erkannt wurde. Hier gab es einen deutlichen Unterschied:
| Modell | „Kann ich nicht erkennen“ | selbstsicher falsch |
|---|---|---|
| Claude Haiku 5.5 | 53 % | 9 % |
| Claude Sonnet 5.5 | 49 % | 5 % |
| Gemini Flash-Lite | 52 % | 48 % |
| Gemini Flash | 57 % | 43 % |
Gemini gab jede falsche Antwort mit einer Selbsteinschätzung von mindestens 70 von 100 ab. Die Autoren nennen eine mögliche Mitursache: Bei Multiple-Choice-Fragen gibt es immer eine plausible Antwort, auf die man tippen kann. Daraus folgt etwas Praktisches: Claudes Unsicherheit ist ein brauchbares Signal. Wer das Foto zuerst unverändert schickt und nur nach einer unsicheren Antwort kachelt, liegt höchstens 1,4 Punkte hinter „immer kacheln“ und braucht dafür 62 bis 70 Prozent der Token. Bei Gemini fehlt dieses Signal oft.
Weniger gut funktionierte eine Prüfung vor dem Aufruf, die anhand der Detailgröße entscheidet, ob gezoomt wird. Mit einer Schwelle von 16 Pixeln schickte sie mindestens 96 Prozent der Fotos unverändert durch und verschenkte damit fast den gesamten Gewinn.
Gegenprobe: Was andere Studien sagen
„Why VLMs Miss Small Objects“ von Shi, Gan und Jiang stützt das Ergebnis mit rund 187.000 Anfragen an zwölf Modelle, darunter GPT-6.1, Claude Opus 5.5 und Gemini 4. Die Studie fügt eine wichtige Einschränkung hinzu: Kacheln helfen nur, wenn keine Kachel kleiner dargestellt wird als im Gesamtbild. Aufteilungen, bei denen das passiert („Herauszoomen“), senkten die Trefferquote in 19 von 21 Fällen. Wer zum Beispiel Kacheln zu einer Collage zusammenklebt oder einzeln auf niedriger Stufe schickt, macht die Sache also schlimmer. Mit ihrer eigenen Regel stieg Gemini 3.8 bei Bauplan-Symbolen von 0,62 auf 0,90. Die Kosten lagen dabei beim 3,1- bis 8,6-Fachen der Token.
„The Last Visible Pixel“ testet offene Modelle auf 448-Pixel-Flächen. Die Wahrnehmung kleiner Ziele ist dort ab etwa 12 Pixeln ausgereizt, Gemma-4-31B erreicht die 50-Prozent-Grenze schon bei 7,3 Pixeln. Die NeurIPS-Workshop-Arbeit „Can't Find Waldo“ nennt neben dem Verkleinern zwei weitere Ursachen: Raster-Artefakte bei ungewöhnlichen Seitenverhältnissen und eine Aufmerksamkeit, die sich auf zu viele Token verteilt.
Ein Gegenbeispiel stammt von Claude Code Camp. Dort brachte die höhere Claude-Auflösung bei Dashboard-Screenshots kaum etwas (41 gegenüber 42 Einträgen) und kostete etwa das Dreifache an Token. Das passt zum Sehtest: Bilder, die ohnehin unter der Grenze liegen, verlieren nichts. Ein Experiment mit Folien mit einem kleinen Qwen-Modell zeigt außerdem eine Schwäche des Zooms. Ausschnitte lieferten echte Details, aber das Modell wählte oft den falschen Bereich (10 Fehler durch falsche Boxen).
Praktischer Leitfaden
- Claude: Foto unverändert schicken. Kacheln erst, wenn die Antwort unsicher klingt, und immer, wenn es auf Genauigkeit ankommt. Anthropic rät selbst, kleine Ziele auszuschneiden, warnt aber davor, wichtigen Kontext abzuschneiden. Deshalb immer eine Übersicht mitschicken.
- Gemini: Zwei-Schritt-Zoom nutzen und selbstsicheren Antworten zu kleinen Details misstrauen. Nur die Auflösung hochzudrehen, bringt wenig.
- OpenAI über die API: Vor dem Senden die Patches zählen (Breite/32 × Höhe/32, jeweils aufgerundet). Über 30.000 Patches kacheln oder einen Ausschnitt schicken, der darunter bleibt.
- Lokale Modelle: Laut einer Analyse auf DEV vergeben einige Programme wie Ollama standardmäßig nur etwa 1.280 Token pro Bild. Wer winzige Details sucht, sollte
max_pixelsausdrücklich setzen. Das ist eine Drittangabe, die wir nicht unabhängig geprüft haben. - In den Chat-Apps: Claude.ai nimmt laut Doku höchstens 10 MB pro Bild an. Ob die Apps von Anthropic, Google und OpenAI darüber hinaus verkleinern, dokumentiert keiner der Anbieter. Am sichersten ist es, den relevanten Ausschnitt selbst zuzuschneiden und das Gesamtbild zusätzlich hochzuladen.
Einordnung
Die Studie erklärt einen Fehler, den viele Nutzer kennen, aber falsch deuten: Die Ursache liegt oft nicht am Modell, sondern an der Aufbereitung des Bildes durch den Anbieter. Besonders wertvoll ist der Befund zur Selbstsicherheit. Für Agenten, die selbstständig Bildschirme und Fotos auswerten, ist ein Modell, das „weiß ich nicht“ sagt, deutlich ungefährlicher als eines, das rät.
Es gibt aber Grenzen. Jede Frage wurde pro Einstellung nur einmal gestellt, alle Modelle liefen mit niedriger Denkstufe, und medizinische Bilder fehlen. Die Regeln der Anbieter können sich jederzeit ändern. Der veröffentlichte Sehtest lässt sich mit eigenen API-Schlüsseln aber erneut durchführen. Unabhängig nachgeprüft sind die Ergebnisse bisher nicht, das Paper ist erst wenige Tage alt.
Unsere Einschätzung: Die Faustregel „im Zweifel zuschneiden, aber nie herauszoomen und immer eine Übersicht mitschicken“ ist durch drei unabhängige Arbeiten gut gestützt. Die konkreten Prozentwerte gelten dagegen nur für die getesteten Modellversionen.
Quellen
- arXiv: Know When to Zoom (HTML) arxiv.org
- arXiv: Know When to Zoom (Abstract) arxiv.org
- GitHub: siddvoh/know-when-to-zoom github.com
- Projektseite Know When to Zoom siddvoh.com
- arXiv: Why VLMs Miss Small Objects, and When Zooming In Is Safe arxiv.org
- arXiv: Why VLMs Miss Small Objects (HTML) arxiv.org
- arXiv: The Last Visible Pixel arxiv.org
- NeurIPS 2026: Can't Find Waldo neurips.cc
- Anthropic Docs: Vision platform.claude.com
- Anthropic Docs: Coordinates and bounding boxes platform.claude.com
- Google AI Studio Docs: Media resolution aistudio.google.com
- OpenAI Docs: Images and vision developers.openai.com
- GitHub Issue: fazer-ai/agents #1378 (OpenAI-Patch-Limit) github.com
- GitHub PR: fazer-ai/agents #1375 github.com
- Claude Code Camp: Images cost 3x more tokens in Claude Opus 4.7 claudecodecamp.com
- GitHub: Ladik-v/vlm-slides-under-magnifier github.com
- DEV: max_pixels is a token budget in disguise dev.to
- arXiv: CropVLM arxiv.org
- arXiv: ViRGo / Look Before You Zoom arxiv.org
- Google Blog: Gemini Computer Use auf dem Mac blog.google
- OpenAI Community: Understanding very large images community.openai.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.