Mirage: 22-MB-Bildmodell erkennt Objekte, liest Text und segmentiert in einem Durchgang

Worum es geht

Das Start-up Cactus Compute hat Mirage vorgestellt, ein sehr kleines Bildmodell für Smartphones, Wearables, Roboter und andere Geräte für Endkunden. Mirage hat 51,3 Millionen Parameter und ist mit der hauseigenen 2-Bit-Quantisierung „Cactus Quants“ nur rund 22 MB groß. Quantisierung heißt: Das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden. Zum Vergleich: Gängige Bild-Sprach-Modelle (VLMs, also Modelle, die Bilder und Text verstehen) belegen meist mehrere Gigabyte.

Trotz der geringen Größe soll Mirage in einem einzigen Durchlauf Szenen beschreiben, Objekte erkennen, Text lesen (OCR), Segmentierungsmasken erzeugen (pixelgenaue Umrisse von Objekten), räumliche Beziehungen bestimmen und einfache Entscheidungen treffen. Auf einem Samsung Galaxy S26 dauert das laut Hersteller 74 Millisekunden auf der NPU, dem KI-Beschleunigerchip des Handys, und 107 Millisekunden auf dem normalen Prozessor. Gemessen ist der gesamte Ablauf vom Bild bis zum Ergebnis.

Vorgestellt hat das Modell Henry von Cactus Compute im Reddit-Forum r/LocalLLaMA. Gewichte und Konfiguration liegen auf Hugging Face, der Quellcode auf GitHub. Mirage läuft in derselben Engine wie die Schwestermodelle Needle und Whistle des Unternehmens. Auf der Blogseite gibt es eine Demo, die direkt im Browser läuft: Du richtest die Kamera auf eine Tasse oder ein Etikett oder lädst ein Foto hoch, und die Erkennungen erscheinen als Overlay über dem Bild.

Was Mirage zurückliefert

Statt eines Fließtexts bekommt eine App einen strukturierten Datensatz im JSON-Format, mit dem sie direkt weiterarbeiten kann:

• Szene: Was für ein Ort ist das, wie sind Licht, Oberflächen und Hintergrund?
• Objekte und Eigenschaften: Namen, Rahmen (Boxen), Positionen sowie Merkmale wie Farbe, Form oder Material. Die Namen stammen vom Sprachteil des Modells. Sie sind also nicht auf eine feste Liste von Klassen beschränkt, wie es bei klassischen Objekterkennern üblich ist.
• Segmentierung: eine Maske für jedes beschriebene Objekt, wahlweise als Umriss, als einzelne Teilstücke oder als Bitmap.
• Text: geschriebene Wörter im Bild, jeweils mit Rahmen und Erkennungswert. Ausgelesen werden sie von einem eigenen Texterkenner im Modell.
• Beziehungen und Ereignisse: Welches Objekt hängt an welchem, was steht auf dem Tisch, welche Handlung ist zu sehen?
• Entscheidungen und Formulare: eine Auswahl aus vorgegebenen Labels, eine Anzahl innerhalb eines Bereichs, ein kurzes Textfeld oder eine Box, die zu einem gewählten Objekt gehört.

Namen, Eigenschaften und Beziehungen bilden zusammen einen kleinen Szenengraphen, also ein Netz aus Objekten und ihren Verbindungen. Eine App kann darin etwa vom Schild zu seinem Mast springen oder alle roten Objekte heraussuchen. Dazu kommt eine kurze Begründung (Reasoning Trace). Die macht nachvollziehbar, wie das Modell zu seiner Beschreibung kam. Cactus weist aber selbst darauf hin, dass auch dieser Text generiert ist und kritisch gelesen werden sollte.

Beschreibungen gibt es auf Englisch, Deutsch, Französisch, Spanisch, Italienisch, Niederländisch und Polnisch. Über die Python-Schnittstelle lässt sich gezielt auswählen, welche Teile man braucht. Boxen werden auf einer Skala von 0 bis 1000 relativ zur Bildgröße angegeben. Parameter wie conf und text_conf setzen Mindestwerte für die Erkennung, max_objects, max_text_lines und max_tokens begrenzen die Ausgabe. Mit language="de" kommt die Beschreibung auf Deutsch. Beim ersten Aufruf lädt das Paket Engine und Gewichte herunter und speichert sie für später. Die Bildanalyse selbst läuft auf dem eigenen Gerät.

Textmodelle sehen lassen, ohne Feintuning

Den interessantesten Befund nennt Cactus selbst: Man gibt Mirages JSON einfach an ein reines Textmodell weiter, zusammen mit einer Frage zum Bild. Mirage übernimmt das Sehen, das Sprachmodell liest die Beobachtungen als normalen Text. Keines der beiden Modelle muss dafür angepasst werden.

Getestet wurde das mit 256 Fragen aus dem Datensatz VQAv2 (Visual Question Answering, Fragen zu Bildern) zu 128 Bildern. Gemessen wurde die übliche VQA-Konsenspunktzahl von 0 bis 100:

Bei Qwen3-0.6B ist der Sprung groß. Gegenproben zeigen, dass es auf die passenden Bilddaten ankommt: Mit dem Datensatz eines anderen Bildes kam das Modell nur auf 22,2 Punkte. Ohne die Begründung erreichte es sogar 33,1. Einen verlässlichen Nutzen der Begründung fand Cactus deshalb nicht, die strukturierten Daten reichten.

Bei größeren Textmodellen fallen die Ergebnisse laut Cactus gemischt aus. Die Werte vermischen zudem richtige Antworten mit Formattreue: Verlangt war ein JSON-Objekt mit einem Textfeld „answer“, und wer das Format verfehlte, bekam null Punkte. Nemotron scheiterte daran bei 214 von 256 Antworten, Qwen3-1.7B bei 34. Cactus nennt auch Fehler bei der Wahrnehmung. Auf einem Skateboard-Foto übersah Mirage das Skateboard und beschrieb Autos, Menschen und Schuhe. Qwen hatte allein aus der Frage richtig „ein Skateboard“ geraten, nach dem Mirage-Datensatz antwortete es „ein Auto“. Was Mirage nicht sieht, kann auch das beste Textmodell nicht wissen. Als Nächstes will Cactus ein Textmodell gezielt auf Mirage-Datensätze mit Fragen und Antworten feintunen.

So ist das Modell gebaut

Die 51,3 Millionen Parameter verteilen sich auf einen Bild-Encoder mit 7,8 Millionen, einen Sprach-Decoder mit 40,8 Millionen und Köpfe für Texterkennung und räumliche Angaben mit 2,6 Millionen. Die Grundidee erklärt Henry so: Ausformulierte Sätze, verbindende Füllwörter und offene Begründungen kosten Kapazität, die ein kleines Modell besser für das Bild selbst nutzt. Deshalb hat Cactus Struktur in die Aufgabe gelegt, mit eigenen Köpfen für räumliche Angaben, einem eigenen Texterkenner und kurzen Verweisen zwischen Namen und Bildregionen.

Der Encoder nutzt einen Baustein namens HConvGLU. Feste Walsh-Hadamard-Transformationen, eine mathematische Umsortierung, die alle Kanäle miteinander vermischt, umschließen dabei drei kleine gelernte Faltungen mit 65 Kanälen. Jede Faltung speichert 512 × 65 Werte, etwa achtmal weniger als eine volle 512 × 512-Matrix. Der Encoder arbeitet auf 256 Bildzellen und nutzt Grouped-Query-Attention, die Rechenteile teilt und so Speicher spart. Dazu kommen vier „Register-Token“ als Notizzettel und eine Normierung, die die Kanäle ausbalanciert. Detektions- und Maskenköpfe bekommen feinere Bildmerkmale aus den frühen Schichten, damit Details erhalten bleiben.

Der Decoder hat acht Schichten und stammt aus derselben Familie wie Needle und Whistle. Er erzeugt Namen, Eigenschaften, Beziehungen und die Begründung und verweist mit kurzen Referenzen auf erkannte Boxen. Die Engine fügt das mit Boxen, Masken und Texterkennung zum JSON zusammen. So muss der Decoder weniger Token erzeugen. Bei der Quantisierung sind die meisten Matrizen auf 2 Bit reduziert. Einige empfindliche Teile bleiben bei 4 Bit oder 16 Bit, so kommt die Datei auf 21,6 MB.

Was du zum Ausprobieren brauchst

Die Hürde ist so niedrig wie selten: Die Browser-Demo auf der Cactus-Blogseite läuft lokal im Browser, ohne Installation und ohne Grafikkarte. Für eigene Projekte gibt es eine Python-Schnittstelle. Sie nimmt Dateipfade, Bild-Bytes, Pillow-Bilder oder RGB-Arrays entgegen. Native Apps laden die Datei mirage.cact mit cactus_load und analysieren Bilder mit cactus_describe. Eine Grafikkarte brauchst du nicht, Mirage ist für Handy-Prozessoren und NPUs gebaut, wenige hundert MB Arbeitsspeicher und ein paar MB Speicherplatz reichen. Welche Plattformen die Engine genau unterstützt, steht in einem eigenen Repository. Eine GGUF-Version für llama.cpp oder Ollama gibt es nicht, Mirage braucht die Cactus-Engine.

Einordnung

Mirage zeigt, wie weit sich Bildverstehen schrumpfen lässt. Normalerweise sind für Erkennung, Texterkennung, Segmentierung und Beschreibung mehrere Modelle nötig, hier steckt alles in 22 MB, die auf einem Handy in einer Zehntelsekunde rechnen. Für Apps, die offline und datensparsam funktionieren sollen, ist das interessant, etwa für Hilfen für Sehbehinderte, Roboter oder Brillen mit Kamera. Auch die Idee, Textmodellen über strukturierte Beobachtungen das Sehen beizubringen, ist für kleine lokale Systeme reizvoll.

Alle Zahlen stammen allerdings vom Hersteller, und unabhängige Tests gibt es noch nicht. Die VQA-Stichprobe ist mit 256 Fragen klein, und die absoluten Werte um 31 von 100 Punkten zeigen, dass das Duo noch weit hinter großen Bild-Sprach-Modellen liegt. Cactus legt Schwächen offen, darunter übersehene Objekte und gemischte Ergebnisse mit größeren Textmodellen, und hat alle Antworten des Experiments veröffentlicht. Eine Lizenz für die Gewichte nennt die Quelle nicht. Wer Mirage kommerziell einsetzen will, sollte sie auf Hugging Face prüfen.