WeChat veröffentlicht WeVisOne-VL: Ein offenes Bildmodell zum Finden, Zählen, Lesen und Freistellen

Worum es geht

Das Vision-Team von WeChat, also der Messenger-Plattform des chinesischen Konzerns Tencent, hat ein neues Bildmodell namens WeVisOne-VL als Open Source veröffentlicht. Es soll die vielen kleinen Arbeitsschritte, die beim Bearbeiten von Bildern immer wieder anfallen, in einem einzigen Modell bündeln: eine bestimmte Person finden, Waren in einem Regal zählen, die Schrift auf einer Verpackung lesen und das Hauptmotiv mit transparentem Hintergrund freistellen.

Es gibt zwei Varianten mit 2 und 4 Milliarden Parametern. Beide sind also klein genug für normale Hardware. Laut dem Bericht auf der chinesischen Produkt-Plattform woshipm.com (Autor „亨亨“, Kanal „产品变量“) liegt der Anteil richtiger Antworten im Test-Datensatz 32 Prozent höher als bei vergleichbaren Modellen. Diese Zahl stammt aus den offiziellen Angaben, unabhängig nachgeprüft ist sie bisher nicht. Ausprobieren kannst du beide Größen ohne Installation im Browser:

• 2B-Version: huggingface.co/spaces/hugging-apps/wevisone-vl-2b
• 4B-Version: huggingface.co/spaces/hugging-apps/wevisone-vl-4b

Code, Gewichte und Entwicklerdokumentation stehen auf github.com/Tencent/WeVisOne-VL.

Das Problem: Viele Spezialwerkzeuge für kleine Aufgaben

Der Autor benennt zwei Schwachstellen in heutigen Bild-Workflows. Erstens konzentrieren sich die meisten Anbieter auf große Allzweckmodelle, während spezialisierte Modelle für solche Randaufgaben nur langsam vorankommen. Zweitens gibt es zwar für jede einzelne Aufgabe ein passendes Werkzeug. In einem echten Arbeitsablauf muss man aber trotzdem zwischen Programmen wechseln, das Objekt jedes Mal neu auswählen und die Ergebnisse von Hand prüfen.

WeVisOne-VL liefert je nach Aufgabe unterschiedliche Ausgaben: Positionen in Form von Koordinaten, Anzahlen, erkannten Text, Segmentierungsmasken (Umrisse, die ein Objekt vom Hintergrund trennen) und Alpha-Masken für das Freistellen. Laut den Entwicklern wurde mit über 100 Millionen annotierten Bildern und rund 3,6 Milliarden Objektrahmen trainiert.

Was der Praxistest zeigt

Der Autor hat das Modell über die Online-Demo ausprobiert:

• Personen finden: Auf einem Foto einer Kinderband sollte das Modell „Jungen, die ein Mikrofon halten“ finden. Es lieferte zwei Rahmen, und zwar genau um die beiden Jungen mit Mikrofon in der Bildmitte. Das Modell musste also Objekt, Person und die Handlung „halten“ zusammen auswerten.
• „Gibt es nicht“ erkennen: Im selben Bild wurde nach „Jungen mit Geige“ gefragt. Es ist keine Geige zu sehen, und das Modell antwortete mit <ref>boys holding violin</ref><box>none</box>. Eine Gitarre hielt es also nicht fälschlich für eine Geige. Der Autor betont, dass das schwieriger ist, als ein Objekt zu erkennen. Viele Modelle markieren nämlich auch dann einen Bereich, wenn es nichts zu finden gibt. Im Arbeitsalltag führt so etwas zu falschen Ausschnitten, falschen Zählungen und falsch übernommenen Daten.
• Zählen: Auf einem Schachbrettfoto sollten die weißen Figuren gezählt werden. Das Modell lieferte 16 Rahmen und die Summe 16, was korrekt ist. Weil jede Figur einzeln markiert ist, lässt sich leicht prüfen, ob etwas übersehen, doppelt gezählt oder verwechselt wurde. In einem offiziellen Beispiel mit einem Obststand voller Äpfel und Orangen in mehreren Körben lagen die Vergleichsmodelle laut Bericht fast alle daneben, WeVisOne-VL zählte dagegen richtig.
• Texterkennung (OCR): Getestet wurden Ladenschilder, Lebensmittelverpackungen, Kassenbons und Infotafeln. Der Autor verweist darauf, dass reine OCR-Modelle wie DeepSeek-OCR, Xiaomi-OCR-0 oder Baidus Unlimited OCR 2 zwar stark sind, aber eben nur Text lesen können. WeVisOne-VL kann außerdem gezielt nach einer bestimmten Textstelle suchen, etwa nur nach dem Schriftzug „SMALL ALLEY“ auf einem Café-Schild.
• Segmentierung: Bei mehreren Fernbedienungen auf einem Tisch sollten die linke und die dritte von rechts ausgewählt werden. Das Modell zeichnete die Umrisse beider Fernbedienungen korrekt nach.
• Freistellen: Hühner in einem Gehege stellte das Modell laut Bericht fehlerfrei frei, während die Konkurrenz Fehler machte. Bei einem Eisberg blieben deutlich mehr Details erhalten als bei Verfahren, die nur auf Pixelebene arbeiten. Besonders anspruchsvoll war ein Heißluftballon, der freigestellt werden sollte, weil er den teilweise verdeckten Schriftzug „Daikin“ in Schreibschrift trägt. Dafür braucht es Texterkennung, die Abgrenzung von den anderen Ballons und das Freistellen zugleich. Der Autor nennt das Ergebnis „erstaunlich“.

So funktioniert das Modell

WeVisOne-VL ist kein Neubau von Grund auf, sondern wurde auf Basis von Qwen3-VL weitertrainiert, dem Bild-Sprach-Modell von Alibaba. Der Ablauf hat drei Stufen:

1. Verstehen: Ein Vision-Encoder wandelt das Bild in Merkmale um, mit denen das Modell rechnen kann. Diese Merkmale gehen zusammen mit der Textanweisung in das Sprachmodell, das entscheidet, wer oder was gemeint ist und wo es sich befindet.
2. Einheitliches Ausgabeformat: Alle Aufgaben werden als strukturierte Ausgabe formuliert, also Objektname plus Rahmenkoordinaten, mehrere Rahmen oder Punkte plus Anzahl oder Text plus Position. Für Koordinaten gibt es eigene Sonderzeichen. Deshalb kann ein einziges Modell viele Aufgaben erledigen, denn sie alle beruhen auf denselben Grundfähigkeiten: Beschreibung verstehen, Objekt festlegen, Position angeben.
3. Pixel-Decoder: Für Segmentierung und Freistellen erzeugt das Modell nach jedem Rahmen ein Sondertoken <OBJ>, das die interne Darstellung des Objekts an einen Decoder weitergibt. Dieser Decoder liest den Rahmen und mehrere Schichten der Bildmerkmale aus und berechnet daraus einen pixelgenauen Umriss oder eine Transparenzkarte. Beim Freistellen bleiben fließende Übergänge erhalten, etwa bei feinen Haaren oder halbtransparenten Kanten. Der Decoder hat nur rund 9,6 Millionen Parameter und verwendet die Bildmerkmale des Hauptmodells wieder. Ein separates, großes Segmentierungsmodell wie SAM (Metas „Segment Anything“) wird deshalb nicht gebraucht.

Die Arbeitsteilung ist klar: Der Sprachteil entscheidet, welches Objekt bearbeitet wird, und der Pixelteil entscheidet, wie es sauber herausgelöst wird. Wurde das falsche Objekt gewählt, liegt der Fehler vorne. Ist das Objekt richtig, aber die Haare sind unsauber, liegt er im Decoder.

Training gegen Fehlmarkierungen

Das Team verknüpft mit einer „Datenmaschine“ Objektbeschreibungen, Rahmen, Umrisse und Transparenzangaben miteinander. Trainiert wurde in mehreren Stufen. Zuerst lernte das Modell das einheitliche Ausgabeformat, dann folgten kleine Objekte und dicht gefüllte Szenen, danach die Pixelaufgaben. Zum Schluss wurde die Lokalisierung mit Reinforcement Learning verbessert, also mit einem Belohnungsverfahren, bei dem das Modell für korrekte Ergebnisse Pluspunkte bekommt.

Der Fall „nicht im Bild“ wurde dabei gezielt trainiert. Das Modell soll weder Objekte markieren, die es nicht gibt, noch vorhandene Objekte übersehen oder verwechseln. Dafür hat das Team einen eigenen Benchmark namens WeRef-Bench gebaut, der unter anderem misst, wie oft das Modell zu Recht „nicht vorhanden“ antwortet.

Die Entwickler nennen selbst zwei Schwächen. Komplizierte Verdeckungen, durchsichtige Objekte und unklare Anweisungen bleiben schwierig. Außerdem erzeugt das Modell seine strukturierte Ausgabe direkt, ohne vorher sichtbar „laut nachzudenken“ (Chain of Thought). Das macht es schneller, bei kniffligen Fällen aber womöglich weniger gründlich.

Einsatz in der Praxis

Nützlich ist das laut Bericht vor allem für Content-Teams und Onlinehändler: Personen oder Produkte nach Beschreibung heraussuchen und an Layout oder Hintergrundtausch weitergeben, Material in Bildarchiven nach Positionsdaten filtern, den Warenbestand zählen und Angaben von Verpackungen auslesen. Für Serienarbeit gibt es ein offizielles Inferenz-Paket. Pro Aufruf übergibt man ein Bild, eine Aufgabenart (etwa Freistellen) und eine Zielbeschreibung (etwa „person“). Zurück kommen eine Alpha-Maske und ein Bild mit Transparenzkanal. Ein Skript kann so ganze Ordner abarbeiten oder als HTTP-Dienst in bestehende Systeme eingebunden werden. Steuerung, Dateibenennung und Kontrolle muss allerdings die eigene Anwendung übernehmen.

Der Autor schlägt außerdem vor, das Modell von KI-Agenten wie Claude Code oder Codex aufrufen zu lassen. Der Agent plant die Arbeit und durchsucht Ordner, WeVisOne-VL erledigt die eigentliche Bildarbeit. Das sei präziser und günstiger, als alles vom großen Agentenmodell erledigen zu lassen.

Was du zum Ausprobieren brauchst

Am einfachsten sind die Hugging-Face-Demos, für die du keine eigene Hardware brauchst. Für den lokalen Betrieb nennt die Quelle keine konkreten Hardware-Werte. Grob geschätzt dürfte die 2B-Variante auf Grafikkarten mit 4 bis 6 GB VRAM laufen und die 4B-Variante mit etwa 8 bis 10 GB in voller Genauigkeit gut auskommen. Mit Quantisierung, bei der die Zahlen des Modells gröber gespeichert werden, kommen beide mit weniger aus, ob das offiziell unterstützt wird, ist aber offen. Hochauflösende Bilder brauchen mehr Speicher. Installation und Systemanforderungen beschreibt das GitHub-Repository. Fertige Ollama- oder GGUF-Pakete werden in der Quelle nicht erwähnt.

Einordnung

WeVisOne-VL zeigt einen Trend: Statt immer größerer Allzweckmodelle entstehen kleine, spezialisierte Modelle, die einen klar abgegrenzten Ablauf zuverlässig erledigen. Interessant ist vor allem die Kombination aus genauer Objektsuche, OCR und echtem Freistellen mit Transparenz in einem 2- bis 4-Milliarden-Modell. Bisher waren dafür meist ein Bild-Sprach-Modell, ein OCR-Modell und SAM nötig. Wichtig für den Praxiseinsatz ist das gezielte Training auf „nicht vorhanden“. Fehlmarkierungen sind bei automatisierten Abläufen eines der größten Probleme.

Kritisch bleibt: Die 32 Prozent Vorsprung und die Vergleichsbilder stammen von den Entwicklern beziehungsweise aus deren Demo-Material. Welche Konkurrenzmodelle genau verglichen wurden, bleibt im Bericht teils unklar. Die Lizenz wird im Artikel nicht genannt, wer das Modell kommerziell einsetzen will, sollte sie auf GitHub prüfen. Und bei Verdeckungen, durchsichtigen Objekten und vagen Anweisungen räumen die Entwickler selbst Schwächen ein.