OXR: Offenes 1,3B-Modell für Dokumentenparsing führt drei Benchmarks an

Das chinesische Startup-Team SoMark hat OXR veröffentlicht, ein Open-Weights-Modell mit 1,3 Milliarden Parametern, das PDFs und Dokumentbilder in Markdown oder JSON umwandelt. Laut Hersteller liegt es auf OmniDocBench, olmOCR-Bench und DocParsingBench vorn und ist schneller als PaddleOCR-VL-1.6 und MinerU2.5-Pro.

Modell-Releases Selbst ausprobieren 27. Okt. 2026 3 Min. Lesezeit Quelle: QbitAI 量子位 (CN)
Symbolbild, KI-generiert

Worum es geht

Das Team hinter dem Dokumentenparser SoMark, ein Startup aus China, hat das Modell OXR als Open Source veröffentlicht. Der Name steht für „Optical Everything Recognition“ – eine Erweiterung von OCR (Texterkennung) auf mehr als Text. Das Hauptmodell hat 1,3 Milliarden Parameter, also die beim Training gelernten Stellschrauben, und ist damit klein. Es wandelt PDFs und Dokumentbilder in Markdown oder JSON um, behält dabei Layout-Koordinaten und erkennt 13 Arten von Elementen, darunter Tabellen, Formeln, chemische Formeln und Code. Der Artikel stammt von der SoMark-Seite und wurde von QbitAI mit Genehmigung übernommen; alle Leistungsangaben sind Herstellerangaben. Laut Text gab es nach einer Woche über 1000 GitHub-Sterne.

Was OXR kann

Bei Tabellen genügt korrekte Texterkennung nicht: Verrutschen Zeilen, Spalten oder verbundene Zellen, landen Zahlen beim falschen Eintrag. OXR bewahrt die Struktur und gibt Tabellen als HTML aus. Formeln werden als LaTeX ausgegeben, chemische Gleichungen im mhchem-Format und Strukturformeln als SMILES (eine Textschreibweise für Moleküle). Bei mehrspaltigen Papers, Zeitungen oder Prüfungen bestimmt das Modell zugleich die Lesereihenfolge, damit Spalten nicht vermischt werden, und liefert Koordinaten. Die Ausgabe soll für Agenten und RAG-Systeme (Systeme, die Sprachmodellen passende Dokumentausschnitte zuliefern) nutzbar sein.

Benchmarks und Geschwindigkeit

Laut Team erzielt OXR folgende Werte, jeweils Platz 1:

Benchmark Punkte
OmniDocBench 97,18
olmOCR-Bench 87,84
DocParsingBench 87,76

Beim Tempo wurden 100 zufällig aus OmniDocBench gezogene Seiten auf derselben RTX PRO 6000 Blackwell (96 GB) komplett geparst:

Modell Zeit (ca.)
OXR 101 s
PaddleOCR-VL-1.6 145 s
MinerU2.5-Pro 255 s

Die Architektur trennt Aufgaben: Ein leichtes Layout-Modell findet Inhaltsbereiche, das Hauptmodell erkennt Inhalte und bestimmt die Lesereihenfolge. Weil die Reihenfolge im selben Schritt entsteht, entfällt zusätzlicher Aufwand, und das Modell kann den Inhalt für die Reihenfolge nutzen.

Training mit Recursive Self-Improvement

Im Post-Training setzt OXR nach Teamangaben erstmals für Dokumentparsing auf Recursive Self-Improvement (RSI). Ablauf: OXR parst unbeschriftete Dokumente; ein externes Modell bewertet die Ergebnisse und analysiert Fehlerursachen; ein unabhängiges Clustering-Modell gruppiert die Probleme; ein externes Modell erzeugt dazu gezielt Trainingsdaten für die nächste Runde. So wird dort nachgebessert, wo das Modell schwach ist, und es braucht keine manuelle Annotation.

Austauschbares Layout-Modul

Die Layout-Analyse ist ein eigenes, austauschbares Modul. Man kann das eingebaute Modell nutzen oder ein eigenes anschließen, um Kategorien, Regionsgrenzen und Gruppierungen anzupassen – etwa Bilder gesammelt für die Archivierung oder einzeln für die Bildsuche. Inhaltserkennung und Lesereihenfolge von OXR bleiben nutzbar.

Was du zum Ausprobieren brauchst

Die Quelle nennt keine Mindestanforderungen. Mit 1,3 Mrd. Parametern dürfte das Modell grob mit wenigen GB VRAM (geschätzt 3–4 GB bei 4-bit) laufen; die Tempomessung erfolgte allerdings auf einer 96-GB-Karte. Am einfachsten testest du es ohne Installation über die Online-Demo (free-oxr.somark.cn) oder die kostenlose API. Gewichte: Hugging Face (SoMarkAI/OXR-1.0), Code: GitHub (SoMarkAI/OXR). Ob Mac, CPU oder Colab funktionieren, ist nicht angegeben.

Einordnung

Ein kleines, schnelles Modell mit offenen Gewichten ist für Dokumentpipelines attraktiv, etwa für Papers, Berichte und Archive. Die Zahlen sind aber Herstellerangaben; unabhängige Tests und Details wie Lizenz, Sprachabdeckung und Fehlerraten bei schwierigen Scans fehlen in der Quelle. Der Text ist zudem ein von SoMark bereitgestellter Beitrag und enthält Werbung für das kommerzielle Produkt SoMark. Wer produktiv parsen will, sollte mit eigenen Dokumenten gegen PaddleOCR-VL und MinerU vergleichen.

Quellen

#ocr#dokumentenparsing#open-weights#rag#somark
Originalquelle lesen

Selbst ausprobieren: OXR-1.0

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

OXR wandelt PDFs und Bilder von Dokumenten in strukturiertes Markdown oder JSON um. Es erkennt Tabellen (als HTML), Formeln (LaTeX), chemische Formeln und Strukturen, Code sowie die richtige Lesereihenfolge und liefert Layout-Koordinaten. So lassen sich Dokumente für RAG-Systeme oder Agenten aufbereiten.

Für wen lohnt es sich?

Lohnt sich für Entwickler, die Papers, Berichte oder Archive in maschinenlesbare Daten umwandeln wollen. Weniger für Leute, die nur gelegentlich einzelne Seiten lesen wollen.

Größe1,5 Mrd. Parameter
Download3,1 GB (bei 100 MBit/s ca. 4 Min.)
ArtBild + Text (versteht Bilder)
Hugging FaceSoMarkAI/OXR-1.0

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 24 GB VRAMHerstellerangabe: 24 GB Grafikspeicher auf einer Karte reichen für den Einstieg mit wenigen gleichzeitigen Anfragen. Für lange Dokumente oder mehrere Nutzer empfiehlt der Hersteller mindestens 48 GB.
Mac (Apple Silicon M1–M5) nicht unterstütztMacs haben keine NVIDIA-Grafikkarte, OXR braucht aber eine (Linux + NVIDIA). Nutze die Online-Demo auf https://free-oxr.somark.ai oder die kostenlose API des Herstellers.
Speicherplatz ca. 5,1 GB freiModell-Download plus Programme

Es gibt ein Hauptmodell mit 1,3 Mrd. Parametern (OXR-1.0) plus ein leichtes eingebautes Layout-Modell. Quantisierungen nennt die Quelle nicht; am einfachsten startest du mit der Online-Demo oder der kostenlosen API.

  • Das Tempo wurde auf einer RTX PRO 6000 Blackwell mit 96 GB gemessen; so viel brauchst du vermutlich nicht.
  • Mit 1,3 Mrd. Parametern sind grob geschätzt wenige GB VRAM nötig; die Quelle nennt keine Mindestwerte.
  • Zu CPU-Betrieb, Apple Silicon oder Colab macht die Quelle keine Angaben.
  • Zusätzlich wird das Layout-Modell geladen, was etwas Speicher kostet.
Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (SoMarkAI/OXR auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Windows 10 / 11

Windows 10 / 11: nicht unterstützt. Laut Anleitung läuft OXR lokal nur unter Linux mit NVIDIA-Grafikkarte. Ob WSL2 geht, ist nicht getestet. Probier stattdessen die Online-Demo auf https://free-oxr.somark.ai aus, dort lädst du ein Dokument hoch, ganz ohne Installation.

macOS

macOS: nicht unterstützt. Macs haben keine NVIDIA-Grafikkarte, OXR braucht aber eine (Linux + NVIDIA). Nutze die Online-Demo auf https://free-oxr.somark.ai oder die kostenlose API des Herstellers.

Linux

Linux: unterstützt. Offiziell unterstützt: Linux mit NVIDIA-Grafikkarte (BF16-fähig) und Treiber, der zu CUDA 13.0 passt. Empfohlen wird der Weg über Docker. AMD-Karten und Mac sind nicht vorgesehen.

  1. Voraussetzungen prüfen. Du brauchst eine NVIDIA-Grafikkarte mit mindestens 24 GB Speicher und einen aktuellen NVIDIA-Treiber (passend zu CUDA 13.0). Dazu Python 3.12, Git und Docker mit GPU-Unterstützung (NVIDIA Container Toolkit). Ca. 4 GB freier Plattenplatz für das Modell, dazu Platz für das Docker-Image.
    nvidia-smi
    python3 --version
    git --version
    docker --version
  2. Programm herunterladen. Hole den Programmcode von GitHub und wechsle in den Ordner.
    git clone https://github.com/SoMarkAI/OXR.git
    cd OXR
  3. Python-Umgebung anlegen. Eine venv ist ein eigener Ordner für Python-Pakete, damit nichts anderes durcheinanderkommt. Sie wird nur für den Modell-Download gebraucht.
    python3 -m venv .venv
    source .venv/bin/activate
  4. Download-Werkzeug installieren. Mit dem Paket huggingface_hub kannst du Modelle von Hugging Face laden.
    pip install -U huggingface_hub
  5. Modell herunterladen. Das lädt etwa 3,1 GB (Modell plus kleines Layout-Modell) in den Ordner models/OXR-1.0. Das kann etwas dauern.
    hf download SoMarkAI/OXR-1.0 --local-dir ./models/OXR-1.0
  6. Docker-Image bauen. Docker packt alle Dienste in einen Container. Bleib im OXR-Ordner. Das Bauen dauert beim ersten Mal länger.
    docker build -f docker/Dockerfile.allinone -t oxr-1.0 .
  7. Dienste starten. Der Container nutzt deine Grafikkarte und ist nur von deinem eigenen Rechner aus erreichbar. Warte, bis im Log steht, dass die Dienste bereit sind. Der erste Start kann bis zu 900 Sekunden dauern.
    docker run --rm --gpus all --ipc=host \
      -p 127.0.0.1:8000:8000 \
      -v "$PWD/models/OXR-1.0:/models/oxr-model:ro" \
      oxr-1.0
  8. Erstes Dokument lesen lassen. Öffne die Demo-Seite im Browser und lade ein PDF oder ein Bild eines Dokuments hoch (zum Beispiel einen eingescannten Brief oder eine Rechnung). Die Seite http://localhost:8000/docs zeigt zusätzlich die Schnittstelle für Programme.
    http://localhost:8000/demo
  9. Ergebnis. Im Browser unter http://localhost:8000/demo wird dein hochgeladenes Dokument in Markdown oder JSON mit Positionsangaben umgewandelt.

Das kannst du ausprobieren

Wandle diese zweispaltige wissenschaftliche PDF-Seite in Markdown um und behalte die Lesereihenfolge bei.
Extrahiere die Tabelle mit verbundenen Zellen aus diesem Quartalsbericht als HTML.
Erkenne die Formeln und die chemische Strukturformel auf dieser Seite und gib sie als LaTeX bzw. SMILES aus.

Wenn es hakt

Lizenz und genaue Systemvoraussetzungen stehen nicht in der Quelle; prüfe die Modellkarte auf Hugging Face vor dem Einsatz.

Die Benchmark-Ergebnisse sind Herstellerangaben; teste mit eigenen Dokumenten.

Passt die Layout-Einteilung nicht zu deinem Anwendungsfall, kannst du das Layout-Modul austauschen.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.