MiniCPM-OCR: Zwei kompakte Open-Source-Modelle lesen Dokumente und prüfen sich selbst
ModelBest und OpenBMB haben die MiniCPM-OCR-Serie veröffentlicht: ein 1,3-Milliarden-Parameter-Modell, das gescannte und fotografierte Dokumente samt Formeln und Tabellen einliest, und ein 2B-Modell namens Jev, das OCR-Ergebnisse als „KI-Qualitätsprüfer“ bewertet. Beide laufen unter anderem mit Ollama und llama.cpp.
Worum es geht
Die chinesische Firma ModelBest und die Open-Source-Community OpenBMB haben am 31. Oktober 2026 die MiniCPM-OCR-Serie veröffentlicht. Sie besteht aus zwei Modellen: MiniCPM-OCR 1.0 mit 1,3 Milliarden Parametern (grob die Stellschrauben, die ein Modell beim Training gelernt hat) und MiniCPM-OCR Jev mit 2 Milliarden Parametern. OCR steht für optische Zeichenerkennung, also das Umwandeln von Bildern von Text in digitalen Text. Die Modelle sind frei verfügbar auf GitHub, Hugging Face und ModelScope. Alle Angaben unten stammen aus der Pressemitteilung der Hersteller; unabhängige Tests liegen in den Quellen nicht vor.
MiniCPM-OCR 1.0: kompaktes Parsing-Modell
MiniCPM-OCR 1.0 ist das erste OCR-spezialisierte Modell der MiniCPM-Familie. Laut den Herstellern bietet es Spitzengenauigkeit in einer kleinen, für Edge-Geräte (also lokale Hardware statt großer Rechenzentren) optimierten Architektur. Es soll mit realen Bedingungen zurechtkommen: Es liest gescannte, fotografierte, gekrümmte, schiefe und per Bildschirmfoto erfasste Dokumente, ohne dass man die Bilder vorher aufwendig korrigieren muss.
Besondere Stärken laut Mitteilung:
- dichte zweisprachige Inhalte auf Chinesisch und Englisch,
- komplexe mathematische Formeln,
- mehrstufige oder rahmenlose Tabellen,
- Rekonstruktion ganzer Seiten,
- Schlüsselinformationsextraktion (KIE): Auf Anweisung zieht das Modell bestimmte Felder aus Rechnungen, Ausweisen oder Finanzberichten.
Die Hersteller sprechen von führender Leistung in einer breiten Auswahl gängiger Branchen-Benchmarks, nennen aber in der Mitteilung keine konkreten Werte. Ein YouTube-Test (Kanal Ray Codes) wirbt im Titel mit „94 % auf einem OCR-Benchmark“; das ist eine Titelangabe eines Dritten, kein belegter Wert aus den Quellen.
Dank der Beschleunigungstechnik DSpark (Decoding-Beschleunigung) soll der Durchsatz steigen und die Latenz pro Seite sinken. Für Organisationen mit Millionen Seiten, etwa Vertragsarchive, Bibliotheken oder Behörden, heißt das laut Hersteller mehr Dokumente mit derselben Hardware bei geringeren Rechenkosten.
MiniCPM-OCR Jev: der „KI-Qualitätsprüfer“
Jev macht selbst kein OCR. Es vergleicht das Originalbild mit dem OCR-Ergebnis und vergibt Konfidenzwerte für Text, LaTeX-Formeln (Formelschreibweise aus der Wissenschaft) und Tabellen. Es erkennt fehlende Zeichen, Fehler und Formatabweichungen. Trotz nur 2 Milliarden Parametern soll die Urteilsgenauigkeit der von deutlich größeren Modellen entsprechen.
Da Jev modellübergreifend arbeitet, lässt es sich in bestehende OCR-Abläufe einbauen, ohne die eigentliche OCR-Engine zu ersetzen. Es kann:
- zuverlässige Ergebnisse automatisch zur Weiterverarbeitung freigeben,
- zweifelhafte Ausgaben zur menschlichen Prüfung markieren,
- aus mehreren OCR-Systemen das beste Ergebnis auswählen.
So soll aus Seite-für-Seite-Kontrolle eine risikobasierte, automatisierte Qualitätssicherung werden.
Verfügbarkeit und Hardware-Unterstützung
Die Serie unterstützt vLLM und SGLang (Server-Software für schnelle Modellausführung), llama.cpp und Ollama (für lokale Nutzung) sowie SDKs, APIs, Agent-Skill-Plugins und Code zum Feintuning. Day-0-Anpassung gibt es für AMD, Arm, Houmo AI, Intel und NVIDIA. Über den FlagOS-Software-Stack gibt es zusätzlich Day-0-Unterstützung für Chips von CIX, Huawei Ascend, Hygon, Iluvatar CoreX, Kunlunxin, MetaX, Moore Threads, Sunrise, T-Head, TsingMicro, NVIDIA und Apple-Mac (Arm).
Was du zum Ausprobieren brauchst
Mit 1,3 bzw. 2 Milliarden Parametern sind beide Modelle sehr klein. In 4-bit-Quantisierung reichen grob 2 bis 4 GB Grafikspeicher; auch eine kleine Grafikkarte, ein Apple-Silicon-Mac oder (langsamer) die CPU sollten genügen. Rechne mit wenigen GB Speicherplatz pro Modell. Die Mac-Unterstützung nennen die Hersteller ausdrücklich; Google Colab sollte mit einer kostenlosen GPU ebenfalls funktionieren, ist aber in den Quellen nicht erwähnt.
Einordnung
In einem Umfeld, in dem KDnuggets gerade sieben starke Open-Source-OCR-Modelle von 0,9 bis 8 Mrd. Parametern auflistet (u. a. olmOCR 2, PaddleOCR-VL, OCRFlux, MiniCPM-V 4.5), setzt MiniCPM-OCR vor allem mit Jev einen eigenen Akzent: Ein kleines Prüfmodell, das OCR-Ausgaben automatisch bewertet, ist ein praktischer Baustein für Produktion. Ob MiniCPM-OCR 1.0 die genannten Konkurrenten wirklich schlägt, lässt sich aus den Quellen nicht ableiten, da konkrete Benchmarkzahlen fehlen. Die Angaben sind Herstellerangaben aus einer Pressemitteilung. Interessant ist es für Entwickler und Firmen, die Dokumente lokal und kostengünstig digitalisieren wollen, besonders mit chinesischen Texten. Wer nur gelegentlich ein PDF auslesen will, ist mit etablierten Tools meist ebenso gut bedient.
Videos zum Thema
Quellen
- Bing News (en-US) prnewswire.com
- finance.yahoo.com finance.yahoo.com
- kdnuggets.com kdnuggets.com
Selbst ausprobieren: MiniCPM-OCR 1.0
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
MiniCPM-OCR 1.0 wandelt Bilder und Scans von Dokumenten in strukturierten Text um, inklusive Formeln und Tabellen. Es kommt laut Hersteller auch mit schiefen, gekrümmten oder fotografierten Seiten zurecht, ohne dass du sie vorher entzerren musst. Zusätzlich kann es gezielt Felder wie Rechnungsbeträge oder Ausweisdaten herausziehen. Das zweite Modell, Jev, ist ein Prüfer: Es bewertet, wie zuverlässig ein OCR-Ergebnis ist, und markiert Zweifelsfälle. Beide sind sehr klein und laufen deshalb auf normaler Consumer-Hardware. Besonders stark soll das Modell bei Chinesisch und Englisch sein. Wie gut es im direkten Vergleich zu Alternativen wie PaddleOCR-VL oder olmOCR abschneidet, geht aus den Quellen nicht hervor.
Für wen lohnt es sich?
Interessant für Entwickler, Archive und Firmen, die Dokumente lokal digitalisieren wollen, sowie für Bastler mit kleiner GPU oder Mac. Weniger sinnvoll, wenn du nur ein einzelnes PDF umwandeln willst oder ausschließlich andere Sprachen als Chinesisch und Englisch verarbeitest, da die Sprachabdeckung nicht belegt ist.
Ideen: Was du damit anstellen kannst
Du fotografierst oder scannst Belege und lässt das Modell Rechnungsnummer, Datum und Betrag als JSON ausgeben. Die Daten lassen sich direkt in eine Tabelle oder Buchhaltung übernehmen.
Scans von Akten oder Büchern werden in durchsuchbaren Text umgewandelt. Jev markiert unsichere Seiten, sodass du nur diese nachprüfen musst.
Fotos von Skripten oder Tafelbildern werden in Text mit LaTeX-Formeln übertragen. Das spart Abtippen für Notizen und Lernkarten.
Ein Screenshot einer Tabelle ohne Rahmen wird in eine saubere Markdown- oder CSV-artige Tabelle verwandelt, die du in Excel oder Notizen weiterverwendest.
Du lässt dasselbe Dokument von mehreren OCR-Engines lesen und Jev das beste Ergebnis wählen. So findest du heraus, welche Engine für deine Dokumente taugt.
Was dein Rechner braucht
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
Q4_K_M Standard |
0,5 GB | 2 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
Q5_K_M |
0,6 GB | 2 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
Q6_K |
0,6 GB | 2 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
Q8_0 |
0,8 GB | 2 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
F16 |
1,5 GB | 3 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
MiniCPM-OCR 1.0 (1,3B) für die eigentliche Texterkennung; MiniCPM-OCR Jev (2B) zusätzlich, wenn du Ergebnisse automatisch prüfen oder mehrere OCR-Systeme vergleichen willst. Eine 4-bit-Quantisierung reicht für den Einstieg. Konkrete Dateigrößen nennt die Quelle nicht.
- Beide Modelle sind mit 1,3B und 2B Parametern klein; in 4-bit reichen grob 2 bis 4 GB VRAM.
- Apple-Mac mit Arm-Chip wird laut Hersteller am Tag der Veröffentlichung unterstützt.
- Unterstützt werden NVIDIA, AMD, Intel und Arm sowie viele chinesische KI-Chips über FlagOS.
- Für hohen Durchsatz bei Millionen Seiten sind vLLM oder SGLang vorgesehen; für lokale Tests llama.cpp oder Ollama.
- Höhere Bildauflösung und lange Dokumente kosten zusätzlichen Arbeitsspeicher.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 4 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.
- Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
- Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
- Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
- Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
Beim ersten Mal lädt Ollama das Modell herunter (0,5 GB (bei 100 MBit/s ca. 1 Min.)). Danach geht es sofort.ollama run hf.co/openbmb/MiniCPM-OCR-1.0-gguf:Q4_K_M - Losschreiben. Sobald
>>> Send a messageerscheint, deine Frage eintippen und Enter drücken. Mit/byebeendest du den Chat.
Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/openbmb/MiniCPM-OCR-1.0-gguf:Q4_K_M.
Lieber automatisch? Skript, das die passende Variante selbst auswählt
- Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
- Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
- Diesen Befehl einfügen und Enter drücken:
powershell -ExecutionPolicy Bypass -File try_windows.ps1
Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
- Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
- Modell starten. Befehl einfügen (Cmd + V) und Enter:
Beim ersten Mal wird das Modell heruntergeladen (0,5 GB (bei 100 MBit/s ca. 1 Min.)).ollama run hf.co/openbmb/MiniCPM-OCR-1.0-gguf:Q4_K_M - Losschreiben. Frage eintippen, Enter. Mit
/byebeenden.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Ollama installieren:
curl -fsSL https://ollama.com/install.sh | sh - Modell starten:
Mitollama run hf.co/openbmb/MiniCPM-OCR-1.0-gguf:Q4_K_M/byebeenden. Mitollama pssiehst du, ob das Modell auf der GPU läuft. - Oder automatisch die passende Variante wählen lassen:
bash try_linux.sh # mit Python/transformers statt Ollama: MODE=hf bash try_linux.sh
Das kannst du ausprobieren
Wandle dieses Foto einer Speisekarte in sauberen Markdown-Text um.Lies diese eingescannte Rechnung aus und gib Rechnungsnummer, Datum und Gesamtbetrag als JSON aus.Erkenne die Tabelle auf diesem Screenshot ohne Rahmenlinien und gib sie als Markdown-Tabelle aus.Übertrage die Formeln auf dieser Vorlesungsfolie in LaTeX.Rekonstruiere die ganze Seite dieses schief fotografierten Vertrags inklusive Überschriften und Absätzen.Tipps für bessere Ergebnisse
- Teste zuerst mit eigenen typischen Dokumenten statt mit Beispielbildern, um die echte Qualität einzuschätzen.
- Kombiniere OCR 1.0 mit Jev: Gute Ergebnisse automatisch durchlassen, unsichere zur Prüfung markieren.
- Formuliere bei Feldextraktion klar, welche Felder du in welchem Format (z. B. JSON) willst.
- Nutze für große Mengen vLLM oder SGLang statt Ollama, um den Durchsatz zu erhöhen.
Wenn es hakt
Die genauen Repo-Namen und Ollama-Tags stehen nicht in der Quelle; suche auf Hugging Face bzw. GitHub nach „MiniCPM-OCR“ oder „openbmb“.
Jev ersetzt keine OCR-Engine: Es braucht Originalbild und OCR-Ausgabe als Eingabe.
Vor der Nutzung Lizenz auf der Modellseite prüfen, sie wird in der Mitteilung nicht genannt.
Für llama.cpp oder Ollama kann eine aktuelle Version nötig sein; bei Fehlern erst Software aktualisieren.
Konfidenzwerte ersetzen bei kritischen Dokumenten (Verträge, Ausweise) nicht jede menschliche Stichprobe.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.