Cohere Rerank 5: Re-Ranking mit Passagen-Fokus und kalibrierten Scores

Worum es geht

Cohere hat Rerank 5 veröffentlicht, eine neue Familie von Reranking-Modellen. Ein Reranker sortiert Suchergebnisse neu, bevor sie an ein Sprachmodell (LLM) gehen. Das ist wichtig für RAG (Retrieval-Augmented Generation: ein Modell bekommt passende Dokumente und antwortet darauf) und für KI-Agenten, die viele Suchen ausführen. Coheres Botschaft: weniger, aber bessere Tokens an das LLM schicken.

Rerank 5 gibt es in zwei Stufen: rerank-v5.0-pro und rerank-v5.0-fast. Die Parameterzahl nennt Cohere nicht. Beide haben ein 32K-Kontextfenster, unterstützen über 100 Sprachen und können auch halbstrukturierte Daten wie JSON, Tabellen und YAML sortieren. Ein Umstieg erfordert kein neues Indexieren: Man ändert den Modellparameter und behält die bestehende Keyword-, Vektor- oder Hybridsuche.

Context Focus: relevante Passagen statt ganzer Dokumente

Context Focus ist optional und standardmäßig aus. Ein einziger Rerank-Aufruf liefert Dokument-Scores plus bewertete Zeichenabschnitte mit Start- und Endposition im Originaltext. Gesteuert wird es über das Feld relevant_spans mit Schwellwert und max_spans.

Cohere testete das auf 30 QA-Datensätzen: Wurde die Hälfte des abgerufenen Texts entfernt, blieben 96 % der Antwortqualität erhalten, bei drei Vierteln Entfernung 87 %. Laut Cohere sind bis zu 10-mal weniger Kontext mit gewissem Qualitätsverlust möglich.

In einem Test mit Suchagenten über 17 Datensätze erreichte BM25 (klassische Stichwortsuche) allein 46 % Genauigkeit. Mit Rerank 5 Pro waren es 49 %. Mit Context Focus beim Standardschwellwert 0,1 sanken die Tokens pro Aufgabe um 19 % bei 57 % Genauigkeit; bei 0,4 sanken sie um 34 % bei 58 %. Gegenüber BM25 allein verbrauchte das Gesamtsystem 35 % weniger Tokens. Bei 6 Deep-Search-Benchmarks sanken die Tokens um 41 %, die Genauigkeit stieg von 39 % auf 52 %.

Kalibrierte Scores

Die Scores von Rerank 5 sollen sich als Wahrscheinlichkeiten lesen lassen: 0,7 bedeutet 70 % Chance, dass das Dokument nützlich ist. Cohere maß den Erwartungs-Kalibrierungsfehler (ECE, je niedriger desto besser) gegen blinde menschliche Bewerter und NIST-TREC-DL-Prüfer. Rerank 5 liegt bei etwa 0,06 auf beiden, Voyage AI Rerank 3 bei 0,234 und 0,307, Rerank 4 Pro bei 0,384 und 0,309. Praktisch kann man damit nach Schwellwert statt festem Top-k filtern, und ein Agent kann erkennen, wenn nichts Relevantes gefunden wurde.

Benchmarks (Herstellerangaben)

Alle Werte nutzen RCP-nDCG@10, eine von Cohere entwickelte Variante von nDCG. Cohere ließ die Konkurrenzmodelle selbst laufen; unabhängig geprüft ist nichts.

Bei BRIGHT liegt Pro 12,4 Punkte über Rerank 4 Pro. Fast schlägt Voyage Rerank 3 Lite, Qwen3-Reranker-8B und Rerank 4 Pro in allen vier Benchmarks, gleicht Voyage Rerank 3 bei ViDoRe V3 (90,6) aus und liegt bei BEIR knapp dahinter (88,1 zu 88,6). Auf geparsten PDFs (47 Datensätze) erzielt Pro 89,9, Fast 88,5, Voyage Rerank 3 88,4. Pro liegt laut Cohere bei 14 von 19 nicht-englischen Sprachen vorn und in der eigenen Auswertung auf 39 von 46 Datensätzen auf Platz 1.

Verfügbarkeit und Preise

Rerank 5 ist allgemein verfügbar über die Cohere-API und Model Vault, außerdem auf Microsoft Foundry und Amazon SageMaker sowie für alle North-Nutzer. Es gibt auch private VPC- und On-Prem-Betrieb. Die API kostet 0,05 $ (Pro) und 0,02 $ (Fast) pro 1 Mio. Tokens; Model Vault listet 4,00 $ pro Instanzstunde im Medium-Tier für beide. Integrationen gibt es unter anderem für LangChain, Haystack, Elasticsearch und Weaviate. Offene Gewichte oder quantisierte Versionen gibt es nicht. Die Geschwindigkeit misst Cohere auf einer einzelnen NVIDIA A100: Der Median liegt bei Pro bei 11,7 s pro Anfrage mit 96 Dokumenten, bei Fast bei 4,1 s.

Einordnung

Für Teams mit RAG- oder Agenten-Pipelines ist vor allem Context Focus interessant, weil es Tokenkosten senken kann, ohne eine zweite Extraktionsstufe zu bauen. Kalibrierte Scores erleichtern feste Schwellwerte über verschiedene Domänen hinweg. Kritisch: Alle Zahlen sind selbst gemessen, mit einer hauseigenen Metrik, und die Konkurrenz wurde von Cohere selbst getestet. Die Pro-Latenz von knapp 12 Sekunden pro Anfrage ist für interaktive Anwendungen hoch. Wer offene Gewichte braucht, bleibt bei Alternativen wie Qwen3-Reranker-8B (Apache 2.0), das in Coheres Test allerdings schwächer abschneidet.