Gleiches Modell, schwächere Antwort: Was der Router dir wirklich zuteilt
Seit dem 16. November wählt bei Hugging Face OpenRouter für jede Chat-Anfrage den Anbieter aus, und zwar nach Preis, Tempo und Zuverlässigkeit. Eine Woche vorher hat Artificial Analysis gemessen, dass fast jeder vierte Endpunkt offener Modelle schlechter abschneidet als die Referenz. Wir zeigen, woher diese Unterschiede kommen, wie groß sie sind und wie du dir deinen Anbieter selbst aussuchst.

Darum geht es
Wenn du bei Hugging Face ein offenes Modell wie GLM-5.3 aufrufst, rechnet nicht Hugging Face selbst. Die Anfrage geht an einen von vielen Rechenzentrumsbetreibern, die das Modell bereitstellen. Seit dem 16. November entscheidet OpenRouter bei jeder Chat-Anfrage, welcher Betreiber das ist. Laut der Hugging-Face-Dokumentation zählen dabei effektiver Preis, Tempo und Zuverlässigkeit.
Wie genau die Antworten sind, steht nicht in dieser Liste. Dabei hat Artificial Analysis eine Woche zuvor gemessen, dass fast jeder vierte Anbieter-Endpunkt bei offenen Modellen messbar schlechter abschneidet als das Original. Unsere Frage lautet also: Wie stark unterscheiden sich die Anbieter wirklich, woran liegt das, und was kannst du dagegen tun?
Die Messung: 24 von 103 Endpunkten unter der Referenz
Für den Endpoint Accuracy Index v1.1 hat Artificial Analysis die offiziellen Gewichte von sechs Modellen selbst betrieben, auf Nvidia-B200/B300/GB200-Systemen mit vLLM oder SGLang. Dieselben Tests liefen dann gegen 103 Serverless-Endpunkte, also gemietete Modellzugänge ohne eigene Hardware. Geprüft wurden drei Dinge zu gleichen Teilen: Tool-Calling (BFCL-500, das Modell soll Funktionen mit korrekten Argumenten aufrufen), schwieriges Fachwissen (HLE-250) und das Wiederfinden von Informationen in rund 100.000 Tokens Eingabe (AA-LCR-25). Als „unter Referenz“ gilt ein Endpunkt nur, wenn sein gesamtes 95-Prozent-Konfidenzintervall unter 100 liegt. Gemessen wurde zwischen dem 8. Oktober und dem 4. November.
| Modell | Endpunkte | darunter | Anteil (eigene Rechnung) | Indexspanne |
|---|---|---|---|---|
| GLM-5.3 | 26 | 10 | 38 % | 67,2–99,3 |
| GLM-5.3 Flash | 22 | 5 | 23 % | 78,6–104,2 |
| gpt-oss-120b | 16 | 5 | 31 % | 78,2–104,0 |
| Kimi K3 | 12 | 2 | 17 % | 91,0–101,5 |
| Muse Spark Open | 5 | 2 | 40 % | 93,4–99,9 |
| DeepSeek V4.1 Flash 1017 | 22 | 0 | 0 % | 97,5–101,4 |
Die Streuung hängt also stark am Modell. Bei DeepSeek V4.1 Flash lagen alle 22 Endpunkte im Rahmen. Bei GLM-5.3 fielen fast vier von zehn ab. Welche Anbieter betroffen sind, nennt der Artikel nicht. Er beschreibt nur die Konfiguration, die er beobachtet hat.
Woher die Unterschiede kommen
Gekappte Ausgabelängen. Das ist mit Abstand der größte Effekt. Denkende Modelle schreiben vor der Antwort lange Gedankengänge. Wenn ein Anbieter die Ausgabe bei 16.384 Tokens abschneidet, kommt GLM-5.3 im HLE-Test nur noch auf 7,6 statt 63,6 Prozent, also rund ein Achtel des Referenzwerts. Bei einer Grenze von 32.000 Tokens sind es 24,8 Prozent. Bei Kimi K3 brachen manche Endpunkte Anfragen nach etwa zehn Minuten ab, sodass rund 9 Prozent der HLE-Aufgaben ohne Antwort endeten.
Weniger Denkarbeit. Zwei GLM-5.3-Flash-Endpunkte erzeugten bei gleichen Einstellungen rund 30 Prozent weniger Reasoning-Tokens und kamen auf 48,4 bzw. 48,6 statt 55,4 Prozent, obwohl nichts abgeschnitten wurde.
Parser-Fehler beim Tool-Calling. Bei gpt-oss-120b schafften zwei Endpunkte nur 21,3 bzw. 22,3 statt 37,1 Prozent. Einer lieferte die Funktionsaufrufe als bloßen Text statt als strukturierten Aufruf. Der andere füllte optionale Argumente mit Platzhaltern wie 0 oder -1. Weitere Fehlerbilder: Argumente vom Typ Objekt kamen als JSON-Text zurück, Parameternamen waren verstümmelt, Muse Spark Open lieferte Buchungsnummern als Zahl statt als Text. Ein Kimi-K3-Endpunkt verwendete Tool-Call-IDs über mehrere Gesprächsrunden doppelt und fiel dadurch auf 42,1 statt 55,2 Prozent. Der Parser ist die Software, die die Rohausgabe des Modells in das API-Format übersetzt.
Quantisierung. Gemeint ist, dass das Modell mit gröber gespeicherten Zahlen rechnet, etwa FP4 statt FP8. Das ist der übliche Verdacht, und er bestätigt sich hier kaum: Alle drei FP4-Endpunkte für GLM-5.3 Flash und fünf von sechs für GLM-5.3 lagen im Rahmen der FP8-Referenz. Das passt zu OpenRouter. Im Auto-Exacto-Beitrag schreibt das Unternehmen:
„Wir haben keinen messbaren Einfluss von Quantisierung allein auf die Tool-Call-Qualität gesehen. Der eigentliche Schuldige ist meistens: Tool-Call-Parser.“
In einem eigenen Test mit Qwen3.8 27B kamen sechs Endpunkte von fp16 bis fp4 auf 98,3 bis 99,2 Prozent, und ihre Konfidenzintervalle überlappten sich. OpenRouter räumt selbst ein, dass eine Lücke von ein bis zwei Punkten damit nicht auszuschließen ist. Getestet wurden nur ein Modell und Aufgaben mit exakten Antworten.
Sampling-Voreinstellungen. Laut OpenRouter-Parameterdoku wird ein Parameter wie die Temperatur, den du nicht mitschickst, gar nicht weitergegeben. Es gilt dann die Voreinstellung des jeweiligen Anbieters. Dasselbe Skript kann also je nach Anbieter mit anderen Einstellungen laufen.
Dass schon die Wahl des Betreibers Forschungsergebnisse verfälschen kann, zeigt ein Fall auf LessWrong. Ein Paper hatte DeepSeek R1 auffällig unleserliche Gedankengänge bescheinigt. Die Anfragen waren aber durchgehend beim Anbieter Targon gelandet. Bei Novita lag der mittlere Unleserlichkeitswert bei 2,28 statt 4,3, obwohl wohl beide fp8 nutzten. Der Autor des Papers räumte ein, dass seine Ergebnisse vermutlich verzerrt waren. Im Beitrag „Not Pinning Your OpenRouter Provider Might Invalidate Your Research“ heißt es zudem, 31 von 32 untersuchten Forschungs-Codebasen nutzten OpenRouter auf unsichere Weise. Diese Prüfung hat allerdings Claude erstellt, und sie wurde nur stichprobenartig kontrolliert. Kommentatoren halten die Zahl deshalb für wenig belastbar.
Was der Router bei Hugging Face davon abfängt
Weder die Ankündigung von OpenRouter noch der Hugging-Face-Blog erwähnen Genauigkeit, Quantisierung oder Exacto. Ganz blind ist das Routing trotzdem nicht. Laut Hugging-Face-Doku zählt zur „Zuverlässigkeit“ auch, wie oft ein Anbieter fehlerhafte Tool-Calls liefert. Laut OpenRouters Beitrag zum neu gebauten Routing bekommt ein Anbieter nur noch etwas Testverkehr, wenn er für kaputte Tool-Calls oder für deutlich zu niedrige Benchmark-Werte markiert wurde. Auto Exacto bewertet Anbieter bei Anfragen mit Tools ohnehin etwa alle fünf Minuten neu.
Die Lücke liegt woanders. OpenRouters Telemetrie prüft, ob ein Tool-Call gültiges JSON ist, ob es den Toolnamen gibt und ob das Schema passt. Ein Platzhalter „-1“ in einem optionalen Feld besteht diese Prüfung womöglich, und eine abgeschnittene Denkkette sowieso. Dazu kommt: Laut OpenRouter umgeht eine ausdrückliche Sortierung den neuen Algorithmus. Ob das bei Hugging Face auch für :cheapest und :fastest gilt und damit die Qualitätsmarkierungen umgangen werden, ist nicht dokumentiert. Unsere Einschätzung: Der Router sortiert grobe Ausreißer aus, aber nicht die leisen Qualitätsverluste, die Artificial Analysis gemessen hat. Der neue Reiter „Providers“ auf den Modellseiten zeigt Preis, Tempo und Verfügbarkeit, aber keine Rechengenauigkeit und keine Genauigkeitswerte.
Unabhängige Stichproben bestätigen die Streuung. Openbenchmarks hat am 3. September zehn Anbieter von GLM-5.3 Flash mit je 600 strukturierten Aufgaben getestet. Die Erfolgsquoten reichten von 99,5 Prozent (Fireworks, Telnyx) bis 84,8 Prozent (Nebius, 14,8 Prozent Fehlerrate). Der Test lief allerdings mit 20 Sekunden Zeitlimit und 256 Ausgabe-Tokens, zählt also auch Abbrüche durch Zeitüberschreitung als Fehler.
Das dunkle Ende: Schatten-APIs und bösartige Router
Bei OpenRouter und Hugging Face geht es um Konfigurationsfehler seriöser Anbieter. Deutlich schlimmer sind inoffizielle Zwischenhändler, über die gerade die japanische Fachpresse berichtet. Die CISPA-Studie hat 17 sogenannte Schatten-APIs gefunden, die billigen Zugang zu GPT-5 oder Gemini versprechen und in 187 Forschungsartikeln verwendet wurden. Wie ITmedia zusammenfasst, passten 11 von 24 geprüften Endpunkten (45,83 Prozent) nicht zum Fingerabdruck des angeblichen Modells. Hinter „GPT-5“ steckten teils GLM-4-9B oder Qwen2.5-7B. Gemini-2.5-flash fiel im Medizintest MedQA von 83,82 auf rund 37 Prozent.
Die UCSB-Studie „Your Agent Is Mine“ hat 428 API-Router untersucht, 28 davon gekauft und 400 kostenlos. 9 davon schleusten aktiv Schadcode ein: einer der bezahlten und acht der kostenlosen. 17 griffen auf ausgelegte AWS-Köder-Zugangsdaten zu, einer leerte eine Ethereum-Wallet. Eine Zahl von 68 bösartigen Routern, die in unserem Vorab-Material auftauchte, steht weder im Paper noch bei ITmedia. Belegt sind 9. Die 17 Fälle mit Zugriff auf Zugangsdaten sind eine eigene Messgröße und dürfen nicht dazugezählt werden.
Am Preis lässt sich die Qualität ebenfalls nicht ablesen. Das chinesische Doubao bietet seit dem 12. November auch Drittmodelle an, mit Kostenfaktoren von 0,01 bis 1,48. Das ist die 148-fache Spanne aus der Schlagzeile von smzdm, allerdings zwischen verschiedenen Modellen. Der Faktor sagt laut dem Bericht nichts über Qualität oder Tempo. Bei Doubao kann zudem die Kontextlänge abweichen, also wie viel Text das Modell auf einmal verarbeitet, und auch der Systemprompt kann ein anderer sein als im offiziellen Kimi-Dienst. Dass es sich um „abgespeckte“ Versionen handelt, behaupten Nutzer, belegt ist es nicht.
So legst du den Anbieter fest und prüfst ihn selbst
Eigene Messreihen enthält dieser Artikel nicht. So prüfst du selbst:
- Anbieter festlegen: Bei Hugging Face hängst du das Kürzel an den Modellnamen, etwa
deepseek-ai/DeepSeek-V4.1-Flash:together. Laut Doku wird ein so festgelegter Anbieter nie ersetzt. Fällt er aus, bekommst du eine Fehlermeldung. Die Kürzel stehen auf der Anbieterseite. - Anbieter ausschließen: In den Inference-Providers-Einstellungen schaltest du Anbieter ab. Für Organisationen gelten deren Einstellungen.
- Direkt bei OpenRouter stehen mehr Stellschrauben bereit:
provider.only,allow_fallbacks: false,quantizationsundrequire_parameters: true. Letzteres schickt die Anfrage nur an Anbieter, die alle deine Parameter unterstützen (Doku). Ob Hugging Faces Router diese Felder durchreicht, ist nicht dokumentiert. Achtung: Die Angabe zur Quantisierung ist das, was der Anbieter selbst meldet. - Selbst testen nach dem Vorbild des Kimi Vendor Verifier: Schick dieselbe Tool-Call-Anfrage 20-mal an jeden festgelegten Anbieter. Prüfe dann, ob überhaupt ein Tool aufgerufen wird, ob die Argumente zum Schema passen (Typen!) und ob IDs sauber sind. Dazu kommt eine lange Ausgabe mit ausdrücklich gesetztem
max_tokens. Wennfinish_reason„length“ lautet oder ganz fehlt, wurde die Antwort abgeschnitten. Die Ergebnisse von Moonshot für K3.1 Pro zeigen übrigens, dass seriöse Anbieter eng beieinander liegen: ToolCall-Werte von 0,972 bis 1,0. - Protokollieren: Notiere Anbieter, Datum und Parameter so selbstverständlich wie die Temperatur. Das empfiehlt auch der LessWrong-Beitrag.
Einordnung
Für Gelegenheitsnutzer ist die Umstellung bei Hugging Face eher ein Gewinn: weniger Ausfälle, automatischer Wechsel bei Fehlern, grobe Tool-Call-Ausreißer werden aussortiert. Für Agenten, Programmierassistenten und Forschung reicht das nicht. Gerade dort schaden abgeschnittene Denkketten und falsch typisierte Argumente am meisten. Die guten Nachrichten: Die Rechengenauigkeit ist nach heutigem Stand selten das Problem, und manche Modelle wie DeepSeek V4.1 Flash laufen bei allen gemessenen Anbietern gleich gut.
Offen bleibt einiges. Artificial Analysis nennt keine Anbieternamen und misst nur Momentaufnahmen, und OpenRouters Zahlen sind Herstellerangaben. Wie das Routing bei Hugging Face Qualitätssignale genau gewichtet, ist nirgends offengelegt. Unsere Einschätzung: Wer reproduzierbare Ergebnisse braucht, legt den Anbieter fest, prüft ihn mit einem kleinen eigenen Testset und meidet Zwischenhändler, deren Betreiber man nicht kennt.
Quellen
- Artificial Analysis: Endpoint Accuracy Index v1.1 artificialanalysis.ai
- Artificial Analysis: Methodik Endpoint Accuracy Index artificialanalysis.ai
- Hugging Face Blog: OpenRouter huggingface.co
- Hugging Face Docs: Routing and Providers huggingface.co
- Hugging Face Docs: Providers huggingface.co
- Hugging Face Docs: Inference Providers huggingface.co
- OpenRouter: Hugging Face Inference Providers openrouter.ai
- OpenRouter: How we rebuilt provider routing openrouter.ai
- OpenRouter: Auto Exacto openrouter.ai
- OpenRouter: LLM Quantization openrouter.ai
- OpenRouter Docs: Provider Selection openrouter.ai
- OpenRouter Docs: Parameters openrouter.ai
- arXiv: Real Money, Fake Models (CISPA) arxiv.org
- arXiv: Your Agent Is Mine (UCSB) arxiv.org
- arXiv: Ventor-QTest arxiv.org
- ITmedia AI+: Schatten-APIs itmedia.co.jp
- ITmedia AI+: API-Router itmedia.co.jp
- GitHub: MoonshotAI/Kimi-Vendor-Verifier github.com
- GitHub: MoonshotAI/K2-Vendor-Verifier github.com
- LessWrong: Not Pinning Your OpenRouter Provider Might Invalidate Your Research lesswrong.com
- LessWrong: R1 CoT illegibility revisited lesswrong.com
- Openbenchmarks: GLM 5.3 Flash Provider Accuracy openbenchmarks.com
- AlphaSignal: 1 in 4 AI Endpoints Underperform alphasignal.ai
- smzdm: Doubao Drittmodelle und Kostenfaktoren post.smzdm.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.