Nicht die Länge macht KI vergesslich, sondern der Widerspruch

Die Faustregel lautet: Je mehr Text eine KI auf einmal liest, desto schlechter antwortet sie. Ein neues Paper mit 126.473 offen veröffentlichten Versuchen findet einen anderen Hauptschuldigen. Es sind konkurrierende Aussagen zur selben Frage. T-Mobile hat genau das mit seinen Support-Agenten erlebt.

Analysen 21. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Je mehr Text man einem Sprachmodell auf einmal gibt, desto schlechter antwortet es. So lautet die verbreitete Faustregel, und das Phänomen hat einen Namen: Context Rot, auf Deutsch etwa „verrottender Kontext“. Trotzdem werben die Hersteller mit immer größeren Kontextfenstern. Das Kontextfenster ist die Textmenge, die ein Modell auf einmal überblicken kann. Tencents neues Open-Weights-Modell Hy4 schafft 1.048.576 Token, Googles Gemini 4 ebenfalls eine Million. Bei Gemini 4 teilen sich laut Google-Dokumentation allerdings Eingabe, Denkschritte und Ausgabe dieses Budget.

Ein Paper von Anfang November widerspricht der Faustregel in einem entscheidenden Punkt: Länge allein schadet beim Nachschlagen kaum. Teuer wird es, wenn im Kontext zwei verschiedene Antworten auf dieselbe Frage stehen. Fast zeitgleich hat T-Mobile beschrieben, wie genau das seine Support-Agenten aus der Bahn geworfen hat. Wir erklären den Mechanismus, zeigen seine Grenzen und haben zusammengetragen, was in der Praxis belegt hilft.

Das Experiment: ein Beleg, viel Füllmaterial

Das Paper heißt „Length Is Cheap, Competition Is Not“ (arXiv 2611.04169). Geschrieben hat es Yinuo Liu allein, eingereicht wurde es am 3. November 2026. Es ist ein Preprint und noch nicht begutachtet. Der Aufbau ist schlicht. Im Kontext steckt genau ein Beleg, der ein Alltagswort mit einer vierstelligen Zahl verknüpft, sinngemäß: „Der Wert für Fluss ist 4711.“ Am Ende fragt der Text nach diesem Wert. Gemessen wird der Loss, also wie unsicher das Modell bei der richtigen Zahl ist. Je höher der Wert, desto unsicherer.

Rund um den Beleg füllt Liu den Text auf drei Arten auf:

  • neutral: Zufallszahlen, Zufallswörter oder ein immer gleicher Satz
  • konkurrierend: Sätze im gleichen Format wie der Beleg, mit Stichwörtern aus 51 Nomen. Manche davon nennen dasselbe Stichwort mit einem anderen Wert. Diese „Rivalen“ sind der Kern der Studie.
  • maskiert: Der Fülltext ist da, wird für die Aufmerksamkeit des Modells aber unsichtbar geschaltet.

Getestet wurden fünf offene Modelle: Qwen2.5-0.5B und -1.5B, SmolLM2-1.7B, OLMo-2-1B und Llama-3.2-3B. Für einen Nebenversuch kam Qwen2.5-7B dazu. Code (MIT-Lizenz) und alle Messungen samt Zufallswerten liegen offen auf GitHub. Jeder kann die Versuche also nachrechnen.

Die Ergebnisse: Ein Widerspruch wiegt schwerer als 30.000 Token

Bedingung (Qwen2.5-1.5B, 8K bis 32K Token) Trefferquote
neutraler Fülltext, sichtbar 0,98 bis 1,00
derselbe Fülltext, maskiert (32K) 0,52
Sätze im Beleg-Format 0,11 bis 0,21

Die Zusammenfassung des Papers nennt für die Sätze im Beleg-Format 0,16 bis 0,33, je nach Auswertung. Diese Zahlen sind also Richtwerte. Den Ausschlag geben die Rivalen. Ohne gleichlautendes Stichwort liegt der Loss bei 0,02 bis 0,34, mit mindestens einem Rivalen bei 1,38 bis 3,24, gemessen in nats, einer Einheit für Unsicherheit. Das ist der Faktor 9 bis 110. Jeder weitere Rivale verschlechtert das Ergebnis noch einmal. Wir haben das grob in Wahrscheinlichkeiten umgerechnet: Das Modell traut der richtigen Zahl ohne Rivalen etwa 71 bis 98 Prozent zu, mit Rivalen nur noch 4 bis 25 Prozent.

Für die Erklärung misst Liu die Attention. So heißt der Mechanismus, mit dem ein Modell bei jedem Schritt gewichtet, welche Textstellen gerade zählen. Man kann sich das wie ein begrenztes Budget an Scheinwerferlicht vorstellen. Wie viel Licht noch auf dem richtigen Beleg liegt, erklärt je nach Modell 35 bis 58 Prozent der Fehlerschwankung. Die Textlänge erklärt nur 2 bis 8 Prozent. Bei Qwen2.5-1.5B gibt es eine Kippstelle: Fällt der Anteil unter etwa 0,35, steigen die Fehler steil an. Das Bild dahinter: Neutraler Fülltext sieht nicht wie eine Antwort aus und zieht kein Licht ab. Ein Rivale mit gleichem Stichwort sieht dagegen genauso aus wie der Beleg.

Liu nennt selbst die Grenzen. Der Zusammenhang ist eine Korrelation, kein Ursachenbeweis. Die Modelle sind höchstens 3 Milliarden Parameter groß, und alles beruht auf einer einzigen künstlichen Aufgabe. Die Längen bis 32K wurden nur bei zwei Modellen gemessen. Die Trennung nach Rivalen wurde erst nachträglich vorgenommen. Wie stark die Steigung ist, unterscheidet sich je nach Modell. Ein allgemeines Gesetz beansprucht der Autor deshalb ausdrücklich nicht.

Warum frühere Studien anders klangen und wo die These endet

Die Gegenposition stammt vor allem von Du et al. („Context Length Alone Hurts LLM Performance Despite Perfect Retrieval“, EMNLP Findings 2025). Sie maßen Einbußen von 13,9 bis 85 Prozent, sogar wenn der Fülltext maskiert war. Liu wiederholt diesen Versuch. Bei MMLU fällt Qwen2.5-7B tatsächlich von 65,8 auf 48,1 Prozent bei 30.000 maskierten Token. Beim Nachschlagen kostet die Maskierung aber rund 46 Punkte, während derselbe Text sichtbar nichts kostet. Liu folgert: Die Maskierung reißt Lücken in die Positionsangaben und misst deshalb nicht sauber die Länge.

Ganz erledigt ist die Gegenposition damit nicht. Du et al. haben auch sichtbare Leerzeichen als Füllung getestet, und auch dabei sanken die Werte. Bei 30.000 Token verlor Llama-3.1-8B bei MMLU 20,2 Punkte, Mistral-7B bei Mathe-Aufgaben (GSM8K) 30 Punkte. Das sind allerdings Denkaufgaben, keine Nachschlage-Aufgaben. GPT-4o war kaum betroffen. Der Benchmark NoLiMa von Adobe (ICML 2025) zeigt eine zweite Grenze. Teilen Frage und Beleg keine gemeinsamen Wörter, bricht GPT-4o bei 32K von 99,3 auf 69,7 Prozent ein. In Lius Aufgabe steht das Stichwort dagegen wörtlich in Frage und Beleg. Auch Chromas Context-Rot-Report vom Juli 2025 mit 18 Modellen fand beides: Schon ein einziger Ablenker verschlechtert die Leistung, und zwar umso stärker, je länger der Text ist. Wie viel davon auf die Länge und wie viel auf die Ablenker entfällt, beziffert Chroma selbst nicht.

Unsere Einschätzung: „Länge ist billig“ ist belegt für wörtliches Nachschlagen in kleinen Modellen. Beim Schlussfolgern über verstreute Belege kostet Länge weiterhin. Für die Praxis ändert das wenig, denn Widersprüche sind der teurere Fehler, und man kann sie vorab beseitigen.

Abgrenzung: Heuhaufen, Vergiftung, Gedächtnis

Nadel-im-Heuhaufen-Tests verstecken einen Fakt in neutralem Fülltext. Das ist genau die Bedingung, die laut Paper kaum etwas kostet. Hohe Werte in solchen Tests sagen deshalb wenig über Firmendokumente voller ähnlicher Aussagen. Google räumt in seiner Dokumentation selbst ein, dass die Genauigkeit sinkt, sobald mehrere Nadeln gesucht werden. Die Modellkarte von Hy4 nennt überhaupt keine Langkontext-Werte. Auf der MRCR-Rangliste von llm-stats, einem Test mit acht Nadeln, sind alle 26 Einträge Herstellerangaben, kein einziger ist unabhängig geprüft. Gemini 4 und Hy4 fehlen dort ganz. Unabhängige Messungen für die neuesten Modelle haben wir nicht gefunden.

Context Poisoning bezeichnet etwas anderes. Der Begriff stammt aus einer Fehler-Typologie von Drew Breunig. Gemeint ist, dass ein Fehler, oft eine Halluzination des Modells selbst, im Kontext landet und dann immer wieder aufgegriffen wird. Breunigs Beispiel ist ein Gemini-Agent, der Pokémon spielte und sich auf unmögliche Ziele versteifte. Bei Konkurrenz macht das Modell dagegen zunächst gar keinen Fehler, denn der Widerspruch steckt schon in den Quellen. Näher dran ist Breunigs „Context Clash“: In einer Studie von Microsoft und Salesforce sanken die Werte im Schnitt um 39 Prozent, wenn Informationen über mehrere Gesprächsrunden verteilt kamen. Bei OpenAIs o3 ging es von 98,1 auf 64,1.

Gedächtnislösungen helfen nur, wenn sie alte Fakten ersetzen statt sie zu stapeln. Der Datenbankanbieter Memgraph beschreibt Context Rot genau so:

„Alte Informationen werden nie entfernt, neue einfach obendrauf gelegt.“

Wer also Notizen nur anhäuft, erzeugt die nächsten Rivalen.

Der Praxisfall T-Mobile

T-Mobiles IT-Chef Jeff Simon schilderte auf einem VentureBeat-Gipfel im Oktober drei Anläufe. Zuerst kamen alle Support-Dokumente in ein großes Kontextfenster. Widersprüchliche Anleitungen und mehrdeutige Kundenformulierungen schickten die Agenten aber auf falsche Wege. „Das hat überhaupt nicht funktioniert“, sagte Simon. Der zweite Versuch, ein Wissensgraph, also ein Netz aus verknüpften Fakten, war im Live-Gespräch zu langsam, und die Agenten verirrten sich darin. Heute ordnet eine Nachschlagetabelle gängige Kundenformulierungen dem nächsten Schritt zu. Ein Steuer-Agent klärt, was der Kunde will, und leitet ihn an den Agenten mit dem passenden Wissen weiter. Simon nennt das „eigentlich sehr simpel, aber schnell“. Irrelevantes wird entfernt, bevor eine Anfrage das Modell erreicht. Zusätzlich prüft ein kleines Modell als „LLM-Judge“ jedes Gespräch. Es entdeckte zum Beispiel, dass das Kundenmodell Warteschleifenmusik erfand, die T-Mobile gar nicht nutzt. Ingenieure suchten zwei Wochen nach der Ursache.

Die Umfrage VB Pulse vom Oktober 2026 zeigt, dass T-Mobile kein Einzelfall ist. 78 Prozent von 97 Organisationen führten mindestens eine selbstsicher falsche Antwort auf fehlenden oder widersprüchlichen Geschäftskontext zurück. Im schwersten Fall erreichte die falsche Information bei 21 Prozent Kunden oder Partner, bei 12 Prozent landete sie in Finanz-, Aufsichts- oder Vorstandsberichten. Adobe nennt im selben Artikel ein Beispiel: Eine EU-Kampagne sollte keine US-Einwilligungsregeln im Kontext haben. Ein weiterer VentureBeat-Text über Agenten, die Compliance-Regeln „vergessen“, ist dagegen ein Gastbeitrag mit einem ausgedachten Szenario ohne Messdaten.

Was beim Einsatz belegt hilft

  1. Duplikate und alte Versionen entfernen. Jeder Rivale erhöht den Verlust (Liu). In der VersionRAG-Studie beantwortete eine normale Dokumentensuche 58 Prozent der versionsabhängigen Fragen richtig, eine versionsbewusste 90 Prozent. Der HoH-Benchmark zeigt: Veraltete Passagen senken die Genauigkeit, auch wenn die aktuelle Fassung mitgeliefert wird.
  2. Widersprüche vorher auflösen. Im ConflictRAG-Ansatz kostete das Abschalten der Konflikterkennung 16,6 Punkte. Bei zeitlichen Konflikten gewinnt dort die neueste Quelle.
  3. Gezielt weiterleiten statt alles laden. Das zeigen T-Mobile und Anthropics Leitfaden mit „Just-in-time“-Abruf und Sub-Agenten, die einen sauberen Kontext haben. Bei Uber fand ein Agent mit Kontextgraph eine Tabelle in 38 Sekunden. Ohne Graph brauchte er über 20 Minuten und kam zum falschen Schluss.
  4. Belege erst zitieren lassen. Du et al. lassen das Modell die Belege wiederholen, bevor es antwortet. Bei GPT-4o brachte das im RULER-Test bis zu 4 Punkte.
  5. Automatisch prüfen. In VB Pulse prüfen 57 Prozent der Befragten automatisch gegen vertrauenswürdige Quellen.

Eine Unschärfe gibt es bei der Platzierung. OpenAI rät, Anweisungen an Anfang und Ende des Kontexts zu setzen. Google empfiehlt, die Frage ans Ende zu stellen.

Den Kern kannst du selbst nachstellen, einen eigenen Versuch haben wir dafür nicht gemacht. Nimm ein lokales Modell, gib ihm ein Tarifblatt mit rund 30.000 Token neutralem Fülltext und frag nach dem Preis. Dann ersetzt du den Fülltext durch eine zweite, ältere Fassung desselben Tarifblatts mit anderem Preis. Laut Paper sollte der zweite Durchgang deutlich schlechter ausfallen.

Einordnung

Für alle, die Agenten mit Firmenwissen füttern, ist die Botschaft praktisch. Ein größeres Kontextfenster ersetzt keine aufgeräumte Wissensbasis. Herstellerangaben wie „eine Million Token“ sagen nur, wie viel hineinpasst, nicht, wie gut das Modell mit widersprüchlichem Inhalt umgeht. Offen bleibt, ob große Spitzenmodelle Rivalen besser aushalten. Das Paper hat nur kleine Modelle getestet, und ob die Attention tatsächlich die Ursache ist, ist nicht bewiesen. Unsere Einschätzung: Die These ist eine nützliche Diagnose, kein Naturgesetz. Sie passt aber auffallend gut zu dem, was T-Mobile, Adobe und die Umfrage aus der Praxis berichten.

#context rot#langer kontext#agenten#rag#forschung#context engineering

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.