Tencent Hy-SimulMT: Simultanübersetzer Chinesisch–Englisch mit 3 Sekunden Verzögerung

Worum es geht

Tencent Hunyuan hat Hy-SimulMT veröffentlicht, ein Modell für simultanes Übersetzen von Sprache zwischen Chinesisch und Englisch, in beide Richtungen. „Simultan“ heißt: Das Modell nimmt fortlaufend Audio auf und übersetzt, während die Person noch spricht – wie ein Dolmetscher im Konferenzraum, nicht wie ein Übersetzer, der erst den ganzen Satz abwartet. Es liefert übersetzten Text und, mit angeschlossenem Sprachausgabe-Dienst, auch gesprochene Sprache, auf Wunsch mit der geklonten Stimme des Sprechers.

Die Modellkarte auf Hugging Face nennt als Veröffentlichungsdatum den 26. Oktober 2026. Laut dem Blog OrcaRouter tauchten die sechs Repositories bereits am 22. Oktober auf; dort ist auch von einer sehr leisen Veröffentlichung ohne Pressemitteilung und ohne Paper die Rede. Dass das Modell zeitlich zur APEC-Leaderstagung in Shenzhen passt, bei der Tencents Hy Translate App als offizielles KI-Übersetzungstool genannt wird, ist ausdrücklich eine Vermutung von OrcaRouter, keine Aussage von Tencent.

Was im Paket steckt

Die Familie umfasst sechs Checkpoints:

Laut OrcaRouter handelt es sich um ein Mixture-of-Experts-Modell (MoE – viele spezialisierte Teilnetze, von denen pro Token nur einige aktiv sind) mit 48 Schichten, 128 Experten, acht gerouteten plus einem gemeinsamen Experten pro Token. Insgesamt sind es etwa 30,4 Milliarden Parameter (die beim Training gelernten Stellschrauben). Das „A3B“ im Namen erklärt Tencent nicht; die Rechnung aus der Konfiguration ergibt grob 3 Milliarden aktive Parameter – das ist eine Schätzung von OrcaRouter, keine Herstellerangabe. Der Audio-Eingang arbeitet mit 16 kHz und verarbeitet Fenster von höchstens 30 Sekunden. Die Lizenz ist Apache-2.0, Drittkomponenten behalten ihre eigenen Bedingungen.

Dazu gibt es auf GitHub zwei Werkzeuge: SimulInfer (Inferenzdienst mit Weboberfläche, Datei-Upload, Mikrofon und WebSocket) und SimulTrain (Training auf Basis der veröffentlichten Checkpoints). Sprachausgabe und Stimmklonen brauchen einen separat konfigurierten TTS-Dienst (Text-to-Speech). „Speech-to-Speech“ beschreibt also ein System rund um das Modell, nicht ein einzelnes Modell, das Audio ausgibt.

Zahlen und Benchmarks

Das zentrale Maß ist die StreamLAAL – die durchschnittliche Verzögerung zwischen gesprochener Quelle und übersetzter Ausgabe im Streaming-Betrieb (niedriger ist besser). Sie ist nicht die Zeit bis zur ersten Sprachausgabe. Auf dem Langaudio-Benchmark RealSI erreicht Hy-SimulMT laut Tencent etwa 3 Sekunden, den niedrigsten Wert im Vergleich. Der GEMBA-Score (ein automatisiertes Qualitätsmaß für Übersetzungen) liegt über den verglichenen Open-Source-Modellen und vier von fünf kommerziellen APIs. Welche API vorn liegt, nennt die Karte nicht.

Auf kurzen Audioclips (höher ist besser):

Tencent hebt hervor, dass das Modell unter den Open-Source-Modellen bei FLEURS, ACL6060 und RealSI-Sentence vorn liegt und bei RealSI-Sentence mit 84,7 den Höchstwert aller Systeme hat. OrcaRouter weist darauf hin, dass CoVoST2 die schwächste Spalte ist (6,6 Punkte hinter Qwen) und bei FLEURS Gemini 2,1 Punkte vorn liegt.

Vergleich mit menschlichen Dolmetschern

Tencent ließ 18 chinesische und englische Aufnahmen (je rund 6 Minuten, online ab September 2026 erschienen, zehn Themenfelder von Medizin bis Recht) von sechs Dolmetschern übersetzen: drei mit CATTI-Level-1-, drei mit Level-2-Zertifikat. Pro Level zählte der beste Dolmetscher. Ergebnis laut Tencent: Qualität auf Augenhöhe mit Experten, oft bei geringerer Latenz. Tencent schränkt selbst ein, dass dies nur für diese Proben und Dolmetscher gilt und nichts über Sprachqualität oder Stimmähnlichkeit aussagt. OrcaRouter merkt an, dass der Vergleich mit dem jeweils besten Dolmetscher bei der Qualität ein hoher Maßstab ist, bei der Latenz aber nicht den Durchschnitt abbildet.

Zwei chinesische Hochschulexperten loben das System: Das Modell beginne zu sprechen und korrigiere sich danach, ähnlich wie Dolmetscher bei Selbstkorrekturen. Es sei auf dem Weg von „Verständnishilfe“ zu „brauchbarer Kommunikation“ in risikoarmen Situationen. Bei strenger Haftung oder wichtigen Entscheidungen bleiben menschliche Dolmetscher laut Tencent wichtig.

Was du zum Ausprobieren brauchst

• Offizieller Weg: Linux, Python 3.12+, Git, NVIDIA-GPU und vLLM ab 0.31 mit HYV3ForCausalLM-Unterstützung. Der Befehl bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave richtet alles ein und startet Modell (Port 8800) und Weboberfläche (Port 8080).
• Speicher: Tencent nennt keine Mindestanforderung. Nach OrcaRouters Rechnung wiegt BF16 rund 61 GB, eine 80-GB-Karte wäre die realistische Untergrenze; die FP8- und GGUF-Varianten (Q4/Q8) machen kleinere Karten plausibel. Das sind Schätzungen.
• llama.cpp/Ollama/LM Studio: Die Unterstützung ist noch nicht im offiziellen llama.cpp gemergt. Tencent empfiehlt, auf ein Release zu warten. Es gibt eine Bridge (serve_llamacpp.py, Port 8094) für einen bereits laufenden audiofähigen llama.cpp-Server.
• Mikrofon aus der Ferne braucht HTTPS. Sprachausgabe braucht einen eigenen TTS-Dienst. Alternativ gibt es die Hy Translate App für Android und iOS.

Einordnung

Ein offen herunterladbarer Simultanübersetzer mit rund drei Sekunden Verzögerung ist ungewöhnlich; bisher sind vergleichbare Systeme meist kommerzielle APIs. Für Entwickler, die Live-Untertitel oder Meeting-Übersetzung lokal und ohne Cloud betreiben wollen, ist das interessant – allerdings nur für Chinesisch und Englisch.

Kritisch zu sehen: Alle Zahlen stammen von Tencent, eine unabhängige Prüfung fehlt, ebenso ein technischer Bericht. Der Dolmetschervergleich ist klein. Die Modellmetadaten markieren laut OrcaRouter 36 Sprachen, dokumentiert ist aber nur Chinesisch–Englisch; ob weitere Sprachen für Sprache funktionieren, ist unbestätigt. Es gibt keine gehostete API und keinen Preis. Zudem hängt der Praxiseinsatz an der noch fehlenden llama.cpp-Unterstützung und an der Hardware: Wer keine große NVIDIA-Karte hat, wartet am besten auf die Community-Unterstützung.