Salesforce veröffentlicht SOV-Transcribe-1: bestes offenes Spracherkennungsmodell

Salesforce hat mit SOV-Transcribe-1 ein Modell zur Spracherkennung veröffentlicht, das man herunterladen kann. Im unabhängigen AA-WER-Index liegt es unter allen offenen Modellen auf Platz 1 und schlägt Mistral und Nvidia. Gedacht ist es vor allem für Behörden und Firmen, die Audioaufnahmen nicht an fremde Server schicken dürfen.

Modell-Releases Selbst ausprobieren 12. Nov. 2026 5 Min. Lesezeit Quelle: Merkliste: cryptobriefing.com
Symbolbild, KI-generiert

Worum es geht

Salesforce ist vor allem für Kundenverwaltungs-Software (CRM) bekannt, also Programme, mit denen Firmen Kontakte, Verkäufe und Serviceanfragen organisieren. Am 12. November 2026 hat der Konzern ein KI-Modell zur Spracherkennung vorgestellt: SOV-Transcribe-1. Das Modell wandelt gesprochene Sprache in Text um (Speech-to-Text). Die Gewichte stehen auf Hugging Face zum Download bereit. Unternehmen und Behörden können das Modell also auf eigenen Rechnern betreiben, statt Audiodateien an einen Cloud-Dienst zu schicken.

Bemerkenswert ist die Platzierung: Im unabhängigen Vergleich des Analysehauses Artificial Analysis liegt SOV-Transcribe-1 unter allen frei verfügbaren Spracherkennungsmodellen auf Platz eins. Damit liegt ein Softwarekonzern vor mehreren Firmen, deren Kerngeschäft das Entwickeln von KI-Modellen ist.

Die Zahlen: Wortfehlerrate und Rangliste

Gemessen wird Spracherkennung meist mit der Wortfehlerrate (Word Error Rate, WER). Sie gibt an, welcher Anteil der Wörter falsch erkannt, ausgelassen oder zusätzlich eingefügt wurde. Je niedriger, desto besser. 2,3 Prozent heißt grob: Von 100 Wörtern sind gut zwei fehlerhaft.

Im AA-WER-Index von Artificial Analysis erreicht SOV-Transcribe-1 eine Wortfehlerrate von 2,3 Prozent. Unter 44 getesteten Modellen bedeutet das Platz 7. Vor ihm liegen nur proprietäre Systeme, also Modelle, deren Gewichte die Hersteller nicht herausgeben und die meist nur über eine kostenpflichtige Schnittstelle laufen. Die stärksten offenen Konkurrenten kommen beide auf 2,8 Prozent: Voxtral Small von Mistral AI und Nemotron 3.5 Transcribe von Nvidia.

Der Index setzt sich aus mehreren Testsätzen zusammen. Auf zwei davon erzielt SOV-Transcribe-1 laut dem Bericht Bestwerte:

Testsatz Inhalt WER SOV-Transcribe-1
AA-WER-Index (gesamt) Mischung mehrerer Tests 2,3 %
Earnings22 Telefonkonferenzen zu Quartalszahlen von Unternehmen 4,1 %
VoxPopuli Redebeiträge aus dem Europäischen Parlament 1,5 %
AA-AgentTalk Gespräche im Stil von Sprachassistenten und Agenten 1,8 %

Zum Vergleich: Voxtral Small und Nemotron 3.5 Transcribe liegen im Gesamtindex jeweils bei 2,8 Prozent. Werte der Konkurrenten für die einzelnen Testsätze nennt die Quelle nicht. Earnings22 gilt als schwerer Test, weil dort Fachbegriffe, Firmennamen, Zahlen und teils schlechte Telefonqualität vorkommen. Das erklärt den höheren Fehlerwert.

Großes Modell, aber nur ein Teil arbeitet

SOV-Transcribe-1 hat insgesamt 26,6 Milliarden Parameter. Davon sind bei jedem Rechenschritt aber nur 4,6 Milliarden aktiv. Dieses Muster kennt man von Mixture-of-Experts-Modellen (MoE): Das Modell besteht aus vielen spezialisierten Teilnetzen, den „Experten“, und ein Verteiler schickt jede Eingabe nur an wenige davon. Das funktioniert ähnlich wie eine große Firma, in der nicht jeder Mitarbeiter an jedem Auftrag sitzt. Die Quelle nennt den Begriff nicht ausdrücklich, die Zahlen deuten aber klar darauf hin.

Der Vorteil: Das Modell rechnet ungefähr so schnell wie ein Modell mit 4,6 Milliarden Parametern, hat aber das Wissen eines viel größeren Modells. Der Nachteil: Im Speicher müssen trotzdem alle 26,6 Milliarden Parameter liegen. Laut dem Bericht soll das Modell beim Betrieb auf einem Server etwa 60-mal so schnell sein wie „herkömmliche Systeme“. Womit genau verglichen wurde, bleibt offen. Die Angabe lässt sich deshalb kaum einordnen.

Hintergrund: Souveräne KI für Behörden

SOV-Transcribe-1 gehört zu Salesforces Sovereign-AI-Initiative. Mit „souveräner KI“ sind Systeme gemeint, die eine Organisation vollständig unter eigener Kontrolle betreibt, ohne Daten an Dritte weiterzugeben. Das Modell ist an Missionforce angebunden, einen Salesforce-Bereich für sichere, kontrollierbare KI für Unternehmen und Regierungen. Missionforce startete im September 2025, also etwa ein Jahr vor dem Modell, und konzentriert sich auf Behörden und nationale Sicherheit.

Hier ergeben offene Gewichte besonders viel Sinn. Gesprächsmitschnitte, Vernehmungen oder interne Besprechungen dürfen viele Behörden gar nicht an externe Cloud-Server schicken. Ein Modell, das in der eigenen, abgeschotteten Umgebung läuft, ist für solche Organisationen oft eine Pflicht und keine Geschmacksfrage. Das „SOV“ im Namen steht vermutlich für „sovereign“, das bestätigt die Quelle aber nicht ausdrücklich.

Was du zum Ausprobieren brauchst

Die Quelle macht keine Angaben zur Hardware. Die folgenden Werte sind Schätzungen. Weil alle 26,6 Milliarden Parameter geladen werden müssen, brauchst du in voller Genauigkeit (16 Bit) rund 55 GB Grafikspeicher, also eher eine Rechenzentrums-GPU oder mehrere Karten. Bei einer Quantisierung auf 4 Bit (die Zahlen des Modells werden gröber gespeichert, das spart Platz, kostet aber etwas Genauigkeit) wären es geschätzt etwa 18 GB VRAM. Das passt auf eine Grafikkarte mit 24 GB wie eine RTX 3090 oder 4090. Ob es solche verkleinerten Versionen schon gibt, ist unklar. Weil nur 4,6 Milliarden Parameter aktiv sind, könnte es auch mit viel Arbeitsspeicher auf einem Mac mit Apple Silicon (ab etwa 32 GB gemeinsamem Speicher) brauchbar laufen. Das hängt aber davon ab, ob gängige Programme das Modell unterstützen. Für die Dateien solltest du je nach Format 20 bis 60 GB freien Festplattenplatz einplanen. Auf einem reinen Prozessor ohne GPU ist das Modell wahrscheinlich nur für kurze Aufnahmen praktikabel.

Noch nicht bekannt sind die Lizenz, die unterstützten Sprachen (also auch, ob Deutsch gut funktioniert) und der genaue Name des Hugging-Face-Repositorys. Schau vor dem Einsatz in Firma oder Behörde unbedingt in die Lizenzbedingungen auf der Modellseite.

Einordnung

Für alle, die Spracherkennung lokal betreiben wollen oder müssen, ist SOV-Transcribe-1 eine interessante neue Option. Laut AA-WER-Index liegt es mit 2,3 zu 2,8 Prozent spürbar vor Mistral und Nvidia, und zu den besten proprietären Systemen fehlt wenig. Dass ausgerechnet Salesforce an die Spitze der offenen Modelle springt, zeigt: Spracherkennung ist inzwischen auch ein Feld für Anbieter von Unternehmenssoftware, die ihre Kunden mit Datenhoheit locken.

Einiges ist allerdings offen. Die Hauptquelle ist ein knapper Bericht ohne Angaben zu Lizenz, Sprachen, Hardware oder Trainingsdaten. Die Aussage zur 60-fachen Geschwindigkeit ist ohne Vergleichsbasis kaum überprüfbar. Die Benchmarks stammen zwar von einem unabhängigen Analysehaus, prüfen aber vor allem englischsprachiges Material. Wie gut das Modell mit deutschen Dialekten, Fachsprache oder lauten Umgebungen zurechtkommt, müssen eigene Tests zeigen. Mit 26,6 Milliarden Parametern ist es außerdem deutlich schwerer als schlanke Alternativen wie Whisper-Varianten, die auf fast jedem Laptop laufen.

Quellen

#salesforce#spracherkennung#open-weights#transkription#sovereign-ai
Originalquelle lesen

Selbst ausprobieren: SOV-Transcribe-1

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

SOV-Transcribe-1 macht aus Audioaufnahmen Text: Besprechungen, Interviews, Telefonate, Vorträge oder Sprachnotizen. Laut dem unabhängigen AA-WER-Index ist es derzeit das genaueste frei herunterladbare Spracherkennungsmodell. Es macht im Schnitt bei 2,3 Prozent der Wörter Fehler, während Mistral Voxtral Small und Nvidia Nemotron 3.5 Transcribe bei 2,8 Prozent liegen. Besonders gut schneidet es bei Parlamentsreden (1,5 Prozent) und bei Dialogen im Stil von Sprachassistenten (1,8 Prozent) ab, und auch schwierige Telefonkonferenzen meistert es mit 4,1 Prozent Fehlern ordentlich. Weil es lokal läuft, verlassen deine Aufnahmen nie deinen Rechner. Der Haken: Das Modell ist mit 26,6 Milliarden Parametern groß und braucht entsprechend viel Speicher, auch wenn pro Schritt nur 4,6 Milliarden rechnen. Welche Sprachen es beherrscht und wie gut es mit Deutsch umgeht, ist bisher nicht dokumentiert.

Für wen lohnt es sich?

Das Modell lohnt sich für alle, die viele oder vertrauliche Aufnahmen verschriften wollen und eine Grafikkarte mit viel Speicher haben, zum Beispiel Journalisten, Forschende, Kanzleien, Praxen oder IT-Abteilungen mit Datenschutzauflagen. Wer nur gelegentlich eine Sprachnotiz abtippen lassen will oder einen normalen Laptop ohne starke GPU hat, ist mit kleineren Modellen wie Whisper meist besser bedient.

Ideen: Was du damit anstellen kannst

Meeting-Protokolle ohne Cloud

Nimm Teambesprechungen auf und lass sie lokal verschriften. Den Text kannst du danach von einem Sprachmodell zusammenfassen lassen. Vertrauliche Inhalte verlassen dabei nie deinen Rechner.

Interviews für Recherche abtippen

Journalisten und Studierende können Interviewaufnahmen in Rohtexte verwandeln. Statt stundenlang abzutippen, korrigierst du nur noch Namen und Zitate.

Untertitel für Videos

Extrahiere die Tonspur deines Videos, lass sie transkribieren und baue daraus Untertitel. Das hilft bei Barrierefreiheit und macht Videos auch ohne Ton verständlich.

Sprachnotizen durchsuchbar machen

Wandle gesammelte Sprachmemos regelmäßig in Text um und lege sie in deiner Notiz-App ab. So findest du Ideen und Erinnerungen später per Suchbegriff wieder.

Telefonkonferenzen auswerten

Unternehmen können Kundengespräche oder Analystenkonferenzen intern verschriften und nach Stichworten auswerten, ohne die Aufnahmen an externe Dienste zu geben.

Größe26,6 Mrd. Parameter
Download53 GB (bei 100 MBit/s ca. 71 Min.)
Lizenzapache-2.0
ArtSpracherkennung (Sprache zu Text)

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 65 GB VRAMDer Hersteller nennt keine Mindestgröße. Der Wert ist berechnet: 53,3 GB Gewichte in BF16 × 1,2 + 1 GB ergibt rund 65 GB. Praktisch heißt das: eine Rechenzentrums-Grafikkarte mit 80 GB oder mehrere Karten zusammen. Mehr Speicher erlaubt längere Aufnahmen (bis 30 Minuten) und mehrere Dateien in einem Durchgang.
Mac (Apple Silicon M1–M5) ab 96 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Speicherplatz ca. 55 GB freiModell-Download plus Programme

Die Quelle nennt nur eine Variante mit 26,6 Milliarden Parametern (4,6 Milliarden aktiv). Ungefähr gilt: In voller Genauigkeit (16 Bit) braucht sie etwa 55 GB Grafikspeicher, also eine Server-GPU oder mehrere Karten. Mit 8 Bit sind es um die 28 GB, mit 4 Bit geschätzt rund 18 GB, was auf eine 24-GB-Karte passt. Ob es fertig quantisierte Versionen gibt, ist noch offen. Schau dazu auf Hugging Face nach Community-Varianten.

  • Alle 26,6 Milliarden Parameter müssen in den Speicher, auch wenn nur 4,6 Milliarden pro Schritt aktiv sind. Der Speicherbedarf richtet sich nach der Gesamtgröße.
  • Grobe Schätzung: etwa 55 GB VRAM in 16 Bit und etwa 18 GB in 4 Bit. Offizielle Hardware-Angaben gibt es bislang nicht.
  • Eine 24-GB-Grafikkarte wie die RTX 3090 oder 4090 ist der realistische Einstieg für Heimanwender, vorausgesetzt es gibt eine quantisierte Fassung.
  • Macs mit Apple Silicon und viel gemeinsamem Speicher (ab etwa 32 GB) kommen in Frage, wenn die Software das Modell unterstützt.
  • Lange Aufnahmen brauchen zusätzlichen Speicher. Teile sehr lange Dateien notfalls in Abschnitte.
  • Plane je nach Format etwa 20 bis 60 GB freien Speicherplatz für die Modelldateien ein.
Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (NVIDIA-NeMo/Skills auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Windows 10 / 11

Windows 10 / 11: nicht offiziell getestet. Windows wird in der Quelle nicht erwähnt. vLLM ist für Linux gedacht, deshalb nimmst du hier den Weg über Transformers. Du brauchst eine NVIDIA-Karte mit rund 65 GB Grafikspeicher. Die Alternative ist WSL2 (ein Linux innerhalb von Windows), dort folgst du der Linux-Anleitung.

  1. Voraussetzungen prüfen. Installiere Python 3 (setz bei der Installation das Häkchen bei „Add to PATH“) und einen aktuellen NVIDIA-Treiber. Du brauchst eine Grafikkarte mit rund 65 GB VRAM und gut 55 GB freien Speicherplatz. Prüf das in der PowerShell.
    python --version
    nvidia-smi
  2. Arbeitsordner und Umgebung anlegen. Die virtuelle Umgebung hält die Pakete für dieses Projekt getrennt vom Rest. Wenn PowerShell das Aktivieren blockiert, gib vorher einmal Set-ExecutionPolicy -Scope CurrentUser RemoteSigned ein. Klappt alles, steht vorne (.venv).
    mkdir sov-transcribe; cd sov-transcribe
    python -m venv .venv
    .venv\Scripts\Activate.ps1
  3. Pakete installieren. Installiert werden Transformers (die Hugging-Face-Bibliothek), PyTorch, librosa (liest Audiodateien) und accelerate. Achte darauf, dass PyTorch mit CUDA-Unterstützung installiert wird, also für NVIDIA-Grafikkarten. Unter Windows bekommst du sonst oft nur die langsame Version für den Prozessor. Die Anleitung dazu steht auf pytorch.org.
    pip install "transformers>=5.19,<5.23" torch librosa accelerate huggingface_hub
  4. Modell herunterladen. Das lädt etwa 53 GB in 16 Teilen. Das kann je nach Internetverbindung lange dauern.
    hf download salesforce-sovereign-intelligence/SOV-Transcribe-1
  5. Aufnahme bereitlegen. Leg eine Sprachaufnahme als meeting.wav in den Ordner sov-transcribe, zum Beispiel eine Sprachnotiz vom Handy. Das Modell versteht unter anderem Deutsch und Englisch. Eine Aufnahme darf bis zu 30 Minuten lang sein.
  6. Skript anlegen. Speichere diesen Code mit einem Texteditor als demo.py im Ordner sov-transcribe. Das Skript lädt das Modell, liest meeting.wav ein und gibt die Abschrift aus.
    import librosa
    from transformers import AutoModelForMultimodalLM, AutoProcessor
    
    model_id = "salesforce-sovereign-intelligence/SOV-Transcribe-1"
    processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
    model = AutoModelForMultimodalLM.from_pretrained(model_id, trust_remote_code=True, device_map="auto")
    
    audio = [librosa.load("meeting.wav", sr=16000, mono=True)[0]]
    inputs = processor.apply_transcription_request(audio).to(model.device, dtype=model.dtype)
    outputs = model.generate(**inputs, max_new_tokens=8192)
    print(processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])
  7. Erste Abschrift erzeugen. Starte das Skript. Das Modell zu laden dauert einige Minuten. Danach erscheint die Abschrift im Fenster.
    python demo.py
  8. Ergebnis. Im Terminal erscheint die Abschrift deiner Aufnahme meeting.wav als Text.

macOS

macOS: nicht offiziell getestet. macOS wird in der Quelle nicht erwähnt, und vLLM läuft dort nicht mit Grafikbeschleunigung. Mit Transformers könnte es auf einem Apple-Silicon-Mac mit sehr viel Arbeitsspeicher (64 GB oder mehr) gehen, wahrscheinlich aber langsam. Die bessere Wahl ist ein gemieteter Cloud-Rechner mit Linux und großer NVIDIA-Karte.

  1. Voraussetzungen prüfen. Du brauchst einen Mac mit Apple-Chip (M1 oder neuer) und möglichst 64 GB Arbeitsspeicher oder mehr. Dazu kommen Python 3 und gut 55 GB freier Speicherplatz. Installiere die Xcode-Kommandozeilenwerkzeuge, falls sie noch fehlen.
    xcode-select --install
    python3 --version
  2. Arbeitsordner und Umgebung anlegen. Die virtuelle Umgebung trennt die Pakete für dieses Projekt vom System. Wenn sie aktiv ist, steht vorne (.venv).
    mkdir sov-transcribe && cd sov-transcribe
    python3 -m venv .venv
    source .venv/bin/activate
  3. Pakete installieren. Installiert werden Transformers, PyTorch, librosa zum Lesen von Audio und accelerate. Das Paket huggingface_hub bringt den Download-Befehl hf mit.
    pip install "transformers>=5.19,<5.23" torch librosa accelerate huggingface_hub
  4. Modell herunterladen. Das lädt etwa 53 GB. Plane dafür ausreichend Zeit ein.
    hf download salesforce-sovereign-intelligence/SOV-Transcribe-1
  5. Aufnahme bereitlegen. Leg eine Sprachaufnahme als meeting.wav in den Ordner sov-transcribe. Mit der App Sprachmemos aufnehmen und als Datei exportieren reicht. Notfalls wandelst du die Datei mit einem Audio-Programm in WAV um.
  6. Skript anlegen. Speichere diesen Code als demo.py im Ordner sov-transcribe. Er lädt das Modell, liest meeting.wav und gibt den Text aus.
    import librosa
    from transformers import AutoModelForMultimodalLM, AutoProcessor
    
    model_id = "salesforce-sovereign-intelligence/SOV-Transcribe-1"
    processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
    model = AutoModelForMultimodalLM.from_pretrained(model_id, trust_remote_code=True, device_map="auto")
    
    audio = [librosa.load("meeting.wav", sr=16000, mono=True)[0]]
    inputs = processor.apply_transcription_request(audio).to(model.device, dtype=model.dtype)
    outputs = model.generate(**inputs, max_new_tokens=8192)
    print(processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])
  7. Erste Abschrift erzeugen. Starte das Skript. Läuft es durch, erscheint die Abschrift im Terminal. Bricht es mit einem Speicherfehler ab, reicht der Arbeitsspeicher deines Macs nicht aus.
    python3 demo.py
  8. Ergebnis. Im Terminal erscheint die Abschrift deiner Aufnahme meeting.wav als Text.

Linux

Linux: unterstützt. Linux mit NVIDIA-Grafikkarte ist der Hauptweg. Der Hersteller empfiehlt vLLM (ein schnelles Programm, das KI-Modelle ausführt) über ein mitgeliefertes Plugin. Mit unter etwa 65 GB Grafikspeicher klappt das nicht, dann bleibt nur ein gemieteter Cloud-Rechner mit großer GPU.

  1. Voraussetzungen prüfen. Du brauchst Python 3 mit pip, einen aktuellen NVIDIA-Treiber und eine Grafikkarte mit rund 65 GB Grafikspeicher (VRAM). Außerdem brauchst du gut 55 GB freien Platz auf der Festplatte für das Modell. Mit nvidia-smi siehst du deine Grafikkarte und wie viel Speicher sie hat.
    python3 --version
    nvidia-smi
  2. Arbeitsordner und Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich für Python-Pakete. So kommt nichts mit deinem System durcheinander. Wenn die Umgebung aktiv ist, steht vorne in der Zeile (.venv).
    mkdir sov-transcribe && cd sov-transcribe
    python3 -m venv .venv
    source .venv/bin/activate
  3. Download-Werkzeug installieren. Das Paket huggingface_hub bringt den Befehl hf mit. Damit lädst du Dateien von Hugging Face herunter.
    pip install huggingface_hub
  4. vLLM-Plugin holen und installieren. Der erste Befehl lädt nur den Ordner vllm_plugin aus dem Modell-Repo. Der zweite installiert das Plugin und bringt dabei vLLM 0.32.0 mit. Das dauert ein paar Minuten.
    hf download salesforce-sovereign-intelligence/SOV-Transcribe-1 --include "vllm_plugin/*" --local-dir SOV-Transcribe-1
    pip install ./SOV-Transcribe-1/vllm_plugin
  5. Modell herunterladen. Jetzt kommen die eigentlichen Modelldateien, zusammen etwa 53 GB in 16 Teilen. Wenn du diesen Schritt auslässt, lädt vLLM die Dateien beim ersten Start selbst herunter.
    hf download salesforce-sovereign-intelligence/SOV-Transcribe-1
  6. Aufnahme bereitlegen. Leg eine Sprachaufnahme als meeting.wav in den Ordner sov-transcribe. Das kann zum Beispiel eine Sprachnotiz vom Handy sein, die du mit einem Audio-Programm als WAV speicherst. Erlaubt sind unter anderem Deutsch und Englisch. Über den Server gehen standardmäßig bis zu 10 Minuten pro Datei.
  7. Server starten. Dieser Befehl lädt das Modell auf die Grafikkarte und startet einen lokalen Server. Das dauert einige Minuten. Er ist bereit, wenn im Terminal steht, dass er auf Port 8000 läuft. Lass das Fenster offen.
    vllm serve salesforce-sovereign-intelligence/SOV-Transcribe-1 --max-model-len 32768
  8. Erste Abschrift erzeugen. Öffne ein zweites Terminal und wechsle in den Ordner sov-transcribe. Dieser Befehl schickt meeting.wav an den Server. Nach kurzer Zeit erscheint die Abschrift als Text.
    cd sov-transcribe
    curl http://localhost:8000/v1/audio/transcriptions -F model=salesforce-sovereign-intelligence/SOV-Transcribe-1 -F file=@meeting.wav -F temperature=0
  9. Ergebnis. Im Terminal erscheint die Abschrift deiner Aufnahme meeting.wav als Text.

So geht es nach dem ersten Ergebnis weiter

  • Mit einer Anweisung steuerst du, wie der Text aussieht. In Transformers geht das mit apply_transcription_request(audio, prompt="..."), beim Server mit -F prompt="...". So bekommst du zum Beispiel eine wortgetreue oder eine bereinigte Abschrift mit Satzzeichen.
  • Du kannst dem Modell vorab Namen, Fachbegriffe oder das Thema der Aufnahme nennen (Context Biasing). Dann erkennt es schwierige Wörter besser.
  • Der vLLM-Server nimmt standardmäßig bis zu 600 Sekunden Audio pro Anfrage an. Für bis zu 30 Minuten setzt du vor dem Start die Variable VLLM_MAX_AUDIO_DECODE_DURATION_S auf 1800.
  • Das Zusatzmodell salesforce-sovereign-intelligence/SOV-Transcribe-1-DFlash macht die Ausgabe etwa 2- bis 3-mal schneller, wenn du nur eine Aufnahme auf einmal verarbeitest. Du bindest es in vLLM über speculative_config ein und in Transformers über assistant_model.

Das kannst du ausprobieren

Eine 30-sekündige Sprachnotiz vom Handy auf Deutsch, z. B. „Morgen um zehn Zahnarzt, danach Einkauf: Milch, Brot, Kaffee“. Damit prüfst du, ob Deutsch überhaupt unterstützt wird.
Ein Ausschnitt aus einem englischsprachigen Podcast, um die Genauigkeit bei natürlicher Sprache und Zwischenrufen zu testen.
Eine Aufnahme mit vielen Zahlen und Firmennamen, z. B. „Der Umsatz stieg im dritten Quartal um 4,7 Prozent auf 12,3 Milliarden Euro“. Daran siehst du, wie gut Ziffern und Fachbegriffe erkannt werden.
Eine Telefon- oder Videokonferenz-Aufzeichnung mit zwei bis drei Sprechern, um schlechte Tonqualität und Sprecherwechsel zu testen.
Eine Rede mit Dialekt oder starkem Akzent, um die Grenzen des Modells kennenzulernen.

Tipps für bessere Ergebnisse

  • Nutze möglichst saubere Aufnahmen ohne Hintergrundmusik. Auch das beste Modell profitiert stark von gutem Ton.
  • Zerlege stundenlange Aufnahmen in Abschnitte von einigen Minuten. Das spart Speicher und macht Fehler leichter auffindbar.
  • Prüfe Zahlen, Namen und Fachbegriffe im Transkript immer nach, denn dort passieren laut Earnings22-Ergebnis die meisten Fehler.
  • Gib die Sprache explizit an, wenn das Werkzeug das erlaubt, statt sie automatisch erkennen zu lassen.
  • Vergleiche das Ergebnis mit einem kleineren Modell wie Whisper. So siehst du, ob sich der höhere Hardware-Aufwand für deine Aufnahmen lohnt.

Wenn es hakt

Die Lizenz ist in der Quelle nicht genannt. Lies sie vor einer kommerziellen oder behördlichen Nutzung auf der Hugging-Face-Seite nach und akzeptiere sie dort gegebenenfalls.

Es ist unklar, welche Sprachen das Modell unterstützt. Teste Deutsch zuerst mit einer kurzen Aufnahme, bevor du große Mengen verarbeitest.

Neue Modellarchitekturen werden von Werkzeugen wie Transformers oder llama.cpp oft erst nach Updates unterstützt. Halte deine Software aktuell.

Spracherkennungsmodelle erwarten meist ein bestimmtes Audioformat (oft 16 kHz Mono). Wandle Dateien bei Fehlern vorher z. B. mit ffmpeg um.

Reicht der Grafikspeicher nicht, bricht das Laden mit einem Out-of-Memory-Fehler ab. Dann hilft nur eine quantisierte Version oder eine größere GPU.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.