ServiceNow veröffentlicht Apriel Voice 27B: offenes Sprachmodell, das selbst Werkzeuge aufruft
ServiceNow hat mit Apriel Voice 27B Preview ein offenes Modell veröffentlicht, das gesprochene Sprache direkt versteht, darüber nachdenkt und eigenständig Werkzeuge aufrufen kann. In Tests für Sprachassistenten kommt es nah an GPT Realtime und Gemini Live heran und schlägt offene Alternativen deutlich.
Worum es geht
Der US-Softwarekonzern ServiceNow, bekannt vor allem für Plattformen für IT-Service und Kundensupport, hat ein offenes Sprachmodell namens Apriel Voice 27B Preview veröffentlicht. Es versteht gesprochene Sprache direkt, kann über den Gesprächsverlauf nachdenken und erzeugt daraus sowohl Textantworten als auch Tool-Aufrufe. Das sind strukturierte Befehle, mit denen ein KI-Modell zum Beispiel eine Datenbank abfragt, einen Termin bucht oder ein Support-Ticket anlegt. Die Gewichte liegen auf Hugging Face unter dem Konto ServiceNow-AI, dazu gibt es einen technischen Bericht auf arXiv, einen Blogbeitrag und eine Online-Demo namens „Apriel Live“.
Der Clou laut Paper: Das Modell „verarbeitet Sprache direkt und erzeugt sowohl Antworten als auch Tool-Aufrufe, ohne ein separates Dialogmodell zu benötigen“. Bisher bauen viele Sprachassistenten auf einer Kette aus drei Bausteinen: Spracherkennung (wandelt Audio in Text), ein Sprachmodell (denkt nach) und Sprachsynthese (liest die Antwort vor). Apriel Voice fasst die ersten beiden Schritte zusammen. Die Sprachausgabe übernimmt weiterhin ein externer Synthesizer.
ServiceNow bezeichnet die Veröffentlichung ausdrücklich als „Preview“, also als Vorschau und nicht als fertiges Produkt.
Wie das Modell aufgebaut ist
Apriel Voice basiert auf Gemma 4 26B-A4B, einem offenen Modell von Google. Das „A4B“ steht für rund 4 Milliarden aktive Parameter pro Token: Gemma 4 26B ist ein Mixture-of-Experts-Modell (MoE), bei dem für jedes Wort nur ein kleiner Teil des Netzes, eine Handvoll spezialisierter „Experten“, rechnet. Das macht es schneller, als die Gesamtgröße vermuten lässt. Davor sitzt ein Whisper-large-v3-turbo-Encoder, ein bekanntes Spracherkennungsmodell von OpenAI, das Audio in eine für das Sprachmodell verständliche Form übersetzt. Verbunden sind beide über einen gelernten Projektor, eine Art Übersetzungsschicht zwischen Audio- und Textwelt. Zusammen ergibt das rund 27 Milliarden Parameter.
Trainiert wurde in zwei Stufen: Stufe 1 richtet die Sprachschnittstelle ein, Stufe 2 passt Projektor und Basismodell gemeinsam an. Dabei kamen überwachtes Feintuning, „Text Replay“ (alte Textaufgaben werden wiederholt, damit das Modell seine Textfähigkeiten nicht verlernt) und Distillation zum Einsatz. Bei Letzterer lernt das Modell als „Schüler“, die Ausgaben eines „Lehrermodells“ nachzuahmen. Gesprächsdaten wurden automatisch erzeugt: Dialoge, in denen die Eingabe gesprochen ist. Die Fähigkeit, Text und Bilder zu verarbeiten, bleibt erhalten.
Wichtig zum Verständnis: Das Modell spricht nicht selbst. Es liefert Text und Tool-Aufrufe. Echtes Vollduplex, also gleichzeitiges Sprechen und Zuhören wie bei einem Telefonat, muss die Anwendung drumherum übernehmen.
Was es kann
Laut Modellkarte beherrscht Apriel Voice Transkription, Sprachübersetzung, Fragen zu gesprochenen Inhalten, das Befolgen gesprochener Anweisungen, mehrstufige Aufgaben und Funktionsaufrufe. Die Anwendung führt die Werkzeuge aus und gibt die Ergebnisse zurück ins Gespräch.
Lange Aufnahmen (16 kHz, Mono) werden automatisch in 30-Sekunden-Stücke zerlegt. Laut ServiceNow funktioniert das bis etwa 30 Minuten gut. Längere Aufnahmen sind möglich, die Qualität kann dann aber nachlassen. Für lange Audios wird der Denkmodus empfohlen, in dem das Modell vor der Antwort Zwischenschritte durchrechnet.
Zahlen und Benchmarks
Die Kernergebnisse auf Englisch, gemessen im Denkmodus (Herstellerangaben):
| System | Typ | EVA-A ↑ | EVA-X ↑ | τ-Voice ↑ | Latenz (s) ↓ |
|---|---|---|---|---|---|
| GPT Realtime 2.1 | proprietär | 59,03 | 61,6 | 69,82 | 1,55 |
| Gemini-3.8 Live Extended Thinking | proprietär | 54,82 | 73,5 | 84,19 | 1,50 |
| Parakeet + Gemma 4-26B | offen, 3-stufig | 39,97 | 3,93 | 67,78 | 3,01 |
| Flux + Gemma 4-26B | gemischt, 3-stufig | 36,07 | 29,22 | 65,92 | 2,92 |
| Gemma 4-12B-IT | offen | 13,25 | 5,97 | 24,20 | 3,61 |
| UltraVox v0.6 (Qwen) | offen | 8,94 | 1,91 | 26,80 | 3,95 |
| Apriel Voice 27B Preview | offen | 51,27 | 74,13 | 65,51 | 1,91 |
EVA-A misst, wie genau ein Sprachagent Serviceaufgaben erledigt, EVA-X das Gesprächserlebnis. τ-Voice prüft, ob ein Agent realistische Kundenaufgaben vollständig löst. Die Latenz bezieht sich auf das gesamte System inklusive Sprachausgabe. Alle zwei- und dreistufigen Systeme nutzten dafür denselben Synthesizer, Cartesia Sonic 3.5.
Das Bild ist gemischt: Beim Gesprächserlebnis liegt Apriel Voice vorn, bei der Genauigkeit und vor allem bei τ-Voice deutlich hinter Gemini Live. Gegenüber den klassischen dreistufigen Ketten mit demselben Gemma-Basismodell ist es bei τ-Voice sogar minimal schwächer, antwortet aber rund eine Sekunde schneller. Andere offene Sprachmodelle wie UltraVox oder Audex-30B-A3B schlägt es klar.
Weitere Werte: 98,90 auf Big Bench Audio, 81,13 auf Speech-BFCL (Funktionsaufrufe per Sprache), 93,18 auf GSM8K (Mathe) und im Schnitt 85,84 über acht Audio-Reasoning-Tests. Die Wortfehlerrate (Anteil falsch erkannter Wörter) liegt auf LibriSpeech test-clean bei 2,23 % und auf test-other bei 5,15 %, auf Earnings21 (Telefonkonferenzen) bei 11,25 %.
Auch die Textfähigkeiten hat das Sprachtraining laut ServiceNow kaum beschädigt: MMLU-Pro sinkt leicht von 85,27 auf 84,42, GPQA Diamond steigt von 77,80 auf 80,40, und beim Agenten-Test τ² geht es von 68,93 auf 70,95 hoch. Die Mathe-Werte (AIME, AMC) bleiben identisch.
Was du zum Ausprobieren brauchst
Die offizielle Bereitstellung richtet sich klar an Rechenzentren. ServiceNow liefert ein angepasstes vLLM-Docker-Image (vLLM ist ein Server-Programm für schnelle Modellausführung), das das Modell in bfloat16 auf vier GPUs verteilt und eine OpenAI-kompatible Schnittstelle anbietet. Die optimierte Variante, die für die Benchmarks und die Live-Demo verwendet wurde, ist auf vier H100 mit je 80 GB abgestimmt und soll dort etwa doppelt so schnell sein wie die Standardkonfiguration. Allein die Gewichte belegen in voller Genauigkeit grob 55 GB.
Alternativ lässt sich das Modell über Hugging Face Transformers laden (mit trust_remote_code). Eine offizielle quantisierte Fassung, GGUF-Dateien oder einen Ollama-Eintrag gibt es laut Quellen bisher nicht. Mit einer 4-Bit-Quantisierung (das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden) wären grob geschätzt etwa 18 GB Grafikspeicher plus Platz für Audio und Kontext nötig. Das ist aber eine Schätzung, kein von ServiceNow getesteter Weg. Für Mac, reinen CPU-Betrieb oder die kostenlose Google-Colab-Stufe gibt es keine Angaben. Realistisch ist die Online-Demo „Apriel Live“ der einfachste Einstieg.
Einordnung
Apriel Voice ist eines der ersten offenen Sprachmodelle, das bei echten Agentenaufgaben in die Nähe der proprietären Echtzeit-Systeme von OpenAI und Google kommt. Für Firmen, die Kundengespräche nicht an fremde Cloud-Dienste schicken wollen, ist das interessant, und es passt genau zu ServiceNows Kerngeschäft rund um Support-Automatisierung.
Es gibt aber Einschränkungen. Alle Zahlen stammen vom Hersteller, unabhängige Tests fehlen bisher. Das Paper nennt weder die Herkunft der Trainingsdaten noch die Hardwareanforderungen für den Einsatz, und es gibt keine Angaben zu anderen Sprachen als Englisch. Ob das Modell gut Deutsch versteht, ist also offen. Die Lizenz wird in den vorliegenden Quellen nicht genannt, vor einem kommerziellen Einsatz sollte man sie auf der Modellseite prüfen. Und als Preview ist das Modell ausdrücklich nicht für den Produktivbetrieb gedacht. Für Hobby-Nutzer mit einer einzelnen Grafikkarte ist es in der jetzigen Form kaum praktikabel. Für Entwickler von Sprachagenten ist es aber eine ernstzunehmende offene Grundlage.
Quellen
- Bing News (en-GB) aiweekly.co
- finance.yahoo.com finance.yahoo.com
- huggingface.co huggingface.co
Selbst ausprobieren: Apriel Voice 27B Preview
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Apriel Voice 27B nimmt gesprochene Sprache direkt als Eingabe und antwortet mit Text oder mit strukturierten Tool-Aufrufen, zum Beispiel „lege ein Ticket an“ oder „suche den Termin“. Es kann Audio transkribieren, gesprochene Inhalte übersetzen, Fragen zu Aufnahmen beantworten und mehrstufige Aufgaben abarbeiten. Aufnahmen bis etwa 30 Minuten verarbeitet es laut ServiceNow zuverlässig. Bilder und Text versteht es weiterhin, weil es auf Gemma 4 26B-A4B aufbaut. Selbst sprechen kann es nicht, dafür braucht man eine externe Sprachsynthese. In Agenten-Tests kommt es nah an GPT Realtime und Gemini Live heran und ist deutlich besser als andere offene Sprachmodelle. Bei der reinen Aufgabengenauigkeit liegt es aber hinter den proprietären Systemen. Getestet wurde nur Englisch.
Für wen lohnt es sich?
Lohnt sich vor allem für Entwickler und Firmen, die einen eigenen Sprachassistenten oder Support-Agenten bauen und dafür eigene Server mit mehreren großen GPUs haben. Für Privatnutzer mit einer einzelnen Gaming-Grafikkarte ist es derzeit kaum sinnvoll, weil es keine offizielle verkleinerte Version gibt. Wer nur neugierig ist, testet am besten die Online-Demo „Apriel Live“.
Ideen: Was du damit anstellen kannst
Du lädst die Aufnahme einer Besprechung von bis zu 30 Minuten hoch und lässt dir Entscheidungen und Aufgaben herausziehen. Mit eingeschaltetem Denkmodus bekommst du ein strukturiertes Protokoll, ohne die Audiodatei vorher selbst transkribieren zu müssen.
Du definierst Tools wie „Ticket anlegen“ oder „Bestellstatus abfragen“ und verbindest das Modell mit einer Sprachsynthese. Kunden schildern ihr Problem am Telefon, das Modell ruft die passende Funktion auf und formuliert die Antwort.
Bei niedriger Temperatur und ohne Denkmodus schreibt das Modell englische Aufnahmen mit einer Wortfehlerrate von rund 2 bis 5 % mit. Anschließend kannst du im selben Gespräch Fragen zum Inhalt stellen.
Du sprichst unterwegs Notizen ein, und das Modell erzeugt daraus Tool-Aufrufe für deinen Kalender oder deine To-do-App. So entsteht ein privater Assistent, der auf dem eigenen Server läuft.
Fremdsprachige Sprachnachrichten lässt du direkt übersetzen und zusammenfassen. Das spart den Umweg über eine separate Spracherkennung.
Was dein Rechner braucht
Es gibt nur eine Variante, die Preview mit 27 Milliarden Parametern (MoE, etwa 4 Milliarden aktiv). Offiziell wird sie in bfloat16 auf vier GPUs betrieben, optimiert für vier H100 mit je 80 GB. Eine offizielle 4-Bit- oder GGUF-Version gibt es nicht. Mit eigener 4-Bit-Quantisierung wären grob geschätzt 18 GB VRAM plus Puffer für Audio und Kontext nötig, das ist aber nicht von ServiceNow getestet.
- Offizielles Setup: vLLM in bfloat16 mit --tensor-parallel-size 4, also vier GPUs; die Gewichte allein belegen grob 55 GB.
- Die optimierte Konfiguration ist auf vier H100 80 GB getunt und liefert dort laut ServiceNow etwa doppelt so viele Ausgabe-Tokens pro Sekunde.
- Lange Audios kosten viel Speicher: Audio-Stücke teilen sich das Kontextbudget mit dem Gespräch, und die praktische Länge hängt vom GPU-Speicher und vom Encoder-Cache ab.
- Für eine Stunde Audio empfiehlt ServiceNow VLLM_MAX_AUDIO_DECODE_DURATION_S=3600 und --max-num-batched-tokens 32768, sofern genug Speicher da ist.
- Für Mac, CPU-Betrieb oder kostenloses Colab gibt es keine offiziellen Angaben; ohne Quantisierung ist das praktisch ausgeschlossen.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (vllm-project/vllm auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Windows wird in der Quelle nicht erwähnt. Die Server-Software vLLM ist auf Linux ausgelegt. Am sichersten nutzt du WSL2 (ein Linux innerhalb von Windows) und folgst dort der Linux-Anleitung. Unten steht der Versuch direkt unter Windows mit Transformers, dafür brauchst du NVIDIA-Grafikkarten mit zusammen rund 66 GB Speicher. Alternativ kannst du das Modell online über Apriel Live testen.
- Voraussetzungen prüfen. Installiere Python 3.10 oder neuer und Git und setze bei der Python-Installation den Haken bei „Add to PATH“. Du brauchst außerdem einen aktuellen NVIDIA-Treiber und Grafikkarten mit zusammen rund 66 GB Speicher. Plane etwa 60 GB freien Platz auf der Festplatte ein. Prüfe alles in der PowerShell.
python --version git --version nvidia-smi - Projektordner anlegen. Lege einen eigenen Ordner an und wechsle hinein.
mkdir apriel-voice cd apriel-voice - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) hält die Pakete getrennt vom restlichen System. Meldet Windows, dass keine Skripte ausgeführt werden dürfen, erlaubst du es mit dem Befehl Set-ExecutionPolicy -Scope CurrentUser RemoteSigned. Danach steht (.venv) vorne in der Zeile.
python -m venv .venv .venv\Scripts\Activate.ps1 - Pakete installieren. Damit installierst du PyTorch, Transformers, accelerate und librosa. Achte darauf, dass PyTorch mit CUDA-Unterstützung installiert wird, also für NVIDIA-Karten. Den passenden Befehl dafür zeigt die PyTorch-Webseite.
pip install -U torch transformers accelerate librosa huggingface_hub - Modell herunterladen. Damit lädst du etwa 54,5 GB Gewichte herunter. Das kann lange dauern.
hf download ServiceNow-AI/Apriel-Voice-27B-preview - Testskript speichern. Speichere diesen Code als demo.py im Projektordner. Er ist derselbe wie in der Linux-Anleitung und stammt aus der Model Card.
import urllib.request import librosa import torch from transformers import AutoModel, AutoProcessor model_id = "ServiceNow-AI/Apriel-Voice-27B-preview" model = AutoModel.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True) processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) audio_url = "https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/test_audio_short.wav" audio_path, _ = urllib.request.urlretrieve(audio_url) audio, sr = librosa.load(audio_path, sr=16000, mono=True) messages = [{"role": "user", "content": [ {"type": "audio", "audio": audio}, {"type": "text", "text": "Transcribe this speech in its original language."}, ]}] text = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False) inputs = processor(text=text, audio=audio, sampling_rate=sr, return_tensors="pt") inputs = {k: v.to(model.device) if isinstance(v, torch.Tensor) else v for k, v in inputs.items()} input_len = inputs["input_ids"].shape[-1] with torch.inference_mode(): output = model.generate(**inputs, max_new_tokens=1024, do_sample=True, temperature=0.4, top_p=0.95, top_k=64) decoded = processor.decode(output[0][input_len:], skip_special_tokens=False) print(processor.parse_response(decoded)) - Erstes Ergebnis erzeugen. Starte das Skript. Nach dem Laden erscheint die Abschrift der Beispiel-Aufnahme in der PowerShell. Klappt es nicht, nimm WSL2 und folge der Linux-Anleitung.
python demo.py - Ergebnis. Im Terminal erscheint die Abschrift der englischen Beispiel-Aufnahme test_audio_short.wav als Text.
macOS
macOS: nicht offiziell getestet. Für den Mac gibt es keine Angaben des Herstellers. Alle Beispiele sind für NVIDIA-Grafikkarten gedacht. Ein Versuch mit Transformers lohnt sich höchstens auf einem Mac mit Apple-Chip und sehr viel gemeinsamem Arbeitsspeicher (etwa 96 GB oder mehr), und selbst dann läuft es langsam. Für alle anderen ist die Online-Demo Apriel Live die Alternative.
- Voraussetzungen prüfen. Du brauchst einen Mac mit Apple-Chip (M1 oder neuer) und sehr viel Arbeitsspeicher, etwa 96 GB oder mehr. Installiere die Xcode-Kommandozeilenwerkzeuge, darin ist Git enthalten. Du brauchst außerdem Python 3.10 oder neuer. Plane etwa 60 GB freien Speicherplatz ein.
xcode-select --install python3 --version git --version - Projektordner anlegen. Öffne das Terminal, lege einen Ordner an und wechsle hinein.
mkdir apriel-voice cd apriel-voice - Virtuelle Umgebung anlegen. Damit legst du eine abgetrennte Python-Umgebung an. Nach dem Aktivieren steht (.venv) vorne in der Zeile.
python3 -m venv .venv source .venv/bin/activate - Pakete installieren. Damit installierst du PyTorch, Transformers, accelerate und librosa. Auf dem Mac nutzt PyTorch den Apple-Grafikchip über „MPS“.
pip install -U torch transformers accelerate librosa huggingface_hub - Modell herunterladen. Damit lädst du etwa 54,5 GB Gewichte herunter.
hf download ServiceNow-AI/Apriel-Voice-27B-preview - Testskript speichern. Speichere diesen Code als demo.py. Er stammt aus der Model Card. Ob device_map="auto" das Modell auf dem Mac sinnvoll verteilt, hat der Hersteller nicht getestet.
import urllib.request import librosa import torch from transformers import AutoModel, AutoProcessor model_id = "ServiceNow-AI/Apriel-Voice-27B-preview" model = AutoModel.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True) processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) audio_url = "https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/test_audio_short.wav" audio_path, _ = urllib.request.urlretrieve(audio_url) audio, sr = librosa.load(audio_path, sr=16000, mono=True) messages = [{"role": "user", "content": [ {"type": "audio", "audio": audio}, {"type": "text", "text": "Transcribe this speech in its original language."}, ]}] text = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False) inputs = processor(text=text, audio=audio, sampling_rate=sr, return_tensors="pt") inputs = {k: v.to(model.device) if isinstance(v, torch.Tensor) else v for k, v in inputs.items()} input_len = inputs["input_ids"].shape[-1] with torch.inference_mode(): output = model.generate(**inputs, max_new_tokens=1024, do_sample=True, temperature=0.4, top_p=0.95, top_k=64) decoded = processor.decode(output[0][input_len:], skip_special_tokens=False) print(processor.parse_response(decoded)) - Erstes Ergebnis erzeugen. Starte das Skript. Wenn alles klappt, erscheint nach einer Weile die Abschrift im Terminal. Bricht es wegen zu wenig Speicher ab, nutze die Online-Demo Apriel Live.
python3 demo.py - Ergebnis. Im Terminal erscheint die Abschrift der englischen Beispiel-Aufnahme test_audio_short.wav als Text.
Linux
Linux: unterstützt. Linux mit NVIDIA-Grafikkarten ist der Weg, den der Hersteller vorsieht: entweder mit Transformers (unten beschrieben) oder mit einem fertigen vLLM-Docker-Image auf vier GPUs. Du brauchst zusammen etwa 66 GB Grafikspeicher. Ohne solche Hardware kannst du das Modell online über Apriel Live ausprobieren.
- Voraussetzungen prüfen. Du brauchst Python 3.10 oder neuer, Git und einen aktuellen NVIDIA-Treiber. Außerdem brauchst du Grafikkarten mit zusammen rund 66 GB Speicher, etwa eine 80-GB-Karte oder mehrere kleinere. Plane etwa 60 GB freien Platz auf der Festplatte ein. Mit nvidia-smi siehst du deine Grafikkarten und wie viel Speicher sie haben.
python3 --version git --version nvidia-smi - Projektordner anlegen. Lege einen eigenen Ordner für das Modell an und wechsle hinein. Darin landen später die Umgebung und das Testskript.
mkdir apriel-voice cd apriel-voice - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich für Python-Pakete. So stört nichts dein übriges System. Nach dem Aktivieren steht (.venv) vorne in der Eingabezeile.
python3 -m venv .venv source .venv/bin/activate - Pakete installieren. Damit installierst du PyTorch (die Rechenbibliothek), Transformers (lädt das Modell), librosa (liest Audiodateien) und accelerate. Accelerate verteilt das Modell bei device_map="auto" auf deine Grafikkarten. Das Modell baut auf Gemma 4 auf, du brauchst also eine aktuelle Transformers-Version.
pip install -U torch transformers accelerate librosa huggingface_hub - Modell herunterladen. Damit lädst du die zwölf Gewichtsdateien herunter, zusammen etwa 54,5 GB. Das dauert je nach Leitung eine Weile. Ist der Download fertig, kommt die Eingabezeile ohne Fehlermeldung zurück.
hf download ServiceNow-AI/Apriel-Voice-27B-preview - Testskript speichern. Speichere diesen Code als demo.py im Projektordner. Das Skript lädt die Beispiel-Aufnahme des Herstellers und lässt das Modell die Sprache abschreiben.
import urllib.request import librosa import torch from transformers import AutoModel, AutoProcessor model_id = "ServiceNow-AI/Apriel-Voice-27B-preview" model = AutoModel.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True) processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True) audio_url = "https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview/resolve/main/assets/test_audio_short.wav" audio_path, _ = urllib.request.urlretrieve(audio_url) audio, sr = librosa.load(audio_path, sr=16000, mono=True) messages = [{"role": "user", "content": [ {"type": "audio", "audio": audio}, {"type": "text", "text": "Transcribe this speech in its original language."}, ]}] text = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False) inputs = processor(text=text, audio=audio, sampling_rate=sr, return_tensors="pt") inputs = {k: v.to(model.device) if isinstance(v, torch.Tensor) else v for k, v in inputs.items()} input_len = inputs["input_ids"].shape[-1] with torch.inference_mode(): output = model.generate(**inputs, max_new_tokens=1024, do_sample=True, temperature=0.4, top_p=0.95, top_k=64) decoded = processor.decode(output[0][input_len:], skip_special_tokens=False) print(processor.parse_response(decoded)) - Erstes Ergebnis erzeugen. Starte das Skript in der aktivierten Umgebung. Das Laden des Modells dauert ein paar Minuten. Danach erscheint im Terminal die Abschrift der Beispiel-Aufnahme. Bekommst du die Meldung „CUDA out of memory“, reicht dein Grafikspeicher nicht aus.
python demo.py - Ergebnis. Im Terminal erscheint die Abschrift der englischen Beispiel-Aufnahme test_audio_short.wav als Text.
So geht es nach dem ersten Ergebnis weiter
- Eigene Aufnahmen: Ersetze in demo.py die Adresse audio_url durch den Pfad zu deiner Datei und lösche dann die Zeile mit urlretrieve. librosa wandelt die Aufnahme automatisch in 16 kHz mono um. Gut funktionieren Aufnahmen bis etwa 30 Minuten, die vor allem Englisch enthalten.
- Andere Aufgaben: Ändere den Text „Transcribe this speech in its original language.“, zum Beispiel in eine Übersetzungsbitte oder eine Frage zur Aufnahme. Für Aufgaben mit Nachdenken setzt du enable_thinking=True und temperature=1.0.
- Server statt Skript: Mit dem Docker-Image docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0 und dem Befehl vllm serve aus der Model Card bietet das Modell auf Port 8000 eine OpenAI-kompatible Schnittstelle an. Darauf greifst du mit dem Python-Paket openai zu. Der Hersteller nutzt dafür vier Grafikkarten.
- Das Modell antwortet nur mit Text. Für einen echten Sprachassistenten brauchst du zusätzlich ein Sprachausgabe-Programm (TTS, also Text-zu-Sprache).
Das kannst du ausprobieren
(Audio) „Bitte schreib mit, was ich gerade sage, und fasse es danach in drei Stichpunkten zusammen.“(Audio auf Englisch) Ein kurzer Sprachclip mit der Aufgabe: „Übersetze diese Nachricht ins Deutsche.“(Audio) „Mein Laptop startet seit dem Update nicht mehr. Leg bitte ein Support-Ticket mit hoher Priorität an.“ (mit definiertem Tool create_ticket)(30-minütige Meeting-Aufnahme, Denkmodus an) „Welche Entscheidungen wurden getroffen und wer ist für welche Aufgabe zuständig?“(Audio) „Wie viel Uhr ist es jetzt in Tokio, und erinnere mich in zwei Stunden an den Anruf.“ (mit Tools get_time und set_reminder)Tipps für bessere Ergebnisse
- Für allgemeine Aufgaben empfiehlt ServiceNow temperature 1.0, top-p 0.95 und top-k 64.
- Für Transkription und Übersetzung die Temperatur auf 0.4 senken und den Denkmodus abschalten, das macht die Ausgabe stabiler.
- Für Reasoning, Workflows und lange Aufnahmen den Denkmodus einschalten (enable_thinking: true), so wurden auch die Benchmarks gemessen.
- Spekulatives Decoding mit google/gemma-4-26B-A4B-it-assistant als Entwurfsmodell, wie im offiziellen Startbefehl, beschleunigt die Antworten spürbar.
Wenn es hakt
Das Modell braucht angepassten Code: Beim Laden mit Transformers ist trust_remote_code=True nötig. Für vLLM muss man das bereitgestellte Docker-Image (vLLM v0.32.0) oder den Upstream-PR #64683 nutzen.
Es erzeugt keinen Ton: Für einen echten Sprachassistenten braucht man zusätzlich eine Sprachsynthese, und das Abwechseln beim Sprechen muss die eigene Anwendung steuern.
Tool-Aufrufe funktionieren nur mit den richtigen Startparametern: --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4.
Audio sollte als 16 kHz Mono vorliegen. Aufnahmen über 30 Minuten werden zwar angenommen, die Qualität kann aber sinken.
Es ist eine Preview, nicht für den Produktivbetrieb gedacht. Andere Sprachen als Englisch wurden nicht ausgewertet, und die Lizenz sollte man vor kommerzieller Nutzung auf der Modellseite prüfen.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: mit.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.