PLaMo 3 Translate: Japans Übersetzungs-KI läuft offline sogar auf dem iPhone
Das japanische KI-Unternehmen Preferred Networks hat sein Übersetzungsmodell PLaMo 3 Translate in vier Größen von 0,8 bis 31 Milliarden Parametern frei zum Download gestellt. Schon die kleinste Version soll laut Hersteller deutlich größere Übersetzungsmodelle von Google und Tencent schlagen – und läuft im Test ohne Internet auf dem Smartphone.

Worum es geht
Preferred Networks (PFN), eines der bekanntesten KI-Unternehmen Japans, hat am 5. November 2026 sein auf Übersetzung spezialisiertes Sprachmodell PLaMo 3 Translate als Open-Weight-Modell veröffentlicht. Die Gewichte stehen auf Hugging Face zum Download, in vier Größen: 0.8B, 2B, 8B und 31B (also 0,8 bis 31 Milliarden Parameter). PFN spricht von Übersetzungsleistung auf „weltweitem Spitzenniveau“. Das Modell steckt auch hinter dem kostenpflichtigen Dienst „PLaMo-Übersetzung“, den PFN bereits am 7. Oktober 2026 auf die dritte Modellgeneration umgestellt hatte.
Das Besondere: Das Modell ist ausschließlich fürs Übersetzen gebaut, nicht fürs Plaudern. Und gerade die kleinen Versionen sind so kompakt, dass sie auf Smartphones und Laptops ohne Internetverbindung laufen – der Text muss also nie an einen Cloud-Dienst geschickt werden.
Was das Modell kann
PLaMo 3 Translate unterstützt 53 Sprachen. In PFNs Mehrsprachen-Tests tauchen unter anderem Deutsch, Englisch, Französisch, Spanisch, Italienisch, Niederländisch, Russisch, Chinesisch (vereinfacht und traditionell), Koreanisch, Arabisch, Thai, Vietnamesisch und Indonesisch auf. Der Schwerpunkt liegt aber klar auf Japanisch und Englisch.
Dazu kommen einige praktische Optionen:
- Umgebender Kontext: Man kann dem Modell den Text rund um die zu übersetzende Passage mitgeben, damit es Bezüge richtig versteht.
- Glossar: Für Eigennamen und Fachbegriffe lässt sich vorgeben, wie sie übersetzt werden sollen.
- Stilform im Japanischen: Wählbar ist die höfliche „desu/masu“-Form oder die neutrale „da/de aru“-Form.
- In PFNs eigenem Test für Webseiten-Übersetzung bleiben HTML-Tags erhalten – wichtig, wenn man etwa per Browser-Erweiterung ganze Seiten übersetzt.
Die Details zur Bedienung stehen laut PFN in den Modellkarten auf Hugging Face.
Die vier Größen und der Praxistest
| Modell | Gedacht für | Herstellerangabe zur Leistung |
|---|---|---|
| 0.8B | Smartphones, schwache Hardware | schlägt Übersetzungsmodelle mit über 30-mal mehr Parametern bei Japanisch–Englisch und Japanisch–Mehrsprachig |
| 2B | Laptops, kleine Rechner | übertrifft die Vergleichsmodelle bei Japanisch–Englisch sowie Japanisch und Englisch zu je 14 Sprachen |
| 8B | PCs mit Grafikkarte, Firmenserver | höhere Qualität; laut PFN-Angaben vom Oktober besser als Googles TranslateGemma 27B |
| 31B | Server, beste Qualität | Spitzenmodell der Reihe |
Das japanische Techmagazin Gigazine hat die kleinen Varianten gleich ausprobiert. Das 0.8B-Modell lief auf einem iPhone 17 Pro über die App PocketPal AI in der Quantisierung Q4_K_M – Quantisierung heißt, dass das Modell kleiner wird, weil seine Zahlen gröber gespeichert werden. Den Anfang von Jane Austens „Stolz und Vorurteil“ (rund 280 Wörter) übersetzte es ins Japanische in 0,515 Sekunden, das erste Kapitel von Einsteins Schrift zur Relativitätstheorie in 0,387 Sekunden. Gigazine beschreibt die Ergebnisse als sehr natürliches Japanisch ohne zerbrochene Grammatik und nennt die Geschwindigkeit offline „ziemlich schockierend“. Das 2B-Modell testete die Redaktion in LM Studio auf einem Laptop ohne eigene Grafikkarte mit der Zusammenfassung des berühmten Transformer-Papers „Attention Is All You Need“ – ebenfalls schnell und mit hoher Genauigkeit.
PFN selbst zeigt eine interne Demo, in der das 0.8B-Modell im Flugmodus auf dem Smartphone übersetzt. Eine eigene App dafür bietet PFN laut Tech-Blog aber derzeit nicht an.
So hat PFN das Modell trainiert
Im Tech-Blog erklärt PFN, dass der Schlüssel weniger in neuen Trainingsmethoden als in besseren Daten liege. Ausgangspunkt ist ein Basismodell der dritten PLaMo-Generation, laut einem Erklärbeitrag auf note.com das gemeinsam mit dem japanischen Forschungsinstitut NICT entwickelte „PLaMo 3 NICT“ mit rund 30 Prozent japanischen Trainingsdaten.
Die Trainingspaare (Originaltext plus Übersetzung) entstanden so:
- Originaltexte sammeln: Aus großen Web-Datensätzen wurden möglichst muttersprachliche, vielfältige Texte gefiltert – Spam-Seiten raus, keine bereits maschinell übersetzten Texte, keine Sprachmischungen. Es gibt sogar eigene Filter, die etwa Malaiisch aus indonesischen Texten heraushalten oder automatisch von vereinfachtem in traditionelles Chinesisch umgewandelte Texte erkennen.
- Turnier-Datensynthese: Googles offenes Modell Gemma 4 31B IT erzeugte mehrere Übersetzungen pro Text. Diese traten paarweise gegeneinander an; der Sieger kam weiter, übernahm aber gute Formulierungen des Verlierers. So entstand Runde für Runde eine bessere Übersetzung.
- Rückübersetzung: Das Modell lernt auch die umgekehrte Richtung – von der KI-Übersetzung zurück zum menschlich geschriebenen Original. So lernt es, flüssige, natürliche Sätze zu schreiben statt nur KI-Deutsch zu imitieren.
- Iterative Selbst-Destillation: Zwischenversionen von PLaMo 3 Translate erzeugten selbst neue Übersetzungen; waren sie besser als die vorhandenen Trainingsdaten, wurden diese ersetzt – und das Modell neu trainiert.
Insgesamt kamen so rund 37,3 Milliarden Tokens (Textbausteine) zusammen: 33,9 Milliarden für die Grundausbildung, danach 3,4 Milliarden besonders hochwertige Tokens aus Fachartikeln, Nachrichten, technischen Dokumenten und Webseiten. Danach folgte DPO (Direct Preference Optimization – das Modell lernt aus Paaren „bessere vs. schlechtere Übersetzung“). Beim 31B-Modell wurde dieser Schritt in zwei Stufen durchgeführt. Ein Beispiel von Gigazine: Aus „seeing happy customers made it all worth it“ wurde nach dem Feinschliff eine deutlich natürlichere japanische Formulierung. Die Modelle bis 8B lernten zusätzlich per Destillation vom 31B-Modell – das große Modell dient als Lehrer für die kleinen.
Gemessen hat PFN mit zwei hauseigenen Benchmarks (PFTB für lange, anspruchsvolle Japanisch-Englisch-Texte; SaaS für Webseiten mit HTML) sowie den öffentlichen Tests WMT24++ und FLORES+. Die Hauseigenen bevorzugt PFN nach eigener Aussage, weil WMT24++ aus kurzen Sätzen mit teils fragwürdigen Referenzübersetzungen bestehe.
Formate und Lizenz
Jede Größe gibt es in mehreren Formaten. PFN quantisierte unter anderem mit AutoRound und gibt an, dass der Qualitätsverlust gegenüber der unkomprimierten BF16-Version in allen Formaten minimal sei.
| Format | Zielhardware | Software |
|---|---|---|
| BF16 | GPUs mit BF16-Unterstützung | Transformers, vLLM |
| FP8 | Nvidia Ada Lovelace, Hopper, Blackwell | vLLM |
| W4A16 | Nvidia ab Ampere | vLLM |
| W4AFP8 | Nvidia Hopper | vLLM |
| NVFP4 | Nvidia Blackwell | vLLM |
| GGUF | CPU und verschiedene GPUs | llama.cpp (auch LM Studio, PocketPal) |
| MLX-4bit | Apple Silicon | mlx-lm |
Veröffentlicht wird unter der PLaMo Community License. Privat, für Hobby, Lernen und Forschung ist die Nutzung kostenlos und ohne Registrierung. Kommerziell dürfen Firmen und Einzelpersonen das Modell nach Registrierung über ein Formular gratis einsetzen, solange ihr Umsatz im letzten Geschäftsjahr höchstens 1 Milliarde Yen beträgt (ITmedia schreibt „unter“ 1 Milliarde Yen). Größere Unternehmen brauchen einen eigenen Lizenzvertrag. Eine klassische Open-Source-Lizenz ist das also nicht.
Was du zum Ausprobieren brauchst
- 0.8B: läuft auf aktuellen Smartphones (getestet: iPhone 17 Pro mit PocketPal AI, Q4_K_M) und auf praktisch jedem PC oder Mac, auch nur mit Prozessor. Die 4-Bit-Datei ist unter 1 GB groß.
- 2B: läuft laut Gigazine flott auf einem Laptop ohne Grafikkarte in LM Studio; rund 2–3 GB RAM reichen.
- 8B: am besten mit Grafikkarte ab etwa 6–8 GB VRAM (4-Bit); auf dem Mac ab 16 GB gemeinsamem Speicher über die MLX-Version. Auf der CPU geht es, aber langsamer.
- 31B: in 4 Bit grob 20 GB VRAM (etwa RTX 3090/4090) oder ein Mac mit 32 GB und mehr. Für die FP8- und NVFP4-Varianten braucht es neuere Nvidia-Karten.
Auf Google Colab lassen sich die kleinen und mittleren Varianten mit der kostenlosen GPU ebenfalls testen.
Einordnung
PLaMo 3 Translate ist eine der bislang stärksten Ansagen für lokale Übersetzung: Ein 0,8B-Modell, das auf dem Handy in Sekundenbruchteilen natürliches Japanisch liefert, macht Offline-Übersetzung für Reisen, Katastrophenschutz oder vertrauliche Firmendokumente realistisch – genau die Einsatzfelder, die PFN selbst nennt. Direkte Konkurrenten sind Googles TranslateGemma und Tencents Hy-MT2, beide ebenfalls offen verfügbar.
Einschränkungen gibt es trotzdem. Alle Leistungsvergleiche stammen von PFN selbst, überwiegend aus hauseigenen Benchmarks; unabhängige Messungen stehen noch aus. Der Fokus liegt klar auf Japanisch: Wie gut etwa Deutsch–Französisch oder Deutsch–Englisch im Vergleich zu DeepL oder großen Chat-Modellen abschneidet, belegen die Quellen nicht. Die positiven Praxistests von Gigazine betrafen Englisch–Japanisch. Und die Lizenz ist großzügig, aber mit Umsatzgrenze und Registrierungspflicht für kommerzielle Nutzung. Für alle, die viel mit Japanisch arbeiten oder ein schnelles, privates Übersetzungsmodell für schwache Hardware suchen, ist das Modell jedoch einen Test wert.
Videos zum Thema
Quellen
- Google News (JP) news.infoseek.co.jp
- Gigazine (JP) gigazine.net
- Hatena Bookmark IT (JP) preferred.jp
- note.com note.com
Selbst ausprobieren: PLaMo 3 Translate 8B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
PLaMo 3 Translate ist ein reines Übersetzungsmodell: Du gibst einen Text ein und bekommst ihn in einer der 53 unterstützten Sprachen zurück, ohne dass etwas ins Internet geht. Seine größte Stärke sind Japanisch und Englisch, wo es laut Hersteller selbst als 0.8B-Version größere Übersetzungsmodelle von Google (TranslateGemma) und Tencent (Hy-MT2) schlägt. Es versteht zusätzlichen Kontext, hält sich an ein Glossar für Fachbegriffe und kann im Japanischen gezielt höflich oder neutral formulieren. Auch Webseiten-Text mit HTML-Tags übersetzt es, ohne die Tags zu zerstören. Die kleinen Versionen sind enorm schnell: Im Test von Gigazine übersetzte das 0.8B-Modell 280 Wörter auf dem iPhone in rund einer halben Sekunde. Grenzen: Es ist kein Chatbot, beantwortet also keine Fragen und fasst nicht zusammen. Wie gut Sprachpaare ohne Japanisch oder Englisch sind, etwa Deutsch–Französisch, ist nicht unabhängig belegt.
Für wen lohnt es sich?
Lohnt sich für alle, die viel mit Japanisch oder Englisch arbeiten, vertrauliche Texte lokal übersetzen wollen oder ein schnelles Offline-Übersetzungsmodell für Handy, Laptop oder eigene Software suchen. Wer nur gelegentlich Deutsch–Englisch übersetzt und mit DeepL oder einem Chatbot zufrieden ist, gewinnt eher wenig.
Ideen: Was du damit anstellen kannst
Lade das 0.8B-Modell per PocketPal AI aufs Smartphone und übersetze Speisekarten-Texte, Schilder oder Nachrichten von Gastgebern ohne Roaming oder WLAN. Das Ergebnis kommt im Test in unter einer Sekunde.
Betreibe das 8B- oder 31B-Modell auf einem eigenen Rechner oder Firmenserver und übersetze Verträge, interne Berichte oder Kundenkorrespondenz. Die Texte verlassen dabei nie das Haus, was bei Datenschutzvorgaben hilft.
Kopiere die Zusammenfassung eines englischen oder japanischen Fachartikels in LM Studio mit dem 2B-Modell und lass sie ins Deutsche übersetzen. Mit Glossar bleiben Fachbegriffe einheitlich.
Übersetze HTML-Schnipsel oder Oberflächentexte deiner Website oder App. Das Modell lässt die Tags intakt, sodass du die Ausgabe direkt weiterverwenden kannst.
Lass japanische Texte abschnittsweise übersetzen und gib Charakternamen und Begriffe über das Glossar vor. So bleibt die Übersetzung über viele Kapitel hinweg konsistent, danach musst du nur noch stilistisch nachbessern.
Schreibe deine Nachricht auf Deutsch oder Englisch und lass sie in der höflichen desu/masu-Form ins Japanische übersetzen. Für wichtige Mails lohnt sich ein Gegencheck durch eine Rückübersetzung.
Was dein Rechner braucht
0.8B für Smartphones und sehr schwache Rechner (GGUF Q4_K_M ist laut Gigazine eine gute Balance aus Größe und Genauigkeit). 2B für normale Laptops ohne Grafikkarte, läuft in LM Studio flott. 8B für PCs mit Grafikkarte ab etwa 6–8 GB VRAM oder Macs ab 16 GB, wenn die Qualität wichtiger ist. 31B für die beste Qualität, braucht in 4 Bit grob 20 GB VRAM oder einen Mac mit viel Speicher. Auf Nvidia-Servern mit vLLM: FP8 (Ada/Hopper/Blackwell), W4A16 (ab Ampere) oder NVFP4 (Blackwell); auf dem Mac die MLX-4bit-Version.
- Das 0.8B-Modell lief im Test auf einem iPhone 17 Pro mit der App PocketPal AI (Quantisierung Q4_K_M), komplett offline.
- Das 2B-Modell lief in LM Studio auf einem Laptop ohne eigene Grafikkarte schnell.
- Für 8B in 4 Bit sind grob 6–8 GB VRAM sinnvoll; für 31B in 4 Bit etwa 20 GB VRAM oder ein Apple-Silicon-Mac mit 32 GB und mehr.
- GGUF-Dateien laufen per llama.cpp auf CPU und GPU, auch gemischt; MLX-4bit ist für Apple Silicon gedacht.
- FP8 braucht Nvidia Ada Lovelace, Hopper oder Blackwell, NVFP4 nur Blackwell, W4AFP8 nur Hopper, jeweils mit vLLM.
- Lange Texte mit viel Kontext belegen zusätzlichen Speicher, also bei knappem VRAM lieber abschnittsweise übersetzen.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler. Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Model Card nennt kein Betriebssystem. Die Transformers-Anleitung sollte mit einer NVIDIA-Grafikkarte mit genug Speicher auch unter Windows laufen, getestet ist das laut Quelle aber nicht. Mit weniger Grafikspeicher oder nur einem Prozessor nimmst du besser die GGUF-Variante (pfnet/plamo-3-translate-8b-GGUF, etwa 5,3 GB als Q4_K_M) mit llama.cpp. Eine weitere Möglichkeit ist WSL2.
- Voraussetzungen prüfen. Du brauchst Python 3 (am besten 3.10 oder neuer) und Git. Beim Installieren von Python setzt du den Haken bei „Add Python to PATH“. Außerdem brauchst du eine NVIDIA-Grafikkarte mit etwa 22 GB Grafikspeicher (VRAM) und einen aktuellen NVIDIA-Treiber. Plane rund 20 GB freien Platz auf der Festplatte ein. Ob alles da ist, prüfst du in der PowerShell mit den Befehlen unten.
python --version git --version nvidia-smi - Arbeitsordner anlegen. Lege einen eigenen Ordner für das Projekt an und wechsle hinein. Alles Weitere passiert in diesem Ordner.
mkdir plamo cd plamo - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich für Python-Pakete. So kommen die Pakete nicht deinem restlichen System in die Quere. Wenn die Aktivierung klappt, steht vorne in der Zeile „(.venv)“. Meldet PowerShell, dass Skripte gesperrt sind, führst du zuerst „Set-ExecutionPolicy -Scope CurrentUser RemoteSigned“ aus.
python -m venv .venv .venv\Scripts\Activate.ps1 - Modell herunterladen. Zuerst installierst du das Download-Werkzeug von Hugging Face. Dann lädst du das Modell in den Ordner plamo-3-translate-8b. Das sind etwa 17 GB, der Download kann also eine Weile dauern. Danach wechselst du in diesen Ordner.
pip install -U huggingface_hub hf download pfnet/plamo-3-translate-8b --local-dir plamo-3-translate-8b cd plamo-3-translate-8b - Pakete installieren. Jetzt installierst du PyTorch (die Rechenbibliothek), Transformers und ein paar Hilfspakete. Danach prüfst du, ob PyTorch deine Grafikkarte erkennt. Steht dort „False“, hast du die reine Prozessor-Version von PyTorch bekommen. Dann installierst du die CUDA-Version nach der Anleitung auf der PyTorch-Webseite.
pip install -U torch transformers accelerate numba python -c "import torch; print(torch.cuda.is_available())" - Testskript speichern. Speichere den folgenden Code mit einem Texteditor als demo.py im Ordner plamo-3-translate-8b. Er übersetzt den japanischen Beispielsatz aus der Model Card ins Englische.
from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( ".", trust_remote_code=True, dtype="bfloat16", device_map="auto", ) inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "会議は来週の月曜日に変更されました。"}], target_lang="en", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) - Erste Übersetzung starten. Starte das Skript. Das Laden des Modells dauert beim ersten Mal etwas. Wenn alles klappt, steht am Ende „The meeting has been rescheduled for next Monday.“ im Fenster.
python demo.py - Ergebnis. Im Terminal erscheint die englische Übersetzung „The meeting has been rescheduled for next Monday.“
macOS
macOS: nicht offiziell getestet. Die BF16-Version mit Transformers ist auf dem Mac nicht getestet. Sie bräuchte außerdem einen Apple-Silicon-Mac mit mindestens 32 GB Arbeitsspeicher. Für Macs empfiehlt der Hersteller die eigene Variante pfnet/plamo-3-translate-8b-MLX-4bit (etwa 6 GB) mit dem Programm mlx-lm. Die folgenden Schritte zeigen den ungetesteten Weg über Transformers.
- Voraussetzungen prüfen. Du brauchst einen Mac mit Apple-Chip (M1 oder neuer), möglichst mit 32 GB Arbeitsspeicher oder mehr. Außerdem brauchst du Python 3 (am besten 3.10 oder neuer), etwa 20 GB freien Platz und die Xcode-Kommandozeilenwerkzeuge, zu denen auch Git gehört. Die Werkzeuge installierst du im Terminal mit dem ersten Befehl unten.
xcode-select --install python3 --version git --version - Arbeitsordner anlegen. Lege einen eigenen Ordner für das Projekt an und wechsle hinein.
mkdir plamo cd plamo - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) hält die Python-Pakete für dieses Projekt getrennt vom Rest deines Systems. Wenn die Aktivierung klappt, steht vorne in der Zeile „(.venv)“.
python3 -m venv .venv source .venv/bin/activate - Modell herunterladen. Zuerst installierst du das Download-Werkzeug von Hugging Face. Dann lädst du das Modell herunter (etwa 17 GB) und wechselst in den neuen Ordner.
pip install -U huggingface_hub hf download pfnet/plamo-3-translate-8b --local-dir plamo-3-translate-8b cd plamo-3-translate-8b - Pakete installieren. Jetzt installierst du PyTorch (die Rechenbibliothek), Transformers und ein paar Hilfspakete, die das Modell braucht.
pip install -U torch transformers accelerate numba - Testskript anlegen. Dieser Befehl erzeugt die Datei demo.py mit dem Beispiel aus der Model Card. Das Skript übersetzt einen japanischen Satz ins Englische.
cat > demo.py << 'EOF' from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( ".", trust_remote_code=True, dtype="bfloat16", device_map="auto", ) inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "会議は来週の月曜日に変更されました。"}], target_lang="en", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) EOF - Erste Übersetzung starten. Starte das Skript. Wenn alles klappt, steht am Ende „The meeting has been rescheduled for next Monday.“ im Terminal. Ist es sehr langsam oder bricht es wegen zu wenig Speicher ab, nimm die MLX-4bit-Variante.
python3 demo.py - Ergebnis. Im Terminal erscheint die englische Übersetzung „The meeting has been rescheduled for next Monday.“
Linux
Linux: unterstützt. Linux mit einer NVIDIA-Grafikkarte ist der übliche Weg für die BF16-Version mit Transformers oder vLLM. Eine bestimmte getestete Grafikkarte nennt die Quelle nicht. Mit weniger Grafikspeicher gibt es Varianten mit weniger Speicherbedarf: FP8, W4A16 (etwa 5,7 GB, mit vLLM) oder GGUF mit llama.cpp.
- Voraussetzungen prüfen. Du brauchst Python 3 (am besten 3.10 oder neuer), Git, einen aktuellen NVIDIA-Treiber und eine Grafikkarte mit etwa 22 GB Grafikspeicher (VRAM). Plane rund 20 GB freien Platz auf der Festplatte ein. Prüfe alles mit den Befehlen unten. nvidia-smi zeigt dir deine Grafikkarte und ihren Speicher an.
python3 --version git --version nvidia-smi - Arbeitsordner anlegen. Lege einen eigenen Ordner für das Projekt an und wechsle hinein.
mkdir plamo cd plamo - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) hält die Python-Pakete für dieses Projekt getrennt vom Rest deines Systems. Wenn die Aktivierung klappt, steht vorne in der Zeile „(.venv)“.
python3 -m venv .venv source .venv/bin/activate - Modell herunterladen. Zuerst installierst du das Download-Werkzeug von Hugging Face. Dann lädst du das Modell in den Ordner plamo-3-translate-8b (etwa 17 GB) und wechselst hinein.
pip install -U huggingface_hub hf download pfnet/plamo-3-translate-8b --local-dir plamo-3-translate-8b cd plamo-3-translate-8b - Pakete installieren. Jetzt installierst du PyTorch (die Rechenbibliothek), Transformers, accelerate (verteilt das Modell auf die Grafikkarte) und numba. Danach prüfst du, ob PyTorch deine Grafikkarte sieht. Dort sollte „True“ stehen.
pip install -U torch transformers accelerate numba python -c "import torch; print(torch.cuda.is_available())" - Testskript anlegen. Dieser Befehl erzeugt die Datei demo.py mit dem Beispiel aus der Model Card. Das Skript übersetzt einen japanischen Satz ins Englische.
cat > demo.py << 'EOF' from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( ".", trust_remote_code=True, dtype="bfloat16", device_map="auto", ) inputs = tokenizer.apply_chat_template( [{"role": "user", "content": "会議は来週の月曜日に変更されました。"}], target_lang="en", add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) output = model.generate(**inputs, do_sample=False, max_new_tokens=512) text = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(text) EOF - Erste Übersetzung starten. Starte das Skript. Beim ersten Mal dauert das Laden etwas. Wenn alles klappt, steht am Ende „The meeting has been rescheduled for next Monday.“ im Terminal.
python demo.py - Ergebnis. Im Terminal erscheint die englische Übersetzung „The meeting has been rescheduled for next Monday.“
So geht es nach dem ersten Ergebnis weiter
- Ersetze in demo.py den japanischen Satz durch deinen eigenen Text. Stelle mit target_lang die Zielsprache ein, zum Beispiel "en" für Englisch. Das Modell beherrscht 53 Sprachen.
- Bei langen Texten erhöhst du max_new_tokens. Eingabe und Ausgabe zusammen sollten unter 32.768 Token (Wortstücken) bleiben, sonst teilst du den Text auf.
- Für Programme und den Dauerbetrieb empfiehlt der Hersteller, das Prompt-Format PFML3 direkt zu nutzen und vLLM zu verwenden. Damit kannst du auch Kontext, ein Glossar und den Stil (höflich oder schlicht) für Japanisch angeben.
- Lizenz: Für private, Lern- und Forschungszwecke ist das Modell unter der PLaMo Community License kostenlos. Für kommerzielle Nutzung gelten eigene Bedingungen.
Das kannst du ausprobieren
Übersetze ins Englische: Morgen um 10 Uhr fällt das Meeting aus, wir verschieben es auf Donnerstag.Übersetze ins Japanische, höfliche Form (desu/masu): Vielen Dank für Ihre schnelle Antwort. Ich freue mich auf unser Treffen in Tokio.Übersetze diesen Absatz ins Deutsche: Tokugawa Ieyasu was the founder and first shōgun of the Tokugawa shogunate of Japan, which ruled from 1603 until the Meiji Restoration in 1868.Übersetze ins Englische und behalte alle HTML-Tags bei: <p>Klicke auf <a href="0">Einstellungen</a>, um dein <b>Passwort</b> zu ändern.</p>Übersetze ins Japanische und verwende laut Glossar 'Tokenstrom' unverändert und 'Grafikkarte' als 'GPU': Tokenstrom erklärt, welche Grafikkarte man für lokale KI-Modelle braucht.
Tipps für bessere Ergebnisse
- Gib bei längeren Dokumenten den umgebenden Text als Kontext mit, damit Bezüge und Pronomen richtig übersetzt werden.
- Lege für Eigennamen, Produktnamen und Fachbegriffe ein Glossar an, das verhindert inkonsistente Übersetzungen.
- Lege bei Übersetzungen ins Japanische die Stilform (höflich oder neutral) ausdrücklich fest. PFN tut das selbst in den eigenen Tests, weil das Ergebnis sonst schwankt.
- Wenn die Qualität nicht reicht, wechsle eine Größe nach oben (0.8B auf 2B auf 8B), statt an den Einstellungen herumzuschrauben. Laut PFN verlieren die Quantisierungen gegenüber BF16 nur minimal.
Wenn es hakt
Das Modell erwartet ein bestimmtes Eingabeformat für Ausgangssprache, Zielsprache, Kontext und Glossar. Steht das falsch im Prompt, wird das Ergebnis schlechter. Das korrekte Format steht in der Modellkarte auf Hugging Face.
Es ist ein Übersetzungsmodell, kein Chatbot. Fragen oder Aufforderungen wie 'Fasse zusammen' werden meist einfach übersetzt statt beantwortet.
Für die kommerzielle Nutzung ist nach der PLaMo Community License eine vorherige Registrierung über ein PFN-Formular nötig; ab 1 Milliarde Yen Jahresumsatz braucht es einen eigenen Lizenzvertrag.
FP8-, W4AFP8- und NVFP4-Varianten funktionieren nur auf bestimmten neueren Nvidia-Generationen mit vLLM. Auf älteren Karten oder am normalen PC lieber GGUF nehmen.
In der Smartphone-App PocketPal AI findet man das Modell über die Suche nach 'plamo'. Danach Quantisierung wählen, herunterladen und vor dem Übersetzen auf 'Load' tippen.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.