Ling 3.0 Tiny: Ant Groups Mini-Modell mit 1,3 Milliarden aktiven Parametern
InclusionAI, die KI-Sparte des Alipay-Betreibers Ant Group, bietet sein kleinstes Modell Ling 3.0 Tiny jetzt auch über OpenRouter an – für winzige 0,015 Dollar pro Million Eingabe-Token. Das Mixture-of-Experts-Modell mit 7,9 Milliarden Parametern soll laut Hersteller auch komplett lokal laufen und kann zwischen Nachdenk- und Sofortmodus umschalten.

Worum es geht
InclusionAI, das KI-Team der chinesischen Ant Group (Betreiber des Bezahldienstes Alipay), hat sein kleinstes Sprachmodell Ling 3.0 Tiny auf der Plattform OpenRouter verfügbar gemacht. OpenRouter ist ein Vermittler, über den man mit einem einzigen Zugang Hunderte KI-Modelle verschiedener Anbieter per Programmierschnittstelle (API) ansprechen kann. Seit dem 5. November 2026 ist Ling 3.0 Tiny dort gelistet, derzeit über einen einzigen Anbieter.
Das Modell ist kein ganz neues: Laut dem Blog von OrcaRouter erschien es bereits am 6. August 2026, zunächst über eigene, kostenlose Schnittstellen. Offiziell eingeordnet hat Ant Group es auf seiner Inclusion-Konferenz am Bund in Shanghai im September, wo der Konzern die gesamte Ling-3.0-Familie vorstellte. Ling 3.0 Tiny ist darin das Modell für sparsame Geräte – laut Pressemitteilung „läuft es vollständig lokal ohne Cloud-Abhängigkeit“ und eignet sich für persönliches Wissensmanagement und Offline-Aufgaben.
Klein, aber als Mixture-of-Experts gebaut
Ling 3.0 Tiny hat insgesamt 7,9 Milliarden Parameter, nutzt aber pro verarbeitetem Token nur etwa 1,3 Milliarden davon. Das liegt an der Mixture-of-Experts-Architektur (MoE): Das Modell besteht aus vielen spezialisierten Teilnetzen („Experten“), und für jedes Wort wählt eine Art Weiche nur die passenden aus. Vergleichbar ist das mit einer großen Firma, in der nicht jede Anfrage durch alle Abteilungen läuft, sondern nur durch die zuständigen. Das Ergebnis: Das Modell hat das Wissen eines 8-Milliarden-Modells, rechnet aber ungefähr so schnell wie ein Modell mit gut einer Milliarde Parametern.
Ant Group bezeichnet es als „natives Hybrid-Reasoning-Modell“. Das heißt: Man kann pro Anfrage umschalten zwischen einem Thinking-Modus, in dem das Modell erst intern Schritt für Schritt nachdenkt, bevor es antwortet, und einem Instant-Modus mit direkter Antwort. Laut OrcaRouter ist der Denkmodus standardmäßig eingeschaltet.
Weitere Eckdaten laut OpenRouter und OrcaRouter:
- Kontextfenster: 262.000 Token (Ant Group nennt 256K) – das Modell kann also sehr lange Texte, etwa ganze Bücher oder lange Chatverläufe, auf einmal berücksichtigen.
- Ausgabe: bis zu 32.000 Token pro Antwort.
- Funktionen: Tool-Aufrufe (das Modell kann externe Werkzeuge wie Suche oder Rechner ansteuern), strukturierte Ausgaben (z. B. sauberes JSON für Programme) und Prompt-Caching.
- Nur Text: Bilder oder Audio versteht das Modell nicht.
Gedacht ist es laut OpenRouter für „reaktionsschnelle Agenten, das Befolgen von Anweisungen und mehrstufige Unterhaltungen“.
Preise und Leistung
| Kennzahl | Wert |
|---|---|
| Preis Eingabe (OpenRouter) | 0,015 $ pro 1 Mio. Token |
| Preis Ausgabe (OpenRouter) | 0,045 $ pro 1 Mio. Token |
| Durchsatz | ca. 52 Token/Sekunde |
| Latenz bis zur ersten Antwort | ca. 1,04 Sekunden |
| Kontext | 262K Token |
| Artificial Analysis Intelligence Index | 23 (Platz 6 von 56, Klassen-Median 8) |
Die Preise sind extrem niedrig. Zum Vergleich: OrcaRouter nannte für ein anderes Gateway nach Ende einer Gratisphase im August noch 0,06 bzw. 0,18 Dollar – OpenRouter liegt nun bei einem Viertel davon. Ein Haken für europäische Nutzer: Das Modell ist laut OpenRouter derzeit nicht über das EU-Routing verfügbar, bei dem Anfragen innerhalb der EU verarbeitet werden.
Zur Leistung gibt es eine unabhängige Messung: Die Benchmark-Plattform Artificial Analysis gibt Ling 3.0 Tiny laut OrcaRouter 23 Punkte in ihrem Intelligence Index, einem Sammelwert aus vielen Tests. Das reicht für Platz 6 unter 56 Modellen der gleichen Größenklasse – der Median dieser Klasse liegt bei nur 8. Für ein so kleines Modell ist das stark. Zum Vergleich zieht OrcaRouter Inkling Small von Thinking Machines Lab heran, das 40 Punkte erreicht – allerdings ist das mit 276 Milliarden Parametern ein ganz anderes Kaliber.
Eine wichtige Einschränkung: Ling 3.0 Tiny ist sehr geschwätzig. Im Testlauf von Artificial Analysis erzeugte es rund 210 Millionen Ausgabe-Token, der Median liegt bei 63 Millionen – also mehr als das Dreifache. OrcaRouter spricht von einer „Redseligkeitssteuer“: Der niedrige Preis pro Token relativiert sich, weil das Modell viel mehr Token produziert. Lokal betrieben heißt das: längere Wartezeiten.
Offene Gewichte oder nicht? Widersprüchliche Angaben
An einer Stelle widersprechen sich die Quellen. OrcaRouter beschreibt Ling 3.0 Tiny als „proprietäres“ Modell, das nur als API existiere und keine herunterladbaren Gewichte habe. Ant Group selbst wirbt dagegen ausdrücklich damit, dass das Modell vollständig lokal ohne Cloud läuft, und die OpenRouter-Seite verweist auf „Model weights“. Am plausibelsten ist, dass die Gewichte nach dem ersten Start im August später veröffentlicht wurden – andere Ling-3.0-Modelle wie Ling-3.0-flash-Fin hat Ant Group ausdrücklich auf Hugging Face und ModelScope freigegeben. Wer das Modell lokal nutzen will, sollte die Lizenz und die genaue Bezugsquelle aber selbst auf Hugging Face prüfen; die Lizenz nennen unsere Quellen nicht.
Die Ling-3.0-Familie im Überblick
Tiny ist das kleinste Mitglied einer ganzen Modellreihe, die Ant Group im September vorgestellt hat:
- Ling-3.0-flash: MoE-Modell mit 124 Milliarden Parametern, 5,1 Milliarden aktiv, für Agenten im Produktionseinsatz. Laut Hersteller auf den meisten Benchmarks vergleichbar mit Flaggschiffen mit einer Billion Parametern.
- Ling-3.0-flash-Fin: Finanzvariante, gemeinsam mit Finanzinstituten entwickelt, mit offenen Gewichten. Spezialisiert auf Recherche, Bewertungsmodelle in Excel und Berichte. Dazu veröffentlichte Ant Group den Benchmark FinFIRST mit 123 von Experten der Investmentbank CICC verfassten Aufgaben.
- Ling-3.0-flash-VL: Bild- und Videoverständnis mit 1 Million Token Kontext.
- Ling-3.0-flash-Santé: Variante für Medizin und Lebenswissenschaften.
Was du zum Ausprobieren brauchst
Über OpenRouter reicht ein Konto mit etwas Guthaben – die Kosten sind bei diesen Preisen vernachlässigbar. Für den lokalen Betrieb ist das Modell dank seiner Größe genügsam: In 4-Bit-Quantisierung (die Zahlen des Modells werden gröber gespeichert, damit es weniger Speicher braucht) sind etwa 5 bis 6 GB Grafikspeicher nötig, also eine Mittelklasse-Grafikkarte mit 8 GB. Weil pro Token nur 1,3 Milliarden Parameter rechnen, läuft es auch auf einem normalen Prozessor mit 16 GB Arbeitsspeicher noch flüssig und auf Macs mit Apple-Chip ab 16 GB gut. Auf der Festplatte belegt es je nach Variante rund 5 bis 16 GB. Achtung: Wer das volle Kontextfenster ausnutzt, braucht deutlich mehr Speicher.
Einordnung
Ling 3.0 Tiny reiht sich in einen klaren Trend ein: kleine MoE-Modelle, die auf Laptops laufen und trotzdem Werkzeuge bedienen und mitdenken können. Mit 23 Indexpunkten liegt es weit über dem Durchschnitt seiner Klasse – ein Ersatz für große Modelle ist es aber nicht, und es versteht nur Text. Für Bastler, die lokale Agenten oder einen privaten Assistenten bauen wollen, ist es interessant; für Unternehmen lockt der Spottpreis über OpenRouter. Kritisch sind die starke Geschwätzigkeit, die unklare Lizenzlage und dass die Leistungsangaben – abgesehen von Artificial Analysis – vom Hersteller stammen.
Quellen
- OpenRouter (neue Modelle) openrouter.ai
- afp.com afp.com
- orcarouter.ai orcarouter.ai
- cna.com.tw cna.com.tw
Selbst ausprobieren: Ling 3.0 Tiny
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Ling 3.0 Tiny ist ein kleines Textmodell, das du auf einem normalen Rechner betreiben kannst und das trotzdem mitdenken kann. Du kannst mit ihm chatten, Texte zusammenfassen, E-Mails entwerfen, Fragen zu langen Dokumenten stellen oder es in Agenten einbauen, die Werkzeuge wie Suche oder Datenbanken bedienen. Dank des umschaltbaren Denkmodus kann es bei Logik- und Rechenaufgaben erst Schritt für Schritt überlegen oder bei einfachen Fragen sofort antworten. Weil nur 1,3 Milliarden seiner 7,9 Milliarden Parameter pro Wort arbeiten, ist es auch ohne starke Grafikkarte flott. Im unabhängigen Index von Artificial Analysis erreicht es 23 Punkte und liegt damit weit über dem Durchschnitt seiner Größenklasse (Median 8). Grenzen: Es versteht keine Bilder und kein Audio, ist deutlich schwächer als große Modelle wie Inkling Small (40 Punkte) und neigt dazu, sehr lange Antworten zu schreiben.
Für wen lohnt es sich?
Lohnt sich für alle, die einen privaten, offline nutzbaren Assistenten auf Laptop oder Mittelklasse-PC wollen, und für Bastler, die lokale Agenten mit Tool-Aufrufen bauen. Weniger geeignet ist es für alle, die Bilder auswerten wollen oder Spitzenqualität bei komplexem Programmieren und Fachwissen brauchen – da sind größere Modelle klar besser.
Ideen: Was du damit anstellen kannst
Füge Besprechungsnotizen, Artikel oder eigene Notizen ein und lass das Modell daraus Zusammenfassungen, To-do-Listen oder Stichpunkte machen. Da es lokal läuft, verlassen deine Daten den Rechner nicht – ideal für das persönliche Wissensmanagement, für das Ant Group es ausdrücklich bewirbt.
Installiere das Modell auf dem Laptop und nutze es im Zug oder Flugzeug ohne Internet, etwa zum Formulieren von Texten, Übersetzen kurzer Passagen oder Erklären von Begriffen. Die geringe Rechenlast schont dabei auch den Akku.
Verbinde das Modell über Tool-Calling mit Skripten, etwa zum Abfragen eines Kalenders oder einer lokalen Datenbank. So entsteht ein einfacher Assistent, der Fragen wie „Was steht morgen an?“ selbstständig beantwortet.
Lass das Modell Rechnungen, E-Mails oder Formulartexte in sauberes JSON umwandeln, etwa mit Name, Datum und Betrag. Das Ergebnis kannst du direkt in eine Tabelle oder ein Programm übernehmen.
Stelle im Thinking-Modus Mathe- oder Logikaufgaben und lass dir den Lösungsweg erklären. Das eignet sich gut zum Üben, die Ergebnisse sollte man bei schwierigen Aufgaben aber gegenprüfen.
Was dein Rechner braucht
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
Q2_K |
3 GB | 4,5 GB | z. B. RTX 2060, RTX 3050 8 GB, RX 6600 |
Q3_K_M |
3,8 GB | 5,5 GB | z. B. RTX 2060, RTX 3050 8 GB, RX 6600 |
Q4_K_M Standard |
4,8 GB | 6,5 GB | z. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600 |
Q5_K_M |
5,6 GB | 7,5 GB | z. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600 |
Q6_K |
6,5 GB | 8,5 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
Q8_0 |
8,4 GB | 10 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
BF16 |
16 GB | 18 GB | z. B. RTX 3090, RTX 4090, Tesla P40 |
Es gibt nur eine Größe (7,9 Mrd. Parameter, 1,3 Mrd. aktiv). Mit 8 GB Grafikspeicher oder 16 GB Arbeitsspeicher nimmst du eine 4-Bit-Variante (ca. 5–6 GB). Mit 12–16 GB Grafikspeicher oder einem Mac mit 16–32 GB lohnt sich eine 8-Bit-Variante (ca. 9 GB) für etwas bessere Qualität. Die volle Präzision (ca. 16 GB) bringt für den Alltag kaum spürbare Vorteile. Ob fertige GGUF-Dateien existieren, nennen die Quellen nicht – prüfe das auf Hugging Face.
- In 4-Bit braucht das Modell etwa 5–6 GB Grafikspeicher – eine Karte mit 8 GB reicht.
- Durch nur 1,3 Mrd. aktive Parameter läuft es auch rein auf dem Prozessor mit 16 GB Arbeitsspeicher noch brauchbar schnell.
- Macs mit Apple-Silicon-Chip und mindestens 16 GB gemeinsamem Speicher sind gut geeignet.
- Das Kontextfenster von bis zu 262.000 Token kostet viel zusätzlichen Speicher – stelle lokal lieber 8.000 bis 32.000 Token ein.
- Planen auf der Festplatte etwa 5 GB (4-Bit) bis 16 GB (volle Präzision) ein.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 6 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.
- Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
- Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
- Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
- Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
Beim ersten Mal lädt Ollama das Modell herunter (4,8 GB (bei 100 MBit/s ca. 6 Min.)). Danach geht es sofort.ollama run hf.co/bloomer010/Ling-3.0-tiny-GGUF:Q4_K_M - Losschreiben. Sobald
>>> Send a messageerscheint, deine Frage eintippen und Enter drücken. Mit/byebeendest du den Chat.
Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/bloomer010/Ling-3.0-tiny-GGUF:Q2_K.
Lieber automatisch? Skript, das die passende Variante selbst auswählt
- Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
- Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
- Diesen Befehl einfügen und Enter drücken:
powershell -ExecutionPolicy Bypass -File try_windows.ps1
Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
- Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
- Modell starten. Befehl einfügen (Cmd + V) und Enter:
Beim ersten Mal wird das Modell heruntergeladen (4,8 GB (bei 100 MBit/s ca. 6 Min.)).ollama run hf.co/bloomer010/Ling-3.0-tiny-GGUF:Q4_K_M - Losschreiben. Frage eintippen, Enter. Mit
/byebeenden.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Ollama installieren:
curl -fsSL https://ollama.com/install.sh | sh - Modell starten:
Mitollama run hf.co/bloomer010/Ling-3.0-tiny-GGUF:Q4_K_M/byebeenden. Mitollama pssiehst du, ob das Modell auf der GPU läuft. - Oder automatisch die passende Variante wählen lassen:
bash try_linux.sh # mit Python/transformers statt Ollama: MODE=hf bash try_linux.sh
Das kannst du ausprobieren
Erkläre mir in drei Sätzen, was eine Inflation ist.Fasse den folgenden Text in fünf Stichpunkten zusammen: [Text einfügen]Ein Zug fährt um 9:40 Uhr in Hamburg los und braucht 1 Stunde 55 Minuten nach Berlin. Wegen einer Störung kommen 23 Minuten dazu. Wann kommt er an? Denke Schritt für Schritt.Schreibe eine freundliche, aber bestimmte E-Mail an meinen Vermieter, dass die Heizung seit einer Woche ausgefallen ist.Gib mir die Daten aus diesem Satz als JSON mit den Feldern name, datum und betrag zurück: „Anna Schmidt hat am 3. Mai 249,90 Euro überwiesen.“
Tipps für bessere Ergebnisse
- Nutze den Instant-Modus für Chats, Zusammenfassungen und Umformulierungen und schalte Thinking nur für Rechen-, Logik- und Planungsaufgaben ein.
- Begrenze die maximale Antwortlänge, damit das sehr gesprächige Modell nicht ausufert, und bitte in der Eingabe ausdrücklich um kurze Antworten.
- Für Programme und Automatisierungen lohnt sich die strukturierte Ausgabe: Gib ein genaues JSON-Format vor, das Modell hält sich dann zuverlässiger daran.
- Gib bei Agenten-Aufgaben klare, kurze Tool-Beschreibungen vor – kleine Modelle profitieren stark von eindeutigen Anweisungen.
- Prüfe Fakten nach: Mit 7,9 Mrd. Parametern ist das Weltwissen begrenzt, besser funktioniert es mit Texten, die du selbst mitlieferst.
Wenn es hakt
Die Angaben zu offenen Gewichten sind widersprüchlich: Ant Group wirbt mit lokalem Betrieb, ein Bericht nannte es zeitweise proprietär. Prüfe vor dem Download auf Hugging Face, ob und unter welcher Lizenz die Gewichte verfügbar sind.
Neue MoE-Architekturen werden oft erst von aktuellen Versionen von llama.cpp, Ollama oder LM Studio unterstützt – bei Fehlern beim Laden zuerst das Programm aktualisieren.
Der Denkmodus ist standardmäßig aktiv und das Modell sehr redselig (rund dreimal so viele Ausgabe-Token wie üblich) – Antworten dauern dadurch lokal länger. Für einfache Aufgaben den Instant-Modus nutzen.
Wer das große Kontextfenster voll einstellt, bekommt schnell Speicherfehler – Kontextlänge in den Einstellungen bewusst begrenzen.
Über OpenRouter ist das Modell derzeit nicht im EU-Routing verfügbar; wer Daten in der EU halten muss, sollte es lokal betreiben.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: mit.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.