Villanova2: Europäisches MoE-Modell mit offenen Gewichten und offen dokumentierten Daten

Worum es geht

Das europäische Projekt Villanova.AI hat auf Hugging Face die Modellfamilie Villanova2 veröffentlicht. Das Flaggschiff heißt Villanova2-15B-A3B-Base. Es ist ein Sprachmodell mit 15,5 Milliarden Parametern, von denen bei jedem Wort nur 3,9 Milliarden rechnen. Trainiert wurde es von Grund auf, also ohne ein fremdes Modell weiterzutrainieren, und zwar für fünf Sprachen: Englisch, Italienisch, Deutsch, Spanisch und Französisch. Das Motto der Entwickler lautet „Built in EU, for EU“.

Ungewöhnlich ist, wie offen das Projekt ist. Die Gewichte stehen unter der freizügigen Lizenz Apache 2.0, die auch kommerzielle Nutzung erlaubt. Zusätzlich ist jede einzelne Trainingsdatenquelle dokumentiert. Solche „open weight & data“-Modelle sind selten, weil die meisten Hersteller zwar Gewichte herausgeben, aber verschweigen, womit sie trainiert haben. Finanziert wird die Arbeit über das EU-Förderprogramm IPCEI-CIS.

Die Modellkarte auf huggingface.co/VillanovaAI/Villanova2-15B-A3B-Base beschreibt das Basismodell. Laut dem Reddit-Beitrag in r/LocalLLaMA, der die Veröffentlichung bekannt machte, liegen in derselben Sammlung auch GGUF-Dateien. Das ist ein Format für lokale Programme wie llama.cpp oder LM Studio.

Die Familie: sechs Modelle in zwei Größen

Villanova2 besteht aus zwei Basismodellen mit jeweils zwei Ablegern:

Beide Basismodelle haben dasselbe Trainingsprogramm über 4,7 Billionen Tokens, denselben Tokenizer und dasselbe Rezept durchlaufen. Sie unterscheiden sich nur in Größe und Aufbau.

Wichtig: Ein Basismodell ist kein Chatbot. Es hat nur gelernt, Text fortzusetzen. Die Entwickler schreiben dazu:

Ein Basismodell zu prompten heißt, es fortzusetzen, nicht es zu fragen.

Wer „Kannst du mir erklären …?“ eintippt, bekommt also keine brauchbare Antwort. Für Gespräche ist die Instruct-Variante Villanova2-15B-A3B gedacht. Das Basismodell eignet sich als Ausgangspunkt für eigenes Weitertrainieren.

So ist das Modell gebaut

Villanova2-15B-A3B ist ein Mixture-of-Experts-Modell (MoE). Man kann es sich wie ein Team aus Spezialisten vorstellen: Für jedes Token schickt eine Weiche die Arbeit nur an wenige Experten. In jeder Schicht gibt es 64 Experten, pro Token werden 8 davon genutzt (12,5 Prozent). Dazu kommt ein „geteilter“ Experte, der immer mitläuft. Deshalb muss das Modell zwar komplett in den Speicher passen, rechnet aber so schnell wie ein Modell mit knapp 4 Milliarden Parametern.

Das Grundgerüst stammt von Qwen3-Next, einer hybriden Architektur des chinesischen Anbieters Alibaba. Von den 28 Schichten nutzen 21 „lineare Attention“ (Gated DeltaNet). Dieses Verfahren fasst den bisherigen Text in einem kompakten Zustand zusammen und spart so bei langen Texten viel Rechenaufwand. Jede vierte Schicht, insgesamt also 7, nutzt klassische volle Attention, bei der jedes Wort auf jedes andere schauen kann. Diese Schichten verwenden GQA (Grouped Query Attention). Dabei teilen sich mehrere Abfrageköpfe dieselben Schlüssel-Werte-Paare, was Speicher spart. Das Kontextfenster umfasst 131.072 Tokens. So viel Text kann das Modell auf einmal berücksichtigen.

Auch der Tokenizer ist neu. Er zerlegt Text in Bausteine und wurde speziell für die fünf Sprachen und Programmcode trainiert. Mit 131.072 Einträgen hat er nur halb so viele wie der Salamandra-Tokenizer der ersten Generation, der auf über 35 europäische Sprachen verteilt war. Laut Hersteller arbeitet er trotzdem effizienter: In den Kernsprachen und bei Code braucht er 12 Prozent weniger Bausteine pro Text, bei nicht-lateinischen Schriften über 150 Prozent weniger. Zahlen werden in Blöcken von höchstens drei Ziffern gespeichert, und Einrückungen bleiben erhalten.

Training: ein Durchlauf, vier Phasen

Trainiert wurde auf 64 Nvidia-B200-GPUs in 8 Rechnerknoten, insgesamt etwa 88.000 GPU-Stunden. Der Lauf kam ohne Neustart aus und hatte vier Phasen:

Die Daten stammen überwiegend aus öffentlich dokumentierten Sammlungen: FineWeb-Edu und DCLM-Edu (englische Lerntexte aus dem Web), FinePDFs, FineWeb-2 für die vier anderen Sprachen, FineWiki, Mathematik-Sammlungen wie FineMath, Code aus Stack-Edu, wissenschaftliche Texte aus Common Pile und synthetische Daten von Nvidia (Nemotron). In der Annealing-Phase kamen besonders hochwertige Quellen hinzu, etwa Lern-PDFs in den vier Sprachen, StackExchange-Fragen, GitHub-Issues und Kaggle-Notebooks. Für den langen Kontext wurden unter anderem Bücher aus der Zeit vor 1929 und lange wissenschaftliche PDFs verwendet.

Benchmarks: stark für Europa, nicht an der Weltspitze

Die Entwickler haben auf 39 Benchmarks in fünf Sprachen getestet. Im 5-shot-Modus, bei dem das Modell vor jeder Aufgabe fünf gelöste Beispiele sieht, erreicht es im Schnitt 73,21 Punkte. Ein Auszug aus der Vergleichstabelle:

Villanova2 schlägt damit andere europäische Modelle mit offenen Daten wie EuroLLM-22B und ALIA-40b deutlich, obwohl diese größer sind. Mit dem Schweizer Apertus-70B liegt es etwa gleichauf. Die stärksten Modelle aus China und den USA sind aber besser. Der Abstand entsteht laut Hersteller vor allem im Englischen: Dort liegt Villanova2 4,5 Punkte hinter Qwen3-30B-A3B. Auch das französische Ministral-3-8B von Mistral, das nur offene Gewichte hat, liegt mit 74,29 Punkten vorne.

Die fünf Sprachen liegen höchstens 5 Punkte auseinander. Englisch kommt auf 75,37, Italienisch auf 74,13, Spanisch auf 72,16 und Französisch auf 70,98. Deutsch bildet mit 70,36 das Schlusslicht. Gegenüber der ersten Generation, Villanova-2B-Base-2603, ist der Sprung groß: von 52,28 auf 73,21 Punkte.

Langer Kontext: ehrlich gemessen

Im Test RULER sucht das Modell in langen Texten nach versteckten Informationen. Bei 4.000 Tokens erreicht Villanova2 92,1 Punkte, bei 32.000 Tokens 79,6 und bei 128.000 Tokens noch 58,5. Nach der strengen Definition beträgt die „effektive Kontextlänge“ damit nur 16.384 Tokens. Das ist die längste Textlänge, bei der der Wert über der Schwelle von 85,6 bleibt. Eine einzelne versteckte Information findet das Modell auch bei 128k noch fast immer (85,8 bis 99,6 Prozent). Sucht es nach mehreren Schlüsseln gleichzeitig, bricht die Leistung dagegen teils auf 17,4 Prozent ein. Die Entwickler empfehlen selbst: zuverlässig bis 16k, mit Vorsicht bis 64k nutzbar, bei schwierigen Suchaufgaben mit 128k verlustbehaftet.

Was du zum Ausprobieren brauchst

Obwohl nur 3,9 Milliarden Parameter aktiv sind, muss das ganze Modell mit 15,5 Milliarden Parametern in den Speicher. In voller BF16-Genauigkeit sind das rund 31 GB, also eine große Profi-Grafikkarte oder zwei Consumer-Karten. Mit einer 4-Bit-Quantisierung wird das Modell verkleinert, indem seine Zahlen gröber gespeichert werden. Laut Reddit liegen solche GGUF-Dateien in der Sammlung, und damit reichen grob 10 bis 12 GB Grafikspeicher, etwa eine RTX 3060 12 GB oder RTX 4070. Weil pro Token nur wenig gerechnet wird, läuft ein MoE-Modell dieser Art auch auf Apple-Silicon-Macs mit 16 GB oder mehr gemeinsamem Speicher oder notfalls auf dem Prozessor noch erträglich schnell. Auf der Festplatte brauchst du je nach Variante etwa 9 bis 31 GB. Die Hugging-Face-Seite bietet außerdem Notebooks für Google Colab und Kaggle an.

Zum Plaudern solltest du die Instruct-Variante nehmen. Weil das Modell auf Qwen3-Next aufbaut, brauchst du aktuelle Versionen von Transformers, vLLM oder llama.cpp.

Einordnung

Villanova2 ist kein Modell, das die Bestenlisten anführt. Für Europa ist es trotzdem ein ernstzunehmender Schritt: ein voll dokumentiertes Modell mit offenen Daten und Apache-Lizenz, das sparsam rechnet und in der eigenen Liga EuroLLM und ALIA klar übertrifft. Wer aus Datenschutz- oder Compliance-Gründen nachvollziehen muss, womit ein Modell trainiert wurde, bekommt hier eine Alternative, die mit Qwen3-8B oder Llama-3.1-8B mithalten oder sie übertreffen kann.

Einige Punkte sind kritisch oder offen. Alle Benchmarks stammen vom Hersteller selbst, der technische Bericht ist noch als „kommt bald“ markiert, und unabhängige Tests fehlen bisher. Ausgerechnet Deutsch ist die schwächste der fünf Sprachen. Die Architektur stammt von Alibabas Qwen3-Next, „Built in EU“ bezieht sich also auf Training und Daten, nicht auf das Grundkonzept. Auch die Kontextlänge von 131.072 Tokens ist in der Praxis nur bis etwa 16.000 Tokens wirklich zuverlässig, was die Entwickler offen einräumen. Diese Transparenz ist im Vergleich zu vielen Konkurrenten lobenswert. Für schwierige Rechenaufgaben und für sicherheitskritische Einsätze raten die Entwickler ausdrücklich ab.