Zwei PCs, ein Modell: Wann sich ein KI-Heimcluster wirklich lohnt

Microsoft verbindet Windows-PCs jetzt per USB4, Apple Macs per Thunderbolt 5, und Bastler bauen Cluster aus alten Rechenzentrums-Karten. Wir haben die veröffentlichten Messwerte nebeneinandergelegt. Ein Cluster bringt vor allem mehr Speicher, schneller wird es nur mit der richtigen Technik, und oft ist ein einzelner großer Rechner die bessere Wahl.

Analysen 21. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Gute offene Sprachmodelle wachsen schneller als der Speicher in normalen Rechnern, und Arbeitsspeicher ist gerade teuer. Da liegt eine Idee nahe: Man schaltet zwei, drei oder vier vorhandene Rechner zusammen und lässt ein großes Modell über alle laufen. Für die Bastelei gibt es gerade viel neues Werkzeug. Microsoft hat am 19. November RDMA over USB4 für Windows als Entwicklervorschau gezeigt. Apple kann das Gleiche seit macOS 26.2 über Thunderbolt 5. Auf Reddit kursieren Heimprojekte wie LabHerd oder ein Cluster aus zwölf gebrauchten V100-Karten.

Wir haben die veröffentlichten Messwerte nebeneinandergelegt. Unsere Einschätzung: Ein Cluster kauft dir vor allem Speicher, aber nur selten Tempo. Ob er schneller wird, hängt fast ausschließlich davon ab, wie das Modell verteilt wird.

Zwei Arten, ein Modell zu verteilen

Bei der Pipeline-Parallelität bekommt jeder Rechner einen Block von Modellschichten. Das ist wie ein Fließband: Rechner A rechnet die ersten 30 Schichten, reicht das Zwischenergebnis an B weiter, B an C. Pro Token arbeitet also immer nur ein Rechner, die anderen warten. Dazu kommt bei jeder Übergabe die Netzwerkverzögerung. So arbeitet llama.cpp mit seinem RPC-Modus über ein normales Netzwerk (TCP).

Bei der Tensor-Parallelität rechnen alle Rechner gleichzeitig an jeder Schicht, jeder an einem Teil der Matrizen. Das kann schneller werden, aber die Rechner müssen sich pro Token mehrfach abstimmen. Dafür braucht es sehr kurze Verzögerungen, und hier kommt RDMA ins Spiel (Remote Direct Memory Access). Ein Rechner schreibt damit direkt in den Speicher des anderen, ohne Umweg über den Netzwerk-Software-Stapel. Microsoft misst über USB4 Umlaufzeiten von 28 bis 50 Mikrosekunden für kleine Nachrichten, etwa ein Viertel der Zeit von Ethernet (UDP) über dasselbe Kabel. Laut Geerling senkt RDMA auf dem Mac die Latenz von 300 auf unter 50 Mikrosekunden.

Die Messwerte nebeneinander

Mac (Jeff Geerling, vier Mac Studio M3 Ultra, Thunderbolt 5): Laut Gigazine sank das Tempo mit llama.cpp-RPC bei Qwen3-235B von 20,4 Token/s auf einem Mac auf 15,2 Token/s auf vier, ein Minus von 25 Prozent. Das Programm exo mit RDMA und Tensor-Parallelität stieg dagegen von 19,5 auf 31,9 Token/s. Bei DeepSeek V3.1 (671 Milliarden Parameter) standen auf vier Macs 14,6 Token/s (llama.cpp) gegen 32,5 Token/s (exo). Kimi K2 Thinking mit einer Billion Parametern lief mit exo bei 28,3 Token/s. Geerling selbst schreibt, das RPC-Verfahren von llama.cpp skaliere zwar, sei aber ineffizient, und die Leistung sinke mit jedem weiteren Rechner. Wichtig: Das Einlesen langer Prompts hat er nicht gemessen.

Windows (Microsoft, AMD, Intel): Auch Microsofts Testaufbau nutzt einen llama.cpp-Fork, dessen RPC über RDMA statt TCP läuft, ergänzt um Tensor-Parallelität. Drei AMD-Mini-PCs (Ryzen AI Max+ 395, je 128 GB) erreichten mit Qwen3-235B in 4-Bit laut AMD 21,98 Token/s und beim Einlesen 117,98 Token/s. Microsoft maß im eigenen Labor etwa 18,5 Token/s. Intel verband PCs mit Core Ultra Series 3 und je 64 GB:

PCs Kontext Zeit bis zum ersten Token Ausgabe
3 1K 1,1 s 49,4 Token/s
4 1K 1,2 s 54,2 Token/s
3 2K 2,9 s 49,4 Token/s
4 2K 3,2 s 51,7 Token/s

Der vierte PC bringt also 9,7 bzw. 4,7 Prozent mehr Tempo, die Wartezeit bis zum ersten Wort wird sogar länger. Einen Wert für einen einzelnen PC nennt Microsoft für keines der Modelle. Xenospectrum kritisiert außerdem, dass Angaben zu Wiederholungen, Streuung und Ausgabelänge fehlen.

Linux (Strix Halo, Level1Techs-Forum): Hier gibt es noch kein Hardware-RDMA über USB4. Das softwarebasierte Soft-RoCE schaffte nur rund 4,3 Gbit/s und damit etwa die Hälfte dessen, was normales TCP über dieselbe Thunderbolt-Verbindung erreichte (rund 9 Gbit/s). Der Grund: Der Prozessor ist der Engpass. Bei manchen Geräten kam außerdem nur eine von zwei USB4-Verbindungen hoch. LTT Labs nannte einen Zweier-Cluster aus Ryzen-AI-Halo-Rechnern mit llama.cpp-RPC laut einer Zusammenfassung „enttäuschend“.

Nvidia DGX Spark: Ein Nutzer im Nvidia-Forum betreibt DeepSeek-V4-Flash auf vier Sparks mit vLLM, Tensor-Parallelität und RoCE über einen 200-Gbit-Switch. Er misst 49,4 bis 54,4 Token/s für einen einzelnen Nutzer. Ein anderer Nutzer verteilte Nemotron-3-Ultra-550B per llama.cpp-Schichtaufteilung auf zwei Sparks und kam auf rund 5 Token/s. Sein Fazit: Zwei Rechner seien pro Token langsamer als einer, man mache das nur, weil das Modell sonst nicht passt.

Der wichtigste fehlende Vergleich: ein einzelner Rechner

Weil Microsoft keinen Einzelplatzwert liefert, haben wir Community-Messungen dazugelegt. Ein einzelner Strix Halo mit 128 GB schafft GPT-OSS-120B laut der Sammlung strix-halo-llm-perf mit 53,4 Token/s. Petronella Tech misst je nach Software 41 bis 45 Token/s. Das ist ungefähr das Tempo von Intels Dreier-Cluster. Qwen3-235B passt in 4-Bit nicht auf einen 128-GB-Rechner. In der gröberen Quantisierung Q3_K_M (die Zahlen des Modells werden noch gröber gespeichert) läuft es dort aber mit 17,2 Token/s. Der AMD-Cluster mit drei Geräten bringt also vor allem eine bessere Quantisierung und kaum mehr Tempo.

Beim Mac ist es ähnlich: Ein einzelner Mac Studio mit 512 GB hält Qwen3-235B schon allein. Vier Macs machen ihn mit exo um 64 Prozent schneller, kosten aber das Vierfache. Apple verspricht für vier M5-Ultra-Rechner im Verbund laut MacRumors die dreifache Geschwindigkeit eines einzelnen. Unabhängige Messungen dazu haben wir nicht gefunden.

Heimprojekte: Splitting oder nur Verteilung?

Nicht jedes „Cluster“-Werkzeug teilt wirklich ein Modell auf:

  • LabHerd ist laut Reddit-Beitrag eine Windows-Oberfläche für llama.cpp. Ein Rechner ist der Chef, die anderen sind Helfer, und jeder bekommt das Stück des Modells, das in seinen Speicher passt. AMD- und Nvidia-Karten lassen sich mischen. Das ist echtes Splitting, nach der Beschreibung aber auf Basis von llama.cpp-RPC, also eine Pipeline. Messwerte haben wir nicht gefunden.
  • LanLM (github.com/sakthiveltofficial/lanlm, MIT-Lizenz) kann beides: ein Modell per llama.cpp-RPC aufteilen oder Anfragen auf Rechner mit vollständigen Kopien verteilen. Die Readme sagt es selbst: Splitting diene dazu, ein Modell unterzubringen, nicht ein kleines schneller zu machen. Echte Benchmarks fehlen noch.
  • Ollama Herd verteilt nur Anfragen auf mehrere Ollama-Rechner. Jeder braucht das komplette Modell. Das erhöht den Durchsatz für mehrere Nutzer, erlaubt aber keine größeren Modelle.

Der andere Weg sind gebrauchte Rechenzentrums-Karten. Ein Anwalt (u/TumbleweedNew6515) hat laut IT之家 zwölf V100-SXM2-Karten mit je 32 GB für rund 9.450 Dollar zusammengestellt. Sie sind in drei Pipeline-Stufen mit je vier Karten in Tensor-Parallelität organisiert, verbunden über NVLink und PCIe. Darauf läuft DeepSeek-V4.1-Flash in 4-Bit. Eine Korrektur zu vielen Meldungen: Die 153 bis 184 Token/s gelten laut seiner Tabelle für einen einzelnen Code-Stream. Normaler Text kommt auf 83 bis 95 Token/s, drei parallele Code-Anfragen zusammen auf 344 bis 443. Ein 128K-Dokument liest das System in 28 Sekunden ein, bei 256K dauert es 58 Sekunden bis zum ersten Token. Der Preis dafür sind bis zu 2.100 Watt und viel Lärm. Laut Tom's Hardware schaltete sich der Rechner bei vier gleichzeitigen langen Chats einmal ab. Alle Zahlen stammen vom Bastler selbst.

Golem verspricht mit seiner „KI-Workstation des armen Mannes“ ab 900 Euro Modelle bis 200 Milliarden Parameter auf gebrauchter Hardware, und das auf einem Rechner. Die Einzelheiten konnten wir hinter der Bezahlschranke nicht prüfen.

Kosten, Kabel und Haken im Überblick

Die Tabelle vergleicht unterschiedliche Modelle und Preisstände. Sie zeigt Größenordnungen und ist kein direkter Vergleich (Preise: EVO-X2 laut Geizhals/heise-Preisvergleich November 2026, Mac nach Geerling 2025 in US-Dollar).

Aufbau Modell Token/s Preis ca. pro Token/s Kabel / Haken
1× Strix Halo 128 GB Qwen3-235B Q3_K_M 17,2 4.200 € ~245 € keine
3× Strix Halo (USB4-RDMA) Qwen3-235B Q4_K_M 18,5–22 12.600 € + Kabel ~575–680 € 3 Kabel, 2 Ports pro PC; Insider-Build, Secure Boot aus, Testsignierung
1× Strix Halo 128 GB GPT-OSS-120B 41–53 4.200 € ~80–100 € keine
3–4× Intel Core Ultra 3, 64 GB GPT-OSS-120B 49,4–54,2 nicht genannt – 3 bzw. 6 Kabel; wie oben
1× Mac Studio M3 Ultra 512 GB Qwen3-235B 20,4 11.699 $ ~575 $ keine
4× Mac Studio (exo, RDMA) Qwen3-235B 31,9 ~40.000 $ ~1.250 $ 6 Kabel à ~70 $; RDMA im Recovery-Modus aktivieren, Abstürze unter Last
12× V100 (Eigenbau) DeepSeek-V4.1-Flash 83–95 (Text), 153–184 (Code) 9.450 $ ~100–115 $ (Text) 2.100 W, laut, Abschaltungen

Bei Vollvernetzung (jeder Rechner direkt mit jedem anderen verbunden) wächst der Kabelaufwand schnell: N−1 Ports pro Rechner, N(N−1)/2 Kabel. Drei Rechner brauchen drei Kabel, vier schon sechs, fünf zehn. Hintereinanderschalten bremst laut Microsoft deutlich. Unter Windows kommen weitere Hürden dazu: Auf allen Rechnern müssen derselbe Insider-Build und dieselben Treiber laufen, die Verbindung baut sich nach einem Abbruch nicht selbst neu auf, und laut Xenospectrum fällt der llama.cpp-Fork ohne Fehlermeldung auf TCP zurück. Ob RDMA wirklich aktiv ist, verrät nur eine Zeile im Log. Neue Speicherpreise machen den Einzelrechner auch nicht billiger: Ein Mac Studio M5 Ultra mit 512 GB kostet laut ComputerBase mindestens 25.079 Euro, ein RTX-Spark-Desktop mit 128 GB laut Notebookcheck 7.499 Dollar. Mehrere RTX-Spark-Desktops lassen sich laut Thurrott ohnehin nicht zusammenschalten.

Unser Fazit

Ein Cluster lohnt sich nach den vorliegenden Zahlen nur, wenn das Modell nicht in den größten Einzelrechner passt, den du dir leisten kannst. Passt es hinein, ist ein einzelner Rechner fast immer gleich schnell oder schneller, billiger pro Token/s und ohne Bastelhaken. Bis etwa 120 Milliarden Parameter in 4-Bit reicht eine 128-GB-Maschine (Strix Halo, DGX Spark, RTX Spark). Bis in den Bereich von DeepSeek V3.1 in 4-Bit (rund 378 GB) reicht ein Mac Studio mit 512 GB. Ein Billionen-Modell wie Kimi K2 braucht dagegen mehrere Macs.

Wer vorhandene Rechner zusammenschaltet, sollte mit Pipeline-Werkzeugen wie llama.cpp-RPC, LabHerd oder LanLM mehr Platz und weniger Tempo erwarten. Schneller wird es erst mit Tensor-Parallelität und RDMA, und auch dann flacht die Kurve ab dem dritten oder vierten Rechner ab. Windows-RDMA ist noch eine Vorschau ohne verfügbaren Build und ohne Einzelplatzvergleich. Linux hat für USB4 noch kein schnelles RDMA. Am weitesten ist der Mac, dort aber zu Preisen, bei denen ein einzelner großer Rechner pro Token/s halb so viel kostet. Für Sparfüchse spannend bleiben Einzelrechner mit MoE-Offloading und gebrauchte Rechenzentrums-Karten. Die schnellsten Zahlen aus diesem Lager sind aber durchweg Eigenmessungen der Bastler.

Quellen

#lokale ki#cluster#rdma#hardware#llama.cpp#vergleich

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.