Vergleich dreier kleiner MoE-Modelle als Worker in Agenten-Coding
Ein Reddit-Test lässt Flint, Ornith 1.5 und Nemotron 3.5 Lightning als lokale Worker unter Opus 5.5 programmieren. Rohe Token-Geschwindigkeit entschied nicht über die Gesamtzeit.
Worum es geht
Ein Nutzer von r/LocalLLaMA, der am Open-Source-Agenten Atomic Agent mitarbeitet, hat drei kleine MoE-Modelle als lokale Worker getestet. Opus 5.5 plant und prüft, drei Worker schreiben parallel Code. Aufgabe war eine Halloween-Kettenreaktion in Three.js.
Die wichtigsten Fakten
- Setup: Q8_0 GGUF, llama.cpp b11803, 64K Kontext pro Slot, eine RTX PRO 6000 Blackwell 96 GB je Modell.
- Wall time: Flint 40B-A2.5B 7:36, Ornith 1.5 35B-A3B 9:04, Nemotron 3.5 Lightning 30B-A3B 30:32.
- Decode (einzeln): 244, 143 bzw. 295 t/s. Nemotron war also am schnellsten, brauchte aber ca. 5x mehr Tokens als Flint.
- Opus-Kosten: $0,41 (Flint), $0,49 (Ornith), $0,95 (Nemotron).
- Nötige Fixes: 6, 14 bzw. 16. Nemotrons Edit-Erfolgsrate lag bei etwa 17 %.
- Einschränkungen: nur ein Lauf pro Modell, Qualität separat, keine Varianzmessung.
Einordnung
Der Test legt nahe, dass Edit-Erfolg und Anzahl der Runden wichtiger sind als Tokens pro Sekunde. Aussagekraft ist begrenzt: Einzelläufe, ein Task und ein Autor mit Eigeninteresse am Tool. Nützlich ist er trotzdem als Anhaltspunkt für lokale Sub-Agenten.
