LatentLoop: Looped-MoE-Modelle mit asymmetrischer Rechenverteilung
Ein neues Paper komprimiert den ersten Durchlauf eines Looped MoE und gibt die gesparte Rechenleistung dem zweiten – das spart laut Fit bis zu 19 % Compute.
Worum es geht
Das Paper „LatentLoop" untersucht Looped-Mixture-of-Experts-Modelle, bei denen ein Block mehrfach durchlaufen wird. Die Autoren stellen fest, dass der erste Durchlauf weniger zum Ergebnis beiträgt als der zweite, und nutzen das für eine asymmetrische Rechenverteilung.
Die wichtigsten Fakten
- Der erste Durchlauf arbeitet auf einer komprimierten Sequenz, der zweite in voller Auflösung.
- Die eingesparte Rechenleistung fließt in eine größere Hidden Size.
- MoE-Gewichte werden geteilt, die Attention-Parameter sind pro Durchlauf getrennt.
- Getestet wurde in 15 Konfigurationen von 1,3B bis 7B Parametern, das größte Budget lag über 10^21 FLOPs.
- Bei fitted NLL 1,988 liegen die vorhergesagten Einsparungen bei 19,0 % gegenüber Vanilla MoE und 7,9 % gegenüber der Looped-Baseline.
- Bessere Durchschnittswerte auf neun Benchmarks in 0-shot und 5-shot; Code und ein Hugging-Face-Eintrag sind verlinkt.
Einordnung
Interessant für Architekturforschung zu effizienten Modellen. Die Ergebnisse stammen aus Skalierungsfits bis 7B, ob sie bei sehr großen Modellen halten, ist offen. Für Endanwender noch kein direkt nutzbares Modell.
