FreeLLMPrime Intellect unveils Prime Mega MoE, a trainable fused MoE kernel with 3.11× faster forward pass
The new Prime Mega MoE kernel speeds Qwen3 MoE training by up to 34% and adds backward‑pass support for DeepSeek’s Mega MoE.
Prime Intellect announced Prime Mega MoE, a trainable version of DeepSeek’s fused Mega MoE kernel.
The kernel delivers a 3.11× faster forward pass and improves Qwen3 MoE training steps by up to 34% in the prime‑rl benchmark.
Prime Mega MoE adds backward‑pass capability, enabling full training of models that use the Mega MoE architecture.
The release follows ongoing work in DeepSeek’s DeepGEMM library, which provides high‑performance GPU kernels for GEMM, fused MoE, and other primitives used in large language models.
DeepGEMM’s recent updates include Mega MoE kernels, FP8/FP4 GEMM support, and optimizations for NVIDIA SM90/SM100 GPUs.
Was das für dich bedeutet
For users of free or locally hosted models, the underlying DeepGEMM library offers a lightweight, open‑source path to high‑performance GPU kernels without proprietary dependencies.
Quellen
- Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass, MarkTechPost, 29 Oct 2026
- GitHub - deepseek-ai/DeepGEMM: DeepGEMM: clean and efficient BLAS kernel library on GPU · GitHub, github.com (official), 29 Oct 2026
Automatisch aus den obigen Quellen geschrieben, dann von unserem Code geprüft: Jede Zahl und jeder Name muss darin vorkommen, und kein Satz darf eine Quelle kopieren. Einen Fehler entdeckt? Melde ihn.
Welche KI kannst du heute kostenlos nutzen?
Jedes kostenlose KI‑Modell, bewertet durch blinde menschliche Stimmen, mit dem Speicher und der Geschwindigkeit, die es auf deiner eigenen GPU benötigt.