FreeLLMDeepSeek veröffentlicht den DeepInfer‑Inference‑Stack als Open‑Source und behauptet 155 Billionen Tokens pro Tag
DeepSeek veröffentlicht DeepInfer, ein Open‑Source‑Framework für groß‑skalige Inferenz, das laut Angaben 155 T Tokens täglich mit hoher Cache‑Trefferquote und starken Margen verarbeitet.
Auf YouTube ansehen · Kurzversion ansehen
DeepSeek announced the open‑source release of DeepInfer, the inference engine used for its V4.1 Flash model.
The company reports that a single cluster processes 155 trillion tokens per day, achieves 96 % input‑cache hits, and delivers an average first‑token latency of 400 ms.
The repository includes optimized kernels such as FlashMLA and DeepGEMM, and requires Linux, GCC 13, Python 3.12, CUDA 13 (NVIDIA) or CANN 9.2 (Ascend) to build.
Was das für dich bedeutet
For developers, DeepInfer offers a production‑grade, open‑source stack that can be adapted for offline serving, though key KV‑cache and load‑balancing components remain closed. Users of free or locally hosted models can experiment with the framework on standard GPU or NPU hardware, but must supply their own orchestration for full‑scale deployment.
Quellen
- [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback, Latent Space, 21 Oct 2026
- deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models, GitHub trending (official), 16 Oct 2026
Automatisch aus den obigen Quellen geschrieben, dann von unserem Code geprüft: Jede Zahl und jeder Name muss darin vorkommen, und kein Satz darf eine Quelle kopieren. Einen Fehler entdeckt? Melde ihn.
Welche KI kannst du heute kostenlos nutzen?
Jedes kostenlose KI‑Modell, bewertet durch blinde menschliche Stimmen, mit dem Speicher und der Geschwindigkeit, die es auf deiner eigenen GPU benötigt.