FreeLLMDeepSeek rende open‑source lo stack di inferenza DeepInfer, afferma 155 trilioni di token al giorno
DeepSeek rilascia DeepInfer, un framework open‑source per inferenza su larga scala che, secondo loro, gestisce 155 T token al giorno con alti tassi di hit cache e margini solidi.
Guarda su YouTube · Guarda il breve
DeepSeek announced the open‑source release of DeepInfer, the inference engine used for its V4.1 Flash model.
The company reports that a single cluster processes 155 trillion tokens per day, achieves 96 % input‑cache hits, and delivers an average first‑token latency of 400 ms.
The repository includes optimized kernels such as FlashMLA and DeepGEMM, and requires Linux, GCC 13, Python 3.12, CUDA 13 (NVIDIA) or CANN 9.2 (Ascend) to build.
Cosa significa per te
For developers, DeepInfer offers a production‑grade, open‑source stack that can be adapted for offline serving, though key KV‑cache and load‑balancing components remain closed. Users of free or locally hosted models can experiment with the framework on standard GPU or NPU hardware, but must supply their own orchestration for full‑scale deployment.
Fonti
- [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback, Latent Space, 21 Oct 2026
- deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models, GitHub trending (official), 16 Oct 2026
Scritto automaticamente dalle fonti sopra, poi controllato dal nostro codice: ogni numero e nome deve comparire, e nessuna frase può copiare una fonte. Hai trovato un errore? Segnalalo.
Quale AI puoi usare gratis oggi?
Tutti i modelli AI gratuiti, classificati da voti umani anonimi, con la memoria e la velocità necessarie sulla tua GPU.