FreeLLMDeepSeek abre el código del stack de inferencia DeepInfer, afirma 155 billones de tokens al día
DeepSeek lanza DeepInfer, un marco de código abierto para inferencia a gran escala que, según dice, maneja 155 T tokens diarios con altas tasas de aciertos en caché y márgenes sólidos.
DeepSeek announced the open‑source release of DeepInfer, the inference engine used for its V4.1 Flash model.
The company reports that a single cluster processes 155 trillion tokens per day, achieves 96 % input‑cache hits, and delivers an average first‑token latency of 400 ms.
The repository includes optimized kernels such as FlashMLA and DeepGEMM, and requires Linux, GCC 13, Python 3.12, CUDA 13 (NVIDIA) or CANN 9.2 (Ascend) to build.
Qué significa para ti
For developers, DeepInfer offers a production‑grade, open‑source stack that can be adapted for offline serving, though key KV‑cache and load‑balancing components remain closed. Users of free or locally hosted models can experiment with the framework on standard GPU or NPU hardware, but must supply their own orchestration for full‑scale deployment.
Fuentes
- [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback, Latent Space, 21 Oct 2026
- deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models, GitHub trending (official), 16 Oct 2026
Escrito automáticamente a partir de las fuentes anteriores, luego revisado por nuestro código: cada número y nombre debe aparecer en ellas, y ninguna oración puede copiar una fuente. ¿Detectaste un error? Infórmalo.
¿Qué IA puedes usar gratis hoy?
Todos los modelos de IA gratuitos, clasificados por votos humanos ciegos, con la memoria y velocidad que necesita tu GPU.