FreeLLMDeepSeekがDeepInfer推論スタックをオープンソース化、1日あたり155兆トークンを処理すると主張
DeepSeekがDeepInferをリリースしました。これは大規模推論向けのオープンソースフレームワークで、1日あたり155Tトークンを高いキャッシュヒット率と優れたマージンで処理できると述べています。
DeepSeek announced the open‑source release of DeepInfer, the inference engine used for its V4.1 Flash model.
The company reports that a single cluster processes 155 trillion tokens per day, achieves 96 % input‑cache hits, and delivers an average first‑token latency of 400 ms.
The repository includes optimized kernels such as FlashMLA and DeepGEMM, and requires Linux, GCC 13, Python 3.12, CUDA 13 (NVIDIA) or CANN 9.2 (Ascend) to build.
あなたにとっての意味
For developers, DeepInfer offers a production‑grade, open‑source stack that can be adapted for offline serving, though key KV‑cache and load‑balancing components remain closed. Users of free or locally hosted models can experiment with the framework on standard GPU or NPU hardware, but must supply their own orchestration for full‑scale deployment.
ソース
- [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback, Latent Space, 21 Oct 2026
- deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models, GitHub trending (official), 16 Oct 2026
上記のソースから自動的に生成し、当社のコードでチェックしました：すべての数値と名前が含まれ、文がソースをコピーしてはいけません。間違いを見つけましたか？報告する。
今日無料で使えるAIはどれですか？
すべての無料AIモデルをブラインドヒューマン投票で順位付けし、あなたのGPUで必要なメモリと速度を示します。