← 返回情报列表**超高速推理引擎**:DeepSeek Ultrafast面向DeepSeek-V4.1-Flash,支持sm_100a与sm_103a GPU架构,支持100万(1M)token上下文长度和多服务器KV缓存共享。 **草稿-验证式解码**:每个解码步骤先起草一组token再进行验证,接受长度(acceptance length)即每步平均输出的token数。 **实测场景**:解码速度、单步耗时与接受长度均基于提示词"implement the tetris game. output HTML code directly - no explanation"测量,页面以实时速度展示了串流生成完整俄罗斯方块游戏并运行的过程。 **硬件与依赖要求**:需4块GB300(sm_103a)或4/8块B300(sm_103a)或4/8块B200(sm_100a)GPU、CUDA 13工具包、DeepSeek-V4.1-Flash模型,以及用于多服务器KV缓存协调的Redis实例。 **技术实现**:引擎采用Rust构建并使用RDMA通信;服务器在对话轮次间保留各会话的KV缓存,Redis记录每个会话缓存所在的副本,并自动发现机器的RDMA端口。 **可用性**:DeepSeek-V4.1-Flash-Fast已在Baseten Model APIs上线,官方称后续将有更多性能改进和开源发布。
📌 2026-11-15·Hacker News
Baseten开源DeepSeek Ultrafast:面向DeepSeek-V4.1-Flash的超高速推理引擎
#DeepSeek#推理引擎#开源