antirez新作ds4:专为DeepSeek V4 Flash打造的本地推理引擎,两周破万星

2026年5月,Redis之父antirez(Salvatore Sanfilippo)发布了他的新项目DwarfStar 4(ds4)——一个专为DeepSeek V4 Flash设计的本地推理引擎。发布不到两周,GitHub星标已突破10000,成为近期最受关注的开源AI项目之一。

项目背景

antirez是Redis的创始人,也是多个知名开源项目的作者。他在2020年离开Redis后,一直活跃在AI和嵌入式系统领域。ds4是他最新的作品,目标是让开发者能在本地硬件上高效运行DeepSeek V4 Flash模型。

为什么需要专用推理引擎

市面上已经有很多LLM推理工具(llama.cpp、vLLM、Ollama等),但ds4走了一条不同的路:不做通用推理器,而是专门为DeepSeek V4 Flash优化

这种专注带来了几个优势:

  • 极致性能:针对DeepSeek V4 Flash的架构特点进行深度优化
  • 完整功能:不只是推理,还包括prompt渲染、工具调用、KV状态管理等
  • 开箱即用:内置CLI和服务器API,可以立即配合编码代理使用

支持的硬件后端

ds4支持多种硬件加速:

  • Apple Metal:主要目标平台,支持96GB+内存的MacBook
  • NVIDIA CUDA:特别针对DGX Spark优化
  • AMD ROCm:通过rocm分支支持

核心功能

1. GGUF和imatrix工具

ds4自带GGUF模型格式转换和imatrix量化工具,可以将DeepSeek V4 Flash模型转换为最优的本地格式。

2. KV状态管理

支持KV cache的内存和磁盘持久化,这意味着你可以暂停和恢复推理会话,对于长时间的编码代理任务非常有用。

3. 工具调用支持

ds4内置了工具调用(function calling)支持,可以直接与Claude Code、Codex等编码代理配合使用。

4. 服务器API

内置HTTP服务器,提供兼容OpenAI格式的API接口,方便与其他工具集成。

如何使用

ds4的安装和使用相对简单:

# 克隆仓库
git clone https://github.com/antirez/ds4.git
cd ds4

# 编译(macOS Metal后端)
make

# 下载DeepSeek V4 Flash GGUF模型
# 然后运行
./ds4 -m path/to/deepseek-v4-flash.gguf

适合什么场景

  • 本地AI开发:不想依赖云端API,想在本地运行DeepSeek模型
  • 编码代理:配合Claude Code、Codex等工具使用本地模型
  • Apple Silicon用户:ds4对Metal的支持是其主要卖点
  • 隐私敏感场景:所有推理在本地完成,数据不离开你的设备

与同类项目对比

特性 ds4 llama.cpp Ollama
专注模型 DeepSeek V4 Flash 通用 通用
语言 C C++ Go
工具调用 内置 有限 支持
KV持久化 内存+磁盘 有限
作者 antirez (Redis作者) 社区 Ollama团队

简评

ds4代表了一种”专模型专引擎”的思路。虽然通用推理工具很方便,但针对特定模型的深度优化可以带来显著的性能提升。antirez的加入更是给这个项目增加了信誉。

如果你使用DeepSeek V4 Flash,或者想在Apple Silicon上运行高性能本地AI,ds4值得尝试。

项目地址:https://github.com/antirez/ds4

© 版权声明
THE END
喜欢就支持一下吧
点赞12 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容