2026年5月,Redis之父antirez(Salvatore Sanfilippo)发布了他的新项目DwarfStar 4(ds4)——一个专为DeepSeek V4 Flash设计的本地推理引擎。发布不到两周,GitHub星标已突破10000,成为近期最受关注的开源AI项目之一。
项目背景
antirez是Redis的创始人,也是多个知名开源项目的作者。他在2020年离开Redis后,一直活跃在AI和嵌入式系统领域。ds4是他最新的作品,目标是让开发者能在本地硬件上高效运行DeepSeek V4 Flash模型。
为什么需要专用推理引擎
市面上已经有很多LLM推理工具(llama.cpp、vLLM、Ollama等),但ds4走了一条不同的路:不做通用推理器,而是专门为DeepSeek V4 Flash优化。
这种专注带来了几个优势:
- 极致性能:针对DeepSeek V4 Flash的架构特点进行深度优化
- 完整功能:不只是推理,还包括prompt渲染、工具调用、KV状态管理等
- 开箱即用:内置CLI和服务器API,可以立即配合编码代理使用
支持的硬件后端
ds4支持多种硬件加速:
- Apple Metal:主要目标平台,支持96GB+内存的MacBook
- NVIDIA CUDA:特别针对DGX Spark优化
- AMD ROCm:通过rocm分支支持
核心功能
1. GGUF和imatrix工具
ds4自带GGUF模型格式转换和imatrix量化工具,可以将DeepSeek V4 Flash模型转换为最优的本地格式。
2. KV状态管理
支持KV cache的内存和磁盘持久化,这意味着你可以暂停和恢复推理会话,对于长时间的编码代理任务非常有用。
3. 工具调用支持
ds4内置了工具调用(function calling)支持,可以直接与Claude Code、Codex等编码代理配合使用。
4. 服务器API
内置HTTP服务器,提供兼容OpenAI格式的API接口,方便与其他工具集成。
如何使用
ds4的安装和使用相对简单:
# 克隆仓库
git clone https://github.com/antirez/ds4.git
cd ds4
# 编译(macOS Metal后端)
make
# 下载DeepSeek V4 Flash GGUF模型
# 然后运行
./ds4 -m path/to/deepseek-v4-flash.gguf
适合什么场景
- 本地AI开发:不想依赖云端API,想在本地运行DeepSeek模型
- 编码代理:配合Claude Code、Codex等工具使用本地模型
- Apple Silicon用户:ds4对Metal的支持是其主要卖点
- 隐私敏感场景:所有推理在本地完成,数据不离开你的设备
与同类项目对比
| 特性 | ds4 | llama.cpp | Ollama |
|---|---|---|---|
| 专注模型 | DeepSeek V4 Flash | 通用 | 通用 |
| 语言 | C | C++ | Go |
| 工具调用 | 内置 | 有限 | 支持 |
| KV持久化 | 内存+磁盘 | 有限 | 无 |
| 作者 | antirez (Redis作者) | 社区 | Ollama团队 |
简评
ds4代表了一种”专模型专引擎”的思路。虽然通用推理工具很方便,但针对特定模型的深度优化可以带来显著的性能提升。antirez的加入更是给这个项目增加了信誉。
如果你使用DeepSeek V4 Flash,或者想在Apple Silicon上运行高性能本地AI,ds4值得尝试。













GitHub – docusealco/docuseal



暂无评论内容