antirez 开源 ds4：DeepSeek V4 Flash 本地推理引擎，96GB MacBook 就能跑

Redis 的作者 Salvatore Sanfilippo（网名 antirez）在 GitHub 上发布了一个新项目 ds4，目标是让 DeepSeek V4 Flash 模型可以在个人设备上本地推理运行。项目上线不到两周，就收获了超过 10000 个 star，成为近期最受关注的开源 AI 项目之一。

ds4 是什么

ds4 全称是 DeepSeek 4 Flash local inference engine，是一个独立的本地推理引擎，专门为 DeepSeek V4 Flash 模型设计。它不依赖任何第三方推理框架，而是自己实现了完整的推理流程。

项目地址：https://github.com/antirez/ds4

目前项目处于 alpha 阶段，代码主要由 GPT 5.5 辅助编写，antirez 团队负责架构设计、测试和调试。项目基于 llama.cpp 和 GGML 的技术基础，但在 KV 缓存管理上有独特的设计理念。

核心特点

硬件支持：优化路径针对 macOS 的 Metal 和 Linux 的 CUDA，CPU 路径仅用于正确性检查。在 macOS 上可以直接利用 Apple Silicon 的 GPU 加速。

内存需求：最低需要 96GB 内存的设备（MacBook Pro M4 Max 或 Mac Studio 等），支持 2-bit 量化可以在更小内存上运行，但推荐使用 128GB 内存以获得最佳体验。

KV 缓存创新：ds4 提出了一个重要的理念——KV 缓存应该成为磁盘的一等公民。现代 MacBook 的高速 SSD 和 DeepSeek V4 的压缩 KV 缓存技术，使得将 KV 缓存放在磁盘上成为可行方案，这大幅降低了内存需求。

独立 GGUF 文件：ds4 只能使用项目提供的特定 GGUF 文件，这些文件经过专门优化以配合推理引擎工作。项目会对不同上下文长度下的 logits 进行验证，确保输出质量。

安装和使用

安装步骤相对简单：

macOS：克隆仓库后直接 make 即可，会自动启用 Metal 加速：

git clone https://github.com/antirez/ds4.git
cd ds4
make

Linux（CUDA）：需要先安装 CUDA 工具链，然后执行：

make cuda

CPU Only：仅用于调试和检查，不推荐日常使用：

make cpu

编译完成后，ds4 提供两个二进制文件：ds4 用于交互式使用，ds4-server 提供 HTTP API 接口，可以对接各种 AI 客户端。

社区反应

这个项目在 Hacker News 上引发了广泛讨论。社区的关注点主要集中在几个方面：

• 本地推理的意义：很多开发者认为，即使云端 API 方便，本地推理在隐私保护、离线使用和成本控制上仍有不可替代的价值
• 量化技术：2-bit 量化虽然降低了精度，但对于很多日常使用场景已经足够，这让更低配置的设备也有机会运行
• antirez 的影响力：作为 Redis 的作者，antirez 的技术判断力受到社区信任，这也是项目快速获得关注的重要原因

适合谁

这个项目适合以下人群：

• 拥有高配 MacBook Pro 或 Mac Studio 的开发者，想要在本地体验 DeepSeek V4 Flash
• 对 LLM 推理原理感兴趣的研究者，ds4 的代码结构清晰，是学习推理引擎实现的好材料
• 注重数据隐私的用户，不想将敏感数据发送到云端 API
• 想要构建本地 AI 应用的开发者，ds4-server 的 HTTP API 可以直接对接应用

注意事项

• 项目处于 alpha 阶段，可能存在 bug 和性能问题
• macOS 上的虚拟内存实现存在已知 bug，运行 CPU 代码可能导致内核崩溃
• 需要特定的 GGUF 文件，不能直接使用 HuggingFace 上的通用模型文件
• 96GB 内存是最低要求，实际使用建议 128GB 以上

简评

antirez 的 ds4 项目代表了本地 LLM 推理的一个重要方向：不追求通用性，而是针对特定模型做深度优化。这种”一个模型做到极致”的思路，可能比”支持所有模型但每个都半吊子”更实用。对于有条件运行的开发者来说，值得尝试。

本文参考来源：antirez/ds4 – GitHub | Hacker News 讨论