smallcode：小模型也能写代码，4B参数跑出87%基准分数的AI编码Agent

如果你有一张消费级显卡，想在本地跑AI编码助手，大多数工具都要求你用70B甚至更大的模型。smallcode这个项目不一样——它专门针对20B以下的小模型优化，用4B参数的活跃模型就能在基准测试中拿到87%的分数。

为什么需要smallcode

目前主流的AI编码Agent（Claude Code、Codex、OpenCode等）都是为前沿大模型设计的。它们假设模型有128k以上的上下文窗口、完美的工具调用能力、强大的推理能力。但如果你只有本地的小模型呢？

smallcode的思路是：与其让小模型硬撑大模型的工作流，不如从头设计一个适合小模型的Agent架构。

安装和使用

安装很简单：

npm install -g smallcode

基本使用：

# 用Ollama跑本地模型
smallcode --provider ollama --model qwen2.5-coder:7b

# 用OpenRouter的便宜模型
smallcode --provider openrouter --model deepseek/deepseek-chat

# 指定工作目录
smallcode --workdir ./my-project

核心特性

• 终端原生：直接在终端运行，不需要GUI
• 小模型优化：针对7B-20B参数的模型设计，减少上下文浪费
• 标准工具：文件读写、终端执行、搜索等编码Agent的基本能力都有
• 多provider支持：Ollama、OpenRouter、OpenAI、Anthropic等

实际使用体验

smallcode适合的场景：

• 写简单的脚本和工具
• 代码补全和重构
• 学习和探索代码库
• 不想花钱用大模型API的日常编码

不太适合的场景：

• 复杂的架构设计
• 需要大量上下文理解的大型项目
• 对准确性要求极高的生产代码

项目是MIT协议开源，JavaScript写的，欢迎贡献。

本文参考来源：GitHub – smallcode