smallcode:专为小模型设计的AI编码Agent,4B参数跑出87%基准

用AI写代码,大多数人的第一反应是GitHub Copilot或者Claude。但这些工具需要大模型、需要联网、需要付费。一个叫smallcode的开源项目,专门针对8B-35B的小模型优化,让你用本地模型也能获得不错的AI编码体验。

smallcode是什么

smallcode是一个终端原生的AI编码Agent,专门为小参数量的本地模型设计。它和OpenCode、Claude Code这类工具的定位不同——那些工具假设你用的是Claude、GPT-5这样的前沿大模型,有128K+的上下文窗口和完美的工具调用能力。

smallcode知道小模型的局限性,所以做了很多针对性的优化。

核心设计

特性 OpenCode等 smallcode
目标模型 前沿大模型 8B-35B本地模型
上下文管理 全部塞进去 预算管理+摘要
工具调用 假设JSON可靠 容错多格式解析
规划方式 单次生成 TODO文件分解步骤
代码编辑 整文件写入 搜索替换补丁
隐私 API调用到云端 完全本地,无需网络

为什么小模型需要专门的工具

小模型有几个明显的问题:

  • 上下文窗口小,装不下太多代码
  • 工具调用的JSON输出经常格式错误
  • 多步骤任务容易”迷路”
  • 长对话后会忘记前面的内容

smallcode通过这些方式来弥补:

  • 智能的上下文预算管理,只给模型看最相关的代码
  • 容错的工具调用解析,能处理各种格式的输出
  • 用TODO文件来分解复杂任务,让模型一步步来
  • 用搜索替换而不是整文件写入,减少错误

基准测试成绩

smallcode用一个4B参数的活跃模型,在标准基准测试中拿到了87%的成绩。这个成绩说明,好的工具设计可以弥补模型大小的不足。

安装使用

# 安装
npm install -g smallcode

# 或者直接用npx
npx smallcode

# 在项目目录下启动
cd my-project
smallcode

它依赖BoneScript和budget-aware-mcp,npm会自动安装。你需要一个本地LLM服务器(LM Studio、Ollama或任何OpenAI兼容的服务)。

适用场景

  • 不想把代码发到云端的隐私敏感用户
  • 没有Claude/GPT订阅预算的开发者
  • 想在飞机上或没网的地方写代码的人
  • 想测试不同本地模型效果的研究者

GitHub:Doorman11991/smallcode

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容