Forge：让8B本地模型Agent任务准确率从53%到99%的开源框架，自托管LLM的新选择

在本地运行大模型做Agent任务时，你可能遇到过这样的问题：模型总是输出格式不对的工具调用、忘记执行某些步骤、或者在长对话中丢失上下文。Forge这个开源框架声称可以通过”guardrails”机制，把一个8B参数的本地模型从53%的任务准确率提升到99%。

Forge是什么

Forge是一个Python框架，专门为自托管LLM的工具调用和多步骤Agent工作流设计。它不是一个新模型，而是一个”可靠性层”，通过以下方式提升本地模型的Agent能力：

• 救援解析：当模型输出格式错误时，自动尝试修复
• 重试提示：当工具调用失败时，智能地引导模型重试
• 步骤强制：确保Agent按要求完成所有必要步骤
• 上下文管理：VRAM感知的预算管理和分层压缩

为什么需要Forge

本地运行的小模型（7B-8B参数）在Agent任务上面临几个挑战：

1. 工具调用格式不稳定：经常输出错误的JSON格式
2. 多步骤任务容易遗漏：在复杂任务中忘记执行某些步骤
3. 上下文窗口有限：长对话中容易丢失关键信息
4. 缺乏自我纠错：出错后不知道如何修正

Forge通过一系列guardrails机制来解决这些问题，让小模型也能可靠地执行Agent任务。

三种使用方式

方式1：WorkflowRunner（推荐）

定义工具、选择后端、运行结构化的Agent循环：

from forge import WorkflowRunner, Tool

# 定义工具
tools = [
    Tool(name="search", description="搜索文件", fn=search_fn),
    Tool(name="read", description="读取文件", fn=read_fn),
]

# 创建Runner
runner = WorkflowRunner(
    tools=tools,
    backend="ollama",  # 或 llama-server
    model="ministral-3b-instruct",
)

# 运行任务
result = runner.run("找到所有包含TODO注释的文件并列出它们")

方式2：Guardrails中间件

在你自己的Agent循环中使用Forge的可靠性栈：

from forge.middleware import GuardrailsMiddleware

# 在你的循环中添加guardrails
middleware = GuardrailsMiddleware(
    rescue_parsing=True,    # 自动修复格式错误
    retry_nudges=True,      # 智能重试
    step_enforcement=True,  # 步骤强制
)

# 处理模型响应
safe_response = middleware.process(raw_response, tools)

方式3：代理服务器

Forge提供一个OpenAI兼容的代理服务器，可以透明地添加guardrails：

# 启动代理服务器
python -m forge.proxy --port 8080

# 在你的客户端中配置
# 模型服务器: http://localhost:8080
# Forge会自动添加guardrails

这种方式的好处是：你不需要修改任何客户端代码（如OpenCode、Continue、aider等），Forge会在中间透明地处理。

支持的后端

• Ollama：最简单的本地模型运行方式
• llama-server：llama.cpp的服务器模式
• llamafile：单文件可执行的模型
• 任何OpenAI兼容的API

性能表现

根据Forge的官方基准测试：

• 测试场景：26个不同复杂度的Agent任务
• 最佳配置：Ministral-3 8B Instruct Q8 + llama-server
• 整体得分：86.5%
• 最难级别：76%

这意味着一个8B参数的本地模型，在Forge的帮助下，可以接近更大模型的Agent能力。

SlotWorker：多Agent架构

Forge还提供了SlotWorker功能，支持多个Agent共享一个GPU推理槽位：

from forge import SlotWorker

# 创建优先级队列的Worker
worker = SlotWorker(
    priority_queue=True,
    auto_preemption=True,  # 自动抢占
)

# 多个专业Agent共享一个GPU
worker.add_task(agent1_task, priority=1)
worker.add_task(agent2_task, priority=2)

这对于资源有限但需要运行多个Agent的场景非常有用。

适用场景

• 本地开发环境：在自己的电脑上运行可靠的AI Agent
• 隐私敏感场景：不想把代码发送到云端
• 成本控制：避免API调用费用
• 离线工作：没有网络也能使用AI Agent
• 多Agent系统：需要多个Agent协作的场景

局限性

1. 需要本地GPU：运行8B模型需要至少8GB显存
2. 模型能力上限：Guardrails能提升可靠性，但不能超越模型本身的能力
3. 配置复杂：相比直接用API，自托管方案的配置更复杂

总结

Forge为本地运行AI Agent提供了一个可靠的解决方案。通过guardrails机制，它让小模型也能稳定地执行复杂的Agent任务。如果你有GPU资源，又想保持数据隐私和控制成本，Forge值得一试。

本文参考来源：Forge GitHub | Hacker News讨论