Forge：让8B本地模型Agent任务准确率从53%到99%的开源框架，自托管LLM的新选择

04312

在本地运行大模型做Agent任务时，你可能遇到过这样的问题：模型总是输出格式不对的工具调用、忘记执行某些步骤、或者在长对话中丢失上下文。Forge这个开源框架声称可以通过”guardrails”机制，把一个8B参数的本地模型从53%的任务准确率提升到99%。

Forge是什么

Forge是一个Python框架，专门为自托管LLM的工具调用和多步骤Agent工作流设计。它不是一个新模型，而是一个”可靠性层”，通过以下方式提升本地模型的Agent能力：

  • 救援解析：当模型输出格式错误时，自动尝试修复
  • 重试提示：当工具调用失败时，智能地引导模型重试
  • 步骤强制：确保Agent按要求完成所有必要步骤
  • 上下文管理：VRAM感知的预算管理和分层压缩

为什么需要Forge

本地运行的小模型（7B-8B参数）在Agent任务上面临几个挑战：

  1. 工具调用格式不稳定：经常输出错误的JSON格式
  2. 多步骤任务容易遗漏：在复杂任务中忘记执行某些步骤
  3. 上下文窗口有限：长对话中容易丢失关键信息
  4. 缺乏自我纠错：出错后不知道如何修正

Forge通过一系列guardrails机制来解决这些问题，让小模型也能可靠地执行Agent任务。

三种使用方式

方式1：WorkflowRunner（推荐）

定义工具、选择后端、运行结构化的Agent循环：

from forge import WorkflowRunner, Tool

# 定义工具
tools = [
    Tool(name="search", description="搜索文件", fn=search_fn),
    Tool(name="read", description="读取文件", fn=read_fn),
]

# 创建Runner
runner = WorkflowRunner(
    tools=tools,
    backend="ollama",  # 或 llama-server
    model="ministral-3b-instruct",
)

# 运行任务
result = runner.run("找到所有包含TODO注释的文件并列出它们")

方式2：Guardrails中间件

在你自己的Agent循环中使用Forge的可靠性栈：

from forge.middleware import GuardrailsMiddleware

# 在你的循环中添加guardrails
middleware = GuardrailsMiddleware(
    rescue_parsing=True,    # 自动修复格式错误
    retry_nudges=True,      # 智能重试
    step_enforcement=True,  # 步骤强制
)

# 处理模型响应
safe_response = middleware.process(raw_response, tools)

方式3：代理服务器

Forge提供一个OpenAI兼容的代理服务器，可以透明地添加guardrails：

# 启动代理服务器
python -m forge.proxy --port 8080

# 在你的客户端中配置
# 模型服务器: http://localhost:8080
# Forge会自动添加guardrails

这种方式的好处是：你不需要修改任何客户端代码（如OpenCode、Continue、aider等），Forge会在中间透明地处理。

支持的后端

  • Ollama：最简单的本地模型运行方式
  • llama-server：llama.cpp的服务器模式
  • llamafile：单文件可执行的模型
  • 任何OpenAI兼容的API

性能表现

根据Forge的官方基准测试：

  • 测试场景：26个不同复杂度的Agent任务
  • 最佳配置：Ministral-3 8B Instruct Q8 + llama-server
  • 整体得分：86.5%
  • 最难级别：76%

这意味着一个8B参数的本地模型，在Forge的帮助下，可以接近更大模型的Agent能力。

SlotWorker：多Agent架构

Forge还提供了SlotWorker功能，支持多个Agent共享一个GPU推理槽位：

from forge import SlotWorker

# 创建优先级队列的Worker
worker = SlotWorker(
    priority_queue=True,
    auto_preemption=True,  # 自动抢占
)

# 多个专业Agent共享一个GPU
worker.add_task(agent1_task, priority=1)
worker.add_task(agent2_task, priority=2)

这对于资源有限但需要运行多个Agent的场景非常有用。

适用场景

  • 本地开发环境：在自己的电脑上运行可靠的AI Agent
  • 隐私敏感场景：不想把代码发送到云端
  • 成本控制：避免API调用费用
  • 离线工作：没有网络也能使用AI Agent
  • 多Agent系统：需要多个Agent协作的场景

局限性

  1. 需要本地GPU：运行8B模型需要至少8GB显存
  2. 模型能力上限：Guardrails能提升可靠性，但不能超越模型本身的能力
  3. 配置复杂：相比直接用API，自托管方案的配置更复杂

总结

Forge为本地运行AI Agent提供了一个可靠的解决方案。通过guardrails机制，它让小模型也能稳定地执行复杂的Agent任务。如果你有GPU资源，又想保持数据隐私和控制成本，Forge值得一试。

本文参考来源：Forge GitHub | Hacker News讨论

© 版权声明
文章版权声明 1、本网站名称：枫选
2、本站永久网址：https://feng.cx
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END
开源项目
喜欢就支持一下吧
点赞12 分享
迪滴的头像-枫选
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)-枫选
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)
1年前 623
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决-枫选
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决
1年前 430
温子仁导演电影作品合集（13部）-枫选
温子仁导演电影作品合集（13部）
温子仁导演电影作品合集（13部）
1年前 346
外贸独立站ab轮询收款系统-枫选
外贸独立站ab轮询收款系统
外贸独立站ab轮询收款系统
2年前 306
WoodMart 8.0.6 Responsive WordPress Theme-枫选
WoodMart 8.0.6 Responsive WordPress Theme
WoodMart 8.0.6 Responsive WordPress Theme
2年前 305
WP Rocket (v3.18) Caching Plugin for WordPress-枫选
WP Rocket (v3.18) Caching Plugin for WordPress
WP Rocket (v3.18) Caching Plugin for WordPress
2年前 299
相关推荐
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构-枫选
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构
7天前 51
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队-枫选
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队
13天前 51
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%-枫选
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%
12天前 51
<p>GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应用领域的标杆项目。这个基于大语言模型的多Agent金融交易框架，让”AI炒股”从概念走向了可实验的开源工具。</p> <h2>项目简介</h2> <p>TradingAgents是一个开源的多Agent金融交易分析框架，核心思路是让多个AI Agent各司其职，协同完成金融市场的分析和交易决策。项目地址：<a href=GitHub – TauricResearch/TradingAgents

架构设计

TradingAgents的设计借鉴了真实金融交易团队的分工模式，将不同职责分配给不同的Agent：

  • 分析师Agent：负责分析市场数据、财报、新闻等信息，产出分析报告。
  • 研究员Agent：深入研究特定行业或公司，提供基本面分析。
  • 交易员Agent：根据分析结果制定交易策略和执行计划。
  • 风控Agent：评估交易风险，设置止损和仓位控制。
  • 决策Agent：综合各方意见，做出最终交易决策。

这种多Agent协作的模式，模拟了真实对冲基金的决策流程。每个Agent可以使用不同的LLM模型，甚至可以使用同一模型的不同温度参数来产生多样化的观点。

使用场景

学术研究

TradingAgents是研究多Agent系统在金融领域应用的优秀平台。研究人员可以修改Agent的提示词、调整协作机制、测试不同的决策算法。

策略回测

框架支持接入历史市场数据，可以用来回测AI交易策略的表现。这对于量化交易团队评估AI辅助决策的价值很有帮助。

学习和教育

对于想了解AI在金融领域应用的开发者，TradingAgents是一个很好的学习项目。代码结构清晰，文档完善，适合上手研究。

安装和运行

# 克隆项目
git clone https://github.com/TauricResearch/TradingAgents.git
cd TradingAgents

# 安装依赖
pip install -r requirements.txt

# 配置API密钥
cp .env.example .env
# 编辑 .env 文件，填入 OpenAI API key

重要风险提示

⚠️ 以下几点需要特别注意：

  • 不要用真金白银：TradingAgents是一个研究和实验框架，不是成熟的交易系统。绝对不要用它来做实盘交易。
  • AI不是万能的：金融市场受到无数因素影响，AI模型无法预测黑天鹅事件、政策变化、市场情绪等非理性因素。
  • 回测不等于实盘：在历史数据上表现好的策略，在真实交易中可能完全失败（过拟合问题）。
  • 合规风险：在某些司法管辖区，使用AI进行自动化交易可能受到监管限制。

同类项目参考

如果你对AI+金融感兴趣，还可以关注以下项目：

  • FinRL：深度强化学习金融交易框架
  • Qlib：微软开源的量化投资平台
  • GPT-Financial-Analyst：基于GPT的财务分析工具

来源：

-枫选">

GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应用领域的标杆项目。这个基于大语言模型的多Agent金融交易框架，让”AI炒股”从概念走向了可实验的开源工具。

项目简介

TradingAgents是一个开源的多Agent金融交易分析框架，核心思路是让多个AI Agent各司其职，协同完成金融市场的分析和交易决策。项目地址：GitHub – TauricResearch/TradingAgents

架构设计

TradingAgents的设计借鉴了真实金融交易团队的分工模式，将不同职责分配给不同的Agent：

  • 分析师Agent：负责分析市场数据、财报、新闻等信息，产出分析报告。
  • 研究员Agent：深入研究特定行业或公司，提供基本面分析。
  • 交易员Agent：根据分析结果制定交易策略和执行计划。
  • 风控Agent：评估交易风险，设置止损和仓位控制。
  • 决策Agent：综合各方意见，做出最终交易决策。

这种多Agent协作的模式，模拟了真实对冲基金的决策流程。每个Agent可以使用不同的LLM模型，甚至可以使用同一模型的不同温度参数来产生多样化的观点。

使用场景

学术研究

TradingAgents是研究多Agent系统在金融领域应用的优秀平台。研究人员可以修改Agent的提示词、调整协作机制、测试不同的决策算法。

策略回测

框架支持接入历史市场数据，可以用来回测AI交易策略的表现。这对于量化交易团队评估AI辅助决策的价值很有帮助。

学习和教育

对于想了解AI在金融领域应用的开发者，TradingAgents是一个很好的学习项目。代码结构清晰，文档完善，适合上手研究。

安装和运行

# 克隆项目
git clone https://github.com/TauricResearch/TradingAgents.git
cd TradingAgents

# 安装依赖
pip install -r requirements.txt

# 配置API密钥
cp .env.example .env
# 编辑 .env 文件，填入 OpenAI API key

重要风险提示

⚠️ 以下几点需要特别注意：

  • 不要用真金白银：TradingAgents是一个研究和实验框架，不是成熟的交易系统。绝对不要用它来做实盘交易。
  • AI不是万能的：金融市场受到无数因素影响，AI模型无法预测黑天鹅事件、政策变化、市场情绪等非理性因素。
  • 回测不等于实盘：在历史数据上表现好的策略，在真实交易中可能完全失败（过拟合问题）。
  • 合规风险：在某些司法管辖区，使用AI进行自动化交易可能受到监管限制。

同类项目参考

如果你对AI+金融感兴趣，还可以关注以下项目：

  • FinRL：深度强化学习金融交易框架
  • Qlib：微软开源的量化投资平台
  • GPT-Financial-Analyst：基于GPT的财务分析工具

来源：

GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应...

11天前 50
<p>DocuSign是全球最知名的电子签名服务，但其定价对中小站长和创业团队来说并不友好。DocuSeal是一个开源免费的电子签名平台，GitHub上已获得16000+星标，支持自部署，可以作为DocuSign的替代方案。</p> <h2>项目简介</h2> <p>DocuSeal是一个功能完整的电子签名解决方案，支持创建、发送和签署PDF文档。项目使用Ruby on Rails开发，提供直观的Web界面，适合需要在自己的服务器上部署电子签名服务的团队。</p> <p>项目地址：<a href=GitHub – docusealco/docuseal

核心功能

  • 文档模板：上传PDF文档，通过拖拽方式添加签名框、日期框、文本框等表单字段。
  • 多方签署：支持多个签署人按顺序或并行签署同一文档。
  • 邮件通知：自动发送签署邀请和完成通知邮件。
  • API接口：提供REST API，可以集成到现有应用中。
  • Webhook：签署完成后通过Webhook通知你的系统。
  • 审计日志：记录完整的签署过程，包括IP地址、时间戳等。
  • 多语言：支持中文在内的多种语言界面。

Docker部署教程

DocuSeal推荐使用Docker部署，步骤如下：

1. 创建docker-compose.yml

version: "3"
services:
  docuseal:
    image: docuseal/docuseal:latest
    ports:
      - "3000:3000"
    volumes:
      - docuseal-data:/data
    environment:
      - DATABASE_URL=sqlite3:/data/docuseal.sqlite3
      - RAILS_ENV=production
      - SECRET_KEY_BASE=your-random-secret-key-here

volumes:
  docuseal-data:

2. 启动服务

docker-compose up -d

3. 访问初始化

打开浏览器访问 http://your-server:3000，按照向导创建管理员账户。

4. 配置邮件（可选）

在环境变量中添加SMTP配置：

SMTP_ADDRESS=smtp.example.com
SMTP_PORT=587
SMTP_USERNAME=your-email@example.com
SMTP_PASSWORD=your-password
SMTP_DOMAIN=example.com

与DocuSign对比

特性DocuSeal（自部署）DocuSign（SaaS）
价格免费开源$10-60/月/用户
数据控制完全在自己服务器存储在DocuSign云端
自定义可完全自定义受限于平台功能
法律效力取决于当地法律全球认可
合规认证需要自行确保SOC 2、ISO 27001等
维护成本需要自行运维平台托管

适合谁使用

  • 中小团队：需要内部合同签署，但不想为每个用户付费。
  • 数据敏感行业：不想将签署文档存储在第三方云端。
  • 定制化需求：需要将签署功能集成到自己的业务系统中。
  • 学习和研究：想了解电子签名系统的技术实现。

注意事项

  • 电子签名的法律效力因国家和地区而异，重要合同建议咨询法律专业人士。
  • 自部署需要自行负责服务器安全、数据备份和SSL证书配置。
  • 对于需要全球法律认可的签署场景，DocuSign等成熟SaaS仍然是更稳妥的选择。

来源：

-枫选">

DocuSign是全球最知名的电子签名服务，但其定价对中小站长和创业团队来说并不友好。DocuSeal是一个开源免费的电子签名平台，GitHub上已获得16000+星标，支持自部署，可以作为DocuSign的替代方案。

项目简介

DocuSeal是一个功能完整的电子签名解决方案，支持创建、发送和签署PDF文档。项目使用Ruby on Rails开发，提供直观的Web界面，适合需要在自己的服务器上部署电子签名服务的团队。

项目地址：GitHub – docusealco/docuseal

核心功能

  • 文档模板：上传PDF文档，通过拖拽方式添加签名框、日期框、文本框等表单字段。
  • 多方签署：支持多个签署人按顺序或并行签署同一文档。
  • 邮件通知：自动发送签署邀请和完成通知邮件。
  • API接口：提供REST API，可以集成到现有应用中。
  • Webhook：签署完成后通过Webhook通知你的系统。
  • 审计日志：记录完整的签署过程，包括IP地址、时间戳等。
  • 多语言：支持中文在内的多种语言界面。

Docker部署教程

DocuSeal推荐使用Docker部署，步骤如下：

1. 创建docker-compose.yml

version: "3"
services:
  docuseal:
    image: docuseal/docuseal:latest
    ports:
      - "3000:3000"
    volumes:
      - docuseal-data:/data
    environment:
      - DATABASE_URL=sqlite3:/data/docuseal.sqlite3
      - RAILS_ENV=production
      - SECRET_KEY_BASE=your-random-secret-key-here

volumes:
  docuseal-data:

2. 启动服务

docker-compose up -d

3. 访问初始化

打开浏览器访问 http://your-server:3000，按照向导创建管理员账户。

4. 配置邮件（可选）

在环境变量中添加SMTP配置：

SMTP_ADDRESS=smtp.example.com
SMTP_PORT=587
SMTP_USERNAME=your-email@example.com
SMTP_PASSWORD=your-password
SMTP_DOMAIN=example.com

与DocuSign对比

特性DocuSeal（自部署）DocuSign（SaaS）
价格免费开源$10-60/月/用户
数据控制完全在自己服务器存储在DocuSign云端
自定义可完全自定义受限于平台功能
法律效力取决于当地法律全球认可
合规认证需要自行确保SOC 2、ISO 27001等
维护成本需要自行运维平台托管

适合谁使用

  • 中小团队：需要内部合同签署，但不想为每个用户付费。
  • 数据敏感行业：不想将签署文档存储在第三方云端。
  • 定制化需求：需要将签署功能集成到自己的业务系统中。
  • 学习和研究：想了解电子签名系统的技术实现。

注意事项

  • 电子签名的法律效力因国家和地区而异，重要合同建议咨询法律专业人士。
  • 自部署需要自行负责服务器安全、数据备份和SSL证书配置。
  • 对于需要全球法律认可的签署场景，DocuSign等成熟SaaS仍然是更稳妥的选择。

来源：

DocuSign是全球最知名的电子签名服务，但其定价对中小站长和创业团队来说并不友好。DocuSeal...

11天前 50
花 600 美元写个软件免费送：一个独立开发者的开源经历分享-枫选
花 600 美元写个软件免费送：一个独立开发者的开源经历分享
花 600 美元写个软件免费送：一个独立开发者的开源经历分享
13天前 50
评论 抢沙发

请登录后发表评论

    暂无评论内容