Needle：2600万参数的轻量模型，却有Gemini级别的工具调用能力

04211

项目简介

Needle 是 Cactus Compute 推出的一个只有2600万参数的轻量级AI模型，却具备了通常只有大模型才有的Gemini工具调用（Tool Calling）能力。这个模型可以在手机、智能手表、智能眼镜等消费级设备上运行，推理速度达到每秒6000个token（预填充）和每秒1200个token（解码）。

项目地址：github.com/cactus-compute/needle

为什么值得关注

在AI模型动辄数十亿参数的今天，一个2600万参数的模型能做什么？答案是：工具调用。

Needle在单次函数调用（single-shot function calling）基准测试中，击败了多个更大的模型：

  • FunctionGemma-270M（270M参数）
  • Qwen-0.6B（600M参数）
  • Granite-350M（350M参数）
  • LFM2.5-350M（350M参数）

这意味着，即使在资源极其有限的设备上，也可以实现AI代理（Agent）的核心能力——根据用户指令调用外部工具。

技术架构

  • 架构：Simple Attention Network，d=512，8头/4 KV
  • 词表：BPE = 8192词汇量
  • 结构：12层编码器 + 8层解码器，带交叉注意力
  • 预训练：16个TPU v6e，处理2000亿token，耗时27小时
  • 后训练：20亿token的单次函数调用数据集，耗时45分钟
  • 特殊技术：ZCRMSNorm、GQA+RoPE、门控残差、编码器中无FFN、绑定嵌入

快速上手

1. 克隆仓库

git clone https://github.com/cactus-compute/needle.git
cd needle

2. 初始化环境

source ./setup

3. 启动Web Playground

needle playground

启动后访问 http://localhost:7860，可以通过Web界面测试工具调用功能，也可以在Mac/PC上本地微调模型。

适用场景

  • 手机上的AI助手——在本地运行，无需联网，保护隐私
  • IoT设备——智能手表、眼镜等资源受限设备上的AI交互
  • 边缘计算——在边缘网关上实现智能工具调用
  • 开发测试——快速原型验证Agent工具调用逻辑，无需昂贵的API调用
  • 教育——学习如何构建支持工具调用的小型AI模型

注意事项

  • 模型权重完全开放，在HuggingFace上可下载（Cactus-Compute/needle）
  • 数据集生成代码也已开源，可以复现训练过程
  • 这是一个”实验性”项目，验证Simple Attention Networks架构的可行性
  • 在需要复杂推理或多轮对话的场景下，仍然需要更大的模型

简评

Needle的价值不在于它能替代GPT-4或Gemini，而在于它证明了一个事实：工具调用能力可以在极小的模型上实现。这对于边缘AI、隐私优先的本地AI应用、以及IoT设备上的智能交互来说，是一个重要的技术方向。如果你对在端侧设备上运行AI感兴趣，这个项目值得深入研究。

来源：GitHub仓库 | Hacker News讨论

© 版权声明
文章版权声明 1、本网站名称：枫选
2、本站永久网址：https://feng.cx
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。

THE END
开源项目
喜欢就支持一下吧
点赞11 分享
迪滴的头像-枫选
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)-枫选
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)
西德尼·斯维尼主演惊悚剧情电影偷窥者 (2021)
1年前 606
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决-枫选
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决
在CF托管域名？无法关闭的CloudFlare拉平机制如何解决
1年前 429
温子仁导演电影作品合集（13部）-枫选
温子仁导演电影作品合集（13部）
温子仁导演电影作品合集（13部）
1年前 344
WoodMart 8.0.6 Responsive WordPress Theme-枫选
WoodMart 8.0.6 Responsive WordPress Theme
WoodMart 8.0.6 Responsive WordPress Theme
2年前 305
外贸独立站ab轮询收款系统-枫选
外贸独立站ab轮询收款系统
外贸独立站ab轮询收款系统
2年前 301
WP Rocket (v3.18) Caching Plugin for WordPress-枫选
WP Rocket (v3.18) Caching Plugin for WordPress
WP Rocket (v3.18) Caching Plugin for WordPress
2年前 299
相关推荐
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队-枫选
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队
Ouroboros 把 AI 开发需求写成规格，适合想少写提示词的团队
7天前 51
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构-枫选
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构
LynxDB：纯 Rust 实现的高性能键值存储引擎，自研 LSM-Tree 架构
7小时前 50
<p>GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应用领域的标杆项目。这个基于大语言模型的多Agent金融交易框架，让”AI炒股”从概念走向了可实验的开源工具。</p> <h2>项目简介</h2> <p>TradingAgents是一个开源的多Agent金融交易分析框架，核心思路是让多个AI Agent各司其职，协同完成金融市场的分析和交易决策。项目地址：<a href=GitHub – TauricResearch/TradingAgents

架构设计

TradingAgents的设计借鉴了真实金融交易团队的分工模式，将不同职责分配给不同的Agent：

  • 分析师Agent：负责分析市场数据、财报、新闻等信息，产出分析报告。
  • 研究员Agent：深入研究特定行业或公司，提供基本面分析。
  • 交易员Agent：根据分析结果制定交易策略和执行计划。
  • 风控Agent：评估交易风险，设置止损和仓位控制。
  • 决策Agent：综合各方意见，做出最终交易决策。

这种多Agent协作的模式，模拟了真实对冲基金的决策流程。每个Agent可以使用不同的LLM模型，甚至可以使用同一模型的不同温度参数来产生多样化的观点。

使用场景

学术研究

TradingAgents是研究多Agent系统在金融领域应用的优秀平台。研究人员可以修改Agent的提示词、调整协作机制、测试不同的决策算法。

策略回测

框架支持接入历史市场数据，可以用来回测AI交易策略的表现。这对于量化交易团队评估AI辅助决策的价值很有帮助。

学习和教育

对于想了解AI在金融领域应用的开发者，TradingAgents是一个很好的学习项目。代码结构清晰，文档完善，适合上手研究。

安装和运行

# 克隆项目
git clone https://github.com/TauricResearch/TradingAgents.git
cd TradingAgents

# 安装依赖
pip install -r requirements.txt

# 配置API密钥
cp .env.example .env
# 编辑 .env 文件，填入 OpenAI API key

重要风险提示

⚠️ 以下几点需要特别注意：

  • 不要用真金白银：TradingAgents是一个研究和实验框架，不是成熟的交易系统。绝对不要用它来做实盘交易。
  • AI不是万能的：金融市场受到无数因素影响，AI模型无法预测黑天鹅事件、政策变化、市场情绪等非理性因素。
  • 回测不等于实盘：在历史数据上表现好的策略，在真实交易中可能完全失败（过拟合问题）。
  • 合规风险：在某些司法管辖区，使用AI进行自动化交易可能受到监管限制。

同类项目参考

如果你对AI+金融感兴趣，还可以关注以下项目：

  • FinRL：深度强化学习金融交易框架
  • Qlib：微软开源的量化投资平台
  • GPT-Financial-Analyst：基于GPT的财务分析工具

来源：

-枫选">

GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应用领域的标杆项目。这个基于大语言模型的多Agent金融交易框架，让”AI炒股”从概念走向了可实验的开源工具。

项目简介

TradingAgents是一个开源的多Agent金融交易分析框架，核心思路是让多个AI Agent各司其职，协同完成金融市场的分析和交易决策。项目地址：GitHub – TauricResearch/TradingAgents

架构设计

TradingAgents的设计借鉴了真实金融交易团队的分工模式，将不同职责分配给不同的Agent：

  • 分析师Agent：负责分析市场数据、财报、新闻等信息，产出分析报告。
  • 研究员Agent：深入研究特定行业或公司，提供基本面分析。
  • 交易员Agent：根据分析结果制定交易策略和执行计划。
  • 风控Agent：评估交易风险，设置止损和仓位控制。
  • 决策Agent：综合各方意见，做出最终交易决策。

这种多Agent协作的模式，模拟了真实对冲基金的决策流程。每个Agent可以使用不同的LLM模型，甚至可以使用同一模型的不同温度参数来产生多样化的观点。

使用场景

学术研究

TradingAgents是研究多Agent系统在金融领域应用的优秀平台。研究人员可以修改Agent的提示词、调整协作机制、测试不同的决策算法。

策略回测

框架支持接入历史市场数据，可以用来回测AI交易策略的表现。这对于量化交易团队评估AI辅助决策的价值很有帮助。

学习和教育

对于想了解AI在金融领域应用的开发者，TradingAgents是一个很好的学习项目。代码结构清晰，文档完善，适合上手研究。

安装和运行

# 克隆项目
git clone https://github.com/TauricResearch/TradingAgents.git
cd TradingAgents

# 安装依赖
pip install -r requirements.txt

# 配置API密钥
cp .env.example .env
# 编辑 .env 文件，填入 OpenAI API key

重要风险提示

⚠️ 以下几点需要特别注意：

  • 不要用真金白银：TradingAgents是一个研究和实验框架，不是成熟的交易系统。绝对不要用它来做实盘交易。
  • AI不是万能的：金融市场受到无数因素影响，AI模型无法预测黑天鹅事件、政策变化、市场情绪等非理性因素。
  • 回测不等于实盘：在历史数据上表现好的策略，在真实交易中可能完全失败（过拟合问题）。
  • 合规风险：在某些司法管辖区，使用AI进行自动化交易可能受到监管限制。

同类项目参考

如果你对AI+金融感兴趣，还可以关注以下项目：

  • FinRL：深度强化学习金融交易框架
  • Qlib：微软开源的量化投资平台
  • GPT-Financial-Analyst：基于GPT的财务分析工具

来源：

GitHub本周最火的项目之一，TradingAgents在短短时间内获得了超过7万星标，成为多Agent AI应...

4天前 50
花 600 美元写个软件免费送：一个独立开发者的开源经历分享-枫选
花 600 美元写个软件免费送：一个独立开发者的开源经历分享
花 600 美元写个软件免费送：一个独立开发者的开源经历分享
6天前 50
Airbyte Agents：让AI Agent跨多个数据源搜索的开源工具-枫选
Airbyte Agents：让AI Agent跨多个数据源搜索的开源工具
Airbyte Agents：让AI Agent跨多个数据源搜索的开源工具
前天 50
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%-枫选
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%
local-deep-research：支持本地LLM的AI深度研究工具，SimpleQA准确率达95%
5天前 50
评论 抢沙发

请登录后发表评论

    暂无评论内容