10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

3个开源AI基础设施工具:模型网关OmniRoute、密钥隔离OneCLI、预算控制llm-budget-cap

54分钟前 AI开源项目 0 0

最近 AI Agent 越来越火,但在项目中使用仍面临三个痛点:模型 API 各家格式不同、密钥不敢随便给 agent、调用费用一不小心就爆表。最近 GitHub 上冒出了三个开源基础设施工具,正好对应这三个问题。

图片 1

OmniRoute:一个端点接 500+ 模型

写代码离不开 Claude、GPT、DeepSeek、Kimi 换着用。每家 API 格式不同,Cursor 配一个、Claude Code 配一个,密钥散落各处。OmniRoute 是一个本地 AI 网关,安装后工具统一指向 http://localhost:20128/v1,它背后对接了 290 多家提供商、500 多个模型,Claude Code、Codex、Cursor、Cline 都能直接连。

最有用的是自动降级:先走 Claude Pro 订阅配额,用完自动切 API Key,再切便宜模型,最后走免费模型。不用手动改配置,代码不会突然断掉。

内置 RTK + Caveman 的 Token 压缩,官方称能省 15% 到 95% 的 Token。支持 MCP 和 A2A 协议,路由策略有 priority、round-robin、least-used、cost-optimized 等十几种。有 npm 包和 Docker 镜像,本地跑起来后打开 http://localhost:20128 即可查看仪表盘。MIT 协议,完全免费,密钥存在自己机器上。

图片 2

OneCLI:给 AI Agent 发"门禁卡"

之前 Meta 的 AI 安全负责人把邮箱权限给了 OpenClaw,结果 agent 批量删除了邮件。问题根源是密钥和权限没有隔离。

OneCLI 是一个开源凭证网关,放在 agent 和外部 API 中间。把真实密钥存进 OneCLI 加密仓库,给 agent 一个占位符密钥。agent 发请求时,OneCLI 在网络层自动替换为真密钥,agent 从头到尾看不到真实密钥。

图片 3

它还能做策略控制:哪些接口能调、哪些路径禁止、每个 agent 每分钟调用次数限制,甚至哪些操作需人工审批,都在网关层强制执行。规则不是写在 prompt 里靠 agent"自觉",而是代理层面直接拦截。

部署简单,一条 docker run 就起来,带 Web 管理面板。支持 Cursor、n8n、Dify、OpenHands 等主流工具。团队多 agent 运行时比写进环境变量安全得多,离职换密钥时改一处即可。

llm-budget-cap:防止 AI 账单失控

用 LLM API 最怕半夜死循环把额度烧光。自己写计数器,并发上来还有竞态条件。

llm-budget-cap 把 INCR 和 PEXPIRE 封进同一个 Redis Lua 脚本原子执行,从根本上避免竞态。用法简单:

const cap = new BudgetCap({
  redis,
  key: "gemini:daily",
  limit: 500,
});
const decision = await cap.checkAndIncrement();
if (!decision.allowed) {
  return res.status(429).json({ error: "Daily AI budget exhausted." });
}

图片 4

可按用户、租户、IP 分别设上限,窗口自定义。Redis 挂了默认放行或配置为故障关闭。零第三方依赖,MIT 协议。整个库就一个类、一个方法,代码短小好排查。作者已在生产环境使用三次,现抽成独立包。

这三个工具分别解决模型接入、密钥安全和费用控制,正好是把 AI Agent 放进生产环境绕不开的三个环节。开源、免费、能本地跑,值得先 Star 起来,遇到对应问题时再翻出来用。

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:3个开源AI基础设施工具:模型网关OmniRoute、密钥隔离OneCLI、预算控制llm-budget-cap
#AI工具 #开源 #OmniRoute #OneCLI #Agent安全 
收藏 1
OmniRoute:免费 AI 网关,聚合 250+ 服务商,每月 16 亿免费 Token
3个免费模型API推荐:Laguna S 2.1编程、Ling-3.0-flash工具调用、Qwen3-Embedding向量检索
推荐阅读
  • omp 开源发布:Hashline 技术让 AI 编程编辑成功率提升 10 倍,支持 40+ 模型
  • Ponytail:让 AI 写代码前先思考的开源项目,减少 54% 代码量
  • LazyCraft:本地化Agent平台的企业级选择,内置模型微调与细粒度权限控制
  • EasyVoice:告别付费会员!开源文本转语音方案,支持流式播放与多角色配音
  • BettaFish:多智能体舆情分析系统,从社媒监控到决策支持的完整链路
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
11129 10月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10239 9月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
8381 7月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8354 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7406 5月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
7360 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
7282 9月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
7186 10月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
6611 3月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
6603 6月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 3个开源AI基础设施工具:模型网关OmniRoute、密钥隔离OneCLI、预算控制llm-budget-cap
2 OmniRoute:免费 AI 网关,聚合 250+ 服务商,每月 16 亿免费 Token
3 DocQuality:开源 Word 文档智能审查平台,AI 质检+可视化分析
4 emilkowalski/skills:将 Apple 设计风格蒸馏为 AI 可执行的 Skill,14.4K Star
5 ai-goofish-monitor 源码解读:13.5K Star 的闲鱼监控工具,真正难的不是 AI
6 video-shotcraft:让 Agent 制作电影感产品视频的 Skill,106 张镜头配方卡
7 OpenWorker:吴恩达开源的本地优先 AI 员工,交付成品而非答案
8 no-ai-slop:去 AI 味写作 SKILL,3 天斩获 2.5K Star
9 daily_stock_analysis:AI 股票智能分析系统,每日自动分析推送到手机
10 i-have-adhd:让 AI 闭嘴少废话的 Claude Code 开源 Skill
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联