10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

开源项目「肉包」:用视觉推理实现安卓端AI自动化助手

4月前 AI开源项目 1278 0

豆包AI手机绝版的消息出来后,我在开源社区发现了一个有趣的项目——肉包(roubao)。

这是一个基于Android平台的开源AI自动化助手,采用了截图-分析-执行的视觉推理闭环设计。

虽然它的定位与豆包手机差异很大,但作为免费开源方案,它在功能边界和实现路径上提供了值得关注的思路。

项目介绍与核心设计

基本定位

肉包是一个第三方AI手机自动化工具,本质上是基于大模型的视觉理解系统。

它不依赖系统底层权限,而是通过连续的屏幕观察和决策迭代来完成任务。需要强调的是,这不是系统级ROM改造,而是应用层的自动化解决方案。

核心功能

肉包支持两种任务执行模式:

执行模式 工作方式 适用场景
Delegation(委托) 通过DeepLink唤起本地AI应用(小美、豆包、即梦等),将任务委托给这些应用处理 外卖点餐、信息查询等高置信度、标准化任务
GUI自动化 截图→OCR分析→执行操作→再截图的视觉推理闭环 无高置信度应用时的通用自动化,如app内搜索、内容导航

系统会根据任务类型自动选择执行模式。当匹配到已适配的应用时优先使用委托模式(效率更高),否则降级到视觉推理模式(泛用性更强)。

技术实现特点

  • 无需系统权限:基于应用层能力实现,无需Root或ROM修改
  • 集成Shizuku:通过Shizuku框架获取必要的高级控制权(如无障碍服务授权),避免更深层的系统入侵
  • 模型灵活:支持多种大模型API接入(OpenAI、本地部署模型等)
  • 视觉推理驱动:用屏幕截图作为上下文输入,让模型理解当前状态和执行操作

应用场景与限制

适合的场景

  • 在旧机或备用机上进行自动化测试和玩法体验
  • 处理非关键、非时间敏感的重复性操作(如批量收集信息、自动填表)
  • 与已支持AI能力的应用组合使用(通过委托模式),提升处理效率
  • 作为开发者了解AI决策循环的实践案例

当前限制

  • 执行速度较慢:单个任务通常需要10-20分钟以上,主要受限于模型推理延迟和截图-分析循环的轮次
  • 精度不稳定:视觉理解依然容易遇到UI识别误差,复杂多步操作易出错
  • 非生产级工具:目前定位为实验性工具,不适合替代关键性的手工操作
  • 依赖网络:每次分析都需调用大模型API,不支持完全离线使用

安装部署指南

环境准备

需要两个APP:

肉包应用:从GitHub下载APK

Shizuku:权限管理框架,用于获取无障碍服务权限(无需Root)

 

大模型API密钥:OpenAI或其他支持的API服务

安装步骤

第一步:启用调试模式

进入手机 设置 → 开发者选项

打开"无线调试"(推荐)或"USB调试"

第二步:启动Shizuku

无线调试方案(推荐):在Shizuku应用内选择"无线调试"启动,一步完成

USB调试方案:连接电脑,打开命令行执行:

adb shell sh /storage/emulated/0/Android/data/moe.shizuku.privileged.api/start.sh

确认Shizuku应用显示"正在运行"状态

第三步:配置肉包

  • 安装肉包APK,打开应用
  • 授予悬浮窗权限和无障碍服务权限
  • 在设置中输入大模型API密钥和模型选择
  • 创建或导入自动化任务,开始使用

配置说明

  • 支持的大模型:OpenAI API、本地开源模型(通过兼容API)等
  • 任务定义:可用自然语言描述,系统自动规划执行步骤
  • 权限最小化:仅需要屏幕录制和无障碍服务权限

与同类方案对比

方案 实现层级 权限获取 执行速度 可用性 开源/商业
肉包 应用层 无障碍服务 10-20分钟/任务 实验级 开源免费
豆包AI手机 ROM/系统服务 厂商级底层权限 秒级 商用成熟 商业产品
Tasker + ML Kit 应用层 无障碍服务 秒级-分钟级 生产级 商业应用
UIAutomator 系统框架 Root 秒级 生产级 开源

差异化定位:肉包的优势在于零Root、AI原生决策,缺点是速度和精度。它更接近"AI辅助的自动化"而非"工业级RPA工具"。

相关开源项目推荐

如果你对这类自动化工具感兴趣,可以关注:

  • Shizuku:权限框架,肉包的依赖组件
  • UIAutomator2(uiautomator2):Python封装的UI自动化库,可用于PC端驱动安卓设备
  • OpenClaw:另一个视觉推理驱动的多模态自动化框架
  • AutoX.js:安卓上的JavaScript自动化框架,需要无障碍服务

总体评价

肉包是目前安卓生态中最直接的开源AI自动化实验品。它的核心价值不在于替代豆包手机,而在于证明了视觉推理驱动的自动化在移动端的可行性。虽然现在的执行速度确实像"赛博树懒",但这更多是当前大模型推理延迟和网络往返造成的。

从产品经理的角度看,肉包的双模式设计(委托+GUI自动化)是聪明的折中方案——它承认系统级权限的局限,转而优化应用级的实现效率。这个思路对其他开发者有启发意义。

如果你有闲置的旧安卓设备,装上肉包来体验一下AI自动化的概念是值得的。但如果你真正需要生产级的自动化工具,还是要结合Tasker这类成熟方案或考虑PC端的RPA框架。肉包的位置是"学习者的玩具"和"开发者的参考实现",而不是"生产力工具"——至少现在还不是。

开源地址

肉包:https://github.com/Turbo1123/roubao

Shizuku:https://github.com/RikkaApps/Shizuku

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:开源项目「肉包」:用视觉推理实现安卓端AI自动化助手
#肉包 #Shizuku #豆包AI手机 
收藏 1
GPT-5.4 和 GPT-5.4 Pro 发布了,Token半价碾压Opus!
Eve Travel Co:AI 驱动的旅行规划工具,基于你的偏好与预算在几分钟内生成可执行的个性化行程
推荐阅读
  • planning-with-files:超越对话限制,用一个插件(Skill)赋予Claude持久记忆的上下文工程方案
  • SoulX-Podcast:支持多人对话的方言tts,支持语音克隆,可现实长篇播客,文末一键包
  • pi-mono 详解:4 万 Star 的 AI Agent 底层框架,OpenClaw 为什么选它?
  • Nexu:将 AI Agent 接入即时通讯的开源桌面客户端
  • Agent-Browser:为 AI Agents 优化的浏览器自动化CLI方案,减少 93% 上下文,强!
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
10932 10月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10158 9月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8228 6月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
8169 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7276 5月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
7211 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
7176 9月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
7056 10月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
6450 5月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
6312 3月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 ai-agent-book:12K Star 的开源 AI Agent 全书,从原理到工程实践
2 Transitions.dev:27 个开箱即用的 UI 交互动效库,支持 Claude Skills
3 Lapian-Notes:开源 AI 电影拉片工具,剧情时间轴+情绪曲线一键生成
4 OmniRoute:21K Star 的开源 AI 网关,一个端点连接 237 个 AI 提供商
5 Claude HUD:Claude Code 终端状态栏插件,实时监控上下文与Token用量
6 SenseNova Infographic-V3:商汤开源信息图增强模型,支持局部编辑与全局风格迁移
7 Grok Build 被迫开源:84万行Rust代码公开,xAI终端编码智能体全解析
8 Codex Dream Skin:开源换肤工具让 Codex 桌面端颜值翻倍
9 SmartTable:开源私有化多维表格,本地离线+团队协作双模式
10 emilkowalski/skills:开源 Apple 设计风格 Skill,让 AI 生成的界面拥有原生手感
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联