10+年产品经理聊聊产品、测测产品,产品人交流学习成长平台,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI产品百科

AiPy:把Agent能力从远程控电脑到控制手机

12小时前 AI产品百科 46 0

作为常年跟踪和试用各类AI Agent框架的产品经理,我这两周做了一个更贴近现实使用的实验:把“会写代码并执行”的能力延伸到手机上。

直观结论是,PC 侧的 Agent(例如近来讨论度较高的 OpenClaw)在流程编排、浏览器和办公自动化方面成熟度不错,但它主要围绕电脑工作负载设计;

而 AiPy 这类“LLM→Python→系统/设备”的路径,把控制范围直接扩展到了实体设备,尤其是 Android 手机。对很多移动端场景而言,这种路径更接近“可落地”。

两个思路:OpenClaw 与 AiPy 的基本定位

OpenClaw(PC中心的分布式Agent框架)

  • 功能范围:通过消息入口连接大模型,注册工具与技能(如浏览器、表格、脚本),在分布式系统内协作执行任务。适合浏览器自动化、Excel/文档处理、网页收集与汇总等PC办公类任务。
  • 技术特征:网关+工具/技能注册+消息路由+分布式执行,强调流程编排与多节点协作。
  • 使用门槛:需要部署服务、注册工具、配置模型与消息渠道,有一定工程配置成本。
  • 适合人群/场景:团队协作的PC工作流自动化、对稳定流程与可审计性要求较高的业务。

AiPy(“Python-Use”路径把AI直接接到设备)

  • 功能范围:核心开源项目(aipyapp)负责让模型生成Python代码并在本地/受控环境直接执行;结合扩展组件(如 AiPy Pro 客户端),Python 脚本可以驱动ADB、Selenium、打印机接口、文件系统等,从而控制Android手机、浏览器乃至其他可被Python触达的设备。
  • 技术特征:以Python生态为能力底座,LLM 负责“生成代码→执行→校验→修复”的闭环;靠成熟库覆盖设备控制、爬虫、办公自动化、图像处理等常见能力。
  • 使用门槛:本地Python环境必须稳定;理解ADB/无障碍/驱动等设备相关知识会显著降低踩坑率。相对不需要搭复杂分布式系统。
  • 适合人群/场景:懂一点Python的个人或小团队,目标是把智能体快速接到真实设备(尤其Android手机)或现有脚本生态。
维度 OpenClaw AiPy
核心路线 网关+工具/技能注册+分布式协作 LLM写Python→本地执行→调用系统/设备接口
覆盖对象 PC任务为主(浏览器、表格、脚本) 可触达Python生态的一切(含Android手机通过ADB)
部署复杂度 偏工程化,需要服务与工具注册 本地Python环境+可选客户端,起步更轻
安全边界 工具白名单、流程较可控 执行任意Python需额外沙箱/权限管理
适合人群 关注流程稳定、团队协作与审计的企业/团队 需要快速把Agent接到设备/硬件的开发者与高阶用户

AiPy 的组件与安装要点

开源执行引擎:aipyapp

  • 获取与安装:来自开源仓库(用户提供的参考链接为 GitHub: knownsec/aipyapp),本地可通过 pip 安装(示例:pip install aipyapp)。
  • 职责边界:将自然语言需求转译为Python脚本,调用本机/局域网可用的库或接口执行,并做结果校验与必要的自修复。
  • 可扩展性:与任意Python库组合(ADB、Selenium、Pillow、pandas、requests 等),能力上限由Python生态决定。

手机控制扩展:AiPy Pro 客户端(Android)

  • 获得方式:从官网下载安装(用户提供参考地址:www.aipyaipy.com)。
  • 必要配置:Android 开发者选项→打开 USB 调试;安装客户端后从“智能体集市”安装“安卓手机控制”智能体。
  • 可用能力(依赖ADB/无障碍等):查询设备状态、拨打电话、收发短信、截屏/录屏、应用安装与卸载、指定App内的点击/滑动与文本输入、文件上传下载等。
  • 安全提示:只在测试/次要设备启用开发者选项;ADB over Wi‑Fi 仅在可信网络使用;为Python执行环境设置系统级权限隔离/沙箱。

说明:上述链接与获取方式为用户提供的参考信息,具体版本、兼容性与许可请以官方仓库与官网公示为准。

上手体验:四个可复现实验

1)自动刷短视频(抖音)

 

需求描述:打开抖音,每5秒滑动一条视频。

过程要点:LLM 先列步骤计划,生成Python脚本,调用ADB完成App启动与滑动;遇到选择器或坐标计算错误时可自修脚本重试。

主观观感:首次下发到开始滑动的总延迟在一个“可接受”的区间(受模型响应和设备连接影响),后续滑动按节拍执行。

价值点:验证了“生成代码→执行→结果校验→修复”的闭环在移动端UI自动化中的可行性。

2)自动打电话/短信

  • 需求描述:拨打 10086,随后发送与读取短信。
  • 过程要点:通过ADB或系统Intent触发拨号,短信读写走Android对应接口;全流程由脚本驱动。
  • 稳定性观察:在信号与权限正常的情况下基本可复现;不同机型的权限弹窗与ROM差异会影响成功率。

3)应用管理(安装/卸载)

  • 需求描述:卸载指定App并验证状态。
  • 过程要点:采用包管理相关命令;如需静默安装/卸载,需结合设备与系统版本权限策略。
  • 风险提示:务必在测试机验证包名与版本,避免误操作生产设备。

4)电商数据抓取到Excel

  • 需求描述:在京东搜索“华为手机”,滚动页面提取商品名与价格,导出Excel。
  • 实现路径:两种可行策略
    • 移动端UI自动化:通过ADB/无障碍对App界面进行滚动与OCR/控件解析。
    • Web侧爬虫:用Selenium/Requests配合反爬策略执行搜索与解析(需遵守目标站点的使用条款与法规合规)。
  • 实践结论:对动态加载/反爬有一定挑战,但在页面结构稳定的情况下,能在分钟级产出结构化Excel。

可预期的收益与现实边界

  • 收益
    • 覆盖面:把Agent能力扩展到手机与其他设备,打通“从指令到实体操作”的链路。
    • 生态复用:直接继承Python社区多年积累的库与最佳实践,缩短从原型到可用的路径。
    • 自修复:在脚本层面实现快速修错与重试,减少人工盯盘。
  • 边界与风险
    • 平台限制:当前以Android为主,iOS因系统限制很难达到同等控制粒度。
    • 机型与ROM差异:权限弹窗、控件树差异可能导致策略迁移成本。
    • 安全与合规:任意代码执行需强化沙箱、最小权限与网络隔离;爬取与自动化需遵守平台条款与法律法规。
    • 可维护性:基于UI的自动化对版本更迭敏感,需要稳定的选择器策略与回归验证。

价格、授权与兼容性(基于公开信息的可获取程度)

  • aipyapp(开源执行引擎)
    • 获取:pip安装与开源仓库。
    • 授权:以仓库声明为准(请以实际LICENSE文件为准)。
    • 运行环境:Python 版本、依赖库与系统权限需按项目README配置。
  • AiPy Pro 客户端(Android控制)
    • 授权与价格:属商业组件,套餐与付费方式以官网实时公示为准(不同版本可能包含免费额度、按量计费或订阅)。
    • 设备支持:以官方兼容列表为准;通常Android版本、品牌ROM与ADB/无障碍策略会影响能力边界。
  • OpenClaw
    • 生态与授权:社区版本通常开源,企业应用常见二次开发或自部署(具体以其官方仓库与文档为准)。

建议在落地前核对:开源许可证、商用授权范围、隐私条款与数据处理合规要求。

实施清单:把AiPy安全接入你的设备

准备环境

独立测试设备(Android),开启开发者选项与USB调试;必要时准备数据线与稳定网络。

 

为aipyapp创建Python虚拟环境,分离依赖与权限;操作系统层面创建低权限用户执行。

确认LLM提供方与API Key(如需),设置合理的超时与重试策略。

最小可验证任务(MVP)

从“打开App→截图→拉取日志”开始,验证连通性与权限。

为关键动作加校验(如UI元素存在性),失败即收敛到修复逻辑。

安全与治理

禁止在生产主力机启用开发者选项;ADB over Wi‑Fi 仅在隔离网络使用。

对Python执行环境启用文件/网络访问白名单或容器沙箱。

记录审计日志(指令、生成代码、执行结果)以便回溯与合规审计。

适配性建议:如何在两类方案间做选择

  • 偏PC办公/网页场景,强调流程稳定、权限内工具可控:优先考虑OpenClaw这类网关+工具注册的体系。
  • 需要真实控制Android设备、调用硬件能力或复用Python脚本生态:AiPy路径更易快速达成目标。
  • 团队协作与合规为先:使用受控工具白名单与流程编排;对AiPy需额外强化执行沙箱与代码审查。
  • 个人探索与原型验证:AiPy更便于用最小成本验证“从AI到设备”的闭环,后续再评估工程化与合规方案。

结语

从产品视角看,OpenClaw把PC端的智能体协作做得更工程化,适合规模化办公流程;AiPy把“模型会写的代码”直接落在Python生态,从而切入设备与硬件。对移动端自动化而言,这条路更贴近现实需求,但也更依赖权限管理、设备差异适配与安全治理。两者并非互斥:在团队场景里,可以用OpenClaw承载流程与权限,用AiPy承担“需要触达设备”的那一段执行。

如果你的目标是把Agent从“能在电脑上干活”延伸到“能在手机上做事”,AiPy这条Python-Use路径值得用一台测试机严谨地走一遍;一旦链路打通,很多移动端的日常工作都能以低成本实现自动化。

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:AiPy:把Agent能力从远程控电脑到控制手机
#AiPy #Python-Use #控制手机 
收藏 1
星読みAI:一款AI占星工具,提供占星图创建与解析服务
Accomplish:本地运行的开源AI桌面代理,Claude Cowork的功能对标与隐私升级
推荐阅读
  • AI Selfie Studio:60 秒用 AI 一键生成专业证件照,无需照相馆
  • Nucleo:AI医学影像分析工具,帮助医生更快更准确地做出诊断和治疗决策
  • CodeGuide:创建AI编程开发文档,自动化生成完整项目文档,提升开发效率
  • StoryNest.ai:将个性化故事与AI相结合 允许用户与故事角色互动
  • 腾讯ARC实验室: AI抠图动漫图片画质增强工具
评论 (0)
请登录后发表评论
分类精选
Picarta:可以查找图片拍摄地点的AI识图软件,使用AI搜索照片拍摄的精确位置
14338 11月前
BeArt:一款免费且无水印的的在线AI换脸网站,适用于照片、视频和GIF中实现精准换脸
13575 1年前
灵光:蚂蚁集团推出的全模态AI助手App,30秒做应用、实时写图文
12588 2月前
GPTGirlfriend:AI虚拟女友聊天平台,不受限制的成人角色扮演,AI女友进行成熟的对话
12396 11月前
Noiz AI:AI语音克隆工具,一款TTS和视频配音神器
11993 11月前
Unscreen:在线视频和GIF背景抠除工具,不用绿幕轻松完成视频抠像
11411 1年前
抖音即创AI: 一站式智能AI创作管理平台
9805 1年前
Reecho 睿声:免费AI语音克隆与超拟真语音合成平台,用户只需提供一小段声音样本,完成声音的克隆
9640 1年前
嘎嘎降AI:AIGCleaner论文降重工具网站,专门降低文章AI率、查重率的工具
8713 10月前
Saylo:免费AI角色故事聊天,沉浸式AI聊天、互动故事及角色扮演游戏平台
8111 11月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 AiPy:把Agent能力从远程控电脑到控制手机
2 AI Upscaler:在线一键 AI 图像/视频超分增强工具,支持JPG、PNG、WebP等多种图像格式
3 AIMusixer:AI音乐生成器,免费创作个性音乐,支持MP3和MP4格式
4 CV Engineer:AI简历生成器,30 秒生成可直接投递的 ATS 友好简历,一键直达面试
5 WorkAny Bot :一个可托管、多通道接入的云端 OpenClaw 智能体
6 Nano Banana Prompt:一句话解锁专业级图像的AI提示词宝库
7 星読みAI:一款AI占星工具,提供占星图创建与解析服务
8 Coderrr:开源 AI 编码 CLI,一键写完、调通、上线
9 PixelMotion:一键把静态照片变成社媒爆款营销视频的AI工作站
10 AI Photo Editor:零门槛在线AI图片编辑器,一键完成背景移除、超分放大、异物擦除
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 Axure RP 10 免费Axure模板 Axure元件库下载 申请友联