时间回到一年前的10月,智谱正式发布了 AutoGLM。
今年8月,智谱又直接甩出 AutoGLM 2.0。
直到 24 小时前,智谱做了一件足够炸裂的事:
AutoGLM 正式全量开源:模型 + 框架 + 代码 + Demo,一步到位。
开源项目名称为 Open-AutoGLM,是一个Phone Agent手机端智能助手框架,同时还有一个AutoGLM-Phone-9B的模型,共同组合成了这次开源的AutoGLM。
开源24小时在 GitHub 上直接斩获 1.7K+ Star!引起了相当多科技爱好者的关注。
项目简介
Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。
系统通过 ADB 来控制设备,以视觉语言模型进行屏幕感知,再结合智能规划能力生成并执行操作流程。
用户只需用自然语言描述需求,如“打开小红书搜索美食”,Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。
系统还内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管。同时,它提供远程 ADB 调试能力,可通过 WiFi 或网络连接设备,实现灵活的远程控制与开发。
支持操作的应用覆盖:
美团、京东、小红书、抖音、飞书、网易邮箱、知乎、微博、微头条等 50+ 主流中文应用。
运行 python main.py –list-apps 即可查看完整支持APP列表。
总之就是能让 AI 像人一样,在真实 App 里“点、搜、写、发”跑完整流程。
安装指南
官方开放了两个模型:AutoGLM-Phone-9B、AutoGLM-Phone-9B-Multilingual。
可以先下载下来应该后面使用,AutoGLM-Phone-9B 是针对中文手机应用优化的模型,而 AutoGLM-Phone-9B-Multilingual 支持英语场景,适用于包含英文等其他语言内容的应用。
首先官方 ADB 安装包(有了它,才能用电脑控制手机),并解压到自定义路径,然后配置到系统环境变量中。
Windows:
MacOS:
# 假设解压后的目录为 /Downlaods/platform-tools。如果不是请自行调整命令。 export PATH=${PATH}:/Downloads/platform-tools
下载地址:https://developer.android.com/tools/releases/platform-tools?hl=zh-cn
测试手机或安卓模拟器,需要启用开发者模式和USB调试。
下载 AutoGLM 项目并安装依赖
GPT plus 代充 只需 145git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM
安装依赖
pip install -r requirements.txt pip install -e .
确保已安装 ADB 并使用USB数据线连接设备:
# 检查已连接的设备 adb devices
输出结果应显示你的设备,如:
List of devices attached
emulator-5554 device
然后就可以启动模型服务(刚刚下载的模型所在路径填入–model处):
GPT plus 代充 只需 145python3 -m vllm.entrypoints.openai.api_server
运行成功后,将可以通过 http://localhost:8000/v1 访问模型服务。 如果在远程服务器部署模型, 就能使用该服务器的IP访问模型。
使用指南
安装成功 AutoGLM,接下来我们就可以在本地使用它了。
可通过命令行和API调用方式进行,具体操作如下:
命令行方式,根据你部署的模型, 设置 –base-url 和 –model 参数。
# 交互模式 python main.py –base-url http://localhost:8000/v1 –model "autoglm-phone-9b"
指定模型端点
python main.py –base-url http://localhost:8000/v1 "打开美团搜索附近的火锅店"
使用英文 system prompt
python main.py –lang en –base-url http://localhost:8000/v1 "Open Chrome browser"
列出支持的应用
python main.py –list-apps
Python API调用:
GPT plus 代充 只需 145from phone_agent import PhoneAgent from phone_agent.model import ModelConfig
Configure model
model_config = ModelConfig(
base_url="http://localhost:8000/v1", model_name="autoglm-phone-9b", )
创建 Agent
agent = PhoneAgent(model_config=model_config)
执行任务
result = agent.run("打开淘宝搜索无线耳机") print(result)
同时还可以使用远程调试,Phone Agent 支持通过 WiFi/网络进行远程 ADB 调试,无需 USB 连接即可控制设备。
在手机端开启无线调试,确保手机和电脑在同一个WiFi中。
在电脑端使用标准 ADB 命令:
通过 WiFi 连接, 改成手机显示的 IP 地址和端口
adb connect 192.168.1.100:5555
验证连接
adb devices
应显示:192.168.1.100:5555 device
设备管理命令:
# 列出所有已连接设备
adb devices
连接远程设备
adb connect 192.168.1.100:5555
断开指定设备
adb disconnect 192.168.1.100:5555
指定设备执行任务
python main.py –device-id 192.168.1.100:5555 –base-url http://localhost:8000/v1 –model "autoglm-phone-9b" "打开抖音刷视频"
Python API 远程连接:
GPT plus 代充 只需 145from phone_agent.adb import ADBConnection, list_devices
创建连接管理器
conn = ADBConnection()
连接远程设备
success, message = conn.connect("192.168.1.100:5555") print(f"连接状态: {message}")
列出已连接设备
devices = list_devices() for device in devices:
print(f"{device.device_id} - {device.connection_type.value}") 在 USB 设备上启用 TCP/IP
success, message = conn.enable_tcpip(5555) ip = conn.get_device_ip() print(f"设备 IP: {ip}")
断开连接
conn.disconnect("192.168.1.100:5555")
还有更多自定义系统提示词、自定义回调人工接管等高级用法可前往项目主页参考学习。
写在最后
AutoGLM 的开源,绝对是国产 Agent 生态的一次重要加速。
如果说 2025 年 AI 的主线是 Agent,那么 AutoGLM 则给它加一个关键词 Phone。
Phone-Agent 是移动端未来必须要走的路,而 AutoGLM 一直在这个领域走在前方。
如果你关注 AI Agent、自动化、多模态执行、开源基础设施,那么 AutoGLM 的开源,绝对是今年不能错过的一件大事。
GitHub:https://github.com/zai-org/Open-AutoGLM
模型地址:https://huggingface.co/zai-org/AutoGLM-Phone-9B
如果本文对您有帮助,也请帮忙点个 赞👍 + 在看 哈!❤️
在看你就赞赞我!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/241860.html