讯享网

 <p id="34R13HJ9">你是个成熟的 AI 了，该学会自己干活了。</p><p id="34R13HJC">这已经不是一句破梗，最近，越来越多的 AI 产品，可以让我们的手机和电脑自己跑起来。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fd70629a5j00sm7vwl0034d200u000gwg00hz00a4.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HJE">Anthropic 的「computer use」，像人一样操纵电脑，工程师让它帮忙点外卖，它思考了一分钟，选择了披萨。</p><p id="34R13HJF">荣耀的 YOYO 智能体，听到 CEO 说困了，直接在发布会现场点了一杯咖啡饮品。</p><p id="34R13HJG">智谱的 AutoGLM 应用，更是将我们常用的 app 一网打尽，打车、点外卖、发微信，它都能代劳。</p><p id="34R13HJH">等等，这不是去年就火了的 agent（智能体）吗？人类一句话，AI 自己干活。想法惊艳，但模型能力没跟上，慢慢就没了水花。</p><p id="34R13HJI">挖了一年的坑，今年有望填上了，以后真的可以说：听我解释，是手机自己干的！</p><p id="34R13HJJ">让 AI 代发微信、加购物车，都能用嘴说</p><p id="34R13HJK">智谱正在内测的应用 AutoGLM，是使用门槛较低的一款 agent，已经可以让我们动嘴玩手机了。</p><p id="34R13HJL">你尽管说话，AI 语音转文字，然后按部就班完成任务，当然，如果不方便说话，也可以打字发送命令。</p><p id="34R13HJM">先发条微信消息给好友吧，我们几秒搞定的事情，AI 花了 20 多秒。</p><p id="34R13HJN"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367c6d4c6059dfb260ec740f0a76e7a3c2c24ebbfabd4044d5a7df2ebf82c36870e4c42c61aa67c7b4ec9a84e8d9e4689cafa789aa88fb05fa79a1af366a944d40d355aa0ba990b7987f2d039e19401e4904fe39bee9112dd9dac77.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//GFf3vWaCQ_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN4KK" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367c6d4c6059dfb260ec740f0a76e7a3c2c24ebbfabd4044d5a7df2ebf82c36870e4c42c61aa67c7b4ec9a84e8d9e4689cafa789aa88fb05fa79a1af366a944d40d355aa0ba990b7987f2d039e19401e4904fe39bee9112dd9dac77.m3u8" preload="none" controls /></strong>发送微信消息</p><p id="34R13HJO">但第一次亲眼看到 AI 玩手机，实在新鲜。因为「涉及敏感操作」，AI 还知道请示一下我的意见。</p><p id="34R13HJP">AutoGLM 也能发起语音通话，就是路径有点绕。等着页面一次次跳转，考验急性子本人。</p><p id="34R13HJQ"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f3671e4070f77d22ddcbbba0ac4b1a99913a9aaca88a6c8a602f69668fc2fde4836bdb06fc3b06035ca3a75fb7fac2e3ca1e1bfcd72a24b5f3c79c94253cb260d90dccabab10df7990ffa5f2.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//cSYLrKVgP_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN4QR" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f3671e4070f77d22ddcbbba0ac4b1a99913a9aaca88a6c8a602f69668fc2fde4836bdb06fc3b06035ca3a75fb7fac2e3ca1e1bfcd72a24b5f3c79c94253cb260d90dccabab10df7990ffa5f2.m3u8" preload="none" controls /></strong>发起语音通话</p><p id="34R13HJR">帮忙打车、购物，AutoGLM 也没问题，它还会给出追问，主动对齐需求。举个例子，当我要求打车到广州南站，AutoGLM 会问我是哪个站口。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F0bb6e9b9j00sm7vwl0015d200u000dhg00hz0082.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HJT">至于下单，还是我们自己来。你或许担心，我们的银行卡会不会任 AI 宰割，但 AutoGLM 不会帮你「立即打车」。</p><p id="34R13HJU">类似的，在淘宝下单一条优衣库黑色 m 号工装裤，AutoGLM 会停留在确认订单的页面，不会代我们支付。</p><p id="34R13HJV"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f36701d9ea7be0e9f0efe30e1321d309bc8c2fbe9c98d4ca9ae95c5e0c9bae625db745dcef1daaeb8564efecc05f82977c3d502e537a7b6e4650ff496f3502dbd8e3695f3601d101c0e200b846cb.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//zWum5rp81_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN4P9" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f36701d9ea7be0e9f0efe30e1321d309bc8c2fbe9c98d4ca9ae95c5e0c9bae625db745dcef1daaeb8564efecc05f82977c3d502e537a7b6e4650ff496f3502dbd8e3695f3601d101c0e200b846cb.m3u8" preload="none" controls /></strong>在淘宝下单</p><p id="34R13HK0">一些 app 的图标、菜单、按钮，AutoGLM 用得比我都熟练。当我要求在大众点评找到海珠区三家评价最好的披萨店，AutoGLM 听懂了，先搜索「披萨店」，然后选择地点，按好评优先排序，最后给出了一个小结。</p><p id="34R13HK1">懂交互的 AutoGLM，也能做一些文字工作，我让它找到公众号「爱范儿」最近的一篇文章，点赞并总结内容，或者在小红书找广西旅游攻略，收藏三篇并总结内容，虽然速度有些慢，但每个需求都没有敷衍。</p><p id="34R13HK2"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21fd2ed175e0b245a8b28eb7bee5bf3acdd6a7c5cb2f57a5eb0f81316fda4ec3b32ea8aefaf7e96fa3e9fb454abbbe2a9d4e44dc8a295a9511bc0fbb038e595b21d92f1b6f6264f17a62b087427a566c08.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//wfJEKI5sQ_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN58Q" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21fd2ed175e0b245a8b28eb7bee5bf3acdd6a7c5cb2f57a5eb0f81316fda4ec3b32ea8aefaf7e96fa3e9fb454abbbe2a9d4e44dc8a295a9511bc0fbb038e595b21d92f1b6f6264f17a62b087427a566c08.m3u8" preload="none" controls /></strong>为公众号文章点赞和评论</p><p id="34R13HK3">这对大模型来说不算什么，重点在于，我们可以看到手机自主完成整个过程，AI 让你切身体会「你别做，我来做」的霸总发言。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Ffd0534f7j00sm7vwm002td200u001nmg00hz00zp.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HK5">AutoGLM 的能力范围</p><p id="34R13HK6">目前，AutoGLM 能做的并不算多，但确实有了 agent 的模样，规划任务，代人类执行操作，解决日常生活中的问题。</p><p id="34R13HK7">以前我们要教长辈玩手机，一步步截图并加备注、用录屏记录操作过程，甚至手绘使用说明书，但 AI 可以直接帮我们玩手机，一步到位，怎么不算一种很新的无障碍体验？</p><p id="34R13HK8">人和手机的交互，AI 要学的还有很多</p><p id="34R13HK9">当然，作为一个内测产品，AutoGLM 肯定是不成熟的。</p><p id="34R13HKA">不少放上来的例子，我其实试了很多次才成功，失败的原因主要是任务中断，其中有不少失败得很搞笑的素材。</p><p id="34R13HKB">我请 AutoGLM 评论微信好友的最新朋友圈，虽然完成了任务，它却保留了自证 AI 身份的开头，措辞也满满的机器味。有些智能，但不那么多。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fcej00sm7vwm0012d200l000hpg00hx00f3.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HKD">所以，先别指望让 AI 帮我们一键维护人脉了，友谊的小船很难不翻。</p><p id="34R13HKE">语音识别虽然方便，但可能因为个人的普通话水平所限，不够准确，比如，AutoGLM 把「爱范儿」听成了「f2」，需要手动修改。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F025e9c57j00sm7vwm000rd200n800klg00hz00fx.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HKG">稍微复杂的、涉及多步思考的任务，AutoGLM 可能完不成。</p><p id="34R13HKH">我让 AutoGLM 点鸡蛋瘦肉肠粉和豆浆的外卖，AI 试图添加冰冻豆浆的时候，触发了验证码提示，可能是平台监测到了机器人行为，然后任务就结束了。</p><p id="34R13HKI">更啼笑皆非的事情发生了，它说鸡蛋瘦肉肠粉售罄了，我看了下，这家有肉蛋肠粉，差不多的商品，换个说法就不能理解了，AI 还不够变通。</p><p id="34R13HKJ"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367d71fb1bdad2d0beb98b57abc48d5b4dcb1df0fa753ba6e79040b951c3c99bbf89f14d8d0a3d8b0fd65300fdf81abf11e80ecca08ec80a197ca31fd5a72ea7eebe6482da7dd273bf3422f5673d71f1555c75d6af51cf8e8bdeaf11f.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//JgeBm7Alq_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN4RE" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367d71fb1bdad2d0beb98b57abc48d5b4dcb1df0fa753ba6e79040b951c3c99bbf89f14d8d0a3d8b0fd65300fdf81abf11e80ecca08ec80a197ca31fd5a72ea7eebe6482da7dd273bf3422f5673d71f1555c75d6af51cf8e8bdeaf11f.m3u8" preload="none" controls /></strong>在美团触发验证码</p><p id="34R13HKK">努力努力白努力的情况也有，要求 AutoGLM 在携程找到周四广州飞北京最低价机票，眼睁睁看着它胡乱操作一通，最后搜索到一些北京美食，大言不惭地说自己完成了。</p><p id="34R13HKL">最让人共情 AI 的是，AutoGLM 跳不过广告弹窗，需要我们手动操作，但哪怕我们帮了 AI，任务也很容易中断。AI就像每个被软件开屏霸凌的用户一样，被困在广告里。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fej00sm7vwn001nd200l900spg00hz00o9.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HKN">毕竟，AutoGLM 还在萌芽，问题虽多，却让我们直观地看到了一种新的交互形态。</p><p id="34R13HKO">我们早已习惯了用手指点击图标、按钮、菜单，自己完成操作，但现在，我们可以通过自然语言、语音指令等方式，直接表达意图，AI 自动执行操作。</p><p id="34R13HKP">从门槛较高的命令行界面，到更直观的用户图形界面，再到更符合人类沟通习惯的自然语言界面，人机交互的进化方向，是变得更自然。不久的未来，除了对话，说不定还可以让 AI 直接看我眼色行事。</p><p id="34R13HKQ">手机的自动驾驶，只有 AI 是不够的</p><p id="34R13HKR">让 AutoGLM 在手机跑起来，要在手机设置里授权「无障碍」「悬浮球」等权限，它才能获取当前页面信息，与本地应用进行交互。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F592fa3b7j00sm7vwn001hd200u000rmg00hz00gj.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HKT">这也说明，实现 agent，只有大模型是不够的，AI 需要适配不同设备和应用、获取上下文的信息，才能执行具体的操作。</p><p id="34R13HKU">兜兜转转，大模型应用的战场，回归了传统的平台和硬件。渠道在哪里，用户信息在哪里，用户惯性在哪里，他们也往哪里去，智谱和荣耀合作加强端侧 AI 就是一个例子。</p><p id="34R13HKV">除了大模型公司，手机厂商也可能需要和应用厂商搞好关系。荣耀 CEO 赵明说过，agent 可以分为两种，有些不需要第三方，比如点咖啡、打微信电话，但有些就需要介入，比如充值手机话费，调用运营商的大模型进行接管。</p><p id="34R13HL0">除了生态，agent 在今年能遍地开花，当然离不开技术的进步。</p><p class="f_center"><img src="http://dingyue.ws.126.net/2024/1031/397a5267g00sm7vwo006pd200hs009yg00hz00a1.gif"/><br/></p><p id="34R13HL2">去年有个很火的 agent 项目 AutoGPT，可以操纵电脑、上网查资料、使用第三方工具，但英伟达 AI 科学家 Jim Fan 并不看好，认为 AutoGPT 只能解决一些简单的、明确的任务，这本质是因为 GPT-4 有局限性，就像没有任何提示词可以把 GPT-3 变成 GPT-4。</p><p id="34R13HL3">今年就不一样了，多模态大语言模型成熟了，同时，各家厂商还在研究相关的架构，让大模型学习大量的 UI 数据，更好地理解手机和电脑屏幕。</p><p id="34R13HL4">苹果在 4 月发布了多模态大语言模型 Ferret-UI 的论文，为的就是移动端。训练 Ferret-UI 时，苹果收集了大量基础 UI 任务的训练样本，为了增强模型的推理能力，还编制了一个用于高级任务的数据集。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fb6e79240j00sm7vwo003ud200u000nxg00hz00eb.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HL6">为什么要学习这些数据？苹果给出了几个原因：手机屏幕长宽比与大多数图像不同，图标、按钮等图像的尺寸都非常小，以及，模型需要与 app 交互，不能像解释静态图像那样，一次性理解信息。</p><p id="34R13HL7">这么一说，当前的苹果 AI 应该只是前菜，siri 可能真的会迎来「史诗级更新」，而不是能力不够 GPT 来凑。</p><p id="34R13HL8">最近，Google 也传出开发 agent 的消息，项目干脆就叫贾维斯，由 Gemini 驱动，可以截取屏幕截图后解析内容，将网页任务自动化，执行收集研究、购买产品、预定航班等任务。</p><p id="34R13HL9">微软应该和 Google 很有共鸣，旗下 AI PC 的 Recall，也是每隔几秒钟截取一次屏幕截图，最近还低调开源了 OmniParser，一个基于大模型的屏幕解析工具。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F0b8d3767j00sm7vwp0021d200u000crg00hz007m.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HLB">OmniParser，将用户界面屏幕截图解析为结构化元素</p><p id="34R13HLC">不过，agent 目前的水平，只是让人对技术有了实感，不能捧杀，完全自动操作不可靠，仍然需要人类下判断。</p><p id="34R13HLD">而且，一些简单的操作，AI 仍然完成得很吃力，Anthropic 就实话实说，操作计算机时，滚动、拖动、缩放，人类像呼吸一样自然的事情，对 Claude 来说依然是个不小的挑战。</p><p id="34R13HLE">我也在使用 AutoGLM 时发现，跨应用的任务完成得磕磕绊绊，让它在小红书找到一条帖子，分享链接给微信好友，前面很顺利，但卡在最后一步「返回小红书还是留在微信」不动弹了，没有像往常一样，给出「完成任务」的提示。</p><p id="34R13HLF"><strong data-type="dy"><video src="https://removemp4" data-video="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367f8312ec80bbc34b2ae472dd32cea8e0bcbac650afe68e4376e666f5a62db8414e47af2c76b935ee9e86aeb149fba80de38be85aabd9992f2b88b3d4e9f73be6db872fba24dbd9764ef400d1fd42df75c23c3528f090b8751e.m3u8,https://removemp4" data-img="http://videoimg.ws.126.net/cover//ZcG2msBCz_cover.jpg" data-topicid="1000" data-commentid data-commentboard="" data-vid="VFETUN30H" alt=" 国产 AI 能帮你操控手机了，全自动发微信、逛淘宝，贾维斯真要来了 " data-m3u8="https://flv0.bn.netease.com/2ca16a185eae9c86161f48904a21f367f8312ec80bbc34b2ae472dd32cea8e0bcbac650afe68e4376e666f5a62db8414e47af2c76b935ee9e86aeb149fba80de38be85aabd9992f2b88b3d4e9f73be6db872fba24dbd9764ef400d1fd42df75c23c3528f090b8751e.m3u8" preload="none" controls /></strong>小红书跳转微信</p><p id="34R13HLG">任务其实已经完成，这一步本就不在它的指令范畴之内，卡住了也无可厚非，继续学吧，学无止境。</p><p id="34R13HLH">比起「智能体」这种略显抽象的翻译，以「主驾驶」理解 agent，和「copilot」（副驾驶）相对，或许会让我们更心生期待。</p><p id="34R13HLI">汽车驾驶自动化通常分为六个级别，0-2 级为驾驶辅助，3-5 级为自动驾驶，其实，agent 就像手机的「自动驾驶」。</p><p id="34R13HLJ">10 月，信通院联合荣耀，为 AI 手机的智能化，提出了一个类似驾驶自动化的分级标准，分为 L1 到 L5。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fa89bad21j00sm7vwp001pd200u000f0g00hz008z.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HLL">目前，agent 的水平更接近 L3，AI 助理，理解并完成用户的很多指令。</p><p id="34R13HLM">荣耀 CEO 赵明之前在发布会演示了一个场景，他对着 YOYO 智能体说：「我有些困了，帮我点杯喝的」，提问有些模糊，但智能体可以根据过往的记录和话中的信息，判断他需要喝咖啡，加购物车，等待结算确认。</p><p id="34R13HLN">但更多、更复杂的指令还待开发，更多人类干预的地方等待消除，达到 L4 的水平，AI 还得理解我们的潜台词，具备一定的反思和自我纠正的能力。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F227f72ebj00sm7vwp001ld200sg00c1g00hz007l.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="34R13HLP">L5 应该长什么样子？可以联想到的就是漫威宇宙的贾维斯了，不只是 AI，也是家人，控制盔甲和各种设备，经常秀出幽默感吐槽托尼，又能在钢铁侠生死攸关的时刻镇定地告诉他「先生，请深呼吸」。</p><p id="34R13HLQ">毕竟，人类对自己的造物总有一种情结，更懂我，更像我，甚至超越我，又忠诚于我，就像在钢铁侠问「你在吗」的时候，贾维斯回答得那样：「为你，先生，永远都在」 。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2Fc96194a5j00sm7vwr00csd200rx00ncg00it00fp.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F1031%2F24ad9179j00sm7vws0015d200u00080g00it0050.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p>