10月22日,Anthropic对Claude 3.5进行了更新升级,尤其是其新功能“Computer Use(计算机使用)”,能让AI直接控制你的电脑,听起来是不是非常酷?但实际效果如何?我对比进行了实际的体验测试。
一、Claude 3.5更新了什么?
Claude 3.5一共三个模型,Opus(大杯)、Sonnet(中杯)和Haiku(小杯)。一句话总结这次更新:
升级了3.5中杯和小杯,新3.5中杯性能遥遥领先,小杯性价比巨高,此外还推出一个炸裂功能:computer use,就是允许AI控制你的电脑,让AI能像人类一样使用电脑,完成浏览、点击和输入等操作。
1.1 新3.5中杯
从官网给出的评测图,可以看到,升级后的Claude 3.5 Sonnet new(中杯)在多项任务上的评分都位列第一。与之对比的都是业内top级的模型,包括OpenAI的GPT-4o和谷歌的Gemini 1.5 Pro。而且比较大方是用户可以免费体验新Claude 3.5 Sonnet。
GPT plus 代充 只需 145
1.2 新3.5小杯
享受上一代3大杯的性能,只需3小杯的成本
1.3 Computer Use
Computer Use功能允许通过API直接控制用户的电脑,执行屏幕截图、鼠标点击等交互操作。这意味着,AI可以像人类一样使用电脑,进行浏览、点击和输入等操作。
二、实际体验
任务1:写一个俄罗斯方块游戏并运行起来
会自己发现缺少的包,并自行安装。
游戏成功运行,任务1顺利完成。
任务2:浏览B站游戏类目top10视频,并整理成表格
拆解下,其实包含4个子任务:打开浏览器+查找视频+浏览总结+整理建表
首先他成功的打开了浏览器
然后打开了b站
找到了游戏区
但由于当前页面没有直接显示“排行榜”3个字,从这里开始频繁报错
后来他自己分析应该点击“热门”,那里应该能找到排行榜,实际上他的判断是对的,但他就一直就卡在这一步了,就是没能点击“热门”,最后任务2失败。
任务3:查阅苹果手机的价格
成功打开了浏览器,并进入了苹果官网:
报错了,超过当日费率限制,任务3中断。
三、体验感受
“Computer Use”功能的推出,让人们看到了AI从“简单问题答复”向“更复杂交互操作”迈进的希望。将人立马带入“人机交互方式即将巨变,AI即将全面融入人类工作生活,大幅提高生产效率,一个宏伟的商业帝国时代即将开始”的氛围。
其巨大的想象空间和潜在价值不可否认,但实际体验下来,也有明显的不足:
- 耗时太长:
它的原理是先不断截屏,再图像理解&分析,再AI决策,再执行鼠标等操作,每个环节都很长,整个过程就更长了,拿“找到浏览器打开b站”这个简单任务举例,实操耗时了整整10分钟。 - 成功率低:
首先AI对图像内容的理解存在局限性,其次一些简单的操作如滚动、拖拽、缩放等的成功率也并不高,尤其是在面对复杂或不规则的用户界面时。拿“找到b站游戏榜排行前10视频”的任务为例,AI明明正确决策了下一步,但就是卡在了点击这个操作上,而且我重复试验了3次都失败了,看得人干捉急。
当然官方对此也进行了评测说明:Claude在电脑操作评估测试中获得了14.9%的成绩,远超其他AI模型的7.8%最高分,但与人类的70-75%的水平相比仍有相当大的差距。
3.成本高:
比如当晚,我仅测试了2个简单的小任务,就消耗了0.35百万token,花费了0.32美元,合计约2.5元人民币。不敢想象批量处理复杂任务要多少钱….
根据Anthropic公布的定价信息:Claude 3.5 Sonnet每百万输入tokens收费3美元,输出tokens则为15美元。如果使用提示缓存功能,输出token价格可降至输入token的10%。
Claude 3.5 Haiku每百万输入tokens收费0.25美元,输出tokens为1.25美元,同样支持提示缓存功能,降低成本。
4. 安全:
AI控制电脑操作的安全性是一个非常复杂的问题,涉及到太多层面的风险和挑战。目前官方给的本地部署版本,属于在沙盒环境模拟,和我们个人电脑的操作系统其实是隔离开的,所以暂时不用考虑安全。
结语
总之,目前这项功能更像是一个demo,期待它的进一步升级吧。
以上就是关于Claude 3.5新功能的体验,希望能给大家带来一些启发和思考。如果你对这个功能感兴趣,不妨也去试一下!
下面附上如何使用“Computer Use”功能的方法
1. 安装Docker:需要一台Windows或mac电脑,安装好Docker,并保证是启动状态。
2. 获取API密钥:用户可以通过与Claude API进行对话来获取相关信息帮助,由于“Computer Use”功能目前更多面向于开发者,所以也需要API才能使用。
3. 运行命令:打开终端并运行以下命令,记得将%your_api_key%替换成你的API密钥。
讯享网-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \ -v $HOME/.anthropic:/home/computeruse/.anthropic \ -p 5900:5900 \ -p 8501:8501 \ -p 6080:6080 \ -p 8080:8080 \ -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest</code></pre></div><p class="ztext-empty-paragraph"><br/></p><p data-pid="Z5Ty_8Zy">上面代码适用于Mac,win需要简单改动下格式,直接让Claude改写即可,包括遇到的任何报错都可以询问Claude解决。</p>
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/210503.html