豆包的"打电话"功能升级为全双工语音对话模型,更像真人了…
先解释一下"全双工"是什么。
你打电话的时候,两个人可以同时说话,你说到一半对方也能插嘴,这就是全双工。
但之前大多数 AI 语音通话不是这样的,更像对讲机,你说完,它才开始说,而且中间你不能打断,轮流来,技术上叫"半双工"。
豆包这次升级的意思是:
它现在能像真人打电话一样,边听你说话边处理信息,该等的时候它会等你把话说完,即使你嗯嗯啊啊的结巴,它也会耐心等你,该接的时候马上接,它说到一半你有别的想法或者它说的不准确,你想打断它也可以随时打断。
这次升级集中体现在三个方面:
我设计了一组从易到难的测试,来逐个帮大家测试看看豆包语音的实际表现。
以下测试全都是一镜到底,没有任何剪辑,为了增加趣味性语气方面是事先约定好的,不是豆包自由发挥的
之前的问题是,你说话中间稍微停一下想措辞,模型就以为你说完了,马上开始回复,体验很割裂。现在豆包能区分"还没说完的停顿"和"真的说完了",前者耐心等,后者快速接。
难度:⭐
第一轮先测最基础的能力:你打断它,它能不能马上停下来,然后接住你的新内容。
让豆包说绕口令,说到一半直接打断,反复不停的打断。
然后让它接着说…
测试结果: 每次打断后豆包都能马上停下来,听我说什么,然后接住新内容继续。没有出现"你都开始说了它还在念上一句"的延迟重叠。
打断很多次,表现都很稳定。
这个能力在实际使用中很关键。跟 AI 打电话最烦的就是想插一句但它停不下来,或者它停了但接不住你的意思。
之前的问题是,你说话中间稍微停一下想措辞,模型就以为你说完了,马上开始回复,体验很割裂。现在豆包能区分"还没说完的停顿"和"真的说完了",前者耐心等,后者快速接。
难度:⭐⭐
第二轮加一点难度,测响应速度。
成语接龙需要快速来回,慢一拍节奏就断了。
为了增加趣味性,我让它用暴躁的语气来和我互怼
哈哈哈
测试结果: 连续快速接龙,反应非常快,节奏很接近真人对话。而且还不耽误骂我
哈哈哈
不会出现"说完一个等半天"的尴尬。
我故意用很冲的语气催它、怼它,豆包没受影响,该怎么接就怎么接。说明模型对语义和语气的分离处理做得不错,不会因为你情绪上来了就"懵"。
难度:⭐⭐⭐
第三轮继续加码。猜历史人物比成语接龙多了一层:不只是快速响应,还需要在多轮对话中持续理解上下文,根据线索逐步缩小范围。
测试结果: 给线索马上猜,猜错了给新线索,一来一回很流畅,不拖节奏。
多轮追问下来,上下文没有丢失。
虽然最后没猜出来…
同样测了暴躁语气,用很不耐烦的语气给线索、否定它的答案,豆包没有卡壳,反应速度和准确度都没受影响。
之前用 AI 语音通话最头疼的问题之一,就是背景稍微有点声音,模型就容易出问题,要么说到一半被噪音"打断"突然停了,要么把旁边人说的话当成你的指令去回复。
升级全双工模型后,豆包在这方面改善非常的明显。
难度:⭐⭐⭐⭐
前三轮都是安静环境下的测试,第四轮加上噪音干扰。
测试方法比较极端:同时开一个中文视频和一个英文视频做背景噪音
然后先开中文视频,再打开英文视频
逐步调大音量,测试它在嘈杂环境中的表现
在这个环境下跟豆包聊四川成都的旅游攻略和美食推荐,并且不断打断追问细节。
测试结果:
中低音量阶段,豆包基本不受影响。没有把视频里的内容当成我的话去回复,也没有被背景声打断播报。聊攻略的过程中不断插话,更换问题,它都能及时接住。
两个视频全开,音量继续往上调,到比较大的时候,豆包偶尔会听不清,需要提高我的说话音量才有效。不过两个视频同时外放开很大声,已经远超日常使用场景了,对AI来说已经非常难了,我测试别的语音助手应该都是通过不了的,但豆包完成很不错…
整体来说,咖啡馆、地铁、家里电视开着这种噪音水平,正常聊天没问题。
难度:⭐⭐⭐⭐⭐
清明假期去了成都博物馆,直接用豆包当讲解员,这是最接近真实使用场景的一轮测试。
博物馆环境的难度在于:周围全是人,有人说话、有其他讲解员在讲、有小孩在喊,而且你自己也是边走边看边问,说话节奏很随意,经常看到什么临时追问。
测试结果:
不断询问展品、豆包回答都很精准,你给它看展品它都能认识,很神奇
不需要给它看这个展品是什么,你只需对着展品即可
我甚至都没告诉它我在那,它能根据展品猜测我是在什么博物馆😁
周围嘈杂环境下都没有被干扰、你可以不停的打断它、整体讲解体验非常的不错
全双工这个能力一上来,能用的场景一下就多了:
说白了,之前用语音助手得找个安静地方、想好了再说、说完乖乖等回复,条件太多了。现在这些条件基本都去掉了,吵就吵着聊,想到哪说到哪,说到一半改主意也行。
具体什么感受,找一个你之前觉得"语音不好使"的场景试一通就知道了。
打开豆包 App → 点击底部"打电话"入口 → 选择语音通话。
不过目前还有一些限制:只支持桃子音色(就是默认的豆包音色)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/254866.html