《科创板日报》1月20日讯(编辑 宋子乔)1月20日,豆包实时语音大模型正式推出。
据介绍,豆包实时语音大模型是一款语音理解和生成一体化的模型,实现了端到端语音对话,主要面向中文语境和场景(可进行英语对话,暂不支持多语种;中文范围内,模型也仅支持小部分方言和地方口音的理解和表达,仍有较大进步空间)。
依托于语音和语义联合建模,该模型呈现出接近真人的语音表达水准,在语音表现力、控制力、情绪承接方面表现惊艳,并具备低时延、对话中可随时打断等特性。
打败GPT-4o?
OpenAI的最新大模型GPT-4o的高级语音功能于2025年1月开始全量推出。
值得注意的是,豆包实时语音大模型直接对标GPT-4o。豆包大模型团队介绍称,在外部真实众测中,模型整体满意度较GPT-4o有明显优势,主要体现在:
豆包大模型的语音语气自然度和情绪饱满度远高于后者,尤其情商层面,模型在情感理解、情感承接以及情感表达等方面也取得显著进展,能较为准确地捕捉、回应人类情感信息;
豆包模型贴合中国用户实际需求,发布即上线,有能力直接服务亿万用户,而非停留于演示Demo层面。
整体满意度(以5分为满分)方面,豆包实时语音大模型评分为4.36,GPT-4o为3.18。其中,50%的测试者对豆包实时语音大模型表现打出满分。 如何实现?
低延时流畅交互、拟人化的语气和情绪反馈,是分辨人与机器的两大重要特征。豆包大模型团队如何让语音大模型不再“一听就是AI”?
其团队研发出了一套端到端框架,深度融合语音与文本模态。该框架面向语音生成和理解进行统一建模,最终实现多模态输入和输出效果。
在预训练(Pretrain)阶段,团队对各模态交织数据进行深入训练,精准捕捉并高效压缩海量语音信息,通过Scaling,最大程度实现语音与文本能力深度融合和能力涌现。
在后训练阶段,团队使用了高质量数据与RL算法,进一步提供模型高情商对话能力与安全性,并在“智商”与“情商”之间寻求平衡。
更真实的情感陪伴——实时语音AI的价值
实时语音AI的价值体现在哪里?影响最直接是AI情感陪伴。
《科创板日报》实测发现,豆包的语音大模型不仅能感受到你的情感,还自带情绪和情感,可以随时打断对话,互动更加拟人。
真人级语音对话,能提供更为亲和的交互体验和情感价值,AI不再呈现冰冷的“人机感”,其考验的是AI的“人性化”程度,是人类迈向AGI(通用人工智能)的关键里程碑。
可以说,豆包在实时语音交互上的进步展现的是国产AI软件的进步,有望为AI端侧硬件开辟更广阔的空间,如AI语音助手硬件以及AI玩具等。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/259115.html