2025年深度学习+语音,基础普及篇笔记(一)

深度学习+语音,基础普及篇笔记(一)深度学习应用领域 可以分为 3 大块 图像 语音 文字 最近有时间 研究下语音 一 定义 语音是一个连续的音频流 它是由大部分的稳定态和部分动态改变的状态混合构成 一个单词的发声 波形 实际上取决于很多因素

大家好,我是讯享网,很高兴认识大家。

深度学习应用领域,可以分为3大块:图像,语音,文字。最近有时间,研究下语音:

(一)定义

语音是一个连续的音频流,它是由大部分的稳定态和部分动态改变的状态混合构成。
一个单词的发声(波形)实际上取决于很多因素,而不仅仅是音素,例如音素上下文、说话者、语音风格等。

(二)语音识别


讯享网

其中有个图(连续语音识别框架图)看不清楚,如下:


(三)结果评定

1、WER(Word error rate),单词错误率:我们有一个N个单词长度的原始文本和识别出来的文本。(对单词串进行识别难免有词的插入,替换和删除的误识)I代表**入的单词个数,D代表被删除的单词个数,S代表被替换的单词个数,那么单词错误率就定义为:WER = (I + D + S) / N单词错误率一般通过百分百来表示。
2、Accuracy,准确度。它和单词错误率大部分是相似的,但是它不计算插入单词的个数,它定义为:Accuracy = (N - D - S) / N,对于大部分任务来说,准确度事实上是一个比较差的度量方法,因为插入的情况对于识别结果的影响也是很重要的。但对于一些任务而言,准确度也是一个合理的评价解码器性能的参数。
3、Speed,速度:假设音频文件是2个小时,而解码花费了6个小时,那么计算出来的速度就是3xRT。(3倍速)
4、ROC curves,ROC曲线:对于一个检测任务,检测会出现误报和命中两种情况。ROC曲线就是用来评价检测性能的。ROC曲线就是描述误报和命中的数目比例的。而且可以通过ROC曲线取寻找一个最优点,在这个点误报最小,而命中最大,也就是接近100%的命中率。

(四)尚未解决的难题

1、口音和噪声
语音识别中最明显的一个缺陷就是对口音和背景噪声的处理。
2、语义错误
通常语音识别系统的实际目标并不是误字率。我们更关心的是语义错误率,就是被误解的那部分话语。
3、单通道和多人会话
一个好的会话语音识别器必须能够根据谁在说话对音频进行划分,还应该能弄清重叠的会话(声源分离)。
4、其他领域变化
如:来自声环境变化的混响、硬件造成的伪影、音频的编解码器和压缩伪影、采样率的变化、会话者的年龄不同。
5、上下文相关联判断识别
人类聊天容易基于上下**判断。机器目前很难做到。

小讯
上一篇 2025-01-18 19:02
下一篇 2025-03-27 11:43

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/132603.html