科技>计算机>计算机科学
语音识别基本法:Kaldi实践与探索

语音识别基本法:Kaldi实践与探索"

作者:汤志远等
ISBN:9787121404788
定价:¥89.0
字数:307千字
页数:256
出版时间:2021-02
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

语音是新一代人机交互的方式,语音识别是实现这一方式的关键环节,也是实现人工智能的基本步骤之一。本书结合当下使用广泛的Kaldi工具,对语音识别的基本概念和流程进行了详细的讲解,包括GMM-HMM、DNN-HMM、端到端等常用结构,并探讨了语音识别在实际应用中的问题,包括说话人自适应、噪声对抗与环境鲁棒性、小语种语音识别、关键词识别与嵌入式应用等方面,也对语音技术的相关前沿课题进行了介绍,包括说话人识别、语种识别、情绪识别、语音合成等方向。本书的写作以让读者快速、直观地理解概念为目标,只展示最基本的数学公式,同时本书注重理解与实践相结合,在对语音技术各个概念的讲解中都展示了相应的Kaldi语音处理命令,以便让读者进一步融会贯通。本书适用于语音识别及相关技术的初学者、在校学生,以及基于Kaldi进行产品研发的同仁,也可以作为语音从业者的参考书目。

前言

推荐序 人与人之间最主要的交流方式是语言。要实现人与机器之间更便捷的交互,语言是一种理想的方案。语音识别,是实现这个目标的关键一环。 从当下整个人工智能行业来看,语音识别也是发展迅猛且接近成熟的领域之一。由于其应用广泛,所以社会对语音技术人才的需求相当迫切。不管是面向学校教育还是自学阅读,系统而通俗地介绍语音技术的书籍都会拥有相当多的读者。 这本书对语音识别的基本概念和工作流程做了详细的介绍,并涉及语音识别在实际应用中的若干问题和相关前沿课题。对于不同的应用场景,需要因地制宜、灵活应对,很多经验需要在实际应用中积累。 为此, 本书作者在讲解过程中还搭配使用了一种开源语音工具——Kaldi, 有助于读者从无到有地搭建一套语音识别系统, 通过丰富生动的实践,深化对概念、理论和算法的理解。 书中比较注重概念的直观理解和可操作性,尽量避免了繁重的论述,适合初学者快速了解整个语音研究领域的全景图,并且较为深入、具体地了解语音识别技术。相信很多读者会从书中获得启发和切实的帮助。 本书作者之一汤志远是我的学生,他读博时曾到清华大学的语音和语言技术中心交流学习,从零开始进入语音研究领域,这本书恰恰也可以看作他对整个学习过程的总结。我很高兴看到这期间他的进步和成长。 中国科学院院士 2020年10月1 日 前言 几年来,实验室接收了很多语音领域的新人,有在校读书的学生,也有工作过一段时间的工程师。刚开始我们传递语音技术的方式仅限于口口相传,慢慢地我们意识到这种方式的可复制性太低,费时费力,而且没有体系,不利于长久的知识积淀和传承。于是,我们有了写一本语音技术笔记的想法,以供后来的新手自学,也可以作为实验室积累知识和经验的载体。 独乐乐不如众乐乐,从一开始,我们就将语音技术笔记共享在实验室主页上,供实验室以外的人阅读和讨论,每每有新版本时也及时发布。这样做,一方面可以与更多的人分享技术经验,另一方面也希望同仁们能够反馈一些好的建议。 写作过程中有过多次中断,但这本笔记还是逐渐丰满起来,我们觉得可以将其装订成书,传播出去,让更多读者受益,也是对这本笔记所做的一个仪式性“转正”,于是有了这本《语音识别基本法:Kaldi 实践与探索》。 语音识别所处理的对象是非常抽象的语音信号,这种信号看不到、摸不着、转瞬即逝,却包含极其丰富的信息。从这种语音信号中识别出发音内容,会涉及信号处理、语音学、语言学、模式识别、信息论等多层次的复杂知识,如果没有从一开始就形成一个清晰的概念框架,就会走很多弯路。 本书的初衷就是使语音初学者能够快速地掌握语音识别技术的基本概念和流程,同时也能够对语音识别在实际应用中的问题和相关前沿课题有所了解。本书的几位主要作者都是从学校毕业不久的青年学者,对语音学习中的入门困难有切身体会,也希望把解决这些困难的思路和方法传递给其他初学者。 本书的内容由浅入深,适合零基础的读者从头开始学习。为了进一步地理解本书的内容,读者需要对线性代数、概率论、信号处理及机器学习(特别是深度学习)等基础知识有一定了解。 同时,为了顺利地使用Kaldi 工具进行实验,读者需要熟悉Linux 系统的基本操作。 这本书的顺利出版是多方共同努力的结果。感谢前期对这本书进行材料收集、整理、修订的同学,包括(排名不分先后):杜文强、吴嘉瑶、齐诏娣、于嘉威、董文伟、周子雅、孙浩然、李开诚、王雪仪、李恪纯等。感谢电子工业出版社有限公司的南海宝老师及其他同事的辛勤付出。同时,作者水平有限,书中难免会有错误,还请读者朋友们指正。 作者 于清华大学 2020年10月1 日

目录

目录 1 语音是什么 2 1.1 大音希声 2 1.2 产生语音 4 1.3 看见语音 5 1.4 小结 8 2 语音识别方法 9 2.1 总体思路 10 2.2 声学模型GMM-HMM 12 2.2.1 HMM 12 2.2.2 GMM 14 2.2.3 训练 15 2.3 声学模型DNN-HMM 16 2.4 语言模型 18 2.4.1 N-Gram 18 2.4.2 RNN语言模型 18 2.5 解码器 20 2.6 端到端结构 22 2.6.1 CTC 23 2.6.2 RNN-T 26 2.6.3 Attention 27 2.6.4 Self-Attention 29 2.6.5 CTC+Attension 31 2.7 开源工具和硬件平台 32 2.7.1 深度学习平台 32 2.7.2 语音识别工具 33 2.7.3 硬件加速 34 2.8 小结 36 3 完整的语音识别实验 37 3.1 语音识别实验的步骤 38 3.2 语音识别实验的运行 46 3.3 其他语音任务案例 47 3.4 小结 47 4 前端处理 48 4.1 数据准备 48 4.2 声学特征提取 52 4.2.1 预加重(Pre-Emphasis) 54 4.2.2 加窗(Windowing) 54 4.2.3 离散傅里叶变换(DFT) 55 4.2.4 FBank特征 56 4.2.5 MFCC特征 57 4.3 小结 58 5 训练与解码 59 5.1 GMM-HMM基本流程 60 5.1.1 训练 60 5.1.2 解码 61 5.1.3 强制对齐 62 5.2 DNN-HMM基本流程 63 5.3 DNN配置详解 64 5.3.1 component和component-node 65 5.3.2 属性与描述符 66 5.3.3 不同组件的使用方法 66 5.3.4 LSTM配置范例 76 5.4 小结 81 6 说话人自适应 84 6.1 什么是说话人自适应 84 6.2 特征域自适应与声道长度规整 85 6.3 声学模型自适应:HMM-GMM系统 87 6.3.1 基于MAP的自适应方法 88 6.3.2 基于MLLR的自适应方法 91 6.4 声学模型自适应:DNN系统 93 6.4.1 模型参数自适应学习 93 6.4.2 基于说话人向量的条件学习 94 6.5 领域自适应 95 6.6 小结 95 7 噪声对抗与环境鲁棒性 97 7.1 环境鲁棒性简介 97 7.2 前端信号处理方法 98 7.2.1 语音增强方法 99 7.2.2 特征域补偿方法 103 7.2.3 基于DNN的特征映射 106 7.3 后端模型增强方法 108 7.3.1 简单模型增强方法 108 7.3.2 模型自适应方法 109 7.3.3 多场景学习和数据增强方法 109 7.4 小结 110 8 小语种语音识别 111 8.1 小语种语音识别面临的主要困难 112 8.2 基于音素共享的小语种语音识别 113 8.3 基于参数共享的小语种语音识别方法 118 8.4 其他小语种语音识别方法 121 8.4.1 Grapheme 建模 121 8.4.2 网络结构与训练方法 121 8.4.3 数据增强 122 8.5 小语种语音识别实践 122 8.5.1 音频数据采集 122 8.5.2 文本数据采集 122 8.5.3 文本正规化 123 8.5.4 发音词典设计 123 8.6 小结 123 9 关键词识别与嵌入式应用 125 9.1 基本概念 125 9.2 评价指标 126 9.3 实现方法 129 9.3.1 总体框架 129 9.3.2 基于LVCSR的KWS系统 130 9.3.3 基于示例的KWS 132 9.3.4 端到端KWS 133 9.3.5 滑动窗口 133 9.4 嵌入式应用 134 9.4.1 模型压缩 134 9.4.2 迁移学习 136 9.4.3 网络结构搜索与设计 137 9.5 小结 137 10 说话人识别 140 10.1 什么是说话人识别 140 10.1.1 基本概念 140 10.1.2 技术难点 143 10.1.3 发展历史 143 10.2 基于知识驱动的特征设计 144 10.3 基于线性高斯的统计模型 147 10.3.1 高斯混合模型-通用背景模型 147 10.3.2 因子分析 150 10.4 基于数据驱动的特征学习 154 10.4.1 模型结构 156 10.4.2 训练策略 157 10.4.3 多任务学习 157 10.5 基于端到端的识别模型 158 10.6 小结 160 11 语种识别 161 11.1 什么是语种识别 161 11.2 语言的区分性特征 163 11.3 统计模型方法 165 11.3.1 基于声学特征的识别方法 165 11.3.2 基于发音单元的语种识别方法 167 11.4 深度学习方法 170 11.4.1 基于DNN的统计模型方法 170 11.4.2 基于DNN的端到端建模 172 11.4.3 基于DNN的语言嵌入 176 11.5 Kaldi中的语种识别 178 11.6 小结 180 12 语音情绪识别 182 12.1 什么是语音情绪识别 182 12.2 语音情绪模型 185 12.2.1 离散情绪模型 186 12.2.2 连续情绪模型 186 12.3 语音情绪特征提取 187 12.3.1 语音情绪识别中的典型特征 187 12.3.2 局部特征与全局特征 190 12.4 语音情绪建模 192 12.4.1 离散情绪模型 192 12.4.2 连续情绪模型 195 12.5 深度学习方法 196 12.5.1 基础DNN方法 196 12.5.2 特征学习 198 12.5.3 迁移学习 200 12.5.4 多任务学习 200 12.6 小结 201 13 语音合成 203 13.1 激励-响应模型 204 13.2 参数合成 207 13.3 拼接合成 208 13.4 统计模型合成 210 13.5 神经模型合成 212 13.6 基于注意力机制的合成系统 214 13.7 小结 216 参考文献 217 索引 243

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个