
本书系统介绍了语音信号处理的基础、原理、方法、应用、新理论、新成果与新技术、前沿领域及研究进展,以及背景知识、研究现状、应用前景和发展趋势。全书分三篇共18章。第一篇语音信号处理基础,包括第1章绪论,第2章语音信号处理的基础知识;第二篇语音信号分析,包括第3章时域分析,第4章短时傅里叶分析,第5章倒谱分析与同态滤波,第6章线性预测分析,第7章语音信号的非线性分析,第8章语音声学参数检测与估计,第9章矢量量化,第10章隐马尔可夫模型;第三篇语音信号处理技术与应用,包括第11章语音编码,第12章语音合成,第13章语音识别,第14章说话人识别和语种辨识,第15章智能信息处理技术在语音信号处理中的应用,第16章语音增强,第17章麦克风阵列语音信号处理,第18章语音信息对抗。本书体系完整,结构严谨,系统性强,原理阐述透彻,内容繁简适中,丰富而新颖,联系实际应用。本书可作为高等院校信号与信息处理、通信与电子工程、电路与系统、模式识别与人工智能等专业及学科高年级本科生及研究生的教材,也可供该领域的科研及工程技术人员参考。
语音信号处理是在多学科基础上发展起来的综合性研究领域与技术,涉及信号处理、语音学、语言学、生理学、心理学、模式识别、认知科学等学科。它是迅速发展的信息科学研究领域中的一个,涉及一系列前沿课题。该领域的研究成果应用广泛,具有广阔的市场需求和前景,已成为移动互联网、移动通信、智能语音、人机智能接口等产业的核心与支撑技术之一。 本书系统介绍语音信号处理的基础、原理、方法、应用、新成果与新技术、前沿领域及研究进展,以及背景知识、研究现状、应用前景和发展趋势。在内容编排上按基础、分析、处理与应用的顺序组织材料。 除传统的语音信号处理技术外,本书用大量篇幅介绍了现代语音信号处理内容,包括以下方面: (1)语音信号处理领域的一些新技术新成果。包括语音产生的非线性模型,非线性预测编码,基于HMM的参数化语音合成,可视及双模语音识别,说话人自适应,语音理解,基于子空间分解的语音增强等。 (2)智能信息处理与现代信号处理技术在语音处理中的应用。介绍新兴及前沿的理论与技术,包括混沌与分形、支持向量机、神经网络、深度学习、模糊集、遗传算法及其他智能优化算法,以及压缩感知、高阶累积量、盲分离、小波、子空间分解等在语音信号分析与处理中的应用。 语音信号处理研究经历了数十年,已取得很多重要进展,但仍面临许多理论与方法上的困难,存在一些难以解决的问题。近年迅速发展的智能信息处理与现代信号处理的一些理论与技术,是解决这些问题的工具之一,已在语音处理研究中广泛应用,对其发展起到推动作用。 (3)麦克风阵列语音信号处理。包括基于麦克风阵列的声源定位、语音盲分离及语音增强等。基于麦克风阵列的语音信号处理是阵列信号处理与语音信号处理的交叉学科,且涉及声学信号处理的内容。应用于语音信号处理的阵列处理技术与相控阵雷达、移动通信及声呐等领域的阵列处理技术有很大不同。 (4)语音信息对抗。即语音处理与信息对抗(如通信侦察与对抗,信息安全技术等)的融合。该部分内容拓展了语音处理学科体系的范畴,并构成信息对抗技术的一个分支。 (5)语音处理与其他学科技术的交叉融合。包括信息对抗(语音信息对抗)、智能信息处理(智能语音处理)、现代信号处理(基于现代信号处理技术的语音处理)、阵列信号处理(麦克风阵列语音信号处理)、图像处理(双模语音识别)、声信号处理(如战场声目标识别)等。 本书体系完整,结构严谨,系统性强,原理阐述透彻,内容繁简适中,丰富而新颖,联系实际应用。可作为高等院校信号与信息处理、通信与电子工程、电路与系统、模式识别与人工智能等专业及学科高年级本科生及研究生的教材,也可供该领域的科研及工程技术人员参考。 我国信息科学学术带头人袁保宗教授审阅了本书,提出了宝贵意见,在此向袁先生表示衷心的敬意与感谢!同时感谢李俊安、王玉龙、孟德燚同志所提供的帮助。 本书力求反映作者多年从事语音信号处理教学的经验与体会。鉴于语音信号处理研究内容十分丰富,涉及众多学科及前沿领域,有很强的实用性,又处于迅速发展之中,受作者学术水平等多方面因素所限,书中难免存在问题与不足,敬请批评指正。 作 者
目 录 第一篇 语音信号处理基础 第1章 绪论 1 1.1 语音信号处理的发展历史 1 1.2 语音信号处理的主要研究内容及 发展概况 3 1.3 本书的内容 7 思考与复习题 8 第2章 语音信号处理的基础知识 9 2.1 概述 9 2.2 语音产生的过程 9 2.3 语音信号的特性 12 2.3.1 语言和语音的基本特性 12 2.3.2 语音信号的时间波形和频谱特性 13 2.3.3 语音信号的统计特性 15 2.4 语音产生的线性模型 16 2.4.1 激励模型 17 2.4.2 声道模型 18 2.4.3 辐射模型 20 2.4.4 语音信号数字模型 20 2.5 语音产生的非线性模型 21 2.5.1 FM-AM模型的基本原理 22 2.5.2 Teager能量算子 22 2.5.3 能量分离算法 23 2.5.4 FM-AM模型的应用 24 2.6 语音感知 24 2.6.1 听觉系统 24 2.6.2 神经系统 25 2.6.3 语音感知 26 思考与复习题 29 第二篇 语音信号分析 第3章 时域分析 30 3.1 概述 30 3.2 数字化和预处理 31 3.2.1 取样率和量化字长的选择 31 3.2.2 预处理 33 3.3 短时能量分析 34 3.4 短时过零分析 36 3.5 短时相关分析 39 3.5.1 短时自相关函数 39 3.5.2 修正的短时自相关函数 40 3.5.3 短时平均幅差函数 41 3.6 语音端点检测 42 3.6.1 双门限前端检测 43 3.6.2 多门限过零率前端检测 43 3.6.3 基于FM-AM模型的端点检测 43 3.7 基于高阶累积量的语音端点检测 44 3.7.1 噪声环境下的端点检测 44 3.7.2 高阶累积量与高阶谱 44 3.7.3 基于高阶累积量的端点检测 46 思考与复习题 48 第4章 短时傅里叶分析 50 4.1 概述 50 4.2 短时傅里叶变换 50 4.2.1 短时傅里叶变换的定义 50 4.2.2 傅里叶变换的解释 51 4.2.3 滤波器的解释 54 4.3 短时傅里叶变换的取样率 55 4.4 语音信号的短时综合 56 4.4.1 滤波器组求和法 56 4.4.2 FFT求和法 58 4.5 语谱图 59 思考与复习题 61 第5章 倒谱分析与同态滤波 62 5.1 概述 62 5.2 同态信号处理的基本原理 62 5.3 复倒谱和倒谱 63 5.4 语音信号两个卷积分量复倒谱的性质 64 5.4.1 声门激励信号 64 5.4.2 声道冲激响应序列 65 5.5 避免相位卷绕的算法 66 5.5.1 微分法 67 5.5.2 最小相位信号法 67 5.5.3 递推法 69 5.6 语音信号复倒谱分析实例 70 5.7 Mel频率倒谱系数 72 思考与复习题 73 第6章 线性预测分析 74 6.1 概述 74 6.2 线性预测分析的基本原理 74 6.2.1 基本原理 74 6.2.2 语音信号的线性预测分析 75 6.3 线性预测方程组的建立 76 6.4 线性预测分析的解法(1)—自相关和 协方差法 77 6.4.1 自相关法 78 6.4.2 协方差法 79 6.4.3 自相关和协方差法的比较 80 6.5 线性预测分析的解法(2)—格型法 81 6.5.1 格型法基本原理 81 6.5.2 格型法的求解 83 6.6 线性预测分析的应用—LPC谱估计和 LPC复倒谱 85 6.6.1 LPC谱估计 85 6.6.2 LPC复倒谱 87 6.6.3 LPC谱估计与其他谱分析方法的 比较 88 6.7 线谱对(LSP)分析 89 6.7.1 线谱对分析原理 89 6.7.2 线谱对参数的求解 91 6.8 极零模型 91 思考与复习题 93 第7章 语音信号的非线性分析 94 7.1 概述 94 7.2 时频分析 94 7.2.1 短时傅里叶变换的局限 95 7.2.2 时频分析 96 7.3 小波分析 97 7.3.1 概述 97 7.3.2 小波变换的定义 97 7.3.3 典型的小波函数 99 7.3.4 离散小波变换 100 7.3.5 小波多分辨分析与Mallat算法 100 7.4 基于小波的语音分析 101 7.4.1 语音分解与重构 101 7.4.2 清/浊音判断 102 7.4.3 语音去噪 102 7.4.4 听觉系统模拟 103 7.4.5 小波包变换在语音端点检测中的应用 103 7.5 混沌与分形 104 7.6 基于混沌的语音分析 105 7.6.1 语音信号的混沌性 105 7.6.2 语音信号的相空间重构 106 7.6.3 语音信号的Lyapunov指数 108 7.6.4 基于混沌的语音、噪声判别 109 7.7 基于分形的语音分析 110 7.7.1 概述 110 7.7.2 语音信号的分形特征 110 7.7.3 基于分形的语音分割 111 7.8 压缩感知 113 7.9 语音信号的压缩感知 114 7.9.1 语音信号的稀疏性 114 7.9.2 语音压缩感知的实现 114 7.9.3 需要进一步解决的问题 116 思考与复习题 117 第8章 语音声学参数检测与估计 118 8.1 基音估计 118 8.1.1 自相关法 119 8.1.2 并行处理法 121 8.1.3 倒谱法 122 8.1.4 简化逆滤波法 124 8.1.5 高阶累积量法 127 8.1.6 小波变换法 127 8.1.7 基音检测的后处理 128 8.2 共振峰估计 129 8.2.1 带通滤波器组法 129 8.2.2 DFT法 130 8.2.3 倒谱法 131 8.2.4 LPC法 133 8.2.5 FM-AM模型法 134 思考与复习题 135 第9章 矢量量化 136 9.1 概述 136 9.2 矢量量化的基本原理 137 9.3 失真测度 138 9.3.1 欧氏距离—均方误差 139 9.3.2 LPC失真测度 139 9.3.3 识别失真测度 141 9.4 最佳矢量量化器和码本的设计 141 9.4.1 矢量量化器最佳设计的两个条件 141 9.4.2 LBG算法 142 9.4.3 初始码书生成 142 9.5 降低复杂度的矢量量化系统 143 9.5.1 无记忆的矢量量化系统 144 9.5.2 有记忆的矢量量化系统 146 9.6 语音参数的矢量量化 148 9.7 智能信息处理在矢量量化中的应用策略 149 思考与复习题 150 第10章 隐马尔可夫模型 151 10.1 概述 151 10.2 隐马尔可夫模型的引入 152 10.3 隐马尔可夫模型的定义 154 10.4 隐马尔可夫模型三个问题的求解 155 10.4.1 概率的计算 156 10.4.2 HMM的识别 158 10.4.3 HMM的训练 159 10.4.4 EM算法 160 10.5 HMM的选取 161 10.5.1 HMM的类型选择 161 10.5.2 输出概率分布的选取 162 10.5.3 状态数的选取 162 10.5.4 初值选取 162 10.5.5 训练准则的选取 164 10.6 HMM应用与实现中的一些问题 165 10.6.1 数据下溢 165 10.6.2 多输出(观察矢量序列)情况 165 10.6.3 训练数据不足 166 10.6.4 考虑状态持续时间的HMM 167 10.7 HMM的结构和类型 169 10.7.1 HMM的结构 169 10.7.2 HMM的类型 171 10.7.3 按输出形式分类 172 10.8 HMM的相似度比较 173 思考与复习题 174 第三篇 语音信号处理技术与应用 第11章 语音编码 175 11.1 概述 175 11.2 语音信号的压缩编码原理 177 11.2.1 语音压缩的基本原理 177 11.2.2 语音通信中的语音质量 178 11.2.3 两种压缩编码方式 179 11.3 语音信号的波形编码 179 11.3.1 PCM及APCM 179 11.3.2 预测编码及自适应预测编码 182 11.3.3 ADPCM及ADM 184 11.3.4 子带编码(SBC) 186 11.3.5 自适应变换编码(ATC) 188 11.4 声码器 190 11.4.1 概述 190 11.4.2 声码器的基本结构 191 11.4.3 通道声码器 191 11.4.4 同态声码器 193 11.5 LPC声码器 194 11.5.1 LPC参数的变换与量化 195 11.5.2 LPC-10 196 11.5.3 LPC-10e 197 11.5.4 变帧率LPC声码器 198 11.6 各种常规语音编码方法的比较 198 11.6.1 波形编码的信号压缩技术 198 11.6.2 波形编码与声码器的比较 199 11.6.3 各种声码器的比较 199 11.7 基于LPC模型的混合编码 200 11.7.1 混合编码采用的技术 201 11.7.2 MPLPC 203 11.7.3 RPELPC 206 11.7.4 CELP 207 11.7.5 CELP的改进形式 210 11.7.6 基于分形码本的CELP 212 11.8 基于正弦模型的混合编码 213 11.8.1 正弦变换编码 214 11.8.2 多带激励(MBE)编码 214 11.9 极低速率语音编码 216 11.9.1 (400~1.2k)b/s数码率的声码器 216 11.9.2 识别-合成型声码器 217 11.10 语音压缩感知编码 218 11.11 语音编码的性能指标 219 11.12 语音编码的质量评价 220 11.12.1 主观评价方法 221 11.12.2 客观评价方法 222 11.12.3 主客观评价方法的结合 225 11.12.4 基于多重分形的语音质量评价 226 11.13 语音编码国际标准 227 11.14 语音编码与图像编码的关系 227 小结 228 思考与复习题 229 第12章 语音合成 230 12.1 概述 230 12.2 语音合成原理 231 12.2.1 语音合成的方法 231 12.2.2 语音合成的系统特性 233 12.3 共振峰合成 233 12.3.1 共振峰合成原理 233 12.3.2 共振峰合成实例 235 12.4 LPC合成 236 12.5 PSOLA语音合成 238 12.5.1 概述 238 12.5.2 PSOLA的原理 238 12.5.3 PSOLA的实现 239 12.5.4 PSOLA的改进 241 12.5.5 PSOLA语音合成系统的发展 241 12.6 文语转换系统 242 12.6.1 组成与结构 242 12.6.2 文本分析 242 12.6.3 韵律控制 244 12.6.4 语音合成 246 12.6.5 TTS系统的一些问题 247 12.7 基于HMM的参数化语音合成 248 12.8 语音合成的发展趋势 252 12.9 语音合成硬件简介 253 思考与复习题 254 第13章 语音识别 255 13.1 概述 255 13.2 语音识别原理 258 13.3 动态时间规整 262 13.4 基于有限状态矢量量化的语音识别 264 13.5 孤立词识别系统 265 13.6 连接词识别 268 13.6.1 基本原理 268 13.6.2 基于DTW的连接词识别 269 13.6.3 基于HMM的连接词识别 271 13.6.4 基于分段K-均值的最佳词串 分割及模型训练 271 13.7 连续语音识别 272 13.7.1 连续语音识别存在的困难 272 13.7.2 连续语音识别的训练及识别方法 273 13.7.3 连续语音识别的整体模型 274 13.7.4 基于HMM统一框架的大词汇 非特定人连续语音识别 275 13.7.5 声学模型 276 13.7.6 语言学模型 278 13.7.7 最优路径搜索 280 13.8 鲁棒的语音识别 282 13.9 分形语音识别 284 13.10 说话人自适应 285 13.10.1 MAP算法 285 13.10.2 基于变换的自适应方法 286 13.10.3 基于说话人分类的自适应方法 286 13.11 关键词确认 287 13.12 可视语音识别 289 13.12.1 概述 289 13.12.2 机器自动唇读 290 13.12.3 双模语音识别 291 13.13 语音理解 294 13.13.1 MAP语义解码 295 13.13.2 语义结构的表示 295 13.13.3 意图解码器 296 小结 297 思考与复习题 297 第14章 说话人识别和语种辨识 299 14.1 概述 299 14.2 特征选取 300 14.2.1 说话人识别所用的特征 300 14.2.2 特征类型的优选准则 301 14.2.3 常用的特征参数 302 14.3 说话人识别系统的结构 302 14.4 说话人识别基本方法概述 303 14.5 说话人识别系统实例 304 14.5.1 DTW系统 304 14.5.2 VQ系统 305 14.6 基于HMM的说话人识别 306 14.7 基于GMM的说话人识别 309 14.8 需要进一步研究的问题 311 14.9 语种辨识 312 思考与复习题 315 第15章 智能信息处理技术在语音 信号处理中的应用 316 15.1 神经网络 316 15.1.1 人工神经网络 316 15.1.2 语音处理中的神经网络结构 319 15.2 神经网络与传统方法结合的策略 324 15.2.1 概述 324 15.2.2 神经网络与DTW 325 15.2.3 神经网络与VQ 325 15.2.4 神经网络与HMM 326 15.3 基于神经网络的语音处理 327 15.3.1 语音识别 327 15.3.2 说话人识别 329 15.3.3 非线性预测编码 330 15.3.4 语音合成 333 15.4 支持向量机 334 15.4.1 概述 334 15.4.2 工作原理 335 15.5 基于支持向量机的语音识别与 说话人识别 337 15.5.1 语音分类 337 15.5.2 说话人辨认 338 15.5.3 说话人确认 339 15.6 深度学习 340 15.7 基于深度学习的语音识别 341 15.7.1 基于深度神经网络 341 15.7.2 基于卷积神经网络 342 15.8 模糊集 343 15.9 基于模糊集的语音处理 344 15.9.1 模糊语音识别策略 344 15.9.2 模糊矢量量化 345 15.10 遗传算法 345 15.11 遗传矢量量化 347 15.12 其他智能优化算法在语音处理中的 应用 348 15.13 语音处理中智能信息处理技术的 融合与集成策略 350 15.14 智能信息处理与非线性技术的结合及 在语音处理中的应用 352 15.14.1 神经网络与混沌和分形 352 15.14.2 基于混沌神经网络的语音识别 353 15.14.3 遗传算法与混沌 355 15.14.4 神经网络与小波 355 思考与复习题 355 第16章 语音增强 357 16.1 概述 357 16.2 语音、人耳感知及噪声的特性 358 16.3 固定滤波法 359 16.4 非线性处理 360 16.5 减谱法 361 16.5.1 基本原理 361 16.5.2 改进形式 362 16.6 相关对消法 363 16.7 自适应滤波法 363 16.7.1 自适应滤波 363 16.7.2 维纳滤波 364 16.7.3 自适应噪声对消 365 16.8 基于语音产生模型的语音增强 367 16.8.1 最大后验概率估计 367 16.8.2 卡尔曼滤波 368 16.9 小波方法 369 16.9.1 原理 369 16.9.2 小波语音增强 369 16.9.3 小波包语音增强 371 16.10 子空间分解方法 372 16.11 其他语音增强方法 375 16.11.1 神经网络方法 375 16.11.2 HMM方法 376 16.11.3 基于听觉感知的方法 376 16.11.4 压缩感知方法 376 思考与复习题 377 第17章 麦克风阵列语音信号处理 378 17.1 概述 378 17.2 技术难点 379 17.3 声源定位 380 17.3.1 去混响 380 17.3.2 近场模型 381 17.3.3 波束形成交叉定位 382 17.3.4 超分辨交叉定位 383 17.3.5 TDOA定位 383 17.3.6 几类定位方法的比较 385 17.4 基于麦克风阵列的语音增强 386 17.4.1 概述 386 17.4.2 波束形成法 387 17.4.3 波束形成法与自适应滤波的结合 388 17.4.4 自适应波束形成法 388 17.4.5 新方法与技术 391 17.4.6 应用 391 17.4.7 与单通道方法相比较的优势 392 17.5 语音盲分离 393 17.5.1 概述 393 17.5.2 瞬时线性混合模型 394 17.5.3 卷积混合模型 398 17.5.4 非线性混合模型 400 17.5.5 需要进一步研究的问题 401 思考与复习题 401 第18章 语音信息对抗 403 18.1 语音侦察与欺骗 403 18.2 语音通信反侦察 403 18.2.1 语音保密通信 404 18.2.2 语音隐蔽通信 405 18.3 语音信息安全 406 18.3.1 语音信息隐藏 406 18.3.2 语音数字水印 408 18.4 语音干扰 409 18.4.1 语音干扰的特征 409 18.4.2 语音干扰效能评估 410 18.5 基于语音处理技术的战场声目标识别 413 思考与复习题 415 汉英名词术语对照 416 参考文献 425