模式识别是信息科学和人工智能的重要组成部分，主要应用领域包括图像分析、光学字符识别、信道均衡、语言识别和语音分类等。本书全面介绍了模式识别的基础理论、最新方法及各种应用，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、上下文相关分类、特征生成、特征选择技术、学习理论的基本概念及聚类的概念与算法，新增了与大数据集和高维数据相关的算法，详细论述了非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、频谱聚类和组合集聚技术。书中的各章提供习题与练习，并在配套网站上提供习题解答。

前 言 本书是我们根据多年来为研究生和高年级本科生讲授模式识别课程的经验编写的。模式识别课程面向的专业众多，包括电气工程、计算机工程、计算机科学和自动控制等。这些经验帮助我们将本书的内容编写得既全面，又相对独立，且适用于不同知识背景的读者。阅读本书时，读者需要具备的数学知识包括微积分学基础、初等线性代数和概率论基础。本书的4个附录中简要介绍了各章中用到的一些数学工具，如概率、统计和约束优化等。本书面向高年级本科生和硕士研究生，可作为一个或两个学期的教材，也可供研究人员和工程技术人员参考。需要注意的是，我们编写本书的目的是使其适用于所有从事模式识别相关研究的人员。 范围和方法 本书采用统一的方式来介绍各种模式识别方法。模式识别是图像分析、语音和声音识别、生物统计学、生物信息学、数据挖掘、信息检索等应用领域的核心。尽管这些领域存在很多不同点，但也有共同之处，因此对它们的研究也有统一的方法，如数据分类、隐藏模式等。本书重点介绍一些常用的方法。 书中的每一章都采用循序渐进的方式进行讲解，即从基础开始过渡到比较高深的主题，最后评述最新的技术。讲解时，我们尽量在数学描述和直接叙述之间保持平衡。模式识别中最终采用的合适技术和算法，很大程度上依赖于所要求解的问题。 新增内容 第四版的新增内容如下：大部分章末新增了MATLAB代码和上机实验；新增了大量实例和图形；新增了当前的热门主题，如非线性降维、非负矩阵分解、关联性反馈、鲁棒回归、半监督学习、频谱集聚、集聚组合技术等；重写了部分章节；新增了更多关于应用方面的内容。 补充内容 本书中的MATLAB文档、图形文件、习题及其解答、相关问题的详细证明和课件等资源，可从本书的配套网站www.elsevierdirect.com/9781597492720下载。配套网站上会定期增加和更新MATLAB示例。配套网站上的内容尽管经过了反复检查，但不可避免地会存在错误，欢迎读者批评指正。 致谢 本书的出版是广大师生多年来支持与帮助的结果。这里要特别感谢Kostas Berberidis, Velissaris Gezerlis, Xaris Georgion, Kristina Georgoulakis, Leyteris Kofidis, Thanassis Liavas, Michalis Mavroforakis, Aggelos Pikrakis, Thanassis Rontogiannis, Margaritis Sdralis, Kostas Slavakis和Theodoros Yiannakoponlos。 Yannis Kopsinis和Kostas Thernelis为本书的再版提供了支持和帮助。Alexandros B?lnn, Dionissis Cavouras, Vassilis Digalakis, Vassilis Drakopoulos, Nikos Galatsanos, George Glentis, Spiros Hatzispyros, Evagelos Karkaletsis, Elias Koutsoupias, Aristides Likas, Gerassimos Mileounis, George Monstakides, George Paliouras, Stavros Perantonis, Takis Stamatoponlos, Nikos Vassilas, Manolis Zervakis和Vassilis Zissimopoulos仔细审阅了本书并提出了建议。 如下人员提出了批评与建议：Tulay Adali, University of Maryland；Mehniet Celenk, Ohio University；Rama Chellappa, University of Maryland；Mark Clements, Georgia Institute of Technology；Robert Duin, Delft University of Technology；Miguel Figneroa, Villanueva University of Puerto Rico；Dimitris Gunopoulos, University of Athens；Mathias Kolsch, Naval Postgraduate School；Adam Krzyzak, Concordia University；Baoxiu Li, Arizona State University；David Miller, Pennsylvania State University；Bernhard Sch?lkopf, Max Planck Institute；Hari Sundaram, Arizona State University；Harry Wechsler, George Mason University和Alexander Zien, Max Planck Institute。 感谢这些人员给予的批评和建议，同时感谢N. Kalouptsidis教授与我们长期以来的合作。 最后，K. Koutroumbas要感谢Sophia, Dimitris-Marios和Valentini-Theodora的耐心与支持；S. Theodoridis要感谢Despina, Eva和Eleni，她们是快乐和动力的源泉。

目 录 第1章 导论 1 1.1 模式识别的重要性 1 1.2 特征、特征向量和分类器 3 1.3 监督、无监督和半监督学习 4 1.4 MATLAB程序 6 1.5 本书的章节安排 6 第2章 基于贝叶斯决策理论的分类器 8 2.1 引言 8 2.2 贝叶斯决策理论 8 2.3 判别函数和决策面 12 2.4 正态分布的贝叶斯分类 13 2.5 未知概率密度函数的估计 23 2.6 最近邻准则 41 2.7 贝叶斯网络 44 习题 48 MATLAB编程与练习 54 参考文献 58 第3章 线性分类器 61 3.1 引言 61 3.2 线性判别函数和决策超平面 61 3.3 感知器算法 62 3.4 最小二乘法 68 3.5 均方估计回顾 73 3.6 逻辑斯蒂判别 78 3.7 支持向量机 79 习题 94 MATLAB编程和练习 96 参考文献 97 第4章 非线性分类器 101 4.1 引言 101 4.2 异或问题 101 4.3 两层感知器 102 4.4 三层感知器 105 4.5 基于训练集准确分类的算法 106 4.6 反向传播算法 107 4.7 反向传播算法的变体 112 4.8 代价函数的选择 114 4.9 神经网络大小的选择 116 4.10 仿真实例 119 4.11 共享权重的网络 120 4.12 广义线性分类器 121 4.13 线性二分分类器中l维空间的容量 123 4.14 多项式分类器 124 4.15 径向基函数网络 125 4.16 通用逼近器 128 4.17 概率神经网络 129 4.18 支持向量机：非线性情形 130 4.19 其他SVM范式 134 4.20 决策树 142 4.21 组合分类器 146 4.22 增强组合分类器的方法 151 4.23 类别不平衡问题 156 4.24 讨论 157 习题 157 MATLAB编程和练习 160 参考文献 163 第5章 特征选择 173 5.1 引言 173 5.2 预处理 173 5.3 峰值现象 175 5.4 基于统计假设检验的特征选择 177 5.5 接收机工作特性曲线 182 5.6 类别可分性判据 183 5.7 特征子集选择 188 5.8 最优特征生成 191 5.9 神经网络和特征生成/选择 198 5.10 关于泛化理论的提示 199 5.11 贝叶斯信息准则 205 习题 206 MATLAB编程和练习 208 参考文献 211 第6章 特征生成I：数据变换和降维 216 6.1 引言 216 6.2 基向量和图像 216 6.3 Karhunen-Loève变换 218 6.4 奇异值分解 224 6.5 独立成分分析 229 6.6 非负矩阵因子分解 234 6.7 非线性降维 235 6.8 离散傅里叶变换 243 6.9 离散余弦和正弦变换 245 6.10 哈达玛变换 246 6.11 哈尔变换 247 6.12 重新审视哈尔展开式 248 6.13 离散时间小波变换 251 6.14 多分辨率解释 258 6.15 小波包 259 6.16 二维推广简介 260 6.17 应用 262 习题 265 MATLAB编程和练习 267 参考文献 269 第7章 特征生成II 276 7.1 引言 276 7.2 区域特征 276 7.3 形状和尺寸特征 292 7.4 分形简介 298 7.5 语音和声音分类的典型特征 303 习题 313 MATLAB编程和练习 315 参考文献 318 第8章 模板匹配 324 8.1 引言 324 8.2 基于最优路径搜索技术的度量 324 8.3 基于相关的度量 335 8.4 可变形模板模型 339 8.5 基于内容的信息检索：相关反馈 342 习题 345 MATLAB编程和练习 345 参考文献 347 第9章 上下文相关分类 350 9.1 引言 350 9.2 贝叶斯分类器 350 9.3 马尔可夫链模型 350 9.4 Viterbi算法 351 9.5 信道均衡 354 9.6 隐马尔可夫模型 357 9.7 基于状态持续时间建模的HMM 365 9.8 使用神经网络训练马尔可夫模型 370 9.9 马尔可夫随机场的讨论 371 习题 373 MATLAB编程和练习 373 参考文献 375 第10章 监督学习：尾声 380 10.1 引言 380 10.2 错误计数法 380 10.3 利用有限大小的数据集 381 10.4 医学成像实例研究 384 10.5 半监督学习 386 习题 394 参考文献 395 第11章 集聚：基本概念 399 11.1 引言 399 11.2 邻近度 403 习题 417 参考文献 418 第12章 集聚算法I：顺序算法 420 12.1 引言 420 12.2 集聚算法的分类 421 12.3 顺序集聚算法 423 12.4 改进的BSAS 426 12.5 双阈值顺序算法 427 12.6 细化阶段 429 12.7 神经网络实现 430 习题 432 MATLAB编程和练习 434 参考文献 435 第13章 集聚算法II：层次算法 438 13.1 引言 438 13.2 合并算法 438 13.3 同型矩阵 455 13.4 分裂算法 456 13.5 用于大数据集的层次算法 457 13.6 选择最优的聚类数 462 习题 464 MATLAB编程和练习 465 参考文献 466 第14章 集聚算法III：基于函数优化的方法 469 14.1 引言 469 14.2 混合分解方法 470 14.3 模糊集聚算法 476 14.4 可能性聚类 491 14.5 硬集聚算法 495 14.6 向量量化 501 附录 503 习题 503 MATLAB编程和练习 505 参考文献 507 第15章 集聚算法IV 512 15.1 引言 512 15.2 基于图论的集聚算法 512 15.3 竞争学习算法 522 15.4 二值形态学集聚算法 528 15.5 边界检测算法 534 15.6 寻谷集聚算法 536 15.7 代价优化集聚回顾 538 15.8 核集聚算法 543 15.9 处理大数据集的基于密度的算法 546 15.10 高维数据集的集聚算法 550 15.11 其他集聚算法 560 15.12 组合集聚 561 习题 565 MATLAB编程和练习 567 参考文献 569 第16章 聚类有效性 578 16.1 引言 578 16.2 假设检验回顾 578 16.3 聚类有效性中的假设检验 580 16.4 相对准则 587 16.5 单个聚类的有效性 598 16.6 集聚趋势 600 习题 606 参考文献 608 附录A 概率论与数理统计的相关知识 613 附录B 线性代数基础 622 附录C 代价函数优化 624 附录D 线性系统理论的基本定义 636 词汇表 638