本书较全面地阐述了人工神经网络的理论知识，介绍了多种经典的人工神经网络模型结构、学习算法和实际应用。本书共11章，第1章介绍人工神经网络的定义、发展、生理学机理、神经元模型、拓扑结构、学习算法等；第2章介绍感知机的基本原理、学习算法及应用；第3章介绍多层前馈神经网络的基本原理、学习算法及应用；第4章介绍不同正则化理论、相应神经网络及应用；第5章介绍不同极限学习机模型、支持向量机及应用；第6章介绍形态神经网络的模型结构、学习算法、鲁棒性分析及应用；第7章介绍自组织映射和核自组织映射的基本原理及应用；第8章介绍典型卷积神经网络的模型结构和基本原理，阐述卷积神经网络的变体及应用；第9章介绍基本的生成对抗网络、自注意生成对抗网络、进化生成对抗网络、迁移学习和对抗领域自适应等网络模型，阐述生成对抗网络的学习算法、训练技巧及应用；第10章介绍长短时记忆网络和递归神经网络的模型、学习算法及应用；第11章介绍模糊神经网络，包括模糊集合和模糊逻辑的基本概念和运算，模糊神经网络的模型结构、性能分析、学习算法及应用。本书可作为计算机科学与技术、软件工程、人工智能、智能科学与技术、生物医学工程等专业本科生和研究生的教材或参考书，也可供相关领域关注人工神经网络理论及应用的工程技术人员和科研人员学习参考。

人工神经网络的发展经历了高潮和低谷，自2006年深度神经网络提出以来，人工神经网络就受到了学术界和工业界前所未有的关注，同时在各个领域取得了长足的发展和成就。人工神经网络是将人工神经元按照一定拓扑结构进行连接所形成的网络，用以模拟人类进行知识的表示与存储及利用知识进行推理的行为。人工神经网络作为一种人工智能研究的方法，影响着未来科学技术的发展，也深刻改变着人类的生产生活方式。 本书较全面地阐述了人工神经网络的理论知识，介绍了多种经典的人工神经网络模型结构、学习算法和实际应用。全书共11章，第1章介绍人工神经网络的定义、发展、生理学机理、神经元模型、拓扑结构、学习算法等。第2章介绍感知机的基本原理、学习算法及应用。第3章介绍多层前馈神经网络的基本原理、学习算法及应用。第4章介绍不同正则化理论、相应神经网络及应用。第5章介绍不同极限学习机模型、支持向量机及应用。第6章介绍形态神经网络的模型结构、学习算法、鲁棒性分析及应用。第7章介绍自组织映射和核自组织映射的基本原理及应用。第8章介绍典型卷积神经网络的模型结构和基本原理，阐述卷积神经网络的变体及应用。第9章介绍基本的生成对抗网络、自注意生成对抗网络、进化生成对抗网络、迁移学习和对抗领域自适应等网络模型，阐述生成对抗网络的学习算法、训练技巧及应用。第10章介绍长短时记忆网络和递归神经网络的模型、学习算法及应用。第11章介绍模糊神经网络，包括模糊集合和模糊逻辑的基本概念和运算，模糊神经网络的模型结构、性能分析、学习算法及应用。 本书包含配套教学资源，读者可登录华信教育资源网（www.hxedu.com.cn）注册后免费下载。 在这里，要特别感谢我的导师：南京理工大学的叶有培教授、杨静宇教授和长沙理工大学的徐蔚鸿教授，感谢叶老师和杨老师多年以来对我工作和生活的支持和关心，感谢徐老师将我领入神经网络的研究大门。本人指导的学生为完善本书做了大量工作，在此一并表示感谢。 本书的出版得到了“湖南省研究生优质课程：神经网络理论及应用”项目、湖南省学位与研究生教育改革研究一般项目（2019JGYB116）、湖南省高等学校教学改革研究项目（HNJG-2020-0224）的资助，在此一并表示感谢。 鉴于人工神经网络是一门复杂的学科，涉及的知识面广，本书虽凝聚了本人十几年的科研成果，但错误和缺点在所难免，恳请读者指正，并对进一步修改和完善提出宝贵意见。 作 者

第1章 绪论 1 1.1　什么是人工神经网络 1 1.2　发展历史 2 1.3　人脑 4 1.4　Hebb法则 7 1.5　神经元模型 7 1.6　神经网络的拓扑结构 9 1.7　知识表示 11 1.8　神经网络的学习算法 15 1.9　神经网络的学习任务 17 1.10　小结 20 参考文献 21 第2章 感知机 22 2.1　引言 22 2.2　实例引入 22 2.3　Rosenblatt感知机 23 2.3.1 感知机的结构 23 2.3.2 单层感知机与多层感知机 23 2.3.3 感知机的学习 27 2.4　最小均方误差 27 2.4.1 线性回归问题引入 27 2.4.2 最小均方算法 28 2.5　实战Iris模式分类 30 2.6　小结 31 参考文献 32 习题 32 第3章 多层前馈神经网络 33 3.1　引言 33 3.2　多层前馈神经网络模型结构 33 3.3　BP神经网络 35 3.3.1 BP神经网络的介绍 35 3.3.2 BP算法 35 3.3.3 编程实战 38 3.4　RBF神经网络 41 3.4.1 什么是RBF神经网络 41 3.4.2 RBF神经网络的学习过程 42 3.4.3 RBF神经网络与BP神经网络的区别 42 3.5　泛化能力 43 3.5.1 什么是泛化 43 3.5.2 如何提高泛化能力 44 3.6　函数逼近 46 3.6.1 通用逼近定理 46 3.6.2 逼近误差的边界 46 3.6.3 维数灾难 47 3.7　BP算法的优点和缺点 48 3.7.1 BP算法的优点 48 3.7.2 BP算法的缺点 49 3.8　人脸识别应用 50 3.8.1 人脸图像的小波变换 52 3.8.2 BP神经网络的分类识别 53 3.8.3 RBF神经网络的分类识别 53 3.8.4 实验结果 54 3.9　小结 55 参考文献 55 习题 56 第4章 正则化理论 57 4.1　引言 57 4.2　良态问题的Hadamard条件 58 4.3　正则化理论 58 4.4　正则化网络 66 4.5　广义RBF神经网络 66 4.6　正则化最小二乘估计 69 4.7　半监督学习 71 4.8　正则化参数估计 71 4.9　流形正则化 75 4.10　广义正则化理论 76 4.11　用半监督学习对模式分类的 实验 77 4.12　小结 79 参考文献 80 习题 81 第5章 极限学习机模型及应用 84 5.1　引言 84 5.2　预备知识 84 5.2.1 核方法 84 5.2.2 支持向量机 86 5.3　极限学习机模型 91 5.4　核极限学习机 94 5.5　正则极限学习机 95 5.6　基于正则极限学习机的图像复原 97 5.7　基于正规方程式的核极限学习机 99 5.7.1 模型结构与算法 99 5.7.2 基于NE-KELM的模式识别实验 101 5.8　基于共轭梯度的核极限学习机 103 5.8.1 共轭梯度法 104 5.8.2 模型结构与算法 104 5.8.3 基于CG-KELM的图像复原实验 105 5.9　流形正则化核极限学习机 107 5.9.1 流形正则化核极限学习机的模型结构与算法 107 5.9.2 基于MR-KELM的糖尿病检测实验 107 5.10　基于核极限学习机的医疗诊断系统 108 5.10.1 PL-KELM的流程 108 5.10.2 基于PL-KELM的模式识别实验 110 5.10.3 肿瘤细胞识别系统 111 5.11　小结 112 参考文献 113 习题 114 第6章 形态神经网络 115 6.1　引言 115 6.2　形态学算法基础 115 6.2.1 数学形态学的定义 115 6.2.2 数学形态滤波 116 6.3　形态神经网络模型 117 6.4　形态联想记忆神经网络模型及其摄动鲁棒性 118 6.4.1 MAM神经网络的数学基础与相关定义 118 6.4.2 两种MAM神经网络的摄动鲁棒性 119 6.5　进化形态神经网络 123 6.5.1 进化形态神经网络的学习算法 124 6.5.2 基于进化形态神经网络的图像复原 125 6.6　小结 127 参考文献 127 习题 129 第7章 自组织映射 130 7.1　引言 130 7.2　两个基本的特征映射模型 131 7.3　SOM概述 132 7.4　特征映射的性质 137 7.5　核SOM概述 142 7.6　小结 148 参考文献 149 习题 149 第8章 卷积神经网络模型及应用 151 8.1　引言 151 8.2　卷积神经网络模型 152 8.2.1 卷积神经网络的基本结构和原理 152 8.2.2 LeNet-5 159 8.2.3 AlexNet 160 8.2.4 VGGNet 167 8.2.5 Inception 170 8.2.6 ResNet 179 8.2.7 Inception-ResNet 188 8.3　基于卷积神经网络的白细胞分类 190 8.3.1 白细胞图像去噪 191 8.3.2 基于k-Means颜色聚类算法的显微白细胞图像分割 194 8.3.3 基于改进卷积神经网络的显微 白细胞图像识别 195 8.4　结合卷积神经网络和极限学习机的人脸识别 200 8.4.1 卷积神经网络参数训练 201 8.4.2 正则极限学习机进行图像分类 202 8.4.3 基于CNN-RELM的人脸识别模型实验与对比分析 203 8.5　基于深度迁移学习的肿瘤细胞图像识别 206 8.5.1 引言 206 8.5.2 正则化与迁移学习 207 8.5.3 基于深度迁移学习的肿瘤细胞图像识别 208 8.6 小结 212 参考文献 212 习题 213 第9章 生成对抗网络模型 214 9.1　引言 214 9.2　预备知识 214 9.2.1 GAN基础模型 215 9.2.2 GAN训练 216 9.2.3 平衡状态 216 9.2.4 为什么学习GAN 217 9.2.5 GAN概述 218 9.2.6 显式密度模型 218 9.2.7 隐式密度模型 218 9.2.8 GAN与其他生成算法比较 218 9.3　GAN的基础理论 219 9.3.1 GAN的基础——对抗训练 219 9.3.2 损失函数 220 9.3.3 训练过程 220 9.3.4 生成器和鉴别器 221 9.3.5 目标冲突 222 9.3.6 混淆矩阵 222 9.3.7 GAN训练算法 223 9.4　训练和常见挑战 223 9.4.1 评价 223 9.4.2 评价框架 224 9.4.3 Inception Score 225 9.4.4 Frechet Inception Distance（FID） 225 9.4.5 训练挑战 226 9.4.6 增加网络深度 226 9.4.7 各种GAN游戏设置 227 9.4.8 什么时候停止训练 230 9.5　训练技巧 231 9.5.1 输入标准化 231 9.5.2 批量标准化 231 9.5.3 理解标准化 231 9.5.4 计算BN 232 9.5.5 梯度惩罚 232 9.5.6 多训练鉴别器 232 9.5.7 避免稀疏梯度 233 9.5.8 使用软标签和带噪声的标签 233 9.6　自注意生成对抗网络 233 9.6.1 注意力 233 9.6.2 自注意力 235 9.6.3 核心代码 236 9.7　进化生成对抗网络 237 9.7.1 基本介绍 237 9.7.2 动机 237 9.7.3 进化算法 238 9.7.4 生成的图像 240 9.8　生成对抗网络和迁移学习 240 9.8.1 迁移学习的概念 240 9.8.2 为什么要迁移学习 241 9.8.3 迁移学习的基本形式 242 9.8.4 GAN和迁移学习的联系 243 9.9　对抗领域自适应用于肿瘤图像诊断 243 9.9.1 对抗领域自适应网络模型 244 9.9.2 特征提取器 245 9.9.3 数据集和实验设置 246 9.9.4 结果分析与讨论 246 9.9.5 探讨 247 9.10　小结 247 参考文献 247 习题 249 第10章 长短时记忆网络 250 10.1　引言 250 10.2　RNN 250 10.2.1 RNN的结构模型 250 10.2.2 RNN模型的优缺点 251 10.3　LSTM的结构模型与实现 252 10.4　LSTM的学习算法 253 10.5　LSTM的网络方程 255 10.6　LSTM的实际应用 257 10.6.1 数据预处理 257 10.6.2 建立模型与训练 258 10.6.3 结果展示 259 10.7　小结 259 参考文献 260 习题 260 第11章 模糊神经网络 261 11.1　绪论 261 11.1.1 模糊集合、模糊逻辑理论及其运算 261 11.1.2 模糊逻辑推理 264 11.1.3 FNN概述 267 11.2　训练模式对的摄动对MFNN的影响 271 11.2.1 FNN中的摄动鲁棒性 271 11.2.2 MFNN及其学习算法 273 11.2.3 分析训练模式对的摄动对MFNN的影响 275 11.3　折线FNN的泛逼近性 279 11.3.1 相关记号与术语 279 11.3.2 折线模糊数 280 11.3.3 三层前馈折线FNN 282 11.3.4 折线FNN对模糊函数的通用逼近性 285 11.3.5 输入为一般模糊数的折线FNN的通用逼近性 291 11.3.6 一般折线FNN的通用逼近性分析 296 11.4　模糊化神经网络的学习算法 301 11.4.1 折线FNN的学习算法 302 11.4.2 折线FNN的模糊学习算法 305 11.4.3 正则FNN的学习算法 312 11.5　小结 317 参考文献 318 习题 319