本书介绍了作者所提出的人工神经网络的新理论与算法（样条权函数神经网络算法与代数算法），这些理论与算法彻底克服了困扰学术界多年的传统算法的困难（例如局部极小、收敛速度慢、不收敛、难以求得全局最优点等困难），其中样条权函数神经网络算法还具有很好的泛化能力。

    全书共有7章，讨论了人工神经网络的概论、基本概念、实神经网络的代数算法、全局最小值分析、复数神经网络的代数算法、样条权函数神经网络及其学习算法和神经网络的统计灵敏度分析。

    本书逻辑严谨，论述清晰，数学推导详细，对于相关领域的广大科技工作者、理工科博士、硕士研究生以及高年级本科生都有很好的参考价值，也可以作为相关领域的培训或自学教材。

引    言

本书介绍了作者所提出的人工神经网络的新理论与算法，主要是实神经网络的代数算法、复神经网络的代数算法、样条权函数神经网络算法（这些算法的名称是作者取的）。

这些理论与算法彻底克服了困扰学术界多年的传统算法的困难（例如BP或RBF算法中，局部极小、收敛速度慢、不收敛、难以求得全局最优点等困难）。

本书凝聚着作者近几年的创新成果，希望能够起到抛砖引玉，继往开来的作用。

神经网络作为人工智能的一个重要分支，备受关注，它的研究成果对于新一代计算机的研究开发具有重要的意义。作者真诚希望广大读者提出宝贵建议（作者的邮箱地址是dyzhang@njupt.edu.cn），共同推动这一研究领域的发展，踏出一条创新型的独立发展道路。

全书共分7章，具体是：

第1章概论。这一章简要介绍计算机、生物神经网络与人工神经网络，本书的目的与价值，神经网络的发展历史等。

第2章基本概念，包括生物学的启示、人工神经元模型（单输入单输出人工神经元、多输入单输出人工神经元），简要介绍了作者提出的样条函数神经元以及人工神经网络，人工神经网络结构等基本知识。通过生物神经元的启示，介绍了人工神经元以及人工神经网络的基本概念。这些基本概念是理解人工神经网络的基础。

第3章实神经网络的代数算法，介绍新型前馈神经网络学习算法及其理论基础。包括引言、BP算法的缺点与困难、代数算法的基本原理（符号与神经网络的拓扑结构、代数算法的理论与实现）、计算实例、结论等内容。在这一章里，作者从理论上证明了代数算法可以求得全局最优点。作者在隐层引入了类支集函数，可以使得求解线性方程组的过程稳定。代数算法在神经网络的训练开始之前就能准确给出隐层神经元个数，并具有很高的精度、较快的运算速度。作者在本章中提出了许多新的概念，并采用了一套新的符号。

第4章全局最小值分析，包括引言、三层前馈网络代价函数全局最小值分析、数值仿真实验、结论等内容。这一章的重要成果是作者研究了隐层神经元个数的变化与神经网络的映射精度之间的关系，给出了一个重要的精度估计公式。这一重要的精度估计公式在神经网络训练之前就可根据已知的目标样本和隐层神经元个数来确定神经网络代价函数的全局最小值，并指出代价函数全局最小值随隐层神经元个数的增加而单调减小，并且最终成为0。

第5章复数神经网络的代数算法，包括引言、复数神经网络的概念、复数神经网络的构造、复数前馈神经网络的全局最优学习算法的基本原理、隐层神经元个数的确定以及线性方程组的求解（解存在的充分必要条件及隐层神经元个数的确定、隐层神经元函数的选择和复自由权的选择）、结论与数值仿真实验等内容。作者从理论上证明了复数代数算法可以求得复数前馈神经网络的全局最优点。作者提出了隐层采用复数类支集函数训练复数神经网络，保证了求解过程的良态性。另一方面，复数神经网络的代数算法在网络训练开始之前就能准确给出隐层神经元个数，即容易确定获得全局最小点时所需要的隐层神经元的个数。复数神经网络的代数算法具有很高的训练精度和学习速度。在这一章里，作者引入了复数神经网络等许多概念。

第6章样条权函数神经网络及其学习算法，本章的内容很重要，希望读者能够将本章的理论与算法应用到实际工作当中去。对于传统的前馈神经网络学习算法（如BP算法、RBF算法等），在训练后神经网络的权值是常数，很难把这些训练后的常数权值与训练过的样本之间建立起内在的对应关系，即人们很难从存储在神经网络的权值中提取有用的规则。对于希望得到规则的学习训练目标来说，这些常数权值似乎没有什么“意义”。为了克服传统神经网络训练的权值难以反映训练样本信息的缺陷，作者提出了一种新型结构的神经网络及其训练算法，作者将其命名为人工神经网络的样条权函数学习（训练）算法，简称为样条权函数学习（训练）算法。作者给出了新颖人工神经网络的拓扑结构，其结构比代数算法以及传统算法（如BP算法等）采用的神经网络结构都简单得多。作者提出了第一类样条权函数的神经网络拓扑结构和第二类样条权函数的神经网络拓扑结构。样条权函数学习算法使得训练后的神经网络的权值是输入样本的函数（称为权函数），由三次样条函数构成，而不是传统方法的常数。样条权函数训练算法能够精确记忆训练过的样本，即能够求得全局最小值，而且训练后的权函数可以很好地反映样本的信息特征。不仅如此，随着样本个数的增加，网络的泛化能力也在增强。本章算法的主要计算工作量是求解样条函数，它速度快，不存在传统算法（如BP等梯度下降类算法）的局部极小、收敛速度慢、初值敏感性等问题。作者详细分析了在Чебьппев范数意义下，第一类、第二类样条权函数训练算法的误差估计。误差估计对于神经网络的泛化能力的确定以及实际应用都是非常重要的。另外，为了研究样条权函数训练算法，作者在这一章中提出了许多新概念。

这一章的内容包括引言，学习曲线，投影概念与投影方程，第一类权函数的神经网络拓扑结构与训练算法（包括第一类权函数的神经网络拓扑结构、样条权函数方程的建立与求解，第一类权函数的神经网络训练算法又称为和函数的训练算法），第一类权函数的训练算法（和函数的训练算法）的误差分析，第一类权函数的神经网络拓扑结构与训练算法的一般情况（和函数的训练算法），第二类权函数的神经网络拓扑结构与训练算法（又称为积函数的训练算法，还叙述了包括第二类权函数训练算法的基本原理，第二类权函数的训练算法的误差分析），奇异样本的概念、数值仿真实验、结论等。

第7章神经网络的统计灵敏度分析，包括引言、符号约定、灵敏度分析（网络误差的一般计算公式、三层神经网络的输出层误差与灵敏度的计算、INI网络的输出层误差与灵敏度计算）、数值仿真实验、结论等内容。本章研究当训练好的神经网络受到噪声干扰时，神经网络的输出行为将如何改变。采用统计灵敏度概念来分析这样的变化及其影响（能够采用统计灵敏度进行分析的前提是训练后的神经网络的权值必须是精确映射的权值，即这些权值必须是全局最优点）。因此，建议读者采用本书所介绍的神经网络学习算法训练神经网络，因为本书算法得到的权值都是全局最优解。如果采用传统的算法（如BP等梯度下降类算法）训练神经网络，则得到的权值通常只能是近似值，此时统计灵敏度已经失去意义。本章讨论了权值和输入样本的加性扰动灵敏度计算的理论公式。当输入扰动较小时，隐层取不同函数时灵敏度的值是不同的，但数值基本上稳定不变。当输入扰动值较大时，网络的灵敏度数值迅速下降，但是网络输出的平均相对误差却迅速增加。

本书逻辑严谨、论述清晰。为了为使广大本科（理工科）以上学历的读者能够理解本书的主要内容，所有的数学推导都力求尽量详细。

作者特别感谢清华大学出版社，能够提供这样一个出版学术专著的机会。

作者          

2006年7月于南京

II

神经网络新理论与方法

3

引    言

目    录

第1章  概论 1

1.1  计算机、生物神经网络与人工神经网络 1

1.2  本书的目的与价值 2

1.3  神经网络的发展历史简介 4

参考文献 6

第2章  人工神经元和人工神经网络的基本概念 7

2.1  生物学的启示 7

2.2  人工神经元模型 8

2.2.1  单输入单输出人工神经元 8

2.2.2  多输入单输出人工神经元 10

2.3  人工神经网络结构 11

第3章  实神经网络的代数算法 14

3.1  引言 14

3.2  BP算法的缺点与困难 15

3.3  代数算法的基本原理 22

3.3.1  符号与神经网络的拓扑结构 22

3.3.2  代数算法的理论与实现 26

3.4  计算实例 30

3.5  结论 32

参考文献 33

第4章  全局最小值分析 34

4.1  引言 34

4.2  三层前馈网络代价函数全局最小值分析 34

4.3  数值仿真实验 38

4.4  结论 40

参考文献 40

第5章  复数神经网络的代数算法 41

5.1  引言 41

5.2  复数神经网络的概念 41

5.3  复数神经网络的构造 42

5.4  复数前馈神经网络的全局最优学习算法的基本原理 42

5.5  隐层神经元个数的确定以及线性方程组的求解 44

5.5.1  解存在的充分必要条件及隐层神经元个数的确定 44

5.5.2  隐层神经元函数的选择 45

5.5.3  复自由权的选择 45

5.6  本章结论与数值仿真实验 49

参考文献 50

第6章  样条权函数神经网络及其学习算法 51

6.1  引言 52

6.2  学习曲线 52

6.3  投影概念与投影方程 55

6.4  第一类权函数的神经网络拓扑结构与训练算法（和函数的训练算法） 59

6.4.1  第一类权函数的神经网络拓扑结构 59

6.4.2  样条权函数方程的建立与求解 62

6.5  第一类权函数的训练算法（和函数的训练算法）的误差分析 66

6.6  第一类权函数的神经网络拓扑结构与训练算法的一般情

况（和函数的训练算法） 88

6.7  第二类权函数的神经网络拓扑结构与训练算法（积函数的训练算法） 94

6.7.1  第二类权函数的训练算法（积函数的训练算法）的基本原理 94

6.7.2  第二类权函数的训练算法（积函数的训练算法）的误差分析 104

6.8  奇异样本的概念 106

6.9  数值仿真实验 110

6.10  结论 112

参考文献 112

第7章  神经网络的统计灵敏度分析 114

7.1  引言 114

7.2  符号约定 115

7.3  灵敏度分析 116

7.3.1  神经网络误差的一般计算公式 116

7.3.2  三层神经网络的输出层误差与灵敏度的计算 118

7.3.3  INI网络的输出层误差与灵敏度计算 121

7.4  数值仿真实验 122

7.5  结论 123

参考文献 125

II

神经网络新理论与方法

3

目    录