BP神经网络的工作原理
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。
人工神经网络的知识表示形式和推理机制
神经网络有多种分类方式，例如，按网络性能可分为连续型与离散型网络，确定型与随机型网络:按网络拓扑结构可分为前向神经网络与反馈神经网络。本章土要简介前向神经网络、反馈神经网络和自组织特征映射神经网络。
前向神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是很多神经网络模型的基础。径向基函数神经网络就是一种前向型神经网络。Hopfield神经网络是反馈网络的代表。Hvpfi}ld网络的原型是一个非线性动力学系统，目前，已经在联想记忆和优化计算中得到成功应用。-bp神经网络原理
基本特征
非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
-神经网络
一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。-bp神经网络原理
以上内容参考：百度百科-人工神经网络
伤寒、副伤寒流行预测模型（BP神经网络）的建立
由于目前研究的各种数学模型或多或少存在使用条件的局限性，或使用方法的复杂性等问题，预测效果均不十分理想，距离实际应用仍有较大差距。NNT是Matlab 中较为重要的一个工具箱，在实际应用中，BP 网络用的最广泛。神经网络具有综合能力强，对数据的要求不高，适时学习等突出优点，其操作简便，节省时间，网络初学者即使不了解其算法的本质，也可以直接应用功能丰富的函数来实现自己的目的。因此，易于被基层单位预防工作者掌握和应用。以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键：-神经网络
（1）资料选取
应尽可能地选取所研究地区系统连续的因素与疾病资料，最好包括有疾病高发年和疾病低发年的数据。在收集影响因素时，要抓住主要影响伤寒、副伤寒的发病因素。
（2）疾病发病率分级
神经网络预测法是按发病率高低来进行预测，在定义发病率等级时，要结合专业知识及当地情况而定，并根据网络学习训练效果而适时调整，以使网络学习训练达到最佳效果。
（3）资料处理问题
在实践中发现，资料的特征往往很大程度地影响网络学习和训练的稳定性，因此，数据的应用、纳入、排出问题有待于进一步研究。
6.3.1 人工神经网络的基本原理
人工神经网络（ANN）是近年来发展起来的十分热门的交叉学科，它涉及生物、电子、计算机、数学和物理等学科，有着广泛的应用领域。人工神经网络是一种自适应的高度非线性动力系统，在网络计算的基础上，经过多次重复组合，能够完成多维空间的映射任务。神经网络通过内部连接的自组织结构，具有对数据的高度自适应能力，由计算机直接从实例中学习获取知识，探求解决问题的方法，自动建立起复杂系统的控制规律及其认知模型。-bp神经网络原理
人工神经网络就其结构而言，一般包括输入层、隐含层和输出层，不同的神经网络可以有不同的隐含层数，但他们都只有一层输入和一层输出。神经网络的各层又由不同数目的神经元组成，各层神经元数目随解决问题的不同而有不同的神经元个数。-神经网络
6.3.2 BP神经网络模型
BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的，是一种多层次反馈型网络（图6.17），它在输入和输出之间采用多层映射方式，网络按层排列，只有相邻层的节点直接相互连接，传递之间信息。在正向传播中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出结果，则转入反向传播，将误差信号沿原来的连同通路返回，通过修改各层神经元的权值，使误差信号最小。-bp神经网络原理
BP网络的学习算法步骤如下（图6.18）：
图6.17 BP神经网络示意图
图6.18 BP算法流程图
第一步：设置初始参数ω和θ，（ω为初始权重，θ为临界值，均随机设为较小的数）。
第二步：将已知的样本加到网络上，利用下式可算出他们的输出值yi，其值为
岩溶地区地下水与环境的特殊性研究
式中：xi为该节点的输入；ωij为从I到j的联接权；θj为临界值；yj为实际算出的输出数据。
第三步：将已知输出数据与上面算出的输出数据之差（dj-yj）调整权系数ω，调整量为
ΔWij=ηδjxj
式中：η为比例系数；xj为在隐节点为网络输入，在输出点则为下层（隐）节点的输出（j=1，2…，n）；dj为已知的输出数据（学习样本训练数据）；δj为一个与输出偏差相关的值，对于输出节点来说有
δj=ηj（1-yj）（dj-yj）
对于隐节点来说，由于它的输出无法进行比较，所以经过反向逐层计算有
岩溶地区地下水与环境的特殊性研究
其中k指要把上层（输出层）节点取遍。误差δj是从输出层反向逐层计算的。各神经元的权值调整后为
ωij（t）=ωij（t-1）+Vωij
式中：t为学习次数。
这个算法是一个迭代过程，每一轮将各W值调整一遍，这样一直迭代下去，知道输出误差小于某一允许值为止，这样一个好的网络就训练成功了，BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题，它使用了优化技术中最普遍的一种梯度下降算法，用迭代运算求解权值相当于学习记忆问题。-神经网络
6.3.3 BP 神经网络模型在伤寒、副伤寒流行与传播预测中的应用
伤寒、副伤寒的传播与流行同环境之间有着一定的联系。根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料，伤寒、副伤寒疫源地资料，结合现有资源与环境背景资料（桂林市行政区划、土壤、气候等）和社会经济资料（经济、人口、生活习惯等统计资料）建立人工神经网络数学模型，来逼近这种规律。-bp神经网络原理
6.3.3.1 模型建立
（1）神经网络的BP算法
BP网络是一种前馈型网络，由1个输入层、若干隐含层和1个输出层构成。如果输入层、隐含层和输出层的单元个数分别为n，q1，q2，m，则该三层网络网络可表示为BP（n，q1，q2，m），利用该网络可实现n维输入向量Xn=（X1，X2，…，Xn）T到m维输出向量Ym=（Y1，Y2，…，Ym）T的非线性映射。输入层和输出层的单元数n，m根据具体问题确定。-神经网络
（2）样本的选取
将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子（表6.29），输出单元为伤寒副伤寒的发病率等级，共一个输出单元。其中q1，q2的值根据训练结果进行选择。-bp神经网络原理
表6.29 桂林市伤寒副伤寒影响因素量化表
通过分析，选取在伤寒副伤寒有代表性的县镇在1994～2001年的环境参评因子作为样本进行训练。利用聚类分析法对疫情进行聚类分级（Ⅰ、Ⅱ、Ⅲ、Ⅳ），伤寒副伤寒发病最高级为Ⅳ（BP网络中输出定为4），次之的为Ⅲ（BP网络中输出定为3），以此类推，最低为Ⅰ（BP网络中输出定为1）-神经网络
（3）数据的归一化处理
为使网络在训练过程中易于收敛，我们对输入数据进行了归一化处理，并将输入的原始数据都化为0～1之间的数。如将平均降雨量的数据乘以0.0001；将平均气温的数据乘以0.01；其他输入数据也按类似的方法进行归一化处理。-bp神经网络原理
（4）模型的算法过程
假设共有P个训练样本，输入的第p个（p=1，2，…，P）训练样本信息首先向前传播到隐含单元上。
经过激活函数f（u）的作用得到隐含层1的输出信息：
岩溶地区地下水与环境的特殊性研究
经过激活函数f（u）的作用得到隐含层2的输出信息：
岩溶地区地下水与环境的特殊性研究
激活函数f（u）我们这里采用Sigmoid型，即
f（u）=1/[1+exp（-u）]（6.5）
隐含层的输出信息传到输出层，可得到最终输出结果为
岩溶地区地下水与环境的特殊性研究
以上过程为网络学习的信息正向传播过程。
另一个过程为误差反向传播过程。如果网络输出与期望输出间存在误差，则将误差反向传播，利用下式来调节网络权重和阈值：
岩溶地区地下水与环境的特殊性研究
式中：Δω（t）为t次训练时权重和阈值的修正；η称为学习速率，0＜η＜1；E为误差平方和。
岩溶地区地下水与环境的特殊性研究
反复运用以上两个过程，直至网络输出与期望输出间的误差满足一定的要求。
该模型算法的缺点：
1）需要较长的训练时间。由于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。
2）完全不能训练。主要表现在网络出现的麻痹现象上，在网络的训练过程中，当其权值调的过大，可能使得所有的或大部分神经元的加权总和n偏大，这使得激活函数的输入工作在S型转移函数的饱和区，从而导致其导数f′（n）非常小，从而使得对网络权值的调节过程几乎停顿下来。-神经网络
3）局部极小值。BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法，训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。-bp神经网络原理
考虑到以上算法的缺点，对模型进行了两方面的改进：
（1）附加动量法
为了避免陷入局部极小值，对模型进行了改进，应用了附加动量法。附加动量法在使网络修正及其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用则有可能滑过这些极小值。-神经网络
该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生心的权值变化。促使权值的调节向着误差曲面底部的平均方向变化，从而防止了如Δω（t）=0的出现，有助于使网络从误差曲面的局部极小值中跳出。-bp神经网络原理
这种方法主要是把式（6.7）改进为
岩溶地区地下水与环境的特殊性研究
式中：A为训练次数；a为动量因子，一般取0.95左右。
训练中对采用动量法的判断条件为
岩溶地区地下水与环境的特殊性研究
（2）自适应学习速率
对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。所以，为了尽量缩短网络所需的训练时间，采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。-神经网络
下式给出了一种自适应学习速率的调整公式：
岩溶地区地下水与环境的特殊性研究
通过以上两个方面的改进，训练了一个比较理想的网络，将动量法和自适应学习速率结合起来，效果要比单独使用要好得多。
6.3.3.2 模型的求解与预测
采用包含了2个隐含层的神经网络BP（4，q1，q2，1），隐含层单元数q1，q2与所研究的具体问题有关，目前尚无统一的确定方法，通常根据网络训练情况采用试错法确定。在满足一定的精度要求下一般认小的数值，以改善网络的概括推论能力。在训练中网络的收敛采用输出值Ykp与实测值tp的误差平方和进行控制：-bp神经网络原理
岩溶地区地下水与环境的特殊性研究
1）将附加动量法和自适应学习速率结合应用，分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。因此训练样本为36个，第一个隐含层有19个神经元，第二个隐含层有11个神经元，学习速率为0.001。-神经网络
A.程序（略）。
B.网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.19）。
图6.19 神经网络训练过程图
C.模型预测。
a.输入未参与训练的乡镇（洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡）地质条件数据。
b.预测。程序运行后网络输出预测值a3，与已知的实际值进行比较，其预测结果整理后见（表6.30）。经计算，对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。
表6.30 神经网络模型预测结果与实际结果比较
c.地质条件改进方案。在影响疾病发生的地质条件中，大部分地质条件是不会变化的，而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。因此，以灵田乡为例对发病率较高的乡镇进行分析，改变其饮用水类型，来看发病等级的变化情况。-bp神经网络原理
表6.31显示，在其他地质条件因素不变的情况下，改变当地的地下水类型（从原来的岩溶水类型改变成基岩裂隙水）则将发病等级从原来的最高级4级，下降为较低的2级，效果是十分明显的。因此，今后在进行伤寒副伤寒疾病防治的时候，可以通过改变高发区饮用水类型来客观上减少疫情的发生。-神经网络
表6.31 灵田乡改变饮用水类型前后的预测结果
2）选取桂林地区1994～2000年月平均降雨量、月平均温度作为输入数据矩阵，进行样本训练，设定不同的隐含层单元数，对各月份的数据进行BP网络训练。在隐含层单元数q1=13，q2=9，经过46383次数的训练，误差达到精度要求，学习速率0.02。-bp神经网络原理
A.附加动量法程序（略）。
B.网络训练。在命令窗口执行运行命令，网络开始学习和训练，其学习和训练过程如下（图6.20）。
C.模型预测。
a.输入桂林市2001年1～12月桂林市各月份的平均气温和平均降雨量。预测程度（略）。
b.预测。程序运行后网络输出预测值a2，与已知的实际值进行比较，其预测结果整理后见（表6.32）。经计算，对2001年1～12月伤寒副伤寒发病等级进行预测，12个预测结果中，有9个符合，符合率为75%。-神经网络
图6.20 神经网络训练过程图
表6.32 神经网络模型预测结果与实际值比较
6.3.3.3 模型的评价
本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测，一方面引用数量化理论对不确定因素进行量化处理；另一方面利用神经网络优点，充分考虑各影响因素与发病率之间的非线性映射。
实际应用表明，神经网络定量预测伤寒、副伤寒发病率是理想的。
其主要优点有：
1）避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。
2）完成了输入和输出之间复杂的非线性映射关系。
3）采用自适应的信息处理方式，有效减少人为的主观臆断性。
虽然如此，但仍存在以下缺点：
1）学习算法的收敛速度慢，通常需要上千次或更多，训练时间长。
2）从数学上看，BP算法有可能存在局部极小问题。
本模型具有广泛的应用范围，可以应用在很多领域。从上面的结果可以看出，实际和网络学习数据总体较为接近，演化趋势也基本一致。说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近，从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。-bp神经网络原理
