研究生神经网络试题A卷参考答案
一、名词解释(共5题，每题5分，共计25分)
1、泛化能力
答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。
2、有监督学习
答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。
3、过学习
答：过学习（over-fitting），也叫过拟和。在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC维太大，所以期望风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。典型的过学习是多层前向网络的BP算法
4、Hebb学习规则
答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如果用vi、vj表示神经元i和j的激活值(输出)，?ij表示两个神经元之间的连接权，则Hebb学习规则可以表示为： ?wij??vivj ，这里?表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。
5、自学习、自组织与自适应性
答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力
方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。
二、问答题（共7题，每题8分，共计56分）
3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？
答; 1．单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。
2．信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。
3．规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。
4、感知器神经网络存在的主要缺陷是什么？
答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；
2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量；
3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。
5、请比较前馈型神经网络与反馈型神经网络的异同点。（8分）
答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神
经网络是一个非线性动力学系统。
(1) 前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。
(2) 前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。
(3) 两者都有局部极小问题。
6、BP算法的基本思想是什么，它存在哪些不足之处？（9分）
答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层 其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。 注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
虽然BP算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在于它的训练过程的不确定上。具体说明如下：
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。
2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。
3）隐节点的选取缺乏理论支持； 4）训练时学习新样本有遗忘旧样本趋势
1、人工神经网络：在对人脑神经网络基本认识的基础上，用数理方法从信息处理的角度对
人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络。
2、自适应：自适应性是指一个系统能改变自身的性能以适应环境变化的能力。
3、自学习：当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。
4、自组织：神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。 5、泛化能力：BP网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。
6、模式：模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合
7、分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。
8、聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。
9、死节点：在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权向量从未得到过调整。
10、网络吸引子：若网络的状态X?f(WX?T),则成称X为网络的吸引子。
11、人工神经网络发展阶段及标志：可分为四个时期：启蒙时期开始于1890年W.James关于人脑结构与功能的研究，结束于1969年Minsky和Papert出版的《感知器》一书；低潮时期开始于1969年，结束于1982年Hopfield发表的著名的文章《神经网络和物理系统》；复兴时期开始于J.J.Hopfield的突破性研究论文，结束与1986年D.E.Rumelhart和J.L.McClelland领导的研究小组编写出版的《并行分布式处理》一书。高潮时期以1987年首届国际神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮。 12、神经网络的基本特征：结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算、存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习和自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。
13、人脑神经元的基本结构与功能：神经元在结构上由细胞体、树突、轴突和突触四部分组成 功能：细胞体：处理信息的功能 树突：输入信息 轴突：输出信息 突触：传递信息的节点
14、人脑信息传递过程： 神经递质电生理递质与受体神经 神经递质释产生 反应 电脉冲 结合 放
突触前 突触间隙 突触后 15、BP网络的主要能力是什么？
答：1、非线性映射能力2、泛化能力3、容错能力 16、BP算法的缺陷及改进方案 BP算法的缺陷
①易形成局部极小而得不到全局最优；
②训练次数多，使得学习效率低，收敛速度慢； ③隐节点的选取缺乏理论指导；
④训练时学习新样本有遗忘旧样本的趋势。 改进方案： 1 增加动量项
2 自适应调节学习率 3 引入陡度因子
17、对输入、输出数据进行尺度变换的主要原因是什么？
?网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在0~1?10-55范围内变化，而另一输入分量则在0~1?10范围内变化。尺度变换使所有分量都在0~1或
-1~1之间变化，从而使网络训练一开始就给各输入分量以同等重要的地位；?BP网的神经
元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；?Sigmoid转移函数的输出在0~1或-1~1之间，作为教师信号的期望输出数据如不进行变换处理，势必使数值大的分量绝对误差大，数值小的分量的绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大，对输出分量进行尺度变换后这个问题可迎刃而解。 18、BP网络初始值的设计的原则和方法？
答：原则：使每个神经元一开始都工作在其转移函数变化最大的位置。
方法：①使初始权值足够小；②使初始值为+1和-1的权值数相等。应用中对隐层权值可采用第一种方法，而对输出层可采用第二种办法。 19、胜者为王学习规则的三个步骤。①向量归一化 首先将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星向量W得到X和（,2,???,m)全部进行归一化处理，jj?1^Wj(j?1,2,?,m)。②寻找获胜神经元 当网络得到一个输入模式向量X时，竞争层的所
有神经元对应的内星权向量Wj(j?1,2,?,m)均与X进行相似性比较，将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj*。测量相似性的方法是对Wj和X计算欧式距离（或夹角余弦）：X?Wj*?^^^^^^^^^^j?{1,2,?,m}（可补充）③网络输出与权值调整 胜min{X?Wj}^^者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。 20、SOM网权值初始化的原则和一般方法有哪些？
答：SOM网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，权向量的初始位置却随机的分散于样本空间的广阔区域，训练时必然是离整个样本群最近的权向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调