整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大致分布区域充分重合。根据上述思路,一中简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值,即:W()?Xkj0ram j?(1,2,?,m) 式中,kram是输入样本的顺序随机数,kram?{1,2,?P}。因为任何Xkram一定是输入空间
某个模式类的成员,各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类,占据了十分有利的“地形”。另外一种可行的办法是先计算出全体样本的中心向量:
1Pp X??X
Pp?1在该中心向量基础上叠加小随机数作为权向量初始值,也可将权向量的初始位置确定在样本群中。
21、SOM网的局限性
①隐层神经元数目难以确定,因此隐层神经元往往未能充分利用,某些距离学习向量远的神经元不能获胜,从而成为死节点;
②聚类网络的学习速率需要人为确定,学习终止往往需要人为控制,影响学习进度; ③隐层的聚类结果与初始权值有关。
22、正则化RBF网络与广义RBF网络的不同:
①径向基函数的个数M与样本的个数P不相等,且M常常远小于P。 ②径向基函数的中心不再限制在数据点上,而是由训练算法确定。 ③各径向基函数的扩展常数不再统一,其值由训练算法确定。 ④输出函数的线性中包含阈值参数,用于补偿基函数在样本集上的平均值与目标值之间的差别。
23、BP网络与RBF网络的不同
①RBF网络只有一个隐层,而BP网络的隐层可以是一层也可以是多层的。 ②BP网络的隐层和输出层其神经元模型是一样的;而RBF网络的隐层神经元和输出层神经元不仅模型不同,而且在网络中起到的作用也不一样。 ③RBF网络的隐层是非线性的,输出层是线性的。然而,当用BP网络解决模式分类问题时,它的隐层和输出层通常选为非线性的。当用BP网络解决非线性回归问题时,通常选择线性输出层。
④RBF网络的基函数计算的是输入向量和中心的欧氏距离,而BP网络隐单元的激励函数计算的是输入单元和连接权值间的内积。
⑤RBF网络使用局部指数衰减的非线性函数(如高斯函数)对非线性输入输出映射进行局部逼近。BP网络的隐节点采用输入模式与权向量的内积作为激活函数的自变量,而激活函数则采用Sigmoid函数或硬限幅函数,因此BP网络是对非线性映射的全局逼近。RBF网络最显著的特点是隐节点采用输入模式与中心向量的距离(如欧式距离)作为函数的自变量,并用径向基函数(如Gauss函数)作为激活函数。径向基函数关于N维空间的的一个中心点具有径向对称性,而且神经元的输入离该中心越远,神经元的激活程度就越低。隐层节点的这个特性常被称为“局部特性”。
24、支持向量机的基本思想/方法是什么? 答:支持向量机的主要思想是建立一个最优决策超平面,使得该平面两侧距平面最近的两类样本之间的距离最大化,从而对分类问题提供良好的泛化能力。对于非线性可分模式分类问题,根据Cover定理:将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分
的,因此只要变换是非线性的且特征空间的维数足够高,则原始模式空间能变换为一个新的高维特征空间,使得在特征空间中模式以较高的概率为线性可分的。此时,应用支持向量机算法在特征空间建立分类超平面,即可解决非线性可分的模式识别问题。
25、cover定理:将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。
26、画图并说明权值调整的通用学习规则。
答:通用学习规则可表达为:权向量Wj在t时刻的调整量?W与t时刻的输入向量(jt)X(t)和学习信号r的乘积成正比。用数学表达式为:
?Wj??r[Wj(t),X(t),dj(t)]X(t)
式中,?为正数,称为学习常数,其值决定了学习速率。基于离散时间调整时,下一时刻的权向量应为:
Wj(t?1)?Wj(t)??r[Wj(t),X(t),dj(t)]X(t)(补充图)
27、BP算法的误差曲线存在平坦区,利用图形、相关公式说明造成平坦区的原因、平坦区造成的问题、如何改进进而快速度过平坦区。
答:造成平坦区的原因:造成这种情况的原因与各节点的净输入过大有关。平坦区造成的问题:会使训练次数大大增加,从而影响了收敛速度。如何改进进而快速度过平坦区:?自适应调节学习率?引入陡度因子 28、批训练BP算法步骤 29、SOM神经网络学习算法
?,m;⑴初始化 对输出层各权向量赋予小随机数并进行归一化处理,得到Wj,j?1,2,建立初始优胜邻域Nj*(0);学习率?赋初始值。
^^p?{1,2,?,P}。⑵接受输入 从训练集中选取一个输入模式并进行归一化处理,得到X,
^p?,m,从中选出点积最大的获胜节点⑶寻找获胜节点 计算X与Wj的点积,j?1,2,p^j*;如果输入模式未经归一化,应计算欧式距离,从中找出距离最小的获胜节点。
⑷定义优胜邻域Nj* 以j*为中心确定t时刻的权值调整域,一般初始邻域Nj*较(t)(0)大,训练过程中Nj*随训练时间逐渐收缩。 (t)⑸调整权值 对优胜邻域Nj*内的所有节点调整权值: (t)p?,n; j?Nj* (t)wij(t?1)?wij(t)??(t,N)[xi?wij(t)] i?1,2,30、K-means聚类算法确定数据中心
c1(0),c2(0),?,cM(0),选择时可(1)初始化 选择M个互不相同向量作为初始聚类中心:
采用对各聚类中心向量赋小随机数的方法。
(2) 计算输入空间各样本点与聚类中心点的欧式距离:
Xp-c(,2,?,P; j?1,2,?,M jk) p?1(3)相似匹配 令j*代表竞争获胜隐节点的下标,对每一个输入样本X根据其与聚类中心的最小欧式距离确定其归类j*(Xp),即当有如下等式时:
pj*(Xp)?minXp?cj(k) p?1,2,?,P
jXp被归为第j*类,从而将全部样本划分M个子集,U1(k),U2(k),?,UM(k),每个子集构
成一个以聚类中心为典型代表的聚类域。
(4)更新各类的聚类中心 可采用两种调整方法,一种方法是对各聚类域中的样本取均值,令Uj(k)表示第j个聚类域,Nj为第j个聚类域中的样本数,则:
cj(k?1)?1NlX?Uj(k)?X
另一种方法是采用竞争学习规则进行调整,即
p??cj(k)??[X?cj(k)],j?j*cj(k?1)??
c(k),j?j*?j?式中,?是学习率,且0???1。可以看出,当??1时,该竞争规则即为Winner-Take-All规则。
(5)将k值加1,转到第(2)步。重复上述过程直到ck的改变量小于要求的值。 各聚类中心确定后,可根据各中心之间的距离确定对应径向基函数的扩展常数。令:
dj?mincj?ci 则扩展常数取:?j??dj 式中,?为重叠系数。
i31、结合cover定理,从模式可分性观点论述RBF处理线性不可分问题的原理。
(1)cover定理 将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。
(2)RBF神经元模型 F(X)?(3)RBF的拓扑结构 X1
X2
X3
?w?(X?Xpp?1Pp)
n dist ?y