研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。 人工神经网络四种基本特征：
（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；
输出单元实现系统处理结果的输出；
人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。 人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。
人工神经元的机制：
1、生物神经元
典型的神经元，即神经细胞结构：胞体、树突、轴突、突触
胞体：神经细胞的本体，完成普通细胞的生存功能。 树突：有大量的分枝，接受来自其他神经元的信号。 轴突：用以输出信号。
突触：神经元相联系的部位，对树突的突触为兴奋性的，使下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个神经元兴奋。
神经元的两种工作状态：兴奋和抑制。
动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。
连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成精确的联接。
信号的传递过程：接受兴奋电位；信号的汇集和传导；信号的输出。 2、人工神经元 人工神经元模型：
xi：输入，神经元的输入值 ωi：权值，突触的连接强度 f ：输出函数，非线性函数 y ：输出 神经元动作：
常用输出函数： 阈值函数：
阶跃函数：
nnet??wi?xii?1双曲正切函数：
3、感知器模型
f 为阈值函数：
设阈值：θ=-ω0W=(ω1,ω2, ? ,ωn,ω0)TX=(x1, x2, ? , xn, 1)T
则：y=sgn (WTX) 即： y =f (WTX)
这种神经元没有内部状态的转变，而且函数为阈值型。因此，它实质上是一种线性阈值计算单元。感知器是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。感知器算法能够通过对训练模式样本集的“学习”得出判别函数的系数4、感知器训练算法 算法描述
用样本训练时，若x∈ωi，g(x)>0，则w不变。 若g(x)<0，则修改w，直到所有样本都满足条件为止。
通过上面的定义，感知器问题变成wi/wj两类问题。因此，感知器的自组织、自学习思想可以用于确定性分类器的训练——感知器训练方法。 初始化：
给定一个训练模式集{x1, x2,?xN}，其中每个类别已知，它们分属于ω1,ω2。xi＝(xi1, xi2,?xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1, xi2,?xin,1)ω2类样本乘以－1。权向量w为(n+1)维向量。
[iii]
。
感知器算法步骤
置步数k=1，令增量C为常数，且C>0，分别赋予初始增广权矢量w(1)的各分量较小的任意值。
输入训练模式xk，计算判别函数值wT(k)xk 调整增广权矢量，规则是：
如果wT(k)xk≤0, 则w(k+1)=w(k)+ Cxk 如果wT(k)xk>0, 则w(k+1)=w(k)
如果k 通常人工神经网络在能识别之前, 需要用一些已知的输入模式对网络进行识别训练( 或称之为学习)。这样的训练— 学习是在一组学习规则控制下进行的。初始的权重往往是由网络拓扑、节点特性和学习规则来规定的。学习规则除了控制训练、学习外, 还要说明在不断的学习过程中如何改进性能、改变权重。由于整个人工神经网络是由大量的具有处理能力的节点所组成, 而且节点间又有无数的联系。所以, 少数节点或联系的损坏并不影响大局。 再加上不少人工神经网络的算法还不断地利用当前的结果来及时改善其性能. 因此, 人工神经网络还具有自适应性, 并在容错方面比冯·诺诊曼机要强得多。 用作分类器的人工神经网络： 在模式识别( aP et m R eC 0 gn i it on ) 中通常用来将不同的输入模式进行分类, 以获得一正确的归类。为对人工神经网络在这方面的功能有一清楚的认识, 不妨把它和传统模式识别作一对比。假设一个分类器有N 个稳定的输入, 它可判断某一输入模式最可能对应M 个类别中的那一类。在语音识别中, 输入可能是某一时刻声波的频谱, 而其分类结果则是某一元音。在图象识别中输入则可能是一幅由不同灰度等级象素点组成的图画, 而其结果可能是某一物体。这样的分类器的工作过程可用图三来描述。由图可见, 传统分类器可分成两级。 第一级, 计算输入和可能输出每一类的匹配值(该值反映了输入模式和输出类别的接近程度)。第二级, 选择匹配值最大的类。第一级的输入是代表 个输入元素值的一些符号 , 这些符号是顺序、串行输入的, 在这一级中分类器要将输入符号的外部形式转化成内部形式以用于算术、符号运算。这一级中的算法是用来计算M 个可输出类别中每一类的匹配值。其值的大小表示输入和输出的接近程序, 值越大越接近。很多情况下, 分类器是利用概率模型来确定输出样本模型和输入模式的关系及匹配值. 分布参数可由训练数据来估算, 多变量高斯分布是一种较简便的算法。