惊 悲
- + + + + ~ + + - - + + + + ~ + - - - + + - - - + + ~ 识别方法：识别方法种类繁多，如K最近邻方法、支持向量机、人工神经网络、高斯混合模型、隐马尔可夫模型等。许多学者针对这些情感语音的特征，比较了不同的分类方法能够达到的不同效果，人工神经网络、主元分析法,GMM方法等效果较好
总结：情感计算是一个多学科交叉的崭新的研究领域。这包括传感器技术、计算机科学、认知科学、心理学、行为学、生理学、医学、哲学、社会学等。情感计算的最终目标是赋予计算机类似于人一样，并能够被人所控制的情感能力。要达到这个目标，有许多基本科学问题有待解决，并具有很大的难度。另一方面，新世纪之中人类对自身的研究将成为科学探索的重点。情感作为人们心理活动的主要内容之一，存在许多待解之迷。可以认为，围绕情感计算产生的科学突破将对我们人类生活质量产生重大影响。
3 手势识别
3.1手势识别的概念模型(Concep t model forgesture recognition)
手势是指在人的意识支配下,人手作出的各类动作,如手指弯曲、伸展和手在空间的运动等,可以是执行某项任务,也可以是与人的交流,总之都表达某种含义或意图。基于手势识别的三维交互输入技术。目前常用的有基于数据手套的手势识别和基于视觉(如摄像机) 的手势识别。
手势不但由骨胳肌肉驱动, 而且还受人的信念、意识的驱使, 它涉及到人的思维活动的高级行为. 从用户产生手势到系统“感知”手势的过程如图1 所示.
手的运动是手势的表现形式. 用户的操作意图是用户要完成任务
的内容, 即用户心理活动(概念手势)G, 经过运动控制(变换) , 用手势运动H 表达. 经由感受设备(变换T hi) 将手的运动H 变换为系统的输入信息I , 所以从G 到I 的映射过程为:T g h: G → H , 即H C T g h (G)
T hi: H → I , 即I C T hi (H ) T g i: G → I , 即I C T hi (T g h (G) ) C T g i (G)其中: T g h为人体运动控制传送函数; T hi为输入设备传送函数. 手势识别的任务就是从系统输入I 推断、确定 用户意图G, 显然是以上映射的逆过程, 即
3.2 手势识别方法的发展
最初的手势识别研究主要集中在做一种专用硬件设备来进行输入。例如数据手套,即人可以戴上一个类似于手套的传感器,计算机通过它可以获取手的位置、手指的伸展状况等丰富信息。例如CMU 的
Christopher Lee 和Xu 1995 年完成了一个操纵机器人的手势控制系统。之后人们又致力于标记手势的研究,即通过在手上作标记。例如J . Davis 和M. Shah 将戴上指具有高亮标记的视觉手套的手势作为系统的输入,可识别7 种手势。这虽然给识别带来了方便,但也给操作者带来了麻烦。最后人们把注意力集中到自然手上,一些研究者成功地研制了手势系统,但其识别的手势仅限几种。近几年又提出了动态复杂背景中手势目标的捕获与识别方法。如清华大学的祝远新、徐光 等给出了一种基于视觉的动态孤立手势识别技术,后他们又提出动态时空规整算法用于手势识别,对12 种手势,平均识别率高达97 %。
3.3 手势的建模与输入(Gesture modelling and input)
手势的语法信息是通过手的构形、手的运动变化来传递. 人手是一个多肢节系统, 随着关节的运动, 手的形状在不断变化, 这种变化可以通过指段和关节的状态空间位置的变化来描述, 即建立手的几何模型和运动学模型. 从目前的有关资料来看, 几乎所有的手势建模方法都可归纳为基于表观的手势建模和基于3D 模型的手势建模. 而手势的输入方式有基于数据手套的手势输入和基于视觉(摄象机)的手势输入。
3.3. 1 基于数据手套的手势输入
基于数据手套的手势识别是采用3D 手势模型的建模方法. 从
手结构及其运动分析可知, 除大拇指具有五个自由度外, 其它手指都只具有四个自由度,手掌的前后左右运动有二个自由度, 所以手运动总共具有23 个自由度. 整个手可以以手掌为基础链接五个手指, 各
手指的指段依次链接, 每条链可以获取四个参数. 从而五个手指以手掌为根节点构成一个树型结构, 树中的每一个节点代表一个关节, 关节通过指段具有相互关联的运动特性. 所以在手势合成系统中, 手运动的一个手势需要确定23 个参数. 我们开发的系统是使用5DT 公司生产的不带位置跟踪器的5th Glove 右手数据手套, 每个手指的中间关节处有一个传感器用于测量手指的平均屈伸度, 以获得手指弯曲和手的位置. 在手腕部位还有一个2 轴倾斜传感器测量手的转动(Z 轴) 和倾斜(X轴) 角度, 以探测手的上下摆动和旋转. 所以5thGlove 仅带有七个传感器, 同一时刻只能读出七个角度值.
3.3. 2 基于视觉的手势输入
我们正在开发的基于视觉的手势识别系统, 采用基于表观的手
势建模方法, 然后对输入的手势进行特征检测等手势分析. 即通过摄象机捕获手势图象, 再利用计算机视觉技术对捕获的图象进行分析,提取手势图象特征, 重建三维模型来构建手势图象,调节模型参数如手指弯曲角度的夹角等, 以合成手的三维图形, 从而实现手势的输入, 根据手生成的图形和已获得的手图象匹配, 得到的模型参数就构成了手势.
虽然, 基于单摄象机在复杂背景下实时识别多种手势是手势识别的发展方向[ 11 ] , 我们的研究还是根据Kroeger 采用两个摄象机实现获取手势的方法. 它通过用户的手在3D 空间中完成交互. 两个镜子放在与前平面成450°角的位置上, 代替单个镜子产生一个虚拟视点, 加上两垂直平面上的两个摄象机共三个视点相交成直角, 以
提供给用户一个确定的工作空间, 在这个空间内用户可与计算机交互.
3.4 手势识别的技术难点
尽管已经实现了大词汇量的手势识别系统,但手势识别仍然面临许多挑战性课题,如手势不变特征的提取、手势之间的过渡模型、手语识别的最小识别基元、自动分割识别基元、词汇量可扩展的识别方法、手语识别的辅助信息、非特定人的手语识别问题、混合手指语和手势语的手语识别以及中国手势语语法等。其技术难点有以下两点 : 1) 手势目标检测的困难。
目标的检测是指在复杂的背景条件下从图像流中截取出目标来,也就是把人们感兴趣的目标提取出来。在基于单目视觉的手势识别方法中,把图像中的人手区域与其它背景区域划分开来始终是一个难点,这主要是由于背景各种各样、环境因素也不可预见,所以实现起来困难重重,非常复杂。
2) 手势目标识别的困难。
手势识别是根据人手的姿态以及变化过程来解释其高层次的含义,提取出具有几何不变性的特征是其关键技术。手势具有以下特点: (1) 手是弹性物体,故同一种手势之间差别很大,而且有很多不同手势它们之间很相似。人手有二十多个自由度,因而运动起来十分灵活、复杂。因此,同样的手势不同的人做出手势的运动也会存在差别,同一个人在不同的时间、地点做出的手势也不一样,如图1