基于Max/Msp/Jitter的实时表情捕捉系统设计(2)

　　Max/MSP/Jitter编程方式的另一个优势是实时性，在编程甚至程序运行的过程中用户都可以通过控件来调整和改变输出结果，这一特性极大地降低了编程成本，让用户实现更高效的编程迭代。同时，实时的捕捉与输出特性为现场演示提供了可实现的平台。近年来，国内外大量艺术团体及个人使用Max/MSP/Jitter完成艺术创作和交互实验，可以说Max/MSP/Jitter是新媒体创作中重要的工具之一。 
　　2.2系统模型 
　　本系统以低成本、精度可控和环境高适应性为着眼点进行设计，在表演者面部粘贴彩色识别点作为捕捉基础，通过Max/MSP/Jitter程序进行识别点的多通道色彩识别与追踪，记录表演者表情变化所产生的识别点位移，将产生的位移数据发送给三维动画软件的表情控制系统，从而实现对表情控制系统参数的控制，达到通过表演者表情变化驱动三维动画角色实时表情变化的目的。系统模型如图1所示。2.3 系统实现 
　　表情捕捉系统使用Max/MSP4.7版本作为开发平台，程序部分共分三个主要模块：色彩捕捉算法；位移计算算法；数据输出算法。首先在表演者面部粘贴用于识别的识别点。识别点的要求较低，采用颜色均匀，无高光反射的有颜色差异的材质制作即可。在系统测试中采用了8个关键点作为识别对象，如图2所示，分别粘贴在：额头，左右眉，左右眼睑，左右嘴角及下唇。在具体的系统应用中，可根据三维软件的表情生成器的控制点自定义识别点的位置与数量。 
　　系统所需的表情采集环境条件较为宽松，使用柔和的正面散射光照射表演者面部即可，为提高捕捉精度可在表演者身后使用黑色背景。使用与计算机相连接的摄像机或高清网络摄像头，对表演者正面面部表情进行拍摄采集，如图3所示，在Max/MSP界面中通过色板指定每一个识别点的颜色，以便追中记录关键点位移。这种方式有效地提升了表情捕捉系统的适应性，降低了由环境、照明等因素导致的识别点色彩变化的影响。视频接收程序设计有位移倍数放大功能，以便微调由摄像机与表演者相对距离的差异带来位移数据上的差异。同时制作了control patch来实现视频数据的捕捉速率的调节，如图4所示。 
　　在色彩捕捉算法成功指定识别点后，进入识别与位移记录阶段。文中选取了8个识别点中一个眼睑识别点为例，如图5所示，通过识别模块识别到识别点在图像中的位置。如图6所示，对识别点的位移情况进行X轴和Y轴的数值记录，通过算法整理成表情生成器可读取的数值类型。 
　　如图7所示，将计算得到的识别点位移数据通过数据输出模块输出到三维软件的表情控制器中，从而完成对动画角色表情的控制。测试中使用MAYA作为动画制作软件，采用Snappers Facial RIG作为表情控制器，为配合测试制作了8个控制点的表情Rig来控制三维模型的表情变化。 
　　2.4 捕捉效果 
　　经过多轮测试我们发现，基于Max/Msp/Jitter的表情捕捉系统的捕捉效果良好，可以较为准确的捕捉表演者的表情变化，并将表情变化转换成数据控制表情生成器，从而完成表演者表情在三维动画软件中的映射。如图8所示，表情捕捉系统对于表演者表情的捕捉和还原程度较高，特别是关键的表情位置，如眼、眉、嘴和颧部肌肉的捕捉效果良好，可以生动地还原表演者的面部表情细节。 
　　另一方面，表情捕捉系统对动画角色控制的实时性较好。以8个识别点在实际测试中的表现，表演者表情变化与屏幕上三维模型的表情变化延时不到1秒，实时性交互性表现良好。 
　　3 结语 
　　经过测试基于Max/Msp/Jitter的表情捕捉系统能够较好的满足表情捕捉的需求，具有低成本、高适应性的特点，特别适用于中小企业和小型研究机构的表情捕捉工作，同时，系统的实时捕捉特性可以较好地满足现场展示、游戏等领域的应用。在测试中我们也发现，系统仍存在一定的局限性，主要是由于对表演者表情的捕捉仍处于二维捕捉阶段，因此表演者头部的晃动和转动会对捕捉精度产生较大影响，仍需进一步完善。动画表情的真实程度越来越受到人们的重视，与此相关的表情捕捉技术也不断涌现。本系统的低成本、快速搭建和实时交互性较好的满足了预算有限的企业和研究者的需求，表情捕捉系统的开发提供了一个可参考的思路。 
　　参考文献 
　　[1]金刚.三维动画制作新技术及其展望[J].多媒体世界，2000-08.