基于Max/Msp/Jitter的实时表情捕捉系统设计

　摘 要：随着数字影像技术的发展，传统的逐帧或关键帧技术已经难以满足数字影像的制作需求，动作及表情捕捉技术越来越受到人们的重视。本文从动作捕捉技术的需求出发，阐述了当今主流的动作、表情捕捉技术的发展现状及其特点。着重论述了基于Max/Msp/Jitter的实时表情捕捉系统的设计思路及实现路径，为开发成本较低、捕捉精度可控、环境适应度较高的轻量级表情捕捉系统提供了一个可参考的思路。 
　　关键词：Max/Msp/Jitter 表情捕捉 低成本 人脸表情动画 
　　中图分类号：TG156 文献标识码：A 文章编号：1007-9416（2016）01-0000-00 
　　1 动作捕捉技术的发展 
　　1.1 动作捕捉技术的演进与应用 
　　动画影像的发展史就是一部影像技术的发展史。早期的动画要求制作者使用逐帧绘画的方式进行，这一阶段的动画创作工作量巨大，动画制作速度缓慢。计算机技术在动画制作中的应用改变了这一状况，逐帧绘画方式逐渐由计算机关键帧技术所替代，在人物造型制作完成后，制作者只需控制动画角色在关键帧运动姿态，关键帧之间的动态效果由计算机自动生成，这种方式极大地降低了动画制作者的工作量，提高了动画产品的生产效率[1]。然而关键帧技术仍然存在两个缺陷，一是大型动画作品的制作者工作量仍十分巨大；二是基于关键帧的动画在描绘运动姿态上难免生硬之感，尤其在展现情感丰富、变化细微的面部表情时，关键帧动画往往难以胜任。 
　　随着动画技术的发展，人们开始尝试使用计算机对动作、表情进行复制从而提高动画真实度，动作捕捉技术出现并逐渐开始应用[2]。动作捕捉又称为表演捕捉，是指通过对表演者真实运动轨迹的捕捉，形成运动数据，将数据映射到动画模型上，从而实现将表演者的行为复制到动画模型上的目的。早期的动作捕捉技术可追述到上世纪70年代的迪斯尼公司，从80年代开始动作捕捉技术逐渐走向应用和商业，出现了多种动作捕捉装置和程序。动作捕捉技术极大地提高了动画角色动作的真实性，近年以《阿凡达》为代表的一系列电影更是将动作捕捉技术拉入大众视野，导演通过一套复杂、精密的动作捕捉系统，对演员动作、表情进行捕捉，制作出真实度极高的动画效果，收到了良好的市场反应[3]。 
　　1.2从动作捕捉到表情捕捉 
　　随着动作捕捉技术的成熟和广泛应用，人们的视线不仅仅停留在对于肢体动作的捕捉上，对于人类情感表达最为丰富的面部表情也在进行着捕捉的尝试。以Image Metrics表情捕捉系统为例，使用摄像机直接将用户表情采集下来，通过后期算法将表情变化映射到三维模型上，获得了良好的效果。Image Metrics表情捕捉系统在电影《哈利·波特与凤凰社》、《狼人》等影片和《无尽的任务2》、《鬼泣4》等游戏中的动画角色面部表情的创作中都有不错的表现。 
　　由于面部表情丰富而且变化细微，很多用于肢体动作捕捉的方法都无法应用于表情捕捉，例如动作捕捉中的机械式、声学式和电磁式运动捕捉方法，都难以应用于表情捕捉领域。如今应用较为广泛的是基于计算机视觉的表情捕捉技术，即通过计算机视觉对表演者的面部表情进行采集和分析，将图像信息数据化，从而完成虚拟动画角色表情的生成和控制[4]。这种表情捕捉技术主要分为两种类型：一是基于面部结构识别的表情捕捉技术，使用摄像机直接采集表演者面部表情，通过算法识别出表演者的面部结构，从而计算表情变化数据并应用于动画角色的表情制作，这种方法往往算法的运算量较大，往往实时互动性不佳。另一种方法是基于识别点（Marker）的表情捕捉技术，即在表演者面部粘贴特殊标志或发光点作为计算机视觉的识别点，使用多台摄像机多角度采集表演者面部表情变化，通过算法定位和追中识别点在空间中的位移情况，从而达到记录表演者面部表情的目的，此类方法也被应用于肢体动作捕捉中。 
　　目前基于计算机视觉的表情捕捉系统往往成本昂贵，需要专门的采集场地和大量的硬件设备才能完成，资金预算有限的中小型企业和研究机构往往难以负担。同时针对越来越多的新媒体现场表演的需求，对表情捕捉系统的实时性也提出了更高的要求[5]。因此开发一种成本较低、捕捉精度可控、环境适应度较高的轻量级表情捕捉系统有着巨大的市场需求。 
　　2 基于Max/Msp/Jitter的实时表情捕捉系统的设计与实现 
　　2.1 Max/MSP/Jitter 
　　由Cycling74公司开发的Max/MSP是一种交互式编程语言与开发环境，近年来被广泛应用的在数字音频和多媒体媒体制作领域，经过二十余年的发展经历了多个版本的迭代[6]。Max/MSP/Jitter分为三个部分。Max部分主要完成信息处理功能，包括数值运算、信号处理和提供基本的程序元件，可以说Max是整个软件的基础构架部分；MSP部分主要负责与音频相关的程序实现，包括声音的产生、变形和节奏控制等，这一部分常用于数字音乐创作；Jitter作为插件与Max/MSP结合使用，主要用于视觉信息部分的编程，包括图像的采集、识别与记录等[7]。