Fig.21时空动作片段的例子。动作片段将人体动作的短期模式编译成目前姿势和它的短期时间上前一个姿势（图像中标记成小圆点）身体关节位置的3D向量。所有坐标都是相对于现在姿势的起始点（即它的骨盆位置），所以动作片段可以仅通过它们的绝对位置识别。
距离测量dist（?（I）, ?（k）），是为了比较两个动作片段?（I）和?（k）中所有身体关节位置的欧式距离的向量：
这个公式基于关节位置在R3的欧式距离给出了一个非常直观的测量两个动作片段相似性的方法。Bandouch et al. (2008)我们已经评估了主要的欧几里得关节错误，因此我们的跟踪算法的精确性大约在2cm。因此我们可以假定可比较距离的两个动作片段仍十分相似。
目前图表是一种线性表，我们仅嵌入了边缘表示训练数据的时间继位顺序。我们同样需要侦测到相似模式的重复发生，并在图表中为这些结构相似点建模。这样当观察到一个频繁发生的动作模式可导致不同的后续动作时，我们可以为接下来的可能动作提供多种预测（如当接近桌子，既可以使用左手也可使用右手获得某个目标）。为这些事例建模，我们采取了ST-Isomap策略(Jenkins and Matari ′c 2004)，对两种重要的近邻关系类型加以区分（Fig.22）。邻近时间邻居（ATN）是一种琐细关系，两种姿势是时间上相近的邻居。这种关系在最初图表创建时已
26 / 47
经被捕捉。共有时间邻居（CTN）是非琐细邻居，相应于空间上相近的点，即沿着每个时间轨道经过的每个顶点Vi的空间邻居。任何时候我们侦测到CTNs（公式12），我们在图表中从两个方向分别连接相应的顶点反映它们的关系。Kovar et al. ( 2002)介绍的动作图表本质是类似的，已经在生成现实和可控动作方面使用。
Fig.22时空近邻图表中的邻居关系。顶点Vi的邻居关系由它的空间邻居spat_nbhd(Vi)和顶点发生时间定义。邻近时间邻居（ATN）是琐细邻居，沿着现行轨迹（绿色顶点）它们与定向时间邻居一致。共有时间邻居（CTN）是非琐细邻居，与空间最近点一致，在每个时间距离轨迹上经过的空间邻居spat_nbhd(Vi)(红色顶点)。
现在我们快速讨论一下两种关于动作片段的表达方式。关于关节角度的欧拉表述法也可用于空间发生的动作模式的去耦处理。但是这种方法相对冗余并且不能提供直观的距离测量。四元数法（Quaternions）有了轻微改善，但是基于相对定位的表述方法意味着，距离值可能由于铰链式结构得到错误值，较小的距离可能预示着类似姿势，也可能因为错误累积表示完全不同的姿势。因此，我们相信使用参考局部帧位的绝对值是最好的方法，正如我们的方法所做的那样。 6.2 为改善预测增加训练
在人体姿势的递归评估中，我们需要根据上一个姿势为当前时步预测姿势。我们的综合动作模型用公式1通过增加身体部分的随机扩散到上一个姿势评估预测新姿势。扩散方差必须足够大能捕捉任何方向的快速移动。一种有效的解决办法是增大随机扩散向现在姿势被期待到达的预测方向。当我们可以确定这个预测
27 / 47
比上一个姿势到达我们需要的姿势更接近时，我们可以降低扩散方差而不牺牲评估的精确性。
假设我们已经观察了一些动作片段，并将它们添加到图表结构中，我们可以在每部评估阶段分3种相关情况考虑：
1、 2、 3、
没有侦测到动作，即目标没有移动。 观察到已知的动作。 观察到未知动作。
我们将这些情况分开处理。当未观察到动作，我们可以跳过评估阶段，假设目标保持上一个姿势。同时，我们可以用非常低的方差完成评估步骤来修正上一次评估。当我们侦测到一个已经学习过的熟悉的动作模式，我们可以用已知的知识创建潜在的精确预测，然后使用低方差完成评估阶段来修正我们的预测。当观察到未学习过的动作模式，我们必须用全方差不受限制的跟踪算法。然后将新的姿势评估加入图表来扩展我们的训练动作模型，以希望将来观察到一个熟悉的模式。算法1描绘了使用自训练动作模型改善人体姿势跟踪所需要的计算步骤。 我们通过使用两幅图像帧之间简单变化侦测来测试是否动作被侦测到了。这一步通过计算不同图像在一个阈值之上的像素数目完成。
已经观察到动作的例子中，我们首先计算与最近的动作历史一致的动作片段?C（算法1的第4行）。然后在我们的近邻图表中搜索一致项（第5-10行）。当我们找到一个一致项动作片段与我们当前的动作片段的顶点Vi的不同点不超过εsn，我们增加这个姿势顶点到预测姿势的集合。另外，我们增加所有姿势顶点Vi的遍历最大深度的后续者到这个集合中（实验中我们使用maxdepth=3）。这样做的目的是提供多个可能选择来增加达到好的预测的机会。注意所有预测姿势必须被转换，以达到匹配顶点Vi和Vi的预测后续者之间的相关动作被增加到当前评估的基本姿势。然后我们完成升级步骤基于当前观察加权新的预测。在第一步支分层迭代跟踪过程是粒子集的加权重采样，粒子集中好的预测越来越多坏的预测被清除。使用这个粒子集，减少方差和粒子数再运行支分层迭代（BIHS）步骤（我们使用粒子和方差的第四部）。
有一点需注意，识别一个共有动作历史不能保证会有一个共同将来。尽管我们观察的动作不会有即刻异常，但是不能保证一段时间后没有异常。这种减少多样
28 / 47
化的跟踪能够计算所有增加的异常直到动作历史变得与所有已知动作模式不同。 当当前动作不能匹配我们所有训练数据，我们用全变异转换成未受限跟踪。当新姿势被识别后（假设它与上一个姿势足够不同），我们用它升级图表（第19行）。一个新的顶点被插入到上一个嵌入序列的末尾，或者最后预测步骤的粒子之后。为避免新动作被立刻识别为与接下来的时步一致，我们在一个2秒的短时延迟之后才创建新顶点，添加到图表中。
7 实验结果
29 / 47
现在我们给出目前系统的实验评估。相应视频结果可在网上http://memoman.cs.tum.edu找到。注意我们实验中使用相同的跟踪参数，除非有另外说明。
7.1 HUMANEVA数据集
HUMANEVA数据集(Sigal and Black 2006a)是人体动作跟踪算法评估可用的公开数据集，是基于标记的动作捕捉系统提供的与地面实况测量相一致。我们使用了较新的HUMANEVAⅡ数据集评估我们的系统。地面实况数据被作者隐藏了，以免人为修改跟踪结果或为减少问题复杂性设置特定动作优先等错误使用。通过基于可扩展的标记性语言的网站接口界面计算评估中欧几里得关节错误。 HUMANEVAⅡ序列由一个人在圆圈中走，后来加速成慢跑，最后变成伸展动作组成（Fig.23）。对于依赖强烈动作优先的跟踪算法，三种类型动作的转换尤其困难，如当动作模型从标本中仅学习了走的动作时。我们已经手动调整了人体模型来尽可能好的适应观察的人体形状（通过松开衣服）
我们的第一个实验目的是比较我们的支分层迭代抽样（BIHS）策略与几种当前水平的抽样算法如退火粒子滤波（APF）或粒子抽样（PS）（见节4）。Fig.24描绘了数据集的3D关节错误。我们省略了低位脊柱参数，这样可以得出更多种类垂直动作更稳固的评估（APF和PS策略尤其使用了这种省略，Fig.25表现了BIHS策略对自由度做了较好补偿）。
首先评估APF（Fig.24a）。通过三次不同的变量评估退火粒子滤波，设置每次迭代每个身体部分的发散量。最初的变量，发散缩减使用固定参数（( αM = αM ?1 =···=α1 = 0 .5)）。第二次变量，发散量使用方差规模扩散（VSD）控制，即，按照上次迭代得到的粒子集的方差变化。第三次变量，使用上次迭代得到的粒子集的协方差扩散（CSD）变化见节4.2。最后一种方法结果最优。但是APF的全局表现并不令人满意，从视觉上发现，躯干评估正确的时候，手臂位置经常是错误的。
测试PS（Fig.24b）。处理时间接近时，PS处理1600个粒子，APF处理10个分层，800个粒子。姿势上的分层顺序是低位躯干，高位躯干，坐上腿，左下腿，右上腿，右下腿，左上臂，左下臂，右上臂，右下臂，和头。结果仍不令人满意，因为评估低位躯干时，局部权值函数具有较大含糊。我们还观察到PS策略受到
30 / 47