实验七 了解虚拟演播室系统
一、实验目的
1.理解虚拟演播室的工作原理; 2.掌握虚拟演播室的基本组成
3.掌握虚拟演播室的蓝箱技术、灯光技术、色键技术
二、实验学时
4学时
三、实验原理
把摄像机拍摄到的以蓝色幕布为背景的画面作为前景,用一台超级实时图形计算机中的三维动画软件生成的三维动作图形作为虚拟场景,通过跟踪器系统把采集到的摄像机的运动参数实时传送给计算机图形工作站,计算机图形工作站经大量运算后,产生与实际摄像机拍摄的实景画面相匹配的虚拟场景。再通过深度键和色键将前景与虚拟场景合成为一个图像输出。虚拟演播室与传统演播室的区别在于,虽然演员是站在一个简单的蓝幕前表演,但给人的感觉却是演员是处在一个真实的多姿多彩的场景中,且演员与虚拟场景之间具有正确的透视关系,达到了以假乱真的效果.（工作原理如图1所示）
图1 虚拟演播室工作原理方框图
四、实验器材
摄像机、摄像机跟踪系统、计算机图形工作站、色键合成器、视音频切换台。
五、实验步骤与内容
1.虚拟演播室系统的构成?
典型的虚拟演播室系统是由摄像设备、摄像机位置参数分析和控制、图形计算机、背景 素材库和图像合成等设备组成。系统构成的简单框图如图2所示。
1
图2 虚拟演播室节目制作系统构成
在蓝幕背景中的主持人由前景摄像机（真实摄像机）拍摄，而如图2所示的背景图像记录及生成系统称为虚拟摄像机。为了使真实的和虚拟的画面保持空间的对应关系，需要确定真实摄像机的位置参数，包括摄像机在演播室中的空间位置，摄像机的运动参数（倾斜、转动、翻转），摄像机镜头设置参数（变焦、聚焦、光圈）。所有这些数据都被送入计算机中进行分析，实时生成与前景图像保持正确空间透视关系的背景图像。然后，前景图像（包括主持人和真实场景、道具）与计算机生成的虚拟背景图像通过色键控制器进行天衣无缝的键控合成，由于图形计算机的运算需要几帧左右的时间，因此，摄像机拍摄的真实画面也必须有一个时间的延时，这样才能确保真实场景与虚拟场景的吻合。最后输出的图像可以直接播出或记录在存储媒介上。?
2.虚拟演播室的关键技术
虚拟演播室的关键技术包括摄像机跟踪技术、计算机虚拟场景设计和蓝背景技术、灯光技术和色键技术等。?
（1）摄像机跟踪技术?
虚拟演播室中的一项关键技术是如何判断摄像机、主持人、计算机“虚拟”背景之间的相对位置关系，使之实现“同步”变换。实现“同步”的关键是连续跟踪获得摄像机的运动参数。这些参数包括镜头运动参数（变焦、聚焦、光圈）、机头运动参数（摇移、俯仰）及空间位置参数（机位的X、Y和高度Z坐标）等。目前，成熟的跟踪技术主要有图形识别法（Pattern Recognition）和以传感器为基础的机械传感法（Sensor-based Camera Tracking System）两种方式。同时这也是虚拟演播室两大类别的主要区别之处。 ?
①图形识别法?
图形识别实际上是一种“运动估测算法”，它可以对运动画面进行精确的计算，获得摄像机的各项运动参数。实际应用一般采用有浅蓝色网格图案的深蓝色背景板，如图3。拍摄时，系统会对网格进行定位追踪，通过对所拍摄画面中网格的旋转和透视关系进行计算，得到有关摄像机的动作参数，以控制虚拟背景的生成。为了减少计算误差，可以选择一个基准
2
帧，以此为基准对每幅画面进行计算。?
图3 画有特殊网格的蓝色背景幕布
为了避免摄像机快速进行左右、俯仰摇动时，画面中网格图案变得模糊而影响跟踪效果，摄像机应使用电子快门。电子快门的速度越快，允许摄像机运动的速度就越快。同时，演播室整个蓝色幕布（蓝箱）的布光要尽量均匀。当摄像机的光圈为5.6，电子快门速度为1/120时，网格图案的信号电平应达到70%左右，这样可获得最稳定的跟踪效果。
②机械传感法?
基于传感器的摄像机跟踪系统最精确，传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上以及镜头的变焦、聚焦环上以及滑轨、推车上。它采集摄像机的位置和空间透视数据，编码量化后通过数据端口传送给计算机。图形计算机将根据数据产生与之“同步”的虚拟背景。
（2）虚拟场景与蓝背景技术
虚拟演播室中除主持人外的场景、道具等一般都由计算机产生。在常规演播室中不可能做到的复杂而庞大的背景，甚至许多现实生活中人们不可能见到的景观，都可以在虚拟演播室中得以实现。
虚拟演播室中的背景图像可以是动态的，也可以是静止的。利用最多的是虚拟场景，也就是由计算机创作的二维或三维图形。在虚拟演播室中，首先要对场景中的所有物体进行计算机建模，也就是设计物体的外形和尺寸，这与计算机辅助设计很相似：在建立一个模型的同时，计算机将他们分解成许多个多边形，一般是三角形，然后定义一个轮廓；在每个多边形上施加材质，可以是简单的颜色，也可以是材料。再把图像或照片施加在多边形上，以产生更逼真的效果。在虚拟演播室中将模型定位，使用虚拟灯光产生所需要的效果，如阴影、高光、反射和折射。在这些制作之后，利用来自摄像机传感器的数据建立虚拟摄像机。一个三维虚拟场景需要大量的计算工作来处理运动和再生背景。三维虚拟场景可以由两种不同的方式产生。
①预生成三维方式?
这种方式需先在三维建模工具中建立布景模型，预先生成每台虚拟摄像机的视图画面，
3
作为各自对应的真实摄像机的虚拟背景。一旦场景模型建立，摄像机的位置也就确定，不能再随意移动。这种方式可以产生比较真实的三维虚拟背景，也称为“二维半”。
②真三维方式?
采用这种方式建立三维模型，模型中的虚拟摄像机与演播室中的摄像机互相对应，当真实摄像机的镜头或位置参数变化时，虚拟摄像机产生同样变化，并实时生成视图作为虚拟背景。在真三维方式下，所有摄像机在演播室中都可以任意移动。在真三维的虚拟场景中，主持人可以来回走动，场景中的虚拟物体可以实时的移动，主持人不仅能在虚拟物体的前面或后面，并且能隐藏在虚拟物体的里面，
真三维方式与二维半方式的最大区别在于真三维方式能实时读取场景源文件并对源文件实时渲染。二维半系统的场景生成比较简单，按照摄像机机位的参数对背景图进行处理后生成演播室背景信号。而真三维系统包括场景调度、物体运动、灯光调节、特殊效果调节等模块，功能更为强大。但是二维半系统在场景设计方面不受局限，可以设计无限精细和无限复杂的场景，而真三维系统要对场景源文件进行实时渲染，场景精细度和复杂度受系统硬件和软件的限制较大。因此使得它们有各自不同的适用范围。如，二维半虚拟演播室更适于对实效性要求高的节目制作。而真三维虚拟演播室更适于对灵活性要求高的节目。
（3）蓝幕（蓝箱）技术
虚拟演播室与传统演播室大不相同，它以计算机三维动画“虚拟”出的场景取代道具实景为主要特征。现场所有布景全部由单一的蓝色所取代，以作为将来抠像的基准色。图像的前景是不同机位的摄像机拍摄到的主持人的画面素材。主持人所在的实景现场的全部蓝色区域将被合成到计算机三维动画生成的虚拟场景中。
制作虚拟演播室的蓝背景要求背景平滑，还要有空间感，一般是两面或三面蓝色墙再加上地面（因此称为蓝箱）。为保证全景镜头的使用，照射在蓝背景上面的光线要均匀。为了保证色键抠像效果最好，要使用纯正的蓝色。蓝背景的空间大小，应该保证可容纳全部道具并可以使主持人有足够的活动区域。需要注意的是，虚拟演播室用的实景现场虽然简化成了单一的蓝色，但决不是任何东西都不需要了。如果节目中要表现主持人从楼梯上走下来，那么现场还必须设置一些涂成蓝色的几何块状物体作为“楼梯”,以便与电脑中生成的楼梯相配合。
（4）深度的色键（抠像）技术?
色键制作的质量对虚拟演播室节目质量影响相当大，它除了与蓝背景、制作环境灯光和摄像机有一定关系之外，色键技术本身也是非常重要的。在三维虚拟场景中不仅有背景，还可能有前景，如桌子、讲台等，演员甚至可以进入一个虚拟物体中去。画面中真实的、虚拟的物体之间的关系比较复杂，要想实现完美自然的叠加，就需要具有特殊功能的高级色键技术。例如，把前景图像中的阴影取出来并叠加到背景上，可以使合成的图像更加逼真。目前有一种被称为Z轴深度键的新技术，分为层次级和像素级的深度键技术。层次级深度键技术将物体分别归类到数目有限的深度层中去，所以，演员在虚拟场景中的位置不能连续变化。
4
而像素级深度键技术把构成虚拟场景中的每一个像素都赋予相应的Z轴深度值。虚拟物体、真实物体和主持人可以动态地相互遮挡，从而增加了虚拟场景的真实感。
虚拟演播室的色键技术还要关注的一个问题是“消蓝”。由于使用蓝幕背景，因此环境反光会造成前景物体和主持人身上有一些蓝色的干扰成分，对透明或半透明物体更易造成干扰。这时，就需要对前景图像进行非常复杂的消蓝控制，即遏制削弱蓝色成分，同时，又不使前景图像产生颜色失真。?
3.虚拟演播室对灯光的特殊要求
在虚拟演播室节目制作中灯光所起的作用是十分关键的。为了消除多余的阴影，保证色键的效果，灯光的布置相当重要。要合理调配灯光，使前景与虚拟背景的照明亮度及方向匹配。主持人及真实道具在蓝箱中投下的影子也要随主持人及道具一起进入虚拟空间。为了更好地提取阴影，灯光的设置应使阴影处的蓝色电平与背景蓝幕布的蓝色电平有较大的区别。影子的方向也要和虚拟空间中的光源方向一致。灯光应具有真实性。在虚拟演播室中，实际光源和虚拟合成光源之间的同步变化很重要。灯光控制要计算机化，使灯具的状态可以记忆存取。
六、实验注意事项
1.按照实验的要求一步一步的完成；
2.在实验室中对虚拟演播室系统的基本组成进行了解、熟悉,注意要爱护实验设备,不要乱动、乱摸,若出现问题立即报告；
3.在对虚拟演播室系统有了充分的了解后,可以作一些有针对性的操作,但要注意不懂的不要乱动；
4.操作完毕,分析自己对虚拟演播室系统掌握的情况； 5.完成本次实验报告,写出心得体会。
七、实验的思考
1.试说明虚拟演播室的组成与原理。 2.虚拟演播室如何实现摄像机位置跟踪？ 3.真三维方式与二维半方式的最大区别是什么？ 4.虚拟演播室的布光有什么要求?
5