现代信息检索课程报告——《基于内容的视频信息检索》
(2) 对应于每一种格式的数字信号都要有相应的解码器进行解码。
(3) 为了对视频信号做进一步的处理, 例如存储、格式转换, 预处理模块要具有相应的编解码和转码功能。
4. 2 镜头处理
在基于内容的视频信息检索系统中镜头处理是最重要的一部分,只有利用了视频资料所包含的特有的视频信息才能使检索系统得到更加符合人们需求的检索结果,而大部分视频特有信息正是在这部操作中被提取出来。镜头处理部分完成的功能是将视频资料分割成镜头并进行相应的处理,这部分包括: 镜头检测、关键帧提取和视频聚类。
4. 2. 1 镜头检测
正如我之前分析的,视频主要由一个个镜头连接而成。镜头实际上是一段时间的视频信号,在这段时间内,摄像机可以由各种运动及变焦等操作,但没有摄像机信号的中断,因此,一段镜头内的图像不会有大的变换。故而镜头既能反映出这段视频拍摄时的特征信息,也能反映后期制作中所加入的编辑信息,所以一般认为镜头是视频的基本物理单元。
首先要做的就是确定一个镜头的开始和结束,自动地实现镜头的分割,形成最基本的索引单元,我们称之为镜头的边界检测。在此之前我们需要了解,镜头之间的基本切换方式,这是对镜头进行边缘检测的首要条件,常见的切换方式有:突变(切变) 和渐变(如叠化、淡入、淡出等)。镜头边界检测方法可分为模板匹配法、直方图法、基于边缘的方法和基于模型的方法等。此外在面对不同的视频格式,如数字视频、模拟视频抑或压缩与非压缩视频时,又要考虑更多的因素,这里面也涉及了更多的技术。
4. 2. 2 提取关键帧
帧是构成镜头的基本部分,而关键帧又是一个镜头序列中包含这个镜头最重要信息的代表帧,其基本上能够代表这个镜头反映的所有的信息,进而我们可以将对镜头的检测和提取,变成对帧的处理,因为在对帧的处理技术,已趋于完善,各种理论也详尽。这样便巧妙的实现了转换。