哈尔滨理工大学学士学位论文 第1章 绪论
随着计算机技术和信息技术的发展，语音交互已经成为人机交互的必要手段，而语音信号的采集和处理是人机交互的前提和基础。Matlab是美国Math Works公司推出的一种面向工程和科学计算的交互式计算软件，它以矩阵运算为基础，把计算、可视化、程序设计融合到了一个简单易用的交互式工作环境中。同时由于Matlab是一个数据分析和处理功能十分强大的工程实用软件，它的信号处理与分析工具箱为语音信号分析提供了十分丰富的功能函数,利用这些功能函数可以快捷而又方便地完成语音信号的处理和分析以及信号的可视化，使人机交互更加便捷。
语音端点检测就是检测语音信号的起点和终点，因此也叫起止点识别。它是语音处理技术中的一个重要方面，其目标是要在一段输入信号中将语音信号同其它信号(如背景噪声)分离开来。在语音识别中，一个关键问题就是如何将语音信号精确地检测出来，为获得准确的识别提供前提。本文作者在进行语音识别算法的研究过程中在对一种经典的端点检测方法—Lawrence Rabiner提出的以过零率ZCR和能量E为特征的起止点检测方法进行研究之后，针对具体的应用提出了几点改进，并且达到了较好的效果。 在许多实际应用中,如语声应答系统、说话人识别系统和语音识别系统等,都要求首先对系统的输入信号进行判断,准确找出语音段的起始点和终止点。MATLAB是一门计算机程序语言,将数值计算和可视化环境集于一体,并提供很多功能强大的函数,广泛应用于科学计算和仿真。利用其中的语音处理工具箱Voicebox,可以实现语音信号的端点检测。
音频分类与分割是音频结构化的基础，是音频内容分析，检索和深度处理的前提。相对于多媒体研究领域内的图像和视频处理技术，音频处理技术还很不成熟，音频分类算法在人工智能、机器学习技术的推动下发展迅速，但依然面临很多挑战，目前还没有适合于实际应用的完善的音频分类与分割系统。
1.1 研究背景
随着计算机技术、网络技术和通讯技术的不断发展，图像、视频、音频等多媒体数据已逐渐成为信息处理领域中主要的信息媒体形式，其中音频信息占有很重要的地位。同时，由于信息获取的方式、手段和技术的不断进步和多样化，使得信息数据量以极高的速度增加，为有效的处理和组织信息带来了挑战，而信息有效的处理和组织是深入分析和充分利用的前提。如何满足对海量音频信息进行处理、组织和分析、利用的需求是目前信息处理领域中的一个重要课题。传统的信息处理面向的对象主要是结构化数据，结构化数据具有以下特点:
- 1 -
哈尔滨理工大学学士学位论文 ? 数据个体间相互独立，
? 特征易于计算机表示，
? 包含的信息可以直接从其物理表示中提取。
当图像、声音、动态视频等多媒体信息引入计算机之后，可以表达的信息范围大大扩展，但同时也带来许多新的问题。多媒体数据是一种非结构化数据，具有信息关联度大、数据结构复杂、数据量大、媒体处理要求高等特点。
原始音频数据除了含有采样率、量化精度、编码方法等有限的注册信息外，本身仅仅是一种非语义符号表示和非结构化的二进制流，缺乏内容语义的描述和结构化的组织，具有信息关联度大、数据结构复杂、数据量大、处理要求高等特点，给音频信息的深入处理和分析工作带来可很大的困难，使音频的检索和内容过滤等应用受到了极大的限制，如何提取音频中的结构化信息和内容语义，使得无序的音频数据变的有序是音频信息深度处理、分析和基于内容检索的关键，而音频分类与分割技术就是解决这一问题的关键技术，是音频结构化的基础。
首先，利用音频分类与分割可以实现音频的简单检索。如查找一段男声语音、女声语音;检索音乐等。
其次，音频分类与分割是音频深度处理的基础和前提。如:对于现有的语音识别系统，其对输入语音的要求较高，要求输入信号具有较高的信噪比。而现实中的音频大多是由音乐、噪声、纯语音等多种类型的声音连接而成，如果不对音频流预先分割并提取出纯语音段，必定会对语音识别系统的效能产生严重的影响，降低识别结果的可用性。
第三，视频信号自动切分和分类是多媒体应用领域一个重要的课题（1）。由于受技术发展的限制，单独依靠现有的图像和视频处理技术还不能使计算机“理解”视频的内容，视频镜头切分精确度也不高，不能对故事单元进行基于内容的分类。如果利用音频的分类与分割技术对视频流所对应的音频进行分割，利用较实用的语音识别技术对其中的纯语音进行语音识别，利用已经比较成熟的全文检索技术对语音识别结果进行处理，提取文本摘要，则可以较好地解决这些问题。例如，利用音视频编辑的领域知识和一些基本规则，通过对音频流恰当的分割，可以辅助视频的切分。如果音频的类型没有变化，其对应的视频可以不进行切分处理，因为其中一般不包含有故事单元的切分点;对新闻视频而言，镜头的切分点主要集中在男女声变化点以及静音段上。这些知识规则的使用可以大大提高视频的切分效率和准确率。
第四，音频分类与分割在一定程度上实现了音频流的结构化，为在更高语义层次上实现音频内容结构化提供了基础。分割的结果是带有语义的，但这个层次上的语义是通用的、弱化的，用户可能还会对具有更高层语义的音频内容感兴趣(比如一段广播新闻音频，一段电视剧的对白)（2），分割
- 2 -
哈尔滨理工大学学士学位论文 的结果为实现更高语义层次上的音频结构化，建立音频低层结构单元和高层语义结构单元的关联提供的基础上。
综上所述，在目前的多媒体信息处理中，音频占有很重要的地位，但由于媒体源本身的特点和现有技术的制约，使得对音频信息的进一步分析利用受到了限制，而音频分类与分割技术可以很好解决这一问题，为音频结构化和音频信息深度分析和利用提供了坚实的基础。
1.2 语音信号的采集
Windows附件的娱乐中有个录音机程序，通过它可以驱动声片采集、播放和简单处理语音信号。为了清晰的阐明对语音信号进行频谱分析，首先使用Windows的录音机功能可以用麦克风直接录制一段声音，并保存为WAV 格式文件，供MATLAB 相关函数直接读取、写入或播放（6）。本文以WAV 格式语音信号作为分析处理的输入数据。例：在MATLAB中使用wavread函数读取录制得到的声音采样频率Fs为11kHz,且声音是8位单声道的声音文件“test.wav”。并利用wavplay函数播放声音，可清晰地听到语音。
原始音频往往含有尖锐噪音，会影响处理效果。同时音频处理的单位是帧，所以特征提取前，需要对原始音频数据做预处理，包括预加重、切分和加窗成帧（7）。
1.2.1 预加重处理
预加重处理可以减少尖锐噪声的影响，提升高频信号，x(n)为原始音频信号，处理后信号为y(n):
y(n)=x(n+1)-参数*x(n),参数通常取0.97或0.98.
1.2.2 切分与加窗处理
对预加重后的音频信号进行切分，将音频流切分成clip序列。然后对每个clip进行加窗处理，即用窗函数乘以y(n)形成帧，相邻帧间有一定的重叠部分。
音频数子处理中常用的窗是hanig窗，其表达式下(其中N为窗宽:)
?0.54?0.46/2?iN,0?i?N (1-1) w?n???0,其他?根据特征分析和抽取描述的结论，首先计算帧层次上的特征，然后在
此基础上抽取短时过零率、短时能量、FFT、低频能量比、子带熵、谱平坦测度以及功率谱密度的特征来构造特征集。
在特征抽取的基础上构造音频分类的特征集合。
- 3 -
哈尔滨理工大学学士学位论文 音频是一个非平稳随机过程，其特性是随时间变化的，但这种变化是很缓慢的。鉴于此，可以将音频信号分成一些相继的短段进行处理。这就是短时处理技术。这些短段一般长为20一30ms，称为音频帧，注意这里说的帧与视频流中帧的概念是不同的。相邻帧可以有部分重叠，每一帧可以看成是从一个具有固定特性的持续音频中截取出来的，这个持续音频通常认为是由该短段音频周期性重复得到的（8）。因此，对每个短段音频进行处理就等效于对持续音频的一个周期进行处理，或者说等效于对固定特性的持续音频进行处理。短时处理技术根据在研究域上的不同分为短时时域处理技术和短时频域处理技术。短时时域处理主要是计算音频的短时能量、短时平均幅度、短时平均过零率和短时自相关函数。这些计算都是以音频信号的时域抽样为基础的。短时频域处理主要是对各个短段音频信号进行频谱分析，因而又叫做短时傅立叶分析。
1.3 研究的主要内容
深入分析了本文提出的不同音频类别之间帧层次和clip层次上的区别性特征，详细研究了特征的计算方法和区别性机理，针对试验发现的误分类情况提出了四个新的特征。考察了不同特征集在本文提出的分类器上的分类性能。 论文结构：
本文共包括四章，后续章节基本上是按照上述研究内容逐一展开的。根据模式识别理论设计音频分类与分割的技术流程，同时讨论了其中涉及的相关技术;介绍了特征分析与抽取，以及采用的相关音频处理技术，最后一章总结和评价了论文的全部工作，并对未来的研究工作进行了展望。
- 4 -
哈尔滨理工大学学士学位论文 第2章 音频分类与分割技术研究现状
音频处理是一个涵义甚广的概念，包括音频数字信号处理、心理声学、语言学、声乐学以及语音信号处理技术、计算机技术和多媒体数据库技术等。音频处理己有很长的历史，并且取得了一定的成果。其主要领域是语音，对广义的声音研究得很少，对音频分类与分割技术的研究则是近几年才开始的。音频分类与分害d技术是音频深度处理的基础，它在视频自动处理系统和其他多媒体应用系统中有着广泛的应用（3）。对音频进行处理之前，通常要进行预处理，将音频流切分成时间长度较短的单元，所谓的音频分类就是指对这些音频单元类别进行识别的过程。从本质上讲音频分类是一个模式识别过程，包括特征抽取和分类两个基本过程。音频分割是在音频分类的基础上，从音频流中提取不同的音频类别，也就是说在时间轴上对音频流按类别切分，形成单一类别的小段音频。音频分类是音频分割的前提和基础，实现对音频流的基于类别的准确分割是最终目的。音频分类与分割技术研究是一个交叉学科的研究领域，它涉及许多相关的技术。与此相关的领域包括:人耳的听觉特征、信号与系统、数字信号处理、语音信号处理、模式识别、机器学习、认知科学、知识处理、人工智能、知识发现、数据挖掘等。目前，该领域的研究重点主要在三个方面: 1)音频特征分析与抽取;2)分类器的设计与实现;3)音频分割方法。
2.1 音频语义内容分析
音频的语义内容分析是指通过对音频数据的分析来获得音频中的一些特定语义内容。类别信息是音频数据的重要语义内容，它能够让用户对音频内容有一个全局概念上的认识，所以它通常是用户检索和浏览的首要依据。在音频处理领域，获取音频信息的渠道和手段多种多样，音频内容也千差万别，但不同内容的音频信息含有的音频类别可能相对固定层次化音频结构分析框架。
音频广播的音频内容通常具有一定的结构性，比如视频新闻伴随的音频通常先是一段片头声音(通常为音乐)（4），接着是主持人的口播语音段，最后是新闻内容(通常是含背景音的语音段或是环境声音)，结构如下图所示
片头音 口播语音 新闻内容
图2-1 结构图
- 5 -