统有声单位的形式出现,具有语言学区别功能。
计算机对语音进行处理的任务主要包括对语音的采样、识别、模拟和合成。数字语音也是通过对模拟语音采样、A/D转换、并按一定的方式进行编码而形成的,其记录方式同一般声音一样,可以用波形文件保存。 5.3 MIDI音乐
MIDI(Music Instrument Digital Interface)即音乐设备的数字化界面。实质上,它是人们可以利用多媒体计算机和电子乐器去创作、欣赏和研究音乐的标准协议。
图5-2 MIDI音乐原理
课后教学小结:
声音、语音的特性与原理、MIDI音乐的特性 作业布置: P111思考题 教学后记:
声音与语音的数字化编码过程是重点
5.4 音频文件的格式
WAV:波形文件中包含了模拟声音的采样数据,以二进制码的形式编排而成。这种格式的文件一般占有较大的存储空间,具体数据量与采样的精度和频率有关。
MIDI:MIDI就正式地成为了一种数字音频格式。MIDI文件储存着MIDI资料和命令,包括音色、音符、时间码、速度、调号、拍号、键号等乐谱指令,能保存多达16个通道的音乐信息。按照指令中时间码的顺序,音序器能够精确地按时间合成音乐,再现文件内部的乐谱指令所包含的音乐旋律。
MP3:mp3文件的压缩比例通常用比特率bps来表示。通常比特率越高,压缩文件就越大,音质就越好。
5.5 音频文件制作
Cool Edit Pro 2.0软件提供32-bit高精度音频处理,支持 SMPTE/MTC Master、视频、CD、MIDI、等设备。支持US-428硬件控制器。能方便地抓取CD音轨,也能抽取并编辑视频文件中的音频。 1.界面构成 文件管理窗调音窗口 工具栏 所选部分和视图中音频属 当前时间 播放控制 缩放控制 音节属性
图5-3 CoolEdit界面
2. Cool Edit的编辑过程
(1)创建新文件,录制声音或从CD、视频文件中导入音频。或打开现有音频的文件。 (2)设置音频文件必要的参数。
(3)对需要处理的各个音频文件进行单轨编辑和效果处理。
(4)在多轨模式下,对多个音轨进行剪切、粘贴、合并、重叠声音等编辑。 (5)保存或输入所编辑的音频文件。 课后教学小结:
熟悉常见的视频文件的格式,已经音频素材创作软件的使用技巧。
作业布置:
自己录制一段声音并进行特性处理。 教学后记:
音频的理论与音频软件的使用是本节课的重点,演示为主。 本章小结:
数字音频主要分为声波、语音和音乐三类。声音是纵波,形如正弦形,声音与强度、时空性、方向性取决于声波的振幅、频率和相位等物理特性。复杂的声波就是由多个具有不同特性的纵波组成的。语音是音素、音位到句子音段、轻重音到语调等语音手段的统称。
MIDI是数字化音乐设备的标准协议,MIDI音乐也被称为合成音乐或电脑。 人耳听觉心理的主观感受主要有响度、音高、音色、音量、密度、谐和、噪声、掩蔽效应、高频定位等特性。我们所创建数字音频必须要符合人类的听觉特征和听力范围。
模拟声音经过采样、量化和编码后才能在计算机中进行处理。而通过脉冲编码调制技术,可以同样的采样频率转换为电压值去还原声音。
计算机对语音的处理主要包括对语音的采样、识别、模拟和合成。目前,语音的自动识别基本上采用孤立词的模式匹配识别和有限词汇的连续识别。 MIDI标准文件包括通信协议、连接器和传播格式。MIDI的基本设备包括音源、音序器、输入设备。目前的MIDI设备和计算机合成音乐基本上都建立在GM标准的基础上。
第6章 动画、视频技术
教学目的要求:
了解动画的基本知识和分类,了解动态视频的颜色空间和色彩空间的变换,初步了解数字视频的基本概念和三大制式,了解常见的动画、视频数据文件的分类。熟练掌握Flash软件使用,初步了解Premiere软件。 教学的重点与难点: 1.动画的原理 2.视频的基础
3.Flash与Premiere软件的基本使用 教学时数:共计 6 学时 教学内容与方法: 6.1 动画基础 1.动画原理
动画是由一系列静态画面,利用人的视觉暂留现象,快速按序显示而成。 2.动画类型
按照计算机动画实现的方式可分为帧动画和造型动画。 按动作的表现形式可分为“完善动画”和简化的“局限动画”。 按空间视觉效果可分为二维动画和三维动画。 按播放进行方式可分为顺序动画和交互动画。 6.2 视频基础 1.数字视频
色彩系统有RGB、YIQ、YUV。
RGB:使用了红(R)、绿(G)、蓝(B)三原色图像,利用RGB三原色的信号强度来记录和表述图像信息。
YUV:YUV颜色空间是欧洲电视系统(PAL制式)所采用的颜色编码方法。与RGB视频信号传输相比,YUV编码只占用极少的带宽(RGB要求三个独立的视频信号同时传输),可以优化彩色视频信号的传输。由于亮度信号是单独传输的,所以可兼容黑白电视。 2.彩色空间变换
彩色空间变换有三种:YIQ 、YUV和YCrCb。每种变换使用的参数是为了适应某种类型的显示设备。
YUV 和RGB的对应关系近似换算式如下: Y = 0.299R + 0.587G + 0.114B U = -0.147R - 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B
YIQ与RGB彩色空间变换所对应关系表示如下: Y = 0.299R + 0.587G + 0.114B I = 0.596R - 0.275G - 0.321B
Q = 0.212R - 0.523G + 0.311B YCrCb和RGB色彩空间的转换关系如下: R' = 1.164 (Y-16) + 1.596(Cr -128)
G' = 1.164 (Y-16) - 0.813 (Cr -128) - 0.392(Cb-128) B' = 1.164 (Y-16) + 1.596 (Cr-128) 3.视频显示和格式
模拟视频信号通过光栅扫描的方法显示在屏幕上。通过一定的扫描行数和速度,在屏幕上从上到下进行扫描,从而产生图像的集合信号。动态的视频图像就是连续显示的不同扫描图像。获取模拟视频图像的设备可以是模拟或数字的显示设备。所不同的是,使用数字显示设备时,必须要经过模/数转换。
模拟视频的常用格式有专用格式的 Betacam SP,家用格式的 VHS、8mm 和 Hi8 等。 4.模拟视频标准
模拟视频的标准也称为电视制式,目前流行的模拟彩色电视有三大制式,即PAL制、NTSC制和SECAM制。
在这三种制式中,NTSC制式最早研究成功,PAL制式和SECAM制式分别针对NTSC制式的缺点而提出的改进制式。
制式的主要区别在于其帧频不同、分辨率不同、信号的带宽不同、可载频率不同或色彩空间的转换关系不同。 6.3 数字视频 1.数字视频概述
数字视频(Digital Video-DV)是定义压缩图像和声音数据记录及回放过程的标准。数字视频的特点 影像质量好、音响效果好、设备价格较低、不会导致制作过程的质量损失、不需要视频捕捉卡和帧同步卡,捕捉和录制是实时的。
有关数字视频(DV)的格式要从两个方面来讨论,一是具有DV 格式的设备,另一方面是数字视频压缩技术。从具有DV 格式的设备来讲,相关的录像机系列有D1、D2、D3、D5等标准格式,按其记录方式又分数字分量(D1、D5)和数字复合(D2、D3)。从数字视频压缩技术方面来讲,数字录像机的记录格式分有非压缩和压缩两大类。 2.CCIR标准
CCIR标准是有关于广播电视以及有关的通信设备方面的标准。该标准以国际电信组织下属的国际无线电协商委员会(CCIR)命名。1993年已并入国际电信联盟(ITU)标准中,CCIR标准对应于ITU标准中的ITU-R。该标准主要规定了数字地面电视广播的业务复用、传送和识别方法、HDTV演播信号系统。 3. 数字电视
数字电视就是采用数字技术的电视。数字电视的含义除了是指数字电视接收机外,还包含了从发送、传输到接收的全过程。由电视台送出的图像及声音信号,经数字压缩和数字调制后,形成数字电视信号,经过无线介质或有线介质传送到数字电视接收机,然后通过数字解调和数字视音频解码处理还原出图像及伴音。 数字电视可以按以下几种方式分类:
(1)按信号传输方式分类:可以分为地面无线传输(地面数字电视)、卫星传输(卫星数字电视)、有线传输(有线数字电视)三类。 (2)按产品类型分类:可以分为数字电视显示器、数字电视机顶盒、一体化数字电视