第1章 绪论
1、根据国际电联（ITU-T）的定义， 媒体共有五类：感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体
2、多媒体系统和多种媒体系统是不同的， 多媒体系统中的媒体相互之间是有关联的， 是以时空同步的方式存在的； 而多种媒体系统中媒体与媒体之间可以是毫无关系的。 两者的重要区别在于媒体间的同步性。 3、多媒体技术所涉及的媒体特指表示媒体， 而且主要是指数字表示媒体。 因此， 也可以说多媒体就是多样化的数字表示媒体。 和多媒体概念相对应的是单媒体， 以往的信息技术基本上是以单媒体的方式进行的， 如音乐、 广播、 电视等媒体技术大多都是如此。 人们在获取、 处理和交流信息时， 最自然的形态是以多媒体方式进行的， 往往表现为视觉、 听觉、 嗅觉等感觉器官的并用。 由此可见， 单媒体方式难以满足人们对信息交流和处理的要求， 而多媒体方式能和人们的自然交流及处理信息的方式达到最好的匹配。
4、多媒体通信的迅速发展主要得力于下列五项技术的发展：
（1） 随着信息高速公路的兴起和发展， 传统的单一媒体（如数据）通信已难以适应当今多元化信息的发展需求， 用户希望从传送的消息中获取更加生动丰富的信息， 即图、 文、 声并茂的信息。 虽然这不算技术因素， 但它却是非常重要的市场需求的原动力。
（2） 高速设备、 大容量存储装置、 高性能计算机、 多媒体工作站等为多媒体通信技术的发展奠定了良好的物质基础。
（3） 广域网（WAN）、 城域网（MAN）、 局域网（LAN）、 宽带综合业务数字网（B?ISDN）、分布式光纤数字接口（FDDI）和异步转移模式（ATM）的开发应用已取得不少成功经验。
（4） 通信技术， 如个人通信、 光纤通信、 移动通信等已取得长足的进步。 这些都为多媒体通信提供了物理支撑环境。
（5） 语音识别与处理， 文字语音合成， 声音数据压缩， 图像识别与处理， 文字， 数据、 声音和图像在通信全过程中的同步、 实时性要求和协同操作等信息处理方面的研究也取得不少有益的经验和成果。 这些都为多媒体通信的兴起和发展奠定了良好的理论和实践基础。 5、多媒体通信的特征：集成性、交互性、同步性
6、提出建议和制定多媒体标准的组织很多， 主要为ITU-T（国际电信联盟电信标准部）、 ISO（国际标准化组织）和IEC（国际电子技术委员会）三个机构。
7、多媒体通信的关键技术：多媒体信息处理技术、多媒体通信的网络技术、多媒体通信的终端技术、移动多媒体通信的信息传输技术、多媒体数据库技术 第2章 多媒体信息处理的必要性和可行性
1、多媒体信息主要有三个特征：（1） 数据量庞大（2） 码率可变、 突发性强（3） 复合性信息多， 同步性、 实时性要求高 2、信息压缩的可行性 1． 空间冗余
空间冗余是在图像数据中经常存在的一种冗余。 在任何一幅图像中， 均有许多灰度或颜色都相同的邻近像素组成的局部区域， 它们形成了一个性质相同的集合块， 即它们之间具有空间（或空域）上的强相关性， 在图像中就表现为空间冗余。
2． 时间冗余
时间冗余是活动图像和语音数据中经常包含的冗余。 活动图像中的两幅相邻的图像有较大的相关性， 这反映为时间冗余。 同理， 在语音中， 由于人在说话时其发出的音频是一个连续和渐变的过程， 而不是一个完全的时间上独立的过程, 因而存在着时间冗余。 3． 信息熵冗余（编码冗余）
所谓信息熵， 是指数据所带的信息量。 信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量， 即在N个事件中辨识一个特定事件的过程中需要提问“是”或“否”的最少次数。
4． 结构冗余 5． 知识冗余
人们通过认识世界而得到某些图像所具有的先验知识和背景知识， 由此带来的冗余称为知识冗余。 6． 视觉冗余
在多媒体技术的应用领域中， 人的眼睛是图像信息的接收端。 而人类的视觉系统并不能对图像画面的任何变化都能感觉到， 视觉系统对于图像场的注意是非均匀和非线性的， 即注意主要部分质量， 同时取画面的整体效果， 不拘泥每一个细节。例如， 人的视觉对于图像边缘的急剧变化不敏感， 对图像的亮度信息敏感， 对颜色的分辨率较弱等。 7． 其他冗余
多媒体数据除了具有上面所说的各种冗余外， 还存在一些其他的冗余类型。 例如， 图像的空间非定常特性所带来的冗余等。
空间冗余和时间冗余是将图像信号看作为随机信号时所反映出的统计特征， 因此有时把这两种冗
余称为统计冗余。 它们也是多媒体图像数据处理中两种最主要的数据冗余。 3、数据压缩技术的性能指标 1． 压缩比
压缩性能常常用压缩比来定义， 也就是压缩过程中输入数据量和输出数据量之比。 压缩比越大， 说明数据压缩的程度越高。 在实际应用中， 压缩比可以定义为比特流中每个样点所需要的比特数。 2． 重现质量
重现质量是指比较重现时的图像、 声音信号与原始图像、 声音之间有多少失真， 这与压缩的类型有关。 压缩方法可以分为无损压缩和有损压缩。 无损压缩是指压缩和解压缩过程中没有损失原始图像或声音的信息， 所以对无损系统不必担心重现质量。
有损压缩虽然可获得较大的压缩比， 但压缩比过高， 还原后的图像、 声音质量就可能降低。
3． 压缩和解压缩的速度
压缩与解压缩的速度是两项单独的性能度量。 有些应用中， 压缩与解压缩都需要实时进行， 这称为对称压缩， 如电视会议的图像传输； 在有些应用中， 压缩可以用非实时压缩， 而只要解压缩是实时的， 这种压缩称为非对称压缩， 如多媒体CD-ROM的节目制作。 从目前开发的压缩技术看， 一般压缩的计算量比解压缩要大。 在静止图像中， 压缩速度没有解压缩速度要求严格。
但对于动态视频的压缩与解压缩， 速度问题是至关重要的。 动态视频为保证帧间动作变化的连贯要求， 必须有较高的帧速。 对于大多数情况来说动态视频至少为15帧/s， 而全动态视频则要求有25帧/s或30帧/s。 因此， 压缩和解压缩速度的快慢直接影响实时图像通信的完成。 第3章 音频信息处理技术
1、掩蔽效应受四种要素的影响： 时间、 频率、 声压级、 声音品质
2、音频信号的数字化过程就是将模拟音频信号转换成有限个数字表示的离散序列， 即数字音频序列， 在这一处理过程中涉及到模拟音频信号的采样、 量化和编码。 3、音频信息编码技术可分为三类：
（1） 波形编码。 这种方法主要基于语音波形预测， 它力图使重建的语音波形保持原信号的波形状态。 它的优点是编码方法简单、 易于实现、 适应能力强、 语音质量好等， 缺点是压缩比相对来说较低， 需要较高的编码速率。 常用的波形法编码技术有增量调制(DM)、 自适应差分脉冲编码调制（ADPCM）、 子带编码(SBC)和矢量量化编码（VQ）等等。
（2） 参数编码。 这种方法主要基于参数的编码方法。 与波形编码不同的是， 这类编码方法通过语音信号的数学模型对语音信号特征参数（主要是指表征声门振动的激励参数和表征声道特性的声道参数）进行提取及编码， 力图使重建的语音信号尽可能保持原信号的语意， 而重建的语音信号波形同原信号的波形可能会有较大的区别。 基于这种编码技术的编码系统一般称为声码器， 它主要用于在窄带信道上提供4.8 kb/s以下的低速语音通信和一些对延时要求较宽的应用场合（如卫星通信等）。 最常用的参数编码法为线
性预测编码（LPC）。
(3) 混合编码。这种方法克服了原有波形编码与参数编码的弱点， 并且结合了波形编码的高质量和参数编码的低数据率， 取得了比较好的效果。 混合编码是指同时使用两种或两种以上的编码方法进行编码的过程。 由于每种编码方法都有自己的优势和不足， 若是用两种， 甚至两种以上的编码方法进行编码， 可以优势互补， 克服各自的不足， 从而达到高效数据压缩的目的。 无论是在音频信号的数据压缩中， 还是后面章节将要描述的图像信号的数据压缩中， 混合编码均被广泛采用。 4增量调制 1． 一般增量调制
当输入信号变化比较快时， 编码器的输出无法跟上信号的变化， 从而会使重建的模拟信号发生畸变， 这就是所谓的“斜率过载”。
当输入信号没有变化时， 预测信号和输入信号的差会十分接近， 这时， 编码器的输出是0和1交替出现的， 这种现象就叫做增量调制的“散粒噪声”。 2. 自适应增量调制（ADM）
为减少斜率过载， 希望增加阶距； 为减少散粒噪声， 又希望减少阶距。 5、自适应差分脉冲编码调制 6、子带编码 7、变换域编码
通过变换域编码方法， 将输入信号直接转换到频域， 然后在频域划分各频段， 根据不同的频段能量大小分配码字然后编码， 收方解码后再用相应的反变换转换成时域信号。 8、矢量量化
矢量量化VQ（Vector Quantization）是一种有损的编码方案， 其主要思想是将输入的语音信号按一定方式分组， 把这些分组数据看成一个矢量， 对它进行量化。 9、线性预测编码
线性预测编码（LPC）方法为参数编码方式。 参数编码的基础是人类语音的生成模型， 通过这个模型， 提取语音的特征参数， 然后对特征参数进行编码传输。 第4章 图像信息处理技术
1、图像信号按其内容变化与时间的关系来分， 主要包括静态图像和动态图像两种。
图像分类还可以按其他方式进行： 如按其亮度等级的不同可分为二值图像和灰度图像； 按其色调的不同可分为黑白图像和彩色图像； 按其所占空间的维数不同可分为平面的二维图像和立体的三维图像等等。 （1）． 彩色图像信号的分量表示。 常用的彩色空间表示法有YUV、 YIQ和YCbCr等。
A、 YUV彩色空间。YUV彩色空间的一个优点是， 它的亮度信号Y和色差信号U、 V是相互独立的， 即Y信号分量构成的黑白灰度图与用U、 V两个色彩分量信号构成的两幅单色图是相互独立的。 因为YUV是独立的， 所以可以对这些单色图分别进行编码。 此外， 利用YUV之间的独立性解决了彩色电视机与黑白电视机的兼容问题。
YUV表示法的另一个优点是， 可以利用人眼的视觉特性来降低数字彩色图像的数据量。 人眼对彩色图像细节的分辨能力比对黑白图像细节的分辨能力低得多， 因此就可以降低彩色分量的分辨率而不会明显影响图像质量， 即可以把几个相同像素不同的色彩值当做相同的色彩值来处理（即大面积着色原理）， 从而减少了所需的数据量。 在PAL彩色电视制式中， 亮度信号的带宽为4.43 MHz， 用以保证足够的清晰度， 而把色差信号的带宽压缩为1.3 MHz， 达到了减少带宽的目的。
（2）． 彩色图像信号的分量编码。目前分量编码已经成为图像信号压缩的主流， 在20世纪90年代以来颁布的一系列图像压缩国际标准中均采用分量编码方案。
2、图像信号数字化与音频数字化一样主要包括两方面的内容： 取样和量化。 3、对均匀量化来讲， 量化分层越多， 量化误差越小， 但编码时占用比特数就越多。 4、数字图像压缩方法一般可分为：
（1） 可逆编码（Reversible Coding 或Information Preserving Coding）， 也称为无损压缩。 这种方法的解码图像与原始图像严格相同， 压缩是完全可恢复的或无偏差的， 无损压缩不能提供较高的压缩比。 （2） 不可逆编码（Non-Reversible Coding）， 也称为有损压缩。 用这种方法恢复的图像较原始图像存在一定的误差， 但视觉效果一般是可接受的， 它可提供较高的压缩比。 按照压缩方法的原理， 数字图像压缩方法可分为：
（1） 预测编码（Predictive Coding）。 预测编码是一种针对统计冗余进行压缩的方法， 它主要是减少数据在空间和时间上的相关性， 达到对数据的压缩， 是一种有失真的压缩方法。 预测编码中典型的压缩方法有DPCM和ADPCM等， 它们比较适合于图像数据的压缩。
（2） 变换编码（Transform Coding）。 变换编码也是一种针对统计冗余进行压缩的方法。 这种方法将图像光强矩阵（时域信号）变换到系数空间（频域）上进行处理。 常用的正交变换有DFT（离散傅氏变换）、 DCT（离散余弦变换）、 DST（离散正弦变换）、 哈达码变换和Karhunen-Loeve变换。
（3） 量化和矢量量化编码（Vector Quantization）。 量化和矢量量化编码本质上也还是一种针对统计冗余进行压缩的方法。 当我们对模拟量进行数字化时， 必然要经历一个量化的过程。 在这里量化器的设计是一个很关键的步骤， 量化器设计的好坏对于量化误差的大小有直接的影响。 矢量量化是相对于标量量化而提出的， 如果我们一次量化多个点， 则称为矢量量化。
（4） 信息熵编码（Entropy Coding）。 根据信息熵原理， 用短的码字表示出现概率大的信息， 用长的码字表示出现概率小的信息。 常见的方法有哈夫曼编码、 游程编码以及算术编码。
（5） 子带编码（Sub-band Coding）。 子带编码将图像数据变换到频域后， 按频率分带， 然后用不同的量化器进行量化， 从而达到最优的组合。 或者是分步渐近编码， 在初始时对某一频带的信号进行解码， 然后逐渐扩展到所有频带， 随着解码数据的增加， 解码图像也逐渐地清晰起来。 此方法对于远程图像模糊查询与检索的应用比较有效。
（6） 结构编码（Structure Coding）， 也称为第二代编码（Second Generation Coding）。 编码时首先求出图像中的边界、 轮廓、 纹理等结构特征参数， 然后保存这些参数信息。 解码时根据结构和参数信息进行合成， 从而恢复出原图像。
（7） 基于知识的编码（Knowledge-Based Coding）。 对于人脸等可用规则描述图像， 利用人们对其的知识形成一个规则库， 据此将人脸的变化等特征用一些参数进行描述， 从而用参数加上模型就可以实现人脸的图像编码与解码。图像压缩算法的总体框图如图4.3-1所示。 5、图像压缩算法的总体框图 P68 图4.4
6、香农信息论已证明： 信源熵是进行无失真编码的理论极限。 低于此极限的无失真编码方法是不存在的， 这是熵编码的理论基础。 7、哈夫曼（Huffman）编码方法 1. 编码步骤
(1) 先将输入灰度级按出现的概率由大到小顺序排列（对概率相同的灰度级可以任意颠倒排列位置）。 （2） 将最小两个概率相加， 形成一个新的概率集合。 再按第(1)步方法重排（此时概率集合中概率个数已减少一个）。 如此重复进行， 直到只有两个概率为止。
（3） 分配码字。 码字分配从最后一步开始反向进行， 对最后两个概率一个赋予“1”码， 一个赋予“0”码。 如概率0.60赋予“0”码， 0.40赋予“1”码（也可以将0.60赋予“1”码， 0.40赋予“0”码）。 如此反向进行到开始的概率排列。 在此过程中， 若概率不变， 则仍用原码字。
如图4.5中第六步中概率0.40到第五步中仍用“1”码。 若概率分裂为两个， 其码字前几位码元仍用原来的。 码字的最后一位码元一个赋予“0”码元， 另一个赋予“1”码元。 如图中第六步中概率0.60到第五步中分裂为0.37和0.23， 则所得码字分别为“00”和“01”。
2. 前例哈夫曼编码的编码效率计算 P72
8、 DPCM系统的基本原理是指基于图像中相邻像素之间具有较强的相关性。在DPCM系统中会出现一些图像降质现象。理想的运动补偿预测编码应由以下四个步骤组成：
（1） 图像划分： 将图像划分为静止部分和运动部分。
（2） 运动检测与估值： 即检测运动的类型（平移、 旋转或缩放等）， 并对每一个运动物体进行运动估计， 找出运动矢量。
（3） 运动补偿： 利用运动矢量建立处于前后帧的同一物体的空间位置对应关系， 即用运动矢量进行运动补偿预测。
（4） 预测编码： 对运动补偿后的预测误差、 运动矢量等信息进行编码， 作为传送给接收端的信息。 9、变换编码不直接对原图像信号压缩编码， 而首先将图像信号映射到另一个域中， 产生一组变换系数， 然后对这些系数进行量化、 编码、 传输。 10、二值图像压缩标准
图像压缩标准化工作主要由国际标准化组织（ISO）、 国际电工委员会（IEC）和国际电信联盟（ITU-T）进行。ITU-T先后制定了G3和G4标准， 其中G3使用MR（Modified READ）编码算法。 而G4是G3的改进型， 使用MMR（Modified MR）算法。 目前， 这两种二值图像压缩标准广泛地应用于传真通信和文档存储领域。虽然已有了优秀的MMR的 G4标准， 但还是要制定JBIG， 其主要原因是要改进二值中间色调图像的压缩性能。主要原因是G3/G4不适合于中间色调图像。 11、静止图像压缩标准JPEG
JPEG（Joint Photographic Experts Group）成立于1986年， 该标准于1992年正式通过。 JPEG标准的目标和适应性为：有多种操作模式可供设计和使用时选择：
· 无损压缩编码模式（Lossless Encoding Mode）。 此种模式保证准确恢复数字图像的所有样本数据， 与原数字图像相比不会产生任何失真。
·基于DCT的顺序编码模式（DCT-based Sequential Encoding）。 它以DCT变换为基础， 按照从左到右、 从上到下的顺序对原图像数据进行压缩编码。 图像还原时， 也是按照上述顺序进行。
· 基于DCT的累进编码模式（DCT-based Progressive Encoding）。 它也以DCT变换为基础， 但使用多次扫描的方法对图像数据进行编码， 以由粗到细逐步累加方式进行。 解码时， 在屏幕上可以先看到图像的大致面貌， 然后逐步细化直到全部还原出来为止。
· 基于DCT的分层编码模式（DCT-based Hierarchical Encoding）。 它以多种分辨率进行图像编码， 先从低分辨率开始， 逐步提高分辨率直到与原图像分辨率相同为止。 解码时， 重建图像的过程也是如此， 效果与基于DCT的累进编码模式类似， 但处理更复杂， 压缩比可更高一些。 1． 无损压缩编码
JPEG选择了一种简单的线性预测技术， 即差分脉冲调制（DPCM）作为无损压缩编码的方法。 这种方法简单、 易于实现， 重建的图像质量好 2． 基于DCT的顺序编码模式
基于DCT的顺序编码模式是， 先对源图像中的所有8×8子图像进行DCT变换， 然后再对DCT系数进行量化， 并分别对量化以后的系数进行差分编码和游程长度编码， 最后再进行熵编码。 12、基于DCT的累进编码模式
累进编码模式却与顺序模式有所不同， 在这种模式中， 虽然压缩编码的算法相同， 但每个图像分量的编码要经过多次扫描才能完成， 每次扫描均传输一部分DCT量化系数。 13、JPEG的实现
JPEG标准规定， JPEG算法结构由三个主要部分组成：（1） 独立的无损压缩编码。（2） 基本系统。（3） 扩充系统。
14、目前世界上模拟彩色电视有PAL、 NTSC、 SECAM三种不同制式 15、MB是作运动估计的基本单元， B是作DCT的基本单元。 16、MPEG-1标准由系统部分、 视频部分和音频部分组成。
17、（1） 帧内画面（Intra pictures， I）： 以静止图像的压缩进行处理， 全部信息都必须进行传送， 并作为以后随机存取的存取点。
（2） 预测画面（Predicted Pictures， P）： 只对预测误差信息进行编码后传送， 并作为进一步预测的参数之用。
（3） 插补画面（Bidirectional Predicted Pictures， B）： 以前面和后面的画面进行插值处理而得到， 本身不作为参考画面使用， 所以不必传送， 但需要传送运动补偿信息。
（4） 片： 由若干宏块组成。 一帧图像中片的数目越多， 则对处理误码越有利， 就可以跳过这一片到下一片。 但片越多， 编码效率就越低。 片是图像再同步的基本单元。
（5） 宏块： 由4个8×8亮度块和2个8×8色度块组成。 宏块是运动补偿的基本单元。 （6） 块： 无论是亮度块还是色度块都由8×8像素组成。 它是作DCT的基本单元。 第5章 多媒体同步技术
1、多媒体同步就是保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系，多媒体同步的核心基础是为这些同步关系建立一个独立于实现环境的抽象的描述模型。
多媒体同步规范描述了媒体对象之间和各个媒体对象内部存在的时态关系， 确定了多媒体的时态说明， 是多媒体系统的重要组成部分。 多媒体同步规范通常包括： 媒体对象内的同步、 媒体对象之间的同步以及业务品质QoS描述。
多媒体同步控制机制是开发各种同步控制策略以及同步控制协议， 解决由于网络延迟、 抖动、 进程调度等各种不确定因素带来的负面影响， 实现多媒体同步规范描述的多媒体时态说明。 2、同步的类型：上层同步、中层同步、底层同步
3、媒体同步关系主要受以下因素的影响： 媒体间时延偏移、 网络抖动、 端系统抖动、 时钟漂移和网络条件变化。
由于各个相关媒体流可能来自不同的信源， 每个信源所处的地理位置可能不同， 每个媒体流选择的信道也不同， 因此各个媒体流的时延也不同， 这就是媒体间的时延偏移， 这些偏移使媒体间的时间关系发生变化。 解决办法可以通过在信宿端设置缓存加以补偿， 也可使各个媒体流在不同时刻发送， 但须保证在经历了不同时延后能够同时到达接收端。 后者特别适合存储数据， 能够充分利用存储数据的灵活性， 大大节省信宿端缓存。 此外还可以将这两种方法配合使用。
抖动定义为最大时延与最小时延的差， 也即时延的变化。 网络抖动是指数据包从发送方到接收方网络I／O设备的传输过程中所经历的时延变化， 这是由中间节点的缓存引入的。 端系统抖动是指端系统中引起的时延变化， 这些变化主要是由于系统负荷的改变以及媒体单元在各个协议层的打包拆包。 抖动通常是在信宿端通过采用弹性缓冲区来补偿的。
时钟漂移的问题可以通过在网络中使用时间同步协议来解决， 例如， 网络时间协议(NTP)为它的用户提供一个全网(虚拟)时钟。网络条件的变化不是由抖动引入的，它是指网络连接性质的变化。 例如， 平均时延的改变或媒体单元丢失率的增高。处理丢失单元的同步机制是重复播映前一个媒体单元的内容。 4、目前较为流行的多媒体同步模型有三种： 参考点同步模型、 时间轴同步模型、 层次同步模型。 参考点同步模型的缺点是将连续媒体离散化， 从而破坏了连续媒体之间的相互依赖关系， 破坏了连续媒体的整体特性。
在层次同步模型中， 对多媒体同步进行了分层处理， 这样有利于得到一个比较完善、 较为通用的多媒体同步模型。
1.逻辑数据单元（LDU） 2.同步容限
第6章 多媒体通信网络技术 1、多媒体通信对通信网的要求 1． 吞吐要求
2． 实时性和可靠性要求
3. 时空约束 4. 分布处理要求
2、目前的通信网络大体上分为三类: 一类为电信网络， 如公用电话网（PSTN）、 分组交换网（PSPDN）、 数字数据网（DDN）、 窄带和宽带综合业务数字网（N-ISDN和B-ISDN）等； 一类为计算机网络， 如局域网（LAN）、 广域网（WAN）、 光纤分布式数据接口（FDDI）、 分布列队双总线（DQDB）等； 一类为电视传播网络， 如有线电视网（CATV）、 混合光纤同轴网（HFC）、 卫星电视网等。 公共交换电话网（PSTN） 窄带综合业务数字网（N-ISDN） 计算机局域网（LAN） 有线电视(CATV)网
3、多媒体通信的实时通信协议
在Internet上实现实时多媒体通信是Internet发展到一定阶段后的必然趋势。 然而， Internet原本并不是用于实时通信的， 由于TCP/IP协议不能确保实时通信所需要的带宽， 传输延迟所造成的时间抖动将使实时通信的质量严重下降。 另外， TCP协议负责数据的流量控制， 保证传输的正确性， 具有数据重发功能， 这一点也不适合于实时通信。
在Internet上传送多媒体信息时， 采用的都是UDP/IP协议， 而UDP和IP均不提供链接保证， 数据传输的可靠性没有保障。 为了解决这个问题， IETF提出了多种实时通信协议， 这里主要介绍应用比较广泛的实时传输协议（RTP）、 实时流协议（RTSP）和资源预留协议（RSVP）。
4、RTP主要用于承载多媒体数据， 并通过包头时间参数的配置使其具有实时的特征。 RTCP主要用于周期地传送RTCP包， 监视RTP传输的服务质量。 在RTCP包中， 含有已发送的数据包的数量、 丢失的数据包的数量等统计资料。
5、多媒体通信对通信网络提出了哪些要求？
6、分析RTP、 RTSP、 RSVP在多媒体通信中的作用。 第7章 多媒体数据格式及流媒体技术
1、实现流式传输有两种方法： 实时流式(Realtime Streaming)传输和顺序流式（Progressive Streaming）传输。
2、流媒体播放方式 1. 单播2. 组播3. 点播与广播 3、流媒体系统的基本构成
流媒体系统大致包括： 媒体内容制作、 媒体内容管理、 用户管理、 视频服务器和客户端播放系统。 媒体内容制作包括媒体采集与编码。 媒体内容管理主要完成媒体存储、 查询及节目管理、 创建和发布。 用户管理涉及用户的登记、 授权、 计费和认证。 视频服务器管理媒体内容的播放。 客户端播放系统主要负责在用户端的PC上呈现比特流的内容。 第9章 多媒体通信的应用
1、根据ITU-T的定义， 多媒体业务共分为六种：
(1) 多媒体会议型业务(2) 多媒体会话型业务 (3) 多媒体分配型业务(4) 多媒体检索型业务(5) 多媒体消息型业务(6) 多媒体采集型业务
如果将这六类多媒体通信业务进一步归类的话， 可以归为以下四类：1．人与人之间交谈型多媒体通信业务2．人与机之间交互型信息检索多媒体通信业务3．多媒体采集业务4． 多媒体消息业务 2、远程教育已从第一代的函授教育和第二代的广播电视教育发展到第三代的现代远程教育系统。 3、多媒体远程监控系统由监控现场、 传输网络和监控中心三部分组成。 4、多媒体通信技术的发展趋势
传统基于时分复用（TDM）的PSTN逐步向基于IP/ATM的分组网络的演进。正在继续研究和开发新一代图像压缩编码的算法。力图将图像图形的识别和理解技术、 计算机视觉等内容引入压缩编码算法中去。体积越做越小， 性能却越来越强， 小型化且使用简单是多媒体通信终端发展的趋势。