处理外，还可以先将视频图像序列转换成灰度图像序列，然后在灰度图像序列上做运动目标检测和跟踪；或者，因为前景、背景分离的最重要的信息是边缘信息，可先将视频图像序列转换成边缘图像序列，然后在边缘图像序列上做运动目标检测和跟踪[5]。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。
第四章讲述并比较了每一帧图像与背景图像作差的不同方法。由于阴影的存在，背景差法会把阴影作为运动物体的一部分，而阴影会把不同的运动物体连成一片，影响之后的处理，因此需要对阴影做特别处理。第四章讲述和比较了阴影处理的不同方法，并提出一种改进的算法，实验分析其优于其他算法。第四章也指出了基于灰度图像的运动点团提取无法解决阴影的问题，因此基于灰度图像的运动目标检测与跟踪方法没有基于彩色图像的方法好。提取运动前景像素除了上面所述背景差法外，还可以采用相邻两帧图像作差的帧间差法[6]，第四章接着讲述帧间差法，并将其与背景差法比较。图像会随时间而变化，得到前景和背景像素后，就可以对背景图像做更新，第四章最后讲述背景更新的策略。
并不是图像的每一个像素都会出现运动物体，关注区是图像中可能会出现运动物体的部分。在背景提取的时候可以同时获取关注区，之后的处理就集中在关注区中，这是减少图像像素数，减少处理时间的好方法。第五章讲述了关注区的提取方法和利用关注区数据计算道路繁忙度的方法。
前面讲述的处理方法都是基于图像像素的，属于图一中的图像像素层，这一层处理的结果是运动点团二值图像，1代表运动前景像素，0代表背景像素。接下来到了运动点团层处理。第六章讲述运动点团层的处理。
首先是对运动点团二值图像做数学形态学处理，去除微小的噪声物体。然后提取运动点团的位置和大小。提取运动点团的位置和大小有多种算法，第六章比较了不同的算法，并且提出了改进算法，改进算法更适合运动目标检测和跟踪。第六章还讲述了运动点团层的运动跟踪，并指出了其存在的几个问题，为解决这些问题，必须在运动点团层上增加运动物体层（见图一），从而引出了第七章。另外，在运动跟踪时，我们是先确定一帧图像中所有运动点团的位置，然后和前一帧图像中的运动点团位置关系判断是否为同一运动物体。还有一种运动跟踪的方法[7]：在当前运动点团邻域搜索匹配下一帧中的运动点团，这种方法不需要提取
运动点团的位置和大小，可以称之为基于像素的运动跟踪，然而图像的像素数量是很大的，这种像素点搜索匹配的方法所需的时间远远多于我们的方法，因此我们没有采用这种像素点搜索匹配的方法。
第七章讲述运动物体层的运动跟踪。首先，介绍了卡尔曼滤波器，其可以用于运动跟踪[4]，但其存在一些问题，由卡尔曼滤波器启发，本文提出了一种基于预测的运动跟踪方法，其实质是一种简化的卡尔曼滤波器，很好的解决了卡尔曼滤波器存在的问题。我们做了很多实验验证了此算法的健壮性。这一章还比较了基于边缘图像的运动跟踪与基于原始的彩色图像的运动跟踪的效果，指出了基于边缘图像的运动跟踪差于基于原始彩色图像的运动跟踪的原因。
图二中虚线框的步骤，是物体运动跟踪之后可以继续进行的后续步骤，本文把精力集中放在运动目标检测和跟踪的研究上，没有对这些后续步骤做更多研究，在这里做简单说明：运动物体真实速度获取的目的是把运动跟踪得到的物体在图像二维坐标下的速度转换成真实空间三维坐标下的速度，其涉及到摄像头标定；车型车牌识别、道路事件检测是将运动跟踪得到的车辆和道路数据作进一步的处理，以得到诸如车型、车牌、车辆是否闯红灯、车辆是否超速等等，其涉及到很多研究方向，如模式识别等。
我们研究运动目标检测和跟踪使用道路交通作为实验场景。我们对多组实验数据进行实验，每组实验数据是一段彩色的视频图像序列，所有实验视频数据的分辨率都归一到720?352像素。下文所说的“实验数据一”是交通管理部门摄制的15秒道路视频，图三是其中的一帧；“实验数据二”是我们用数码相机到天桥上摄制的23秒道路视频，图四是其中的一帧。
图三实验数据一的一帧图像
图四实验数据二的一帧图像
3背景提取
背景提取是在视频图像序列中提取出背景。背景就是场景中静止不动的景物。因为摄像机不动，因此图像中的每个像素点都有一个对应的背景值，在一段时间内这个值比较固定。背景提取的目标就是根据视频图像序列，找出图像中每一点的背景值。这是下一步运动点团提取的基础。在运动点团提取中，背景提取这一步提取出来的背景图像将作为参考图像，每一帧图像都要与背景图像作差，把背
景去除，以得到运动点团前景。因此，这一步提取出的背景图像的好坏将直接影响到之后每一帧的运动点团提取的质量。背景会随着时间的变化而发生变化，例如光照变化导致背景亮度、色度变化；运动物体停止运动成为背景的一部分；又如背景的一部分运动起来成为运动前景等。因此背景需要不断更新，而背景的更新一般需要运动前景的信息，所以背景的更新将在第四章讲述。本章讲述背景初始化的方法，即在没有运动前景的任何信息的情况下提取背景图像，输入是视频图像序列，每帧图像都包括运动物体和静止景物，输出是只含静止景物的背景图像。第3.1节讲述原始彩色图像的背景提取，处理对象是彩色图像序列；第3.2节讲述灰度图像的背景提取——先把彩色图像序列转换成灰度图像序列，再对灰度图像序列提取背景；第3.3节讲述边缘图像的背景提取——先对彩色图像提取边缘，再对边缘图像序列提取背景，这是考虑到为将运动前景和静止背景分离，边缘信息起到的重要作用。
3.1彩色图像的背景提取
原始彩色图像的背景提取，基本思想是，图像中的某个像素按时间抽样，其作为背景像素的时间比作为运动前景的时间长，即其作为背景的概率比作为前景的概率大，而且背景和前景在颜色上和亮度上都有很大不同。这是因为，对于固定场景，运动物体在运动，其转瞬即逝，大多数时间我们看到的都是静止背景，因此图像上某个像素点作为前景的时间相对作为背景的时间短得多；而且，运动物体和静止背景在色彩上有明显区别，人能轻易分辨出前景物体，即使在一张静止图像上。不论何种方法，都是基于这个思想。下面分别讲述不同方法。各个方法的实验对比分析在第3.1.5节。
3.1.1基于均值的彩色图像背景提取
这是背景提取的最简单的方法。因为视频中的某个像素对时间采样，背景出现的次数比前景多，因此，将一定的时间段中的视频序列采样，比如2.5帧/秒，，对每一个像素，将这一段时间中的所有图像帧取平均，那么这个平均值会接近背景，背景出现的次数比前景越多，则这个平均值就越接近背景。前面已经说过，
运动前景是转瞬即逝的。就以这个平均值作为这个像素的背景值。同时，求取平均值还可以在一定程度上抑制噪声。具体算法如下：
1)在某时间段采样得到N个图像帧Fi,i=1,2?N；
2)对每一个像素点(x,y)，背景B(x,y)?
?F(x,y)ii?1NN
设图像的总像素数为M，对每一个像素都要遍历N个图像帧，因此这个算法的时间复杂度是O(MN)。
实验数据一2.5帧/秒采样10秒得到的背景如图五，实验数据二2.5帧/秒采样10秒得到的背景如图六。从图中我们可以看到前景的痕迹，特别在车辆较密的车道。此方法和其他方法的实验对比分析见第3.1.5节。
图五实验数据一基于均值的背景图像