是很不方便甚至是不现实的（如远距离作业的机器人系统，或在危险、恶劣环境下作业的机器人系统等）。因此，近年来，一种不需要已知标定物的标定技术，称为摄像机自标定（self calibration）技术
[16-22]
，引起了研究人员的广泛兴趣和高度重视。摄像机自标定技术不需要已
知标定物，而仅利用摄像机在运动过程中周围环境的图像和图像之间的对应关系对摄像机进行标定。
摄像机标定方法根据标定方式的不同，可以归结为以下三种：传统标定方法、自标定方法和基于主动视觉系统的自定标方法。 （1）传统标定方法
所谓传统的摄像机标定方法是指用一个结构已知、精度很高的标定物作为空间参照物，通过空间点和图像点之间的对应关系来建立摄像机内参数的约束，然后通过优化算法来求取这些参数。传统方法的典型代表有DLT（Direct Linear Transformation）方法Weng的迭代法
[26]
[23]
、Tsai的方法
[24-25]
、
以及简易标定方法
[27-28]
。传统标定方法的优点在于可以获得较高的精度，但
是，实际应用中的很多情况无法使用标定物，例如，空间机器人以及在危险、恶劣环境下工作的机器人等。所以，当应用场合所要求的度量精度很高且摄像机内参数不经常变化时，传统标定方法应为首选。 （2）自标定方法
自标定方法克服了传统方法的缺点，它不需要标定物，仅仅依靠多视图对应点之间的关系直接进行标定。摄像机自标定是90年代以来在计算机视觉领域中兴起的最重要的研究方向之一。由于自标定方法是根据未标定场景图像之间的对应关系来求解，所以标定过程灵活、方便，应用前景广泛。但是，自标定方法最大的不足是鲁棒性较差
[29]
。这主要是由于自标定
方法不论以何种形式出现，大多是基于绝对二次曲线（The Absolute Conic）或者绝对二次曲面（The Absolute Quadric）的方法，需要直接或者间接地求解Kruppa方程。目前自标定方法主要有直接求解Kruppa方程的自标定、分层逐步标定、基于绝对二次曲面的自标定、Pollefeys的模约束标定以及可变内参数下的分层逐步标定等。自标定方法可以应用于度量精度要求不太高的场合，如虚拟现实、三维动画、基于图像的建模与绘制（IBMR）等新兴领域，在这些场合，主要考虑的是视觉效果而不是度量精度，这也是自标定方法为什么近年来会受到人们如此重视的主要原因。
（3）基于主动视觉系统的自定标方法
为了克服传统方法和自标定方法的不足，人们提出了许多基于主动视觉系统的摄像机自
6
定标方法
[30-38]
。所谓基于主动视觉系统的自定标方法，是指通过控制摄像机的运动获取多幅图
像来标定摄像机内参数。与自标定方法一样，基于主动视觉系统的自定标方法也是一种仅利用图像之间对应关系进行标定的方法，不需要高精度的标定物。这种自定标方法的主要优点是由于在标定过程中知道了一些摄像机的运动信息，所以一般来说，摄像机的内参数可以线性求解，计算简单、鲁棒性比较好。基于主动视觉系统的自定标方法的研究大体上经历了二个阶段，开始时，人们主要致力于研制可精确控制的主动视觉平台，通过精确控制主动视觉平台的运动来对摄像机进行标定。这方面代表性的工作是1996年马颂德
[37]
提出了一种基于主
动视觉系统的摄像机自定标的线性方法。这种方法通过控制摄像机在三维空间作两组平移运动，其中每组运动包括三次两两正交的平移运动，简称三正交平移运动，利用FOE(Focus of Expansion)点建立一个线性方程组来求解摄像机内参数。1998年杨长江等
[38]
提出了一种改进方
法，要求摄像机作四组平移运动，其中每组包括两次相互正交的平移运动，利用FOE点仍可线性求解摄像机内参数。马和杨均是在四参数摄像机模型下（即畸变因子为零），实现线性自定标。使用高精度主动视觉平台进行摄像机自标定的不足是系统的成本较高。近年来，越来越多的研究人员将研究重点放在了使用简易设备、甚至不使用任何特殊的设备来标定摄像机的方法。
目前基于主动视觉系统的自定标方法的研究焦点是如何尽量减少对摄像机运动的限制，但仍能线性求解摄像机内参数。需要指出的是，尽量减少对摄像机运动的限制不等于对摄像机的运动毫无约束。如果对摄像机的运动毫无约束的话，自标定过程本质上是一个多元非线性优化问题，基于主动视觉系统的自定标方法就又回到了自标定的范畴。根据控制摄像机运动方式的不同，基于主动视觉系统的自定标方法可以分为基于摄像机纯旋转运动的自标定方法、基于摄像机纯平移运动的自标定方法以及基于摄像机正交运动的自标定方法等。
1.4 PNP问题
PNP问题由Fishler等
[39]
于1981年首先提出。所谓PNP问题是指：假定摄像机模型为小孔
成像模型且已标定好，拍摄一幅在世界坐标系下坐标已知的N个空间点的图像，且对应的N个图像点的坐标也已知，确定这N个空间点在摄像机坐标系下的坐标
[40]
。
自从PNP问题于1981年提出后, 由于其在物体定位方面的重要应用价值，引起了人们的广泛重视，而后该方面大量文章的相继问世充分说明了这一点
[40-48]
。PNP问题的研究焦点是确
定在哪种情况下问题有唯一解，如果唯一解不存在，则确定至多可能有多少个解以及解的分布状况。对于PNP问题的求解方法一般有两种途径
[40]
：第一种途径是确定空间点到摄像机光
7
心的距离。由于摄像机已标定且对应的图像点坐标已知，所以空间点在摄像机坐标系下的投影方向可以通过图像坐标求出。这样，确定空间点在摄像机坐标系下的坐标问题就转化为在已知投影方向上求空间点到摄像机光心的距离问题；第二种途径是确定世界坐标系到摄像机坐标系之间的旋转矩阵R和平移向量t，即Xc?RXw?t，其中Xc和Xw分别是同一空间点在摄像机坐标系和世界坐标系下的坐标。所以，PNP问题同样可以定义为：已知三维空间中N个空间点的坐标以及二维图像中对应的N个图像点的坐标，求解世界坐标系到摄像机坐标系之间的旋转矩阵R和平移向量t。显然，如果R和t已知，且空间点在世界坐标系下的坐标也已知，则可以求得其在摄像机坐标系下的坐标。利用第一种途径求解PNP问题的困难在于约束方程组中有未知量的平方项，不易获得解析解。利用第二种途径求解PNP问题的困难在于矩阵R 是一个旋转矩阵，它有3个独立参数，参数间的约束不易实现。在本论文中，我们利用第二种途径求解PNP问题。
文献中对PNP问题的研究均集中在P3P、P4P和P5P问题的研究上。这是因为P2P问题有无限多解，当N?5时，PNP问题变成了经典的DLT问题，可以线性求解。目前，在PNP问题的研究中，除文献
[40][41]
外均假定已知摄像机内参数（即摄像机已标定）且在运动过程中保
持不变。但是，在实际问题中，如基于主动视觉系统的任务，为了获取高质量的图像，数字摄像机都具备自动变焦的功能，也就是说机器人在运动过程中摄像机内参数可能经常发生变化，因此，要求摄像机内参数是已知的而且在运动过程中保持不变，已很难满足实际应用的要求。这样，研究摄像机内参数未知且运动过程中可以发生变化的PNP问题就具有特别重要的意义。对于摄像机内参数未知且运动过程中可以发生变化的PNP问题，我们称之为未标定PNP问题。很明显，如果摄像机使用五参数模型，对于未标定的P3P、P4P问题，其约束方程的个数均少于待求未知参数的个数，所以未标定的P3P、P4P问题总是有无穷多解。对于未标定的P5P问题，文献
[41]
针对四参数摄像机模型进行了比较系统的讨论。本论文中，我们将针
对五参数摄像机模型讨论未标定P5P问题的求解。 1.5 论文的主要研究内容
本论文的研究内容主要包括两部分：基于多视图的分层重构和未标定P5P问题。在第一部分中，针对三幅及三幅以上的图像，主要研究：①利用矩阵奇异值分解（SVD）实现射影重构，②通过求解Kruppa方程实现摄像机自标定，③由射影重构恢复欧氏重构；针对只有两幅图像的情况，主要研究：①利用场景结构信息求解无穷远平面的单应矩阵，由射影重构恢复仿射重构，②利用场景结构信息求解绝对二次曲线的像（等价于标定摄像机），由仿射重构恢
8
复欧氏重构。在第二部分中，主要研究：摄像机内参数未知且在运动中可以变化的未标定P5P问题的求解。
论文各章内容简介：
第一章 围绕本论文的研究内容，介绍了计算机视觉领域中相关研究的历史、现状以及所取得的成果，并对论文的研究内容和组织结构进行了说明。
第二章 扼要介绍本论文后续章节所用到的摄像机成像中的若干重要空间关系。 第三章 从摄像机模型出发，详细推导了透视模型与仿射模型的关系，讨论了射影深度的性质。介绍了基于矩阵奇异值分解（SVD）的射影重构算法的一般框架，分析并实现了基于基本矩阵和极点的射影深度估计算法。以测量矩阵的秩为4作为约束，以仿射投影逼近透视投影，提出以下迭代估计射影深度的算法：①基于共轭梯度法的射影深度估计算法，②基于遗传算法的射影深度估计算法。在获得正确的射影深度后，通过奇异值分解将测量矩阵分解为射影空间下的摄像机运动和物体三维几何形状（射影重构）。实验证明：相对于基于基本矩阵和极点方法来计算射影重构，我们提出的算法对噪声具有更好的鲁棒性。
第四章 首先介绍摄像机自标定技术，详细讨论了传统的基于Kruppa方程的摄像机自标定方法。提出一种求解Kruppa方程的新方法——分步算法，先利用共轭梯度法估计Kruppa方程中的未知比例因子，然后利用所确定的比例因子线性地求解Kruppa方程，进而标定摄像机内参数。在摄像机内参数已知的情况下，提出一种从射影重构恢复欧氏重构的算法，先求解一个满足欧氏重构条件的非奇异矩阵，然后通过此矩阵将射影重构变换为欧氏重构。实验结果表明所提出的算法是行之有效的。
第五章 详细分析了仿射重构的本质，证明了可逆矩阵为无穷远平面单应矩阵的充分条件，以及从基本矩阵无法唯一确定无穷远平面单应矩阵。系统地讨论了如何利用场景中的结构信息，来唯一地确定无穷远平面的单应矩阵，进而由射影重构恢复欧氏重构，以及如何通过绝对二次曲线的像求解将仿射重构变换为欧氏重构的单应矩阵。总结了三种关于绝对二次曲线的像的约束，并利用这些约束求解绝对二次曲线的像，进而实现从仿射重构恢复欧氏重构。
第六章 针对五参数摄像机模型，讨论摄像机在运动（运动参数未知）过程中其内参数是未知的且可以发生变化时，如何通过5个控制点以及它们的图像点，来求解所对应的内参数、方位以及运动参数。证明了下述结论：已知5个控制点在世界坐标系中的坐标，以及它们在摄像机作一般刚体运动前、后两幅图像中的图像坐标，当5个控制点中任意4个点均不共面
9
且摄像机运动前、后的两光心的连线不通过任一个控制点时，则可线性地确定摄像机关于世界坐标系的方位、运动前、后所对应的内参数以及运动参数。在此基础上，提出一种线性求解未标定P5P问题的新算法。
第七章 对本论文的工作进行总结，并对今后的工作进行了展望。
参 考 文 献
[1]马颂德，张正友，计算机视觉——计算理论与算法基础，科学出版社，1998. [2]高文，陈熙霖，计算机视觉——计算与系统原理，清华大学出版社，1999.
[3]D.Marr, Vision. W.H.Freeman and Company, San Francisco,1982.中译本：视觉计算理论，姚国正等译，科学出版社，1988.
[4]R.Hartley, A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press 2000.
[5]O.Faugeras, Three Dimensional Computer Vision: A Geometric Viewpoint, Boston, MIT Press, 1993.
[6]O.Faugeras, What can be seen in three dimensions with an uncalibrated stereo rig, Computer Vision-ECCV'92, Lecture Notes in Computer Science, Vol.588, Springer- Verlag, pp.563-578, 1992. [7]R.Hartley, Estimation of relative camera positions for uncalibrated cameras, Computer Vision-ECCV'92, Lecture Notes in Computer Science, Vol.588, Springer- Verlag, pp.579-587, 1992. [8]T.Huang, A.Netravali, Motion and structure from feature correspondences: A review, Proc. of the IEEE,pp.252-268,Vol.82,No.2,Feb.1992.
[9] R.Hartley, Stereo from uncalibrated cameras. E.Grimson Proc.CVPR’92. Urbana- Champaign, Illinois: IEEE Computer Society. pp.761-764,1992
[10]G.Frangois, Hierarchical visual perception with calibration. Report of research. INRIA, France. No:3002, 1996.
[11]C.Rothwell, O.Faugeras, A comparison of projective reconstruction methods for pairs of views. Computer vision and image understanding,Vol.68,No.1 pp.37-58,1997
[12]C.Tomasi, T.Kanade, Shape and motion from image streams under orthography: a factorization method. International Journal of Computer Vision, Vol.9,No.2, pp.137- 154,1992.
[13]C.Poelmanand, T.Kanade, Paraperspective factorization method for shape and motion recovery. J-O.Eklundh. Proc. ECCV’3. Stockholm, Springer-Verlag. pp.97-108. 1994.
[14]C.Christy, R.Horaud, Euclidean reconstruction: from paraperspective to perspective. Proc. ECCV’4, Cambridge: Springer-Verlag. pp 129-140. 1996.
[15]P.Sturm, B.Triggs, A factorization based algorithm for multi-image projective structure and motion. Proc. ECCV’4. Cambridge, Springer-Verlag. pp.709-720. 1996.
[16]Bill Triggs, Autocalibration and the Absolute Quadric, In Proc. of CVPR’97, pp.609-614, 1997. [17]Bill Triggs, Autocalibration from Planar Scenes, In Proc. of ECCV’98, pp.89-105, 1998.
[18]M.Pollefeys, Self-calibration and metric reconstruction from uncalibrated image sequences. PhD thesis, ESAT-PSI, K.U.Leuven, 1999.
[19]M.Brooks, L.Agapito, Direct Methods for Self-Calibration for a Moving Stereo Head, in Proc.
10