基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究
三维形貌与变形测量在产品质量控制、逆向设计、材料与工程结构测试、生物医 学、文物保护等众多领域中的需求日益增加。过去传统的测量内容和测量方法己经不 能满足需要，物体的三维尺寸、表面形貌和运动变形数据的获取成为测量领域的研究 热点和前沿课题。本文针对目前光学三维形貌与变形测量研究中存在的不足，采用理 论分析和实验研究相结合的研究方法，综合机械工程、光学电子、计算机视觉、数字 图像处理和摄影测量学等多个学科对三维形貌与变形测量关键技术进行了系统、深入 的研究。主要研究内容和研究成果如下:
(1>讨论了光学三维形貌与变形测量技术原理和优缺点，对研究现状和发展趋势 进行了系统的分析。研究了工业摄影测量和机器视觉中坐标转换、摄影几何约束、空 间交汇和三维重建的基本理论。为本文的研究工作提供基本的理论依据。
(2)机器视觉系统参数标定是三维测量技术中的关键问题之一，其标定精度直接 决定后续三维重建的精度。为进一步提高视觉系统测量精度，提出了一种基于工业摄 影测量的相机柔性标定方法，给出了相机成像模型和十参数镜头畸变模型，并进行了 相机标定实验及重投影误差分析。该方法使用不同尺寸的标定板和标定十字架，无需 标定物世界坐标，可以对不同视场单个或者多个相机进行标定。标定参数初始值由摄 影测量中相对定向和直接线性变换方法得到，然后使用捆绑调整算法整体优化物方坐 标及相机内外参数。实验结果表明，标定重投影误差小于0.0_5像素，标准尺(221.001 士0.003mm)平均测量误差0.03mm，与传统方法相比，标定精度有较大提高。
(3)系统地研究了单相机、双相机和多相机的高精度三维重建方法，推导了在不 同情况下的三维重建方程。提出了基于外插多频相移的双目面结构光测量方法，并进 行了精度实验验证和误差分析。基于外插多频相移的相位展开算法，相位展开过程主 要依赖不同频率正弦光栅图像的相位主值，对被测物体表面颜色不敏感，无需表面处 理，计算过程更稳定，且可对每种频率的相移均进行相位展开，后续三维重建时使用 多个连续的相位值进行平均计算，提高了三维重建的精度。
(4)针对大型结构件变形，提出了一种基于工业摄影测量的三维静态变形测量方 法。该方法可以方便地获得大型结构件在不同载荷条件下的整体位移场信息。研究了同名点匹配和搜索算法，改进了坐标配准算法，提高了坐标配准的效率，并实现了静
态变形测量数据中变形点的匹配，从而计算出实际的位移变形场。提出了一种相关拼 合的算法，通过使用相关点进行坐标配准和相同变形点匹配，提高了相同变形点匹配 的效率。
(5)针对全场位移和应变测量，结合双目立体视觉，提出了一种基于数字图像相 关的三维应变测量方法。研究了数字图像相关方法的基本原理，涉及的关键技术包括 相关系数、相关搜索、相关区域校正和位移场数据的平滑等。通过引入盒滤波思想， 改进了整像素相关搜索算法，提高了匹配效率，对影响测量精度的因素进行了分析并 提出了散斑图像光照不均匀的校正方法。
在上述理论与技术的基础上，将研制的双目面扫描系统、静态变形测量系统、动 态变形测量系统在大型飞机全尺寸形貌测量、汽车饭金件、电力塔架真型试验、薄板 焊接变形试验、材料拉伸试验中进行了应用和实验，并取得了良好的效果。
1绪论
本章主要论述了选题意义及应用背景、国内外研究现状分析及论文的主要研究内 容等。首先介绍课题背景、工业摄影测量和机器视觉的发展与联系，然后对光学三维 测量技术的研究现状和发展趋势进行了系统的分析，最后介绍了论文的主要研究内容、
关键技术和创新点。 课题背景
制造业和先进制造技术的发展水平己经成为当前衡量一个国家科技发展程度的重 要标准「‘]。因此，世界上许多国家，尤其是发达国家都把先进制造技术与信息科学技术、 材料科学技术和生物科学技术同列为21世纪的四大支柱科技加以重视。现代测量技术 是制造业发展的技术基础，测量技术在一定程度上决定了制造业乃至整个科学技术的 发展水平[2-4]。在过去的几十年中，经典的几何量诸如长度、角度、平面度、直线度等 的钡」量技术与检测手段己经日益成熟[[5]。随着先进制造技术水平的提高，过去传统的测 量内容和测量方法己经不能满足需要，物体的三维尺寸、表面形貌和运动变形数据的 获取成为人们在测量领域一个新的重要的研究方向阵”]。
近年来，三维形貌与变形测量在产品质量控制、逆向设计、材料于工程结构测试、 生物医学、文物保护等众多领域中的需求日益增加[yo-i6}，见图1-1。传统接触式三维 测量技术速度慢、量程受限制、操作不方便，有时甚至无法测量[}m,is}。光学三维测量 具有非接触、高精度和易于自动化的优点，巨大的应用需求，促使了光学三维测量技 术的快速发展[f191
随着计算机技术、数字图像获取设备和光学器件的发展子、计算机视觉、数字图像处理和摄影测量学等多个学科，式三维形貌与变形测量己成为国内外研究的热点和前沿课题，涉及机械工程、光学电基于计算机视觉的非接触。 1.2工业摄影测量与机器视觉 1.2.1工业摄影测量概述
摄影测量((Photogrammetry)是一门通过分析记录在胶片或电子载体上的影像来确 定被测物体的位置、形状和大小的科学，属于测绘学的分支学科[27]。它包括航空摄影 测量、航天摄影测量和近景摄影测量等}ZS}。其中，近景摄影测量是指测量范围小于100米，相机布设在物体附近的摄影测量[29]。摄影测量在工业测量和工程测量中的应用一 般称为近景摄影测量或非地形摄影测量。它经历了从模拟、解析到数字方法的变革， 硬件也从胶片像机发展到数字相机[[30]。本文将针对工业测量应用的数字近景摄影测量 称为工业摄影测量。近年来，随着微电子和半导体技术的飞速发展，尤其是固体阵列 相机和计算机硬件的发展，使得工业摄影测量己进入全数字近景摄影测量时代[[31]
1.2.2机器视觉概述
机器视觉又称计算机视觉，是一门新兴的学科，它的发展得益于神经生理学、心 理学与认知科学对动物视觉系统的研究，计算机视觉的研究目标是使计算机具有通过 二维图像认知三维环境信息的能力[66]。这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的位置、形状、姿态、运动等，而且能对它们进行描述、存储、
识别和理解。伴随着视觉认知和计算机技术的快速发展，利用计算机模拟人类的视觉 系统成为科学技术发展的必然趋势。机器视觉己经成为令人感兴趣的前沿研究领域之 一[[67]。通过对人类视觉的模拟，可以帮助人类重新认识人的视觉机理，从而在许多未 知问题上产生重大突破。
近十年来，随着机器视觉理论的迅速发展，它逐渐发展成一门由计算机技术、控 制理论、人工智能和模式识别等众多领域交叉综合的新学科，它在一些科技领域中卓 有成效的应用，引起了学术界和工业界的极大兴趣，其应用范围也日益扩大，涉及到 机器人、工业检测、医学图像分析、交通管理和军事导航等诸多领域。 1.2.3工业摄影测量与机器视觉的联系
工业摄影测量是测绘学科的一个分支，它是通过对二维图像进行分析，测量物体 在三维空间的形状、位置，乃至物体的运动参数。摄影测量在近百年的历史中经历了
模拟、解析和数字摄影三个阶段。
机器视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，这 种能力将不仅使机器感知三维环境中物体的几何信息，包括它的形状、位置、和运动 等，而且还能对它们进行描述、存储、识别和理解。
近年来，共同的理论基础、类似的处理方法和基于数字图像测量技术等特征，使 得工业摄影测量与机器视觉学科间的交叉越来越多。摄影测量中的图像处理和特征识 别方法来自机器视觉;反过来，摄影测量中的平差方法和误差传递理论又为机器视觉 所采用。学科间的交叉、融合是当前研究领域的大势所趋。本文正是顺应这种态势， 结合工业摄影测量和机器视觉理论来研究工业实用的物体三维形貌与变形测量关键技 术。
1.3基于工业摄影与机器视觉的三维测量技术综述 1.3.1三维形貌与变形测量技术
光学三维形貌与变形测量技术经过近年来的快速发展，涌现出多种技术及方法。 其中主要有:时间飞行法、全息干涉法、莫尔条纹法、结构光方法(点、线、面)、数 字摄影测量法和数字图像相关法等，下面介绍几种常用的三维测量方法，并分析在这 些方面的研究发展情况。 1)时间飞行法
时间飞行法基于三维形貌对激光束产生的时间调制。原理如图1-3所示。激光脉冲信号从发射器发出，经待测物体表面反射后，沿近乎相同的路径反向传回接收器，检测激光脉冲从发出到接收时刻之间的时间差，就可以计算出距离。
结合扫描装置使激光脉冲扫描整个物体就可以得到三维形貌数据。
时间飞行法的分辨率约为1 mm。若采用亚皮秒激光脉冲和高分辨率的电子器件， 深度分辨率可达亚毫米级。采用时间相干的单光子计数法，测量lm距离，深度分辨率 可达30 }m;另一种称之为飞行光全息技术的测量方法利用超短光脉冲结合数字重建， 深度分辨率可达6._5 }m，这种方法的优点是不存在阴影和遮挡问题。但是要得到较高 的测量精度，对信号处理系统的时间分辨率有较高的要求。 _5)数字摄影测量法
数字摄影测量[[24]系统如图1-7所示，通过在物体的表面及其周围放置标志点，包 括编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照 片，经过数字图像处理、标志点的定位、编码点的识别，可以得到编码点的编码以及 标志点中心的图像坐标。利用这些结果，经过相对定向、绝对定向、三维重建、以及
平差计算，最后加入标尺约束及温度补偿，可以得到标志点准确的三维坐标。
国外对摄影测量技术的研究起步较早，因此相应的生产厂家和产品比较多，比较 典型的有美国GSI公司的V-STARS系统、德国AICON 3D公司DPA-Pro系统、德国 GOM公司的Tritop系统、加拿大EOS公司的PhotoModeler系统、挪威Metronor公司 的Metrono:系统等[88-93]。工业摄影测量系统使用高分辨率数码相机，从多个角度拍摄 预先布置的圆形参考点和带有编码的参考点，然后自动三维重建，得到工件表面参考 点的三维坐标，精度可达0.1 mm/m。这些系统己经大量应用于航空、航天、汽车、轮 船等领域的工业检测以及逆向设计工作中。
数字摄影测量能在较短时间内准确地获得被测物体关键点的三维信息，从而实现 物体的三维数字化建模，尤其适用于大型复杂工件的三维检测，具有无接触、灵活、 快速等优势，因此在反求工程、机械零件测量、虚拟现实等方面具有广泛的应用前景。 6)数字图像相关法
数字图像相关法(Digital Image Correlation Method, DICM ) }g0]是一种光测力学变 形测量方法。数字图像相关法又称为数字散斑相关法(Digital Speckle Correlation
Method, DSCM。数字散斑相关方法是在二十世纪80年代由日本I. Yamaguchi和美国 South Carolina大学的Ranson和Peter等人同时独立提出的[}3} o I. Yamaguchi在研究物 体小变形时，采用测量物体变形前后光强的互相关函数峰值来计算物体的位移。同时， Ranson和Peter则采用电视摄像机记录被测物体加载前后的激光散斑图，经过模数转换 得到数字灰度场，而后计算相关系数随试凑位移及其导数的变化过程，找出相关系数 的极值进而得到相应的变形参数。
数字图像相关法的原理是通过图像匹配的方法分析试件表面变形前后的散斑图 像，来跟踪试件表面上几何点的运动位移场，然后计算得到应变场。在数字图像相关
法算法中，图像匹配时常用图像子区的相关性来衡量不同图像上两个子区的相似程度， 因此该图像子区常称为“相关窗”。 与其它变形测量方法相比，数字图像相关法对复杂环境的适应性更好，这是由数字图像相关法的特性决定的。首先，数字图像相关法处理对象是数字化的散斑图像，散
斑图像是指一类含随机斑点分布的图像，散斑指图像中的随机斑点。散斑可以由激光 照在漫反射表面干涉产生;也可由特殊涂料(如哑光漆等)喷涂在试件表面形成(人 工散斑);甚至某些材料表面的纹理也能直接构成散斑(天然散斑)。后两种散斑是图 像相关法测量中最常见的。因此，数字图像相关法测量中散斑图像在获取时可直接采 用白光照明。这一点克服了前面提到的以干涉为基础的光测方法的缺点，也是数字图 像相关法具有更好的适应性的直接原因。其次，数字图像相关法归根结底是一种二维 数字图像的分析方法。该方法的测量分辨率与成像系统的物面分辨率(指数字图像上1 个像素代表的实际长度)密切相关，物面分辨率高则测量分辨率高;数字图像相关法 的a}n,」量范围取决于成像系统的视场范围。因此，数字图像相关法测量范围和测量分辨
率可以方便地进行调整。这也是数字图像相关法对复杂环境适应性更好的另一个原因。 此外，数字图像相关法实验装置简单、实验准备快，数据处理自动化程度高，这些都 使数字图像相关法更方便易用，适应性更好。
数字图像相关法提出二十多年来，其理论研究和应用发展非常迅速。正是由于数 字图像相关法具备上述特点，目前，在超大和超小试件变形测量、复杂材料变形测量 和复杂环境变形测量等方面，数字图像相关法具有很大的优势。随着图像采集设备、 数字信号处理技术和计算机技术的发展，数字图像相关法的测量分辨率和测量精度大 大提高，应用领域迅速扩展:借助各种显微镜设备，数字图像相关法可以实现微观变 形测量;利用高速摄影，数字图像相关法还可以用于高速动态变形测量。 1.3.2三维形貌与变形测量研究现状
综上所述，三维形貌与变形测量研究己取得了很大进展，部分技术己应用于商业 测量系统，包括数字工业近景摄影测量、条纹投影面结构光三维形貌测量、数字图像 相关法动态变形测量等。在国际上，美国斯坦福大学、美国哈佛大学、德国亚深应用 科技大学、德国IAPG研究所、澳大利亚墨尔本大学等在三维形貌与变形测量方面均 己开展了许多非常有意义的研究工作，并取得了较好的研究成果。国内清华大学、西 安交通大学、天津大学、四川大学以及华中科技大学等也开展了广泛的研究，并取得 了较好的阶段性研究成果。
1.3.3三维形貌与变形测量发展趋势及存在的问题
通过以上分析，高速度、高精度、大尺度和复杂变形是光学三维形貌与变形测量 的研究重点和难点，而这些难题正是机器视觉测量的发展趋势。归纳起来主要有以下 几个方面:
1>高精度全自动测量
测量精度是测量领域永远追求的目标，对于机器视觉测量系统来说，影响测量精 度的因素包括图像获取、图像处理、相机标定、立体匹配和三维重建等，其中，相机 标定和三维重建算法是影响视觉测量精度的关键因素。因此，研究高精度视觉系统标 定算法和三维重建算法是机器视觉领域的重要方向。 2)大尺寸、大变形三维测量
在航空、航天、汽车、轮船等工业领域内，零部件的负载变形和热变形检测需求 随着对于产品要求的提高而增多，同时对于产品在各个不同状态下的形态检测(如飞 机机翼不同飞行状态下的形态检测)精度及效率要求越来越高，特别是大尺寸、大变