产品表面质量视觉检测中的相机位姿自动校准 [PDF全文]
(1 南京航空航天大学机电学院, 南京 210016)

为解决产品表面质量视觉检测中因图像几何特征不足而导致的相机位姿无法校准问题,提出了一种基于图像灰度分布的相机位姿自动校准方法.首先将相机安装于机械臂末端,标定出机械臂末端坐标系与相机坐标系间的转换关系; 然后采集相机处于不同位姿下的产品表面图像,在图像感兴趣区域内建立极坐标系,并根据图像灰度与极角之间的分布关系计算出灰度分布轴线的位置,以引导机械臂带动相机作姿态调整; 最后再根据图像清晰度评价值控制机械臂沿相机光轴方向平移至正焦位置,最终实现相机位姿校准.以汽车涡轮壳零件为被测对象进行了相机位姿校准试验,图像中感兴趣区域两侧的灰度差值由119降低至4,图像清晰度评价值达到极大值150.90,相机经位姿校准后采集到了准确、清晰的零件表面图像.

Automatic calibration of camera pose in visual inspection of product surface quality
Yu Houyun1,2,Wang Huiqing3,Zhang Hui1,Hu Yukun3
(1 College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)(2 Wuxi Institute, Nanjing University of Aeronautics and Astronautics, Wuxi 214187, China)(3 School of Instrument Science and Engineering, Southeast University, Nanjing 210096, China)

To solve the problem that the camera pose cannot be calibrated due to insufficient geometric features of images in the visual inspection of the surface quality, an automatic calibration method of the camera pose is proposed based on the image gray distribution. Firstly, with the camera installed at the end of the manipulator, the transformation relationship between the coordinate system of the manipulator end and the camera coordinate system is calibrated. Then, the product surface images with different camera positions are taken, and the polar coordinate system is established in the region of interest. According to the distribution relationship between image gray and polar angle, the position of the gray distribution axis is calculated to guide the manipulator and drive the camera to make attitude adjustment. Finally, according to the evaluation value of image clarity, the manipulator is controlled to move along the optical axis of the camera to the positive focus position, and the calibration of camera pose is completed. Tests were carried out on automobile turbine housing. The gray difference between two sides of the region of interest is reduced from 119 to 4, and the maximum value of image clarity reaches 150.90. A clear and accurate image of the part surface is obtained after the calibration.

引言

随着制造业水平的日益提升,用户对工业品的要求已不仅仅满足于功能实现,同时对产品外观和表面质量也提出了更高的标准.机器视觉代替人眼应用于产品表面质量检测,在现代制造领域已经成为研究热点.

常见的表面质量视觉检测系统采取的是相机位置固定、产品通过传送机构送至相机视场内进行检测的方式.该方式主要适合被测对象体积较小、外形单一的场合.当产品体积较大或结构复杂时,需要设置多个检测工位,导致传送机构非常复杂,甚至无法实现特殊位置的表面检测,从而很大程度上制约了机器视觉表面质量检测的应用.

为了提高视觉系统的柔性和扩大测量范围,研究人员将机器人和机器视觉相结合并应用于产品表面质量检测,取得了良好的效果.例如Ramalingam等[1]研究了机载机器人视觉系统,该系统由机器人搭载相机在飞机表面爬行,可以安全、快速、准确地完成飞机的表面裂纹和污点等缺陷检测.王冲[2]设计了基于机械臂的轮胎表面缺陷柔性视觉检测系统,通过机械臂带动相机并配合轮胎的运动获得完整的轮胎表面图像.但是,视觉系统的运动会使相机的位置不确定,严重影响表面质量检测的正确率.而上述系统中相机位姿的校准主要通过人工示教或机械装配来实现,校准效率低、适应能力差且一致性无法保证.

为了进一步解决相机位姿校准这一关键问题,国内外研究人员又进行了大量研究.其中雷金周等[3]运用单目视觉测量技术实现了机器人末端的对准轴与工件孔的精确对准,通过识别特制手眼标定板的特征点来计算目标位姿.任梦晴[4]通过单目视觉实现了自动对接系统的位姿检测,利用已知多孔法兰盘上的多个圆心的相对位置和在图像中的相应图像点坐标,解算出物体的位姿.但总体来看,目前相机姿态校准研究主要集中在装配、分拣[5]、钻孔[6]等领域,校准方法基本上依据的是图像轮廓和特征点,需要被测对象具有丰富的几何特征,这在产品表面质量检测的应用中往往很难得到满足,因此应用范围受到很大限制.

针对产品表面质量视觉检测中的相机位姿校准问题,本文提出了一种基于图像灰度分布的相机位姿估计方法,在此基础上计算出机械臂运动参数,引导机械臂带动视觉系统自动采集清晰准确的产品表面图像,提高了表面质量视觉检测系统的工作效率和智能化水平.

1 检测系统组成

图1所示为某型号汽车发动机涡轮壳零件,需要检测的区域包括进气口端、中间壳端、出气口端、螺纹孔端等多处机加工表面.检测位置多且零件外形结构复杂,要求视觉系统与被测零件之间具有非常灵活的位置关系.

图1 汽车发动机涡轮壳零件

图1 汽车发动机涡轮壳零件

为此,本文采用图2所示的基于机械臂的视觉检测系统.该系统主要由旋转工作台、机械臂、视觉单元和工控机组成.视觉单元安装在机械臂末端,被测零件装夹在旋转工作台上,机械臂和旋转工作台互相配合,保证视觉相机能够快速、准确地采集到零件上需要检测的所有表面的图像.当更换新型号的零件时,系统需要重新校准相机位姿.

图2 涡轮壳零件表面质量视觉检测系统组成图

图2 涡轮壳零件表面质量视觉检测系统组成图

2 相机对正

图3为相机处于不同位姿下拍摄的涡轮壳零件出气口端面的图像.如图3(a)所示,当相机光轴垂直于被测表面时,表面区域呈现均匀的灰度分布.而当相机光轴与零件表面存在一定倾角时,表面区域被分为明显的明、暗两部分,如图3(b)和(c)所示.当相机中心有较大偏移时,无法获取完整的零件表面图像,如图3(d)所示.为了能够准确检测出表面缺陷,应使相机中心瞄准被测表面中心,并且相机光轴与被测表面垂直,即相机应与被测表面区域对正.

图3 相机不同位姿下拍摄的涡轮壳零件出气口端图像

图3 相机不同位姿下拍摄的涡轮壳零件出气口端图像

2.1 ROI提取

图3所示,涡轮壳零件出气口端的表面质量检测区域包括3个同心的环形区域.为了减小图像处理的计算量,可取最外面一层圆环的一部分作为感兴趣区域(ROI),即假设该圆环的外径为D,ROI取直径0.9D~D的环形区域.由于图像灰度沿几个同心圆环的径向分布具有一致性,因此这种简化处理并不影响后续根据灰度分布校准相机姿态.

2.1.1 自适应阈值分割

为了便于提取最外面一层圆环的外边界,首先对图像进行二值化分割.但在不同姿态下,相机采集到的图像灰度差异很大,无法使用固定的阈值,因此根据图像灰度特征采用自适应阈值进行图像分割.常用的自适应阈值分割算法主要包括最大类间方差法[7]、最大熵法[8]和均值迭代法[9]等.

3种算法对涡轮壳零件出气口端面的分割结果如图4所示,通过比较发现最大熵法无法提取出感兴趣区域,其分割效果远不如其他2种算法.而均值迭代法得到的区域更完整,且边界特征明显,因此本文选择均值迭代法来分割涡轮壳零件的表面图像.

图4 涡轮壳零件出气口端图像自适应阈值分割结果

图4 涡轮壳零件出气口端图像自适应阈值分割结果

2.1.2 最小外接圆拟合

完成图像分割后,图像中只包含灰度值为0(黑)或255(白)的2种像素.接下来遍历图像中的白色连通区域,统计各连通区域的大小,将较大的几个连通区域的像素点构成一个集合,最后计算出该集合的最小外接圆.表1列出了图3中各环形区域的圆心以及最外面一层圆环外边界的直径,根据表1提取的ROI如图5所示.

表1 涡轮壳零件出气口端面环形区域圆心坐标和直径

表1 涡轮壳零件出气口端面环形区域圆心坐标和直径

图5 相机不同位姿下的涡轮壳零件出气口端面ROI图像

图5 相机不同位姿下的涡轮壳零件出气口端面ROI图像

2.2 图像灰度分布

当视觉系统与零件表面成一定倾角时,相机采集到的零件表面图像其灰度分布是不均匀的.远离相机的一侧将会在图像中呈现暗区域,而靠近的一侧则呈现亮区域.由图5可见,环形ROI的亮区域和暗区域大致呈轴对称,对称轴方向即为相机相对于零件表面的倾斜方向.

图6所示,在图像中以环形ROI的圆心O为极点建立极坐标系,极轴OX与图像坐标系ouv的坐标轴ou平行且方向一致.设圆心O的图像坐标为(u0, v0),则环形区域内任一像素点P的极坐标可表示为(r, θ),其与P点的图像坐标(u, v)之间满足以下关系:

u=u0+rcosθ

v=v0-rsinθ}(1)

式中,r为极径; θ为极角,0°≤θ<360°.

图6 极坐标系下的ROI图像

图6 极坐标系下的ROI图像

统计环形区域内对应各不同极角θ所在射线上的所有像素点的灰度均值,并绘制出图7所示的ROI灰度分布曲线,图中,G为灰度值.由图可见,当极角处于230°~349°之间时,灰度值均接近于255,对应着图6中圆环右下角的亮区域.由于亮区域灰度分布的一致性优于暗区域,因此取中值θ=290°绘制圆环的轴线作为环形区域的灰度分布对称轴,此时暗区域也关于该轴线近似对称.沿着对称轴从亮区域指向暗区域的方向指示了相机姿态调整时的光轴转动方向.

图7 ROI灰度分布图

图7 ROI灰度分布图

进一步地,将轴线上明、暗两侧像素点的灰度均值相减,差值ΔG越大表示相机倾角越大.当差值接近于0时,整个环形ROI灰度均匀,表明相机已经对正.按照该方法计算图5中各种姿态的相机倾斜方向,结果如图8所示.

图8 通过ROI灰度分布计算出的相机倾斜方向3 相机对焦

图8 通过ROI灰度分布计算出的相机倾斜方向3 相机对焦

在表面质量视觉检测系统中,图像清晰度对于缺陷的判断和缺陷尺度的度量至关重要.完成相机对正后,相机光轴垂直于零件被测表面,但零件表面不一定处于最清晰的位置,因此需要通过对焦算法调整相机物距,以获得清晰的表面图像.

图像对焦是以图像特征作为判断依据,对整幅图像或部分区域进行清晰度评价,判断相机的聚焦状态,然后通过相应的调整策略改变像距、物距或焦距,找到最佳的聚焦位置.对焦过程一般不需要增加新的硬件,仅靠图像处理算法即可准确高效地完成对焦,简化了调焦系统,降低了设备成本.

图像清晰度评价是相机对焦的关键,直接影响自动对焦的精度和效率.离焦图像的景物点在图像中会呈现为斑点,因此离焦图像通常边缘模糊,特征对比度弱,主要为低频分量.反之,聚焦图像细节丰富,特征对比度明显,高频分量较多[10].图像清晰度评价函数就是依据图像中的灰度特征或高频分量等计算出图像的清晰度评价值.本文主要从图像空域、信息学和统计学等方面进行试验[11],找到最合适的图像清晰度评价方法.

图9所示,相机在不同物距下采集了10幅涡轮壳零件螺纹孔端面图像.分别使用能量梯度函数[12]、Tenengrad函数[13]、Brenner函数[14]、拉普拉斯函数[15]、离散余弦变换[16]和标准方差[17]6种清晰度评价函数,计算出图9中各幅图像的清晰度评价值,并绘制了相应的评价值曲线图,如图 10所示.

理想的图像清晰度评价曲线呈现单峰(或单谷)性,并在极值两侧逐渐递减(或递增).由图 10可见,离散余弦变换和标准方差得到的评价值曲线在极值两侧的曲率相对平缓,对焦时不易找到最佳聚焦位置.拉普拉斯函数和Tenengrad函数在图像模糊状态下的评价值几乎不变,而Brenner函数相比能量梯度函数而言,在接近对焦时评价值变化更显著.综上所述,本文选用Brenner函数作为自动对焦时的清晰度评价函数.

4 位姿调整控制4.1 系统手眼标定

要根据图像灰度分布和清晰度评价值来引导机械臂调整相机位姿,需预先知道相机坐标系与机

图9 不同物距下拍摄的涡轮壳零件螺纹孔端面图像

图9 不同物距下拍摄的涡轮壳零件螺纹孔端面图像

图 10 不同评价函数得到的清晰度评价值曲线图

图 10 不同评价函数得到的清晰度评价值曲线图

械臂末端坐标系之间的转换关系,即进行手眼标定[18].本系统作为一种Eye-in-hand系统[19],通常采取机械臂带动相机运动到不同位置,并以不同姿态拍摄平面靶标图像,计算出相机相对于靶标的外参数.然后再结合从机械臂控制器中读取的机械臂运动位姿参数,最终得到手眼标定结果.

各坐标系之间的关系如图 11所示,其中OWXWYWZW为世界坐标系,OCXCYCZC为相机坐标系,OGXGYGZG为靶标坐标系,OEXEYEZE为机械臂末端坐标系.Th为世界坐标系到机械臂末端坐标系的变换; Tm为机械臂末端坐标系到相机坐标系的变换,是手眼标定要求解的参数; Tc为相机末端坐标系到靶标坐标系的变换,即相机相对于靶标的外参数; Tg为世界坐标系到靶标坐标系的变换.由坐标系的转换关系可得

Tg=ThTmTc(2)

首先将靶标固定在机械臂运动范围内,然后操纵机械臂从不同角度拍摄靶标图像,并计算出相机的外参数Tc.而机械臂基座与靶标的相对位置始

图 11 机械臂手眼系统坐标系

图 11 机械臂手眼系统坐标系

终是固定的,即Tg保持不变,因此

ThiTmTci=Th(i-1)TmTc(i-1)(3)

式中,Thi、Th(i-1)分别为第i和第i-1次标定时机械臂末端坐标系的运动参数; Tci、Tc(i-1)分别为第i和第i-1次标定时相机的外参数.通过采集多个位置上的靶标图像和机械臂运动参数,即可求解式(3)得到手眼标定矩阵Tm.

4.2 控制流程

手眼标定完成后,相机采集被测零件表面图像,并判断零件ROI是否完全处于相机视场范围内.如果ROI不完整,则移动机械臂使其全部进入视场.然后不断根据ROI的灰度分布情况,计算机械臂末端的姿态偏转方向,调整相机使光轴垂直于零件表面.最后根据图像清晰度评价值,沿轴向平移相机使被测零件表面处于相机的正焦位置.整个过程的反馈控制框图如图 12所示.

图 12 相机位姿校准反馈控制框图

图 12 相机位姿校准反馈控制框图

相机位姿调整的具体步骤为:

①通过示教器手动示教,控制机械臂运动,使被测零件表面处于视场范围内.

②根据被测零件ROI的灰度统计,计算出ROI的位置、灰度分布轴线方向和灰度差值等.

③如果ROI超出视场范围,则首先调整机械臂位置,使相机采集到完整的表面图像.

④如果在灰度分布轴线上ROI两侧的灰度差值超过设定阈值,则根据轴线方向调整机械臂末端姿态,使相机对正.

⑤机械臂末端沿着相机光轴方向移动,根据对焦函数评价值完成相机对焦,实现相机位姿校准.

5 实验结果

为了验证本文相机位姿校准方法的有效性,以汽车发动机涡轮壳零件作为对象进行了相机对正和对焦实验.实验选用的是ABB IRB1600型机械臂和大恒图像MER-503-20GM-P型工业相机.

5.1 手眼标定实验

首先设置好相机的光圈和焦距等参数,将棋盘格靶标固定在工作台上.然后由机械臂带动相机从不同角度采集靶标图像,同时将机械臂的运动坐标记录下来,与靶标图像一一对应.靶标图像和机械臂末端位姿分别如图 13表2所示.

图 13 相机从不同角度拍摄的靶标图像

图 13 相机从不同角度拍摄的靶标图像

手眼标定矩阵的求解,需要机械臂做2次运动,即根据3个位置的相机外参数和机械臂末端位姿求解式(3).这里选取图 13(a)~(c)3个位置的数据计算手眼标定矩阵,根据Tsai等[20-21]的两

表2 拍摄靶标时的机械臂末端位姿

表2 拍摄靶标时的机械臂末端位姿

步法得到的标定结果如下:

Tm=[0.074 1 0.994 7 0.070 9 -97.763 0

-0.997 1 0.073 0 0.017 7 1.233 6

0.012 5 -0.072 0 0.997 3 -138.29

0 0 0 1](4)

5.2 相机位姿校准实验

以涡轮壳零件出气口端面为被测表面进行了相机位姿校准实验,相机对正和对焦过程分别如图 14图 15所示,最终得到清晰、准确的涡轮壳出气口端表面图像.此时,图像轴线方向灰度差值ΔG<5(见图 14(i)),图像清晰度评价值V达到极值150.90(见图 15(f)).

图 14 相机对正过程

图 14 相机对正过程

图 15 相机对焦过程

图 15 相机对焦过程

为了验证相机位姿校准的有效性,相机调整完成后,更换同型号其他涡轮壳零件进行表面质量检测,相机采集到的图像清晰准确,无需重新调整相机位姿.实验结果表明,相机位姿具有良好的一致性.

6 结论

1)提出了基于图像灰度分布特征的相机位姿校准方法,能够自动实现相机姿态校准,解决了产品表面质量检测时可能存在的轮廓或特征点等图像特征不足而导致相机位姿难以校准的问题.

2)采用极坐标形式计算图像灰度分布,使感兴趣区域灰度对称轴线的确定更加简便、准确.该方法还可以应用于无明显边缘特征的大型平面和曲面的表面质量检测.

3)将机器视觉与机械臂相结合不仅实现了相机位姿的快速校准,同时也提高了产品表面质量视觉检测的柔性和效率,扩大了检测范围.

参考文献