基于点云的复杂工件机器人喷涂方法

王化明,沈 颖,姜少华,徐 轲

(南京航空航天大学 机电学院,江苏 南京 210016)

摘要：针对示教喷涂机器人在面对多品种小批量工件时适应性差的问题,研究一种基于3D点云模型参数化重建的复杂工件机器人喷涂方法.采用线激光视觉传感器扫描工件得到其3D点云,去除点云中背景及挂钩以分割工件点云,在工件点云主矢量方向投影并切片以获得工件尺寸,进行工件的参数化建模.根据工件特征表面的类型,将凹面和具有复连通区域的面分解为封闭的凸面,采用扫描线法生成喷涂路径并进行机器人轨迹规划.构建机器人喷涂系统,多次测试表明:系统能基于工件点云进行三维模型重建及机器人轨迹规划,机器人能沿规划轨迹运动,对工件悬挂位姿要求不敏感,满足工件喷涂的实际需求.

关键词：机器人; 点云; 参数化建模; 轨迹规划; 喷涂系统

WANG Huaming,SHEN Ying,JIANG Shaohua,XU Ke

(College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing,Jiangsu 210016,China)

Abstract：To solve the problem of poor adaptability of teaching spraying robots for multiple varieties and small batches of workpieces,the robot spraying method for complex workpieces based on model parameterized reconstruction by 3D point cloud was investigated.The line laser vision sensor was used to scan the workpiece and obtain 3D point cloud,and the background and hooks were removed from the point cloud to segment the point cloud of workpiece.The size of workpiece was obtained by projecting and slicing in the main vector direction of the point cloud of workpiece,and the parametric modeling of workpiece was conducted.Based on the type of feature surface,the concave surface and the surface with complex connected areas were decomposed into closed and convex surfaces.The scanning line method was used to generate the spraying path and carry out robot trajectory planning,and the robot spraying system was built.The multiple test results show that the system can reconstruct 3D models and plan robot trajectories based on the point cloud of workpiece.The robot can move along the planned trajectory and is not sensitive to the requirements of suspension posture,which meets the actual needs of spraying.

Keywords：robot; point cloud; parametric reconstruction; trajectory planning; spraying system

在工业产品的生产过程中,喷涂作为一种常用的表面加工工艺得到广泛应用.人工喷涂具有很多缺点,如工人劳动强度大、恶劣环境威胁工作人员身体健康等.目前示教机器人逐渐被应用于喷涂领域,将工人从恶劣的喷涂现场解放出来,改善喷涂质量,提高了喷涂效率.然而,示教机器人适用于单一品种、大批量工件的喷涂,在工件结构和尺寸变化时需要重新示教,机器人适应工件变化的能力差.

目前3D视觉已经和工业机器人结合,以应对复杂场景的工件操作,如焊接、分拣等[1],由3D视觉传感器获取工件3D点云,结合点云处理算法进行工件的定位或特征的提取,实现随机场景下的机器人操作,有效解决示教机器人环境适应性差的问题[2].

对于喷涂表面为平面的工件,其点云较完整,可以直接对点云切片,提取切片界面轮廓线作为喷涂路径.对于具有一定空间复杂性的表面,扫描后的点云会出现一定程度的缺失、遮挡现象,无法获得工件的三维信息.利用点云三维模型重建技术修补缺失[3],生成工件CAD模型,或为每个工件构建模型库[4],在模型表面上进行喷涂路径规划,这两种方法局限性明显,前者不适用于复杂曲面工件,后者模型匹配耗时较长.

文中针对表面复杂、形状相似但尺寸不一的喷涂工件研究一种基于点云的复杂工件机器人喷涂方法.首选建立工件参数化模型[5],用点云尺寸计算结果修正参数表达式,在面对尺寸不同的相似工件时可较快地完成模型重建;然后提取参数表面数据,根据面有无孔洞以及多边形凹凸性等特征分类后,采用不同方法计算喷涂路径,经高次多项式插值[6]完成轨迹规划,实现机器人轨迹运动.

1 复杂工件机器人喷涂系统设计

某企业需要喷涂的门形、梯形等类型工件如图1所示.

图1 待喷涂工件类型

其特点是:同一类型工件形状相似但尺寸大小不一;喷涂表面不是完整的平面或曲面,需要分解成若干平面或曲面依次喷涂;工件表面有凹面和孔洞面,影响机器人的路径规划;待喷涂工件悬挂后位姿会有一定变化.

针对以上工件的喷涂需求,设计复杂工件机器人喷涂系统如图2所示.该系统由工件传送模块、视觉处理模块和工件喷涂模块等3部分组成,其中:工件传送模块包括输送链、编码器和光幕传感器、PLC控制器等;视觉处理模块包括线激光3D视觉传感器、上位机等;工件喷涂模块包括喷涂机器人和喷涂工具等.系统工作流程如图3所示.传送模块将工件输送至采图区,光幕信号触发3D视觉传感器采集工件图像并生成点云;通过点云处理计算工件尺寸,进行工件的参数化建模,结合模型的面特征提取进行喷涂路径规划,生成机器人基座坐标系下的喷涂轨迹;将轨迹数据发送至机器人控制器,当工件进入喷涂区域后,光幕信号触发机器人按喷涂轨迹对工件进行喷涂.

图2 复杂工件机器人喷涂系统示意图

图3 系统工作流程图

2 基于点云的工件参数化模型重建

2.1 工件点云分割

为保证工件的成像质量,在工件后增加背景板,因此工件场景点云组成包括工件、吊钩、背景等,如图4a所示.以门形工件为例进行工件点云分割,过程如图4所示.

图4 工件点云分割过程

1) 背景与噪声点云去除.背景点云为平面点云,采取随机采样一致性(RANSAC)[7]平面拟合方法进行分割去除,计算背景点云的法向量.将与工件距离大于100 mm的噪声看作远距离噪声,其余为近距离噪声.针对远距离噪声,沿背景点云法线方向构造包含工件点云的远距离平行平面,保留两平面之间点云;针对近距离噪声,利用RANSAC平面拟合工件正面喷涂表面,沿其法线方向构造包含工件点云的近距离平行平面,保留两平面之间点云.此外,采用统计学滤波方法去除离群噪声.去除背景和噪声后的点云如图4b所示.

2) 吊钩点云去除.构造如图4b所示的吊钩分割面,去除分割面以上吊钩点云.针对吊钩点云进行RANSAC直线拟合,获得吊钩方向向量L和R,构造以方向向量为轴线、吊钩弯头尺寸为半径的圆柱区域如图4c所示,去除圆柱区域内的吊钩弯头点云,如图4d所示.

3) 吊点位置计算.计算方向向量L和R与上表面的交点,即左右吊点位置如表1所示,用于机器人路径规划时避开吊钩.

表1 吊点位置计算结果

4) 点云主方向确定.计算点云主方向用于点云投影和工件尺寸计算,由于扫描点云会有缺失,加上工件不一定对称,直接使用主成分分析法 (principal component analysis,PCA)[8]无法准确获得工件的主方向,因此基于工件特征计算坐标轴:将正面的法向量N定义为Z轴;将沿正面与上表面交线的方向向量D定义为X轴;Z与X轴矢量积为Y轴.

2.2 工件参数化模型重建

建立同类型工件的参数化模型,通过点云投影切片计算得到当前工件的参数,进行工件参数化模型重建,步骤如下.

1) 尺寸计算.以工件长度L为例(见图5),将点云沿Z轴投影在XOY平面,构造平行于XOZ平面的一组平行平面对点云切片,计算n个切片后点云沿X方向的最大尺寸,并按式(1)求平均值.

(1)

图5 工件长度计算

门形工件的尺寸计算结果如表2所示,与真实尺寸的误差为2.90 mm,与实际尺寸较吻合,可以满足喷涂要求.

表2 门形工件尺寸

2) 模型重建.采用计算尺寸修正工件模型,获得工件的参数化模型.对比由点云驱动的三维重建,参数化建模对点云质量要求更低.此外,该方法无需针对每个工件建立模型,节约模型库中索引匹配的时间,提高运行速度.门形工件参数化模型重建结果如图6所示.

图6 参数化模型重建结果

3 机器人喷涂轨迹规划

将提取的喷涂面进行分类,生成单面喷涂路径,经优化组合[9]形成连续空间路径,最后采用多项式插值方法完成机器人轨迹规划.

3.1 喷涂面的分类

工件喷涂表面特征包括面类型、面顶点、平面法向、多边形凹凸性和面轮廓,其中:凹凸性和面轮廓用于分类,平面法向用于确认路径偏移方向,面顶点用于生成路径点.根据喷涂工件的结构,对喷涂面进行如下分类.

1) 根据凹凸性将喷涂面分为凹面和凸面,如图7所示,判断凹凸性的具体方法如下:① 各相邻边方向向量叉乘.以图7为例,按逆时针方向分别计算所有相邻边方向向量的叉乘.② 顶点凹凸性判断.将所有叉乘值与平面法向量点乘,如果结果为正,该点为凸点.以A点为例,按式2计算,其Pcoss值为正,因此A点为凸点.同样方法计算所有点,F点计算结果为负,因此F点为凹点,有凹点的面为凹面.

(2)

式中:n为平面法向量.

图7 向量叉乘计算示意图

2) 根据有无具有复连通区域划分为封闭面和孔洞面.如图8所示,复连通区域的判断方法如下:① 计算面轮廓数目.提取XOY平面上的某喷涂面轮廓并统计其数目,如果轮廓数大于1,则该面为有复连通区域的面;② 区分内外轮廓.选定其中一条轮廓线ABCDE,计算其顶点坐标最值max X、max Y、min X、min Y,当其他轮廓线顶点坐标xi、yi与最值的差(见式3)的符号均为负号时,则该轮廓线为外轮廓,否则为内轮廓线.

图8 向量积与向量面积法计算示意图

(3)

3.2 喷涂路径生成

封闭的凸面可以直接生成路径,其余类型的面直接生成会增加喷枪空行程长度,降低喷涂效率,因此需要分片处理,直到分片后各面均为封闭的凸面,用扫面线法生成路径.

1) 分片处理方法.根据孔洞边缘和多边形边界的几何特征,对喷涂面进行分割,将单个面分为数个封闭的凸面.

2) 基于扫描线法生成路径.选取面的最长边作为扫描初始线,沿平面构建一组平行于初始线的平行线,将这组线沿平面法线方向偏置并首尾顺次连接,生成与该面有一定距离的喷涂路径.

3) 路径优化组合.为遍历访问所有路径,结合子面片凹凸性、空行程长度、路径折转次数以及公共边长等因素,以机器人最短运动路径为原则构建目标函数[10],优化喷涂路径.

3.3 轨迹参数方程建立

为减少运动控制器轨迹规划耗时,选用高次多项式的轨迹规划方法[11].结合始末边界条件,得到高次多项式的轨迹参数方程,其中位移s随时间的变化规律如下:

(4)

式中:S为运动路径的总长度;t为机器人完成一段路径运动的时间;t0为当前运动时刻.

4 喷涂系统构建与试验

4.1 机器人系统构建及标定

构建机器人喷涂系统如图9所示,系统由工件传送模块、视觉处理模块和工件喷涂模块3部分组成.

图9 机器人喷涂系统试验装置

根据工业机器人工具坐标系(tool center frame,TCF)六点标定原理[12],获得工具末端在基座坐标系的位

由于视觉传感器与机器人距离较远,无法用传统的眼在手外方法完成手眼标定,研究一种基于输送链方向向量的标定方法,结果如表3所示.

表3 机器人系统标定结果

标定板悬挂在输送链上,具体步骤如下.

1) 将输送链上的标定板移动至采图区,通过相机标定获得采图区标定板坐标系在相机坐标系下的变换矩

2) 完成输送链方向向量标定,将标定板移动至喷涂区并记录沿输送方向的移动距离,坐标变换获得喷涂区标定板坐标系在相机坐标系下的变换矩

3) 设定机器人用户坐标系与喷涂区标定板坐标系一致,获得喷涂区标定板坐标系在机器人基座坐标系下的变换矩

根据式(5),获得相机坐标系与机器人基座坐标系之间的转换矩完成远距离手眼标定.

(5)

根据标定结果将轨迹规划结果从模型坐标系转换到机器人基座坐标系,获得机器人执行喷涂的路点位姿.

4.2 试验与分析

设计喷涂系统软件,包括点云生成及处理、模型参数化重建、机器人轨迹规划及喷涂仿真、机器人运动控制等.试验过程如图10所示.① 工件悬挂在输送链上运动,当工件进入采图区时,触发光幕信号开启相机进行扫描,处理获得工件点云;② 工件向喷涂区运动过程中,完成参数化模型重建和轨迹规划,生成机器人基座坐标系下的轨迹数据并发送至机器人控制器;③ 当工件进入喷涂区后,机器人沿规划轨迹运动,进行工件喷涂.

行了机器人喷涂系统的测试,工件采用吊钩正反悬挂且对悬挂位姿无严格要求,系统均可生成工件的参数化模型及相应的机器人轨迹,机器人能按规划轨迹运动,为工件的喷涂试验打下基础.

图10 系统工件扫描及机器人运动过程

5 结 论

研究了一种基于3D点云处理的复杂工件机器人喷涂方法.首先,通过3D点云处理计算工件尺寸,进行工件的参数化模型重建,无需为每件工件建立模型,缩短了模型库的构建时间,也增强了喷涂系统的适应性.其次,根据工件特征面提取进行机器人的轨迹规划,结合对特征面的分类和分片处理采用扫描法生成喷涂路径,采用高次多项式进行机器人的轨迹规划,该方法能解决凹面及有复联通区域等路径规划难题.最后,构建了机器人喷涂系统并进行试验,结果表明:系统能可靠地生成工件的三维模型,并基于模型进行机器人轨迹规划,机器人能按规划轨迹沿工件表面运动,以利于后续的喷涂试验.

参考文献(References)

[1] 王化明,朱雄伟,杨雪峰,等.基于视觉检测定位的刷头上料系统设计[J].江苏大学学报(自然科学版),2023,44(4):431-436.WANG H M,ZHU X W,YANG X F,et al.Design of brush head feeding system based on visual detection and positioning[J].Journal of Jiangsu University (Natural Science Edition),2023,44(4):431-436.(in Chinese)

[2] 李忠利,马理想,韩冲,等.多传感器融合的割草机器人障碍物检测方法[J].江苏大学学报(自然科学版),2024,45(2):160-166.LI Z L,MA L X,HAN C,et al.Obstacle detection method of lawn mowing robot based on multi-sensor fusion[J].Journal of Jiangsu University (Natural Science Edition),2024,45(2):160-166.(in Chinese)

[3] LIU R,LIANG H,WANG Z Y,et al.Fusion-based high-quality polarization 3D reconstruction[J].Optics and Lasers in Engineering,2023,162:107397.

[4] GE J H,LI J X,PENG Y P,et al.Online 3-D mode-ling of complex workpieces for the robotic spray painting with low-cost RGB-D cameras[J].IEEE Transactions on Instrumentation and Measurement,2021,70:5011013.

[5] 鲍娣.基于数据驱动的点云参数化建模方法研究[D].武汉:武汉大学,2017.

[6] SUN J,HAN X Y,ZUO Y M,et al.Trajectory planning in joint space for a pointing mechanism based on a novel hybrid interpolation algorithm and NSGA-II algorithm[J].IEEE Access,2020,8:228628-228638.

[7] YUAN H N,SUN W,XIANG T Y.Line laser point cloud segmentation based on the combination of RANSAC and region growing[C]∥Proceedings of the 2020 39th Chinese Control Conference.Piscataway:IEEE,2020:6324-6328.

[8] 周明全,李纯辉,王丽清,等.局部相关点平衡的三维激光点云骨架提取[J].光学精密工程,2022,30(22):2962-2974.ZHOU M Q,LI C H,WANG L Q,et al.3D laser point cloud skeleton extraction via balance of local correlation points[J].Optics and Precision Engineering,2022,30(22):2962-2974.(in Chinese)

[9] 张亚迪.面向复杂自由曲面的喷涂轨迹组合规划[D].济南:山东大学,2022.

[10] 李昂.面向座椅类家具的喷涂机器人局部特征识别和轨迹规划[D].哈尔滨:哈尔滨工业大学,2021.

[11] 徐云辉.基于点云处理的喷涂机器人高精度标定及最优轨迹规划[D].南京:东南大学,2021.

[12] YANG Z Y,GONG L,LIU C L.Efficient TCP calibration method for vision guided robots based on inherent constraints of target object[J].IEEE Access,2021,9:8902-8911.