机器视觉定位

机器视觉定位

什么叫定位

狭义： 即坐标的定位，多个坐标系（一般是机械坐标系和图像坐标）的坐标转换，输入一个坐标系通过转换定位到另一个坐标系的位置。

广义：全称应该叫做视觉定位系统。把相机安装在机构平台上，通过相机拍摄定位出视野范围内的产品，通过数据传输，引导机器人抓取，并摆放在设定好的位置上。

为什么要定位

简单来讲机器视觉其实就是用机器来代替人的眼睛来做判断。
机器视觉方案不仅可以提高生产的灵活性和自动化，另外在一些不适合人员作业的危险工作环境或者人眼难以判读的状况下，就需要机器视觉来替代人工视觉。

定位的原理以及特征

原理：
机器视觉系统是通过机器视觉产品转化为图像信号，传送给图像处理系统，得到目标产品的形态信息，根据像素分部和亮度，颜色等信息，然后再转变成数字化信号（坐标角度信息），图像系统对这些信号进行各种运算，转换，从而将计算的结果通过各种通信将控制设备的运动。

特征：
1：视觉定位是一种综合技术，包括数字图像处理技术，机械工程技术，控制技术，电光源照明技术，光学成像技术，传感器技术，模拟和数字视频技术以及计算机。以及硬件技术，人机界面技术等。只有对多种技术进行调整和应用，它们才能配置成功的工业机器视觉系统。

2：工业机器视觉需要适应恶劣的工业生产环境，同时具有合理的性价比，较高的容错性，安全性和通用的工业接口，因此须强调实用性。只有这样，普通工人才能操作它。

3：工业机器视觉强调实时性，需要高速和高精度，因此目前很难将许多计算机视觉和数字图像处理技术应用于机器视觉，实际上开发速度要快得多比工业生产中的实际应用速度。

4：工业机器视觉研发工程师须具备学习数学理论，编译计算机软件以及集成灯光，机械和电气的能力。

定位的应用

针对物料定位的应用分为单物料与双物料两种大的场景：
名词解释：
机台： 机械手，移动平台等硬件以及相关软件系统的统称作为一个整体的机构平台
基准位置： 物料的一个位置，此位置在不要相机引导的情况下，机台默认能够进行正确的抓取，放置，贴合并达到精度要求
位移差： 生产过程中物料的位置与基准位置的偏移量，包含X,Y,A（角度）。

单物料的抓取，纠偏，放置

1.抓取： 在生产过程中需要抓取的物料真实位置（x,y）以及角度(angel)不确定，相机对需要抓取的物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标转换成真实坐标以及物料的角度，处理系统将真实坐标和角度传送给机台旋转平移后对物料进行抓取

2.纠偏： 生产过程中机台的抓取，放置位置是固定的，物料被抓取到拍照位仍有偏差，此时需要相机对物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标与此点在基准位置的坐标的位移差（XYA），然后将位移差转换成位移差的真实坐标，处理系统将位移差的真实坐标传送给机台对物料进行位移差的补偿（先旋转再平移）

3.放置： 在生产过程中需要放置的物料真实位置（x,y）以及角度(ange)不确定，相机对需要放置位置拍照后传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标转换成真实坐标以及物料的角度，处理系统将真实坐标和角度传送给机台旋转平移后将物料放置

涉及的功能：

（1）物料有角度时，且机台的移动坐标轴与旋转中心轴不在同一点，机台进行旋转平移时，旋转后的坐标偏移量会发生变化。此时需要通过计算得出旋转过后新的平移量

（2）当物料的抓取（放置）的点无明显特征或有硬件条件限制时，图像处理系统需要获取物料上的特征点与抓取（放置）点的固定的相对位置，然后根据拍到物料的特征点，计算出需要抓取，放置的点。

双物料

4.对位贴合： 生产过程中两个物料需要进行贴合并且由于硬件条件限制，两个物料与基准位置对比都有位移差且不能分别对两个物料进行纠偏处理，只有其中一个物料的机台能进行旋转移动的情况下。此时需要相机对需要抓取（放置）的物料拍照后将图像传送到图像处理系统，系统对图像进行找点处理，找出机台需要的点坐标与此点在基准位置的坐标的位移差（XYA），将两个物料通过相机间的标定将两个物料的位移差统一到可旋转的物料的机台中。通过数学计算后将得出的位移差转换成真实坐标，处理系统将位移差的真实坐标传送给机台对一个物料的机台进行位移差的补偿（先旋转再平移）
相机间的坐标映射
对于其他复杂场景都是基于上述应用的变化

（kenexs）新架构软件定位的使用

为了针对好理解将所有常见场景都融合到下面一张图上面，方便讲解

物料的创建，工具的添加

坐标转换

mark点：需要转换成机械坐标的点，去做各种事情（抓取点，放置点，需要计算的点）
一个坐标系中的mark点坐标转换成与mark点对应的另一个坐标系中的点坐标
建议：举几种常见场景去参考

标定

标定介绍： 坐标标定是得到两个固定坐标系间坐标转换矩阵，关键变量：比例当量s与两个坐标系间的角度θ，精度=像素找点误差*比例
旋转标定是得到一个固定的旋转中心

• 眼在手上 （1）.相机移动标定：标定的是相机机械坐标与拍照位像素坐标的对应关系，输出坐标会让相机走到指定位置，需要使用偏移量加上抓手的基准位来使抓手走到偏移位，即：抓手机械坐标=相机拍照物料偏移量+抓手的基准位 或者 抓手机械坐标=相机拍照绝对坐标+抓手与相机的相对位移（dx，dy） 后者误差大于前者误差 （2）.抓手取放标定：抓手取放物料然后相机拍照标定，标定的是抓手机械坐标与拍照位像素坐标的对应关系，可以直接使用输出的绝对坐标，也可用偏移量+抓手的基准位,前者误差会大于后者误差
• 眼在手外

抓手抓取物料偏移相机拍照标定，标定的是mark点的机械坐标与拍照位像素坐标的对应关系

• 相机间的标定

坐标标定

填入两个坐标轴的对应点的两组坐标后，点击标定即可。

由于目前软件来说在调试现场有较多外部因素依次填入两个坐标系相应点的坐标流程负责且耗时较长，标定精度不能得到保证。目前软件针对此情况做了几种方式的优化能加快标定流程
1.直接获取两坐标系间的比例当量与坐标系间的角度，只能使用偏移量。数据正确情况下此时误差最小趋近于0
此时想要使用绝对坐标两种方式：

• 得到偏移量后加上机台发送（通讯发送，人为记录等方式）过来的绝对坐标
• 知道两个坐标系原点之间的偏移量（转换到第二个坐标系的坐标偏移量）

2.自动标定，需要双方协商标定流程，通讯流程以及格式（误差来源：工具找点误差和机械臂自身走点误差）

参考机器人标定流程。发那科，安川，ABB，爱普生，纳兹。找点精度不高用轮廓，斑点，精度高使用趋势边缘找两直线交点
避免误差：相机选型，镜头畸变较大情况下换成16点，25点标定，调整打光，间隔点拉大
3.快速标定，需要使用到标定板，误差来自工具找点误差和标定板人为摆放与机械坐标系间的误差。能准确找出比例当量但两坐标系间的角度不准确，适用于角度精度不太高的场景。

1目前软件未实现，2,3已实现此功能
旋转标定
当生产过程中物料会产生角度偏移时，需要机械臂旋转将角度矫正，但在矫正过程中物料产生的位置偏移会发生改变，需要知道旋转中心计算位置偏移绕固定旋转中心补正角度后产生新的角度偏移

机械臂抓取物料，旋转物料相机拍照抓取特征点，记录机械旋转角度与坐标，重复三次跳入表格中
角度改成机械角度以免造成歧义

图像与机械的标定

自动标定

软件和机台进行通讯交流，机械臂移动后记录机械坐标，相机拍照找特征点坐标；将两个坐标系的坐标自动填入到坐标标定和旋转标定的表格中，然后自动触发标定算法，得出坐标转换矩阵以及旋转中心，然后再根据新的转换矩阵和旋转中心进行相关运算

特点：时间短，误差精度有保证
限制：

• 需要双方协商标定流程，通讯流程以及格式，
• 且目前只能由软件触发自动标定流程，需要确认是否需要被动触发自动标定
• 最好使用偏移量来加上发送过来的基准位置的绝对坐标 通讯方式告诉软件基准位置

主要误差来源：工具找点误差和机械臂误差

快速标定

利用标定板，相机拍照在标定板上找图像坐标点并机械坐标点

特点：要求高，时间短，精度与标定板摆放相关
限制：

• 图像点来源需要通过斑点或者多目标搜索工具提供，且点的数量以及位置需要准确。
• 标定板位置需要与机械坐标系无夹角否则存在误差
• 只能使用偏移量 主要误差来源：标定板与机械坐标轴有角度，图像找点误差

手动标定

根据现场实际情况手动填入两个坐标轴的对应点的两组坐标后，点击标定即可。

机械臂抓取物料，旋转物料相机拍照抓取特征点，记录机械旋转角度与坐标，重复三次跳入表格中

特点：要求比较低，时间长，精度与标定过程强相关。标的准确则误差小，标的不准确则误差大
限制：需要根据现场情况灵活变通且不能单轴移动标定
主要误差来源：机械臂移动误差，图像找点误差

两个相机间的标定

• 为什么要进行两个相机间的标定？ 在进行双物料贴合时，只有一个物料能进行旋转，需要把一个相机中的坐标偏移量转换到可旋转物料的相机中,在此相机下转换成机械坐标后对偏移量绕旋转中心进行计算
• 怎么标定？ 机械臂抓取物料到相机1位置抓取四个特征点记录坐标，然后将物料放置到相机2能拍到的位置，抓取相同的四个特征点记录坐标，填入到标定表格，点击标定得出坐标转换矩阵

标定结果验证

标定成功后，会得出以下信息，需要验证坐标转换矩阵是否正确满足精度要求，是保证后续流程能否正常走下去的重要一环

• 机械臂
• 标定结果：
• 需要通过相机拍照找点转换成机械坐标，然后去引导机械轴走点，确认XY值的是否要交换以及XY的正负方向是否正确如果不对通过补正常数矫正回来，如果机械走点位置和相机找点位置存在一定误差通过补正常数将相机找的点与机械点矫正准确重合。矫正准确后，移动物料，再次拍照找点，输出机械点引导机械臂走到该位置，重复2-3次，验证准确性与误差范围。如果准确性和误差过大则需要重复标定，并检查参数是否出错。

旋转中心在移动轴上不需要做旋转标定

单物料的定位（抓取，放置，纠偏）

小物料（一个相机视野能拍到）

1.注册基准图

注册基准图就是要保证图像基准位下机械臂的机械基准位的抓取放置能满足生产精度要求且移动拍照位使图像基准位尽量处于图像中心来保证物料可移动的范围最大且成像较好。

2.运行当前图

根据机台设计以及硬件条件的不同对于单物料的情况分为下面三类：

• 抓取： 物料在生产过程中由于硬件条件导致机械手无法准确抓取未被抓取时，需要在抓取前对物料进行拍照后与基准位进行对比，得到位移差
• 纠偏： 由于硬件条件限制物料已经被抓取起来在运动过程中进行拍照与基准位置对比得到位移差
• 放置：在生产过程中物料需要放置的基座会发生偏移，且物料在盲抓盲放位固定能达到生产要求，单物料放置基座会发生偏移且移动轴在平台上此时需要对基座进行拍照找出与基准位的偏移差

实质就是：运行过程的与基准位对齐的过程，不同的是运动轴与相机位以及物料所在位置不同。
即使物料存在角度偏移，如果机械的旋转中心在机械手上，抓取以及放置不存在偏移计算，故也不需要旋转标定

• 如果机械手的旋转轴不在机械手上，此时需要旋转标定找出旋转中心，抓取,放置: 计算基准位绕旋转中心旋转过后与基准位置产生新的基准位在减去当前机械坐标得到偏移量（加上当前坐标得到绝对坐标） 纠偏：基准坐标减去当前坐标绕旋转中心后产生的新坐标，得到偏移量
• 当物料的抓取（放置）的点无明显特征或有硬件条件限制时，图像处理系统需要获取物料上的特征点与抓取（放置）点的固定的相对位置，然后根据拍到物料的特征点，计算出需要抓取，放置的点。

相对偏移量

在生产过程中，物料会发生偏移旋转，通过当前图像的mark点与基准图像上的mark点的相对偏移值计算出机械轴需要移动的相对偏移量，并输出到机台

绝对位置量

有时机台需要的是绝对位置
绝对位置量= 相对偏移量+机械基准位

大物料（多相机(多拍)才能拍全）

抓取，放置

纠偏

图像基准位

机械基准位

相对偏移量

绝对位置量

多物料的定位（两个物料间的对位贴合）

多物料的定位定位即是多物料的情况下只有一个物料能产生偏移旋转亦或者是X偏移 ，Y偏移 ，角度A偏移被分隔开在不同的物料上产生不同的搭配情况（{X,Y,A},{XY,A},{XA,Y},{YA,X},{XYA}），总而言之只有一套XYA轴的移动，没有两个XYA的轴，如果有那就按照单物料的情况处理。多物料的大致思路就是将所有偏移旋转都想办法移到有旋转轴物料（相机）下进行计算并给出偏移

小物料（一个相机视野能拍到）

单物料的纠偏计算

数据记录

两个物料偏移量的联合计算

大物料（多相机(多拍)才能拍全）

单物料的纠偏计算

数据记录

两个物料偏移量的联合计算

物料1或者物料2的偏移量

定位细化

1.工具拆分,要对流程熟悉。可以举例子，会漏东西

2.场景拆分：不会漏东西，