CN118334087B - 视觉对位校准方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及视觉对位技术领域，公开了一种视觉对位校准方法、装置、设备及存储介质。所述方法包括：通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；根据连续图像数据对移动目标工件进行光流估计，得到移动目标工件的相对速度数据；对相对速度数据进行状态估计，得到目标状态估计数据；基于目标状态估计数据对初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；对目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；根据目标对位指令集对移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案，进而提高了视觉对位校准的精度。

Description

视觉对位校准方法、装置、设备及存储介质

技术领域

本申请涉及视觉对位技术领域，尤其涉及一种视觉对位校准方法、装置、设备及存储介质。

背景技术

在现代工业自动化和机器视觉领域，视觉对位校准技术是实现精确自动化装配和质量控制的关键技术之一。随着工业生产的高速发展，对生产效率和制造精度的要求不断提高，传统的人工或简单自动化对位方法已经无法满足现代工业生产的需求。

然而，传统视觉对位方法在处理高速移动目标工件时面临多项挑战。高速运动带来的图像模糊和目标遮挡问题使得目标工件的特征提取和跟踪变得困难，这直接影响了对位精度和系统的稳定性。此外，传统方法在动态环境下往往难以实时更新目标状态，导致对位过程中的反应速度和调整精度不足，无法满足高效自动化生产的需求。

发明内容

本申请提供了一种视觉对位校准方法、装置、设备及存储介质，进而提高了视觉对位校准的精度。

本申请第一方面提供了一种视觉对位校准方法，所述视觉对位校准方法包括：

通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

根据所述连续图像数据对所述移动目标工件进行光流估计，得到所述移动目标工件的相对速度数据；

对所述相对速度数据进行状态估计，得到目标状态估计数据；

基于所述目标状态估计数据对所述初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；

对所述目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

根据所述目标对位指令集对所述移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

本申请第二方面提供了一种视觉对位校准装置，所述视觉对位校准装置包括：

采集模块，用于通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

光流估计模块，用于根据所述连续图像数据对所述移动目标工件进行光流估计，得到所述移动目标工件的相对速度数据；

状态估计模块，用于对所述相对速度数据进行状态估计，得到目标状态估计数据；

校正模块，用于基于所述目标状态估计数据对所述初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；

计算模块，用于对所述目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

控制模块，用于根据所述目标对位指令集对所述移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

本申请第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的视觉对位校准方法。

本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的视觉对位校准方法。

本申请提供的技术方案中，采用双目视觉系统结合光流估计算法，可以实时精确地追踪移动目标工件的位置和速度。通过对目标工件的特征点进行高效跟踪和光流分析，即使在目标快速移动或存在轻微遮挡的情况下，也能保持高精度的跟踪效果。这种精确的动态追踪大大提高了对位的准确性和响应速度。通过实时的状态估计和卡尔曼滤波器的应用，该方法能够有效抑制环境噪声和测量误差，优化目标状态的估计。这种动态调整和状态估计不仅提升了系统对复杂环境的适应能力，还增强了整个对位系统的稳定性和可靠性。结合目标对位指令集的生成进行运动趋势分析和碰撞预测，及时调整运动策略以避免潜在碰撞。这种预测和控制策略的结合，不仅保证了作业安全，也确保了生产流程的连续性和效率，支持复杂的决策和精细的操作，使得系统能够在无需人工干预的情况下自动完成高精度的对位任务，进而提高了视觉对位校准的精度。

附图说明

图1为本申请实施例中视觉对位校准方法的一个实施例示意图；

图2为本申请实施例中视觉对位校准装置的一个实施例示意图。

具体实施方式

本申请实施例提供了一种视觉对位校准方法、装置、设备及存储介质，进而提高了视觉对位校准的精度。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本申请实施例的具体流程进行描述，请参阅图1，本申请实施例中视觉对位校准方法的一个实施例包括：

步骤101、通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

可以理解的是，本申请的执行主体可以为视觉对位校准装置，还可以是终端或者服务器，具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。

具体的，通过双目视觉系统对移动目标工件进行连续图像采集，双目摄像头从不同的角度捕捉工件的动态图像，获取初始图像数据。对初始图像数据进行分辨率调整，以优化图像处理速度和准确性，调整后的图像数据更适应后续处理算法的要求。将调整后的图像数据进行色彩空间转换，通常从RGB色彩空间转换到HSV或灰度空间，减少后续处理的计算量并提高图像分析的效率。对转换后的图像数据进行边缘检测，使用如Canny边缘检测算法，以识别工件在图像中的轮廓和边缘，获取图像边缘信息。为了确保边缘检测的准确性，对获取的图像边缘信息进行噪声滤除处理，滤除过程可以使用高斯滤波或中值滤波减少图像中的随机噪声，得到更加清晰和连续的图像数据。采用非线性阻尼函数对连续图像数据中的图像边缘信息进行最小二乘拟合，计算出摄像头的初始标定参数，这些参数反映了摄像头的成像特性和空间位置。为了提高系统的稳定性和对位的精度，获取双目视觉系统中惯性测量单元的原始传感数据。这些传感器数据包括加速度和角速度等，对原始传感数据进行滤波处理，使用低通滤波器或卡尔曼滤波器削弱高频噪声和偶发误差，从到更稳定的目标传感数据。将滤波后的传感数据与初始标定参数进行关联关系分析，帮助系统更准确地确定双目摄像头相对于移动目标工件的初始相对位姿信息。

以下是对位原理的详细介绍。

一、对位方式

对位方式主要有两种：对位目标固定和对位目标变化。

对位目标固定

在这种模式下，对位目标位置是预先设定好的，系统会每次与该目标位置比较，计算出位置偏差，进行调整，直到达到目标位置。

对位目标变化

在这种模式下，对位目标位置由产品A提供，而产品A的每次位置可能都不一样。此时，需要将产品A的目标位置映射到产品B的坐标系中，确保对位准确。

二、标定和对位流程

对位算法主要实现计算功能，根据外部提供的运动特征点完成标定，并根据提供的目标位置及样本位置，计算返回偏移量。标定和对位过程中，运动控制及图像处理由外部完成。

标定流程

标定流程包括以下五步：

获取基准位置的Mark点像素坐标：平台在基准位置时，获取Mark点的像素坐标。

平台移动至+X方向：获取移动后的Mark点的像素坐标。

平台移动至+Y方向：获取移动后的Mark点的像素坐标。

平台顺时针旋转：获取旋转后的Mark点的像素坐标。

平台逆时针旋转：获取旋转后的Mark点的像素坐标。

调用 SY_MD_Free_Calibration 函数完成标定，调用 SY_MD_Free_Align 函数返回X/Y/R的位置偏移量，执行运动控制完成对位。

三、对位结果

对位结果通过结构变量 AlignData 获取，包含了X、Y方向的偏移量和旋转轴的偏移量，单位可以是脉冲或物理量单位。形式如下：

typedef struct AlignData {

float xmm; // X方向偏移量，单位为“mm”

float ymm; // Y方向偏移量，单位为“mm”

float angle; // 角度偏移量，单位度

} AlignData;

这些数据用于调整平台位置，确保对位精度。

四、对位函数

MicroDistPro提供了多种对位函数，以满足不同的对位需求。主要对位函数包括：

基于坐标系的对位函数

AlignData SY_MD_Free_Align(

Point5dVec CPMA, Point5dVec CPMB,

Point2dF ORGA, Point2dF ORGB,

Point2dF SAMPA, Point2dF SAMPB,

float Xoffset, float Yoffset, float Roffset,

bool b_CW, bool b_Y

);

此函数返回相机A和相机B的偏移量，通过标定信息、对位原点和样本点计算得到。

基于每个相机的对位函数

AlignData SY_MD_Free_Align2(

Point5dVec CPMA, Point5dVec CPMB,

Point2dF ORGA, Point2dF ORGB,

Point2dF SAMPA, Point2dF SAMPB,

Point2dF CompensateA, Point2dF CompensateB,

bool b_CW, bool b_Y

);

此函数在标准对位函数的基础上增加了对每个相机的补偿量，以提升对位精度。

五、相机映射学习

相机映射是实现相机间坐标转换的重要功能，以满足目标位置变化的对位模式应用。映射函数如 SY_MD_StudyAtoB 可以学习两相机间的数据映射关系，确保对位过程中的精确性。

在使用MicroDistPro系统时，了解并正确使用其重要概念与结构体是至关重要的。以下是一些关键结构体：

运动轴信息结构变量

typedef struct AxisInfo {

float DriveRatio; // 旋转轴比率

float DriveRadius; // 旋转轴半径值，单位为“mm”

float Pitch; // 运动轴的螺纹距，单位为“mm”

float PPR; // 运动轴电机的分辨率,单位为 pulse

} AxisInfo;

该结构体用于管理对位的运动轴，是系统进行运动控制的关键。

五点标定坐标结构变量

typedef struct Point10dF {

float ORGX; // 原点X坐标

float ORGY; // 原点Y坐标

float PX_X; // X方向移动后的坐标

float PX_Y;

float PY_X; // Y方向移动后的坐标

float PY_Y;

float CWX; // 顺时针旋转后的坐标

float CWY;

float CCWX; // 逆时针旋转后的坐标

float CCWY;

} Point10dF;

此结构体用于完成自标定，确定平台和相机之间的关系。

步骤102、根据连续图像数据对移动目标工件进行光流估计，得到移动目标工件的相对速度数据；

具体的，对连续图像数据进行时间同步处理，确保从双目视觉系统获取的视频帧在时间上对齐，得到对齐的视频帧数据。时间偏差会影响光流估计的精度和可靠性。基于对齐的视频帧数据，选取5个预设特征点进行特征点轨迹检测，这些特征点通常是图像中易于跟踪且在视觉上具有代表性的位置，如工件的角点或显著的颜色变化区域。通过跟踪这些特征点在连续视频帧中的位置变化，得到每个特征点的动态轨迹，这些轨迹记录了特征点随时间的移动路径。通过光流估计算法分析每个预设特征点的运动轨迹，计算其速度场。光流算法通过比较连续帧之间特征点的位置变化来估计其速度和方向，获得每个预设特征点的初始速度场数据。这些初始速度场数据通常包含噪声和可能的误差，需要进行平滑处理，以去除异常值和噪声，提高速度估计的准确性。平滑处理采用如高斯滤波或均值滤波等方法，平衡数据的连续性和平滑度，得到每个预设特征点的平滑速度场数据。对每个预设特征点的平滑速度场数据进行误差修正，得到每个预设特征点的修正速度场数据。误差修正通常依赖于统计方法或错误检测算法来识别和修正数据中的异常点，确保每个特征点的速度数据反映真实的物理运动状态。完成误差修正后，对每个特征点的平滑速度场数据进行速度向量分析，计算速度大小以及速度的方向，得到每个预设特征点的初始相对速度。对每个预设特征点的初始相对速度进行平均求和运算，得到移动目标工件的相对速度数据。简化速度数据，并提高对整个工件动态特性的综合理解。

步骤103、对相对速度数据进行状态估计，得到目标状态估计数据；

需要说明的是，对相对速度数据进行时间序列分析，揭示速度数据中的时间依赖性和潜在的趋势，获取时序速度数据。对时序速度数据进行滤波处理，以去除可能的噪声和干扰，滤波通常采用高斯滤波或者低通滤波器，保留有用的信号同时抑制随机波动，获得去噪速度数据。对去噪速度数据进行位置预测，通过物理模型或数学方法，如线性预测或回归分析，预测工件的未来位置，得到预测位置数据。由于测量误差和模型的局限性，预测位置数据往往存在一定的预测误差，进行误差分析以识别和计算这些误差，得到误差校正参数。通过卡尔曼滤波器对误差校正参数进行动态调整，卡尔曼滤波器是一种有效的递归滤波器，能够在有噪声的数据中估计动态系统的状态，通过考虑测量中的不确定性和预测模型的不完美，动态更新状态估计。在此过程中，滤波器不断调整其估计，以最小化预测误差，得到动态调整的状态估计数据。对动态调整的状态估计数据进行位置积分，将连续的速度数据积分以计算出积分后的位置数据。位置积分基于速度和时间的积分，提供一个全面的位置估计。对积分后的位置数据进行速度积分处理，通过积分位置变化得到积分后的速度数据。将积分后的位置数据和积分后的速度数据进行整合，构建一个全面的动态模型，该模型能够同时反映目标的位置和速度状态，得到最终的目标状态估计数据。

步骤104、基于目标状态估计数据对初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；

具体的，基于目标状态估计数据对移动目标工件进行特征点提取，通过图像处理算法识别工件的关键视觉特征，如边缘、角点或显著的纹理区域，获取多个工件特征点。对多个工件特征点与预设特征点进行特征点匹配，使用如最近邻搜索确保特征点之间的最佳对应，特征点匹配过程是为了确保精确跟踪工件的动态变化。对多个特征点组合进行特征点跟踪，通过分析连续帧中特征点的位置变动，生成每个特征点组合的跟踪数据。这些跟踪数据包含特征点随时间的移动路径和速度信息。基于得到的特征点跟踪数据，初始化位姿校正参数，这包括设定各种校正算法的初始条件和边界值，初始位姿校正参数的设定关键在于准确反映当前工件相对于设定目标的偏差状态。为实现最高的校正精度，对初始位姿校正参数进行最优化求解，通过算法如梯度下降或牛顿-拉夫森方法不断调整参数值，以最小化位姿误差。最优化处理考虑各种因素，如特征点的几何稳定性和跟踪的一致性，确保通过数学和物理模型达到最佳的位姿校正效果。根据优化后的目标位姿校正参数对初始相对位姿信息进行调整，通过控制系统的机械部件或软件指令，调整目标工件的实际位姿，得到目标相对位姿信息，确保工件的位置和方向与预定的工作参数对齐，提高整个系统的操作精度和效率。

对初始位姿校正参数进行群体初始化，创建一个包含多个第一位姿校正参数的初始参数群体。初始群体包括了位姿校正可能需要的各种参数设定，以确保从一个广泛的搜索空间开始优化，提高找到全局最优解的概率。每个参数实例都代表了一种可能的位姿校正配置。通过评估每个参数配置在实际位姿校正任务中的表现，对多个第一位姿校正参数进行适应度计算。适应度计算可能涉及到将每个参数配置应用于预定的测试情境，并测量其校正效果的准确性和效率。适应度值的高低反映各参数配置对当前校正任务的适应性。根据计算得到的适应度值，对多个第一位姿校正参数进行群体划分，形成多个目标参数群体。分组过程依据适应度值将参数群体分类，分组策略有助于集中优化资源，提高算法的收敛速度和效率。对目标参数群体进行参数更新，通过遗传算法、粒子群优化或其他启发式搜索方法引入新的参数变异和组合，生成多个第二位姿校正参数。更新过程中引入的变异和交叉操作旨在探索新的可能性，同时保留已经证明有效的参数特征，从而逐步接近最优解。通过调整和再次评估每个参数配置的表现，对更新后的多个第二位姿校正参数进行最优化求解，得到最终的位姿校正参数，这组参数在实际应用中能够提供最高的校正性能和最佳的操作效率。

步骤105、对目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

具体的，对目标相对位姿信息进行偏差分析和对位指令计算，根据检测到的目标位姿与预定位姿之间的差异生成精确的对位指令集。通过图像处理和分析技术获取目标的当前位姿信息，包括位置、角度和可能的空间偏移。将实际位姿数据与设定的目标位姿进行比较，从而确定存在的具体偏差类型和大小。对位系统需要利用这些偏差数据计算必要的调整措施，基于简单的线性模型或更复杂的控制理论模型，如PID控制或先进的自适应控制策略，确保能够对各种偏差类型进行有效响应。算法会综合考虑多个因素，例如机器的动力学特性、可能的物理限制以及对速度和精度的需求，从而为每种偏差情况生成最合适的调整指令。生成的对位指令将具体指明机械系统需要执行的移动和调整，包括方向、距离、速度以及任何必要的角度调整，这些指令集会被编码成机器能够理解和执行的格式。在计算这些指令时，考虑执行的安全性和可靠性，确保在调整过程中不会超出机械部件的操作极限或造成不必要的机械磨损。将对位指令集会输入机器控制系统，将指令转化为具体的机械动作。

步骤106、根据目标对位指令集对移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

具体的，根据目标对位指令集对移动目标工件进行运动趋势分析和碰撞预测。包括对工件预定运动路径的详细评估，以及该路径与工作环境中其他物体和障碍物的相对位置和预期动态的综合考量。此过程中，模拟和预测在执行这些运动指令过程中可能发生的各种相遇和接近情形，生成碰撞风险数据。这些数据反映了在不同操作阶段可能遇到的碰撞风险的严重程度和概率。将碰撞风险数据输入到防碰撞策略分析中，通过调整运动参数或引入新的运动控制指令来规避潜在的碰撞。在此过程中，可能会考虑减速、改变运动轨迹或调整操作顺序等多种措施。通过系统的策略分析，生成防碰撞控制指令，这些指令能够响应已识别的具体风险，并适应可能的未预见情况，提高系统对复杂动态环境的适应能力。根据生成的防碰撞控制指令对移动目标工件进行运动控制。包括将控制指令实时传输到机器控制系统，由系统精确执行这些指令，以调整工件的移动速度、方向和操作序列，得到目标运动控制方案。

本申请实施例中，采用双目视觉系统结合光流估计算法，可以实时精确地追踪移动目标工件的位置和速度。通过对目标工件的特征点进行高效跟踪和光流分析，即使在目标快速移动或存在轻微遮挡的情况下，也能保持高精度的跟踪效果。这种精确的动态追踪大大提高了对位的准确性和响应速度。通过实时的状态估计和卡尔曼滤波器的应用，该方法能够有效抑制环境噪声和测量误差，优化目标状态的估计。这种动态调整和状态估计不仅提升了系统对复杂环境的适应能力，还增强了整个对位系统的稳定性和可靠性。结合目标对位指令集的生成进行运动趋势分析和碰撞预测，及时调整运动策略以避免潜在碰撞。这种预测和控制策略的结合，不仅保证了作业安全，也确保了生产流程的连续性和效率，支持复杂的决策和精细的操作，使得系统能够在无需人工干预的情况下自动完成高精度的对位任务，进而提高了视觉对位校准的精度。

在一具体实施例中，执行步骤101的过程可以具体包括如下步骤：

（1）通过双目视觉系统对移动目标工件进行连续图像采集，得到初始图像数据；

（2）对初始图像数据进行分辨率调整，得到调整后的图像数据；

（3）对调整后的图像数据进行色彩空间转换，得到转换后的图像数据；

（4）对转换后的图像数据进行边缘检测，得到图像边缘信息，并对图像边缘信息进行噪声滤除处理，得到连续图像数据；

（5）采用非线性阻尼函数，对连续图像数据中的图像边缘信息进行最小二乘拟合，得到摄像头的初始标定参数；

（6）获取双目视觉系统中惯性测量单元的原始传感数据，并对原始传感数据进行滤波处理，得到目标传感数据；

（7）对目标传感数据和初始标定参数进行关联关系分析，得到初始相对位姿信息。

具体的，双目视觉系统通过两个摄像头，从不同的视角对移动的目标工件进行连续图像采集，从立体视觉中捕获深度信息，增加对复杂场景的感知能力。通过高速摄像机在固定的帧率下捕捉图像序列，得到初始图像数据。对初始图像数据进行分辨率调整，优化后续图像处理过程的计算效率和准确性。通过调整图像分辨率，减少数据处理时的计算负担，并去除不必要的细节，集中处理关键的视觉信息。对调整后的图像数据进行色彩空间转换，将RGB色彩模式转换成更适合处理的格式如灰度或HSV色彩空间。色彩空间的转换有助于突出图像中的某些特征，例如在HSV空间中，可以更容易地根据颜色饱和度和明度来分离图像前景和背景。通过应用如Canny边缘检测器等算法，对转换后的图像数据进行边缘检测，识别图像中物体的轮廓。对检测到的边缘信息进行噪声滤除处理。通过各种滤波技术，如高斯模糊或中值滤波，以去除假边缘并强化真实的边缘信息。采用非线性阻尼函数，对连续图像数据中的图像边缘信息进行最小二乘拟合。通过数学上的优化技术，找到一组参数，这些参数能够最好地描述图像中边缘的几何形态和位置。例如，拟合过程可能确定边缘曲线的最佳数学表示，从而用于计算摄像头的初始标定参数，这些参数有助于准确地测量和重建三维空间中的对象位置。获取双目视觉系统中惯性测量单元的原始传感数据，如加速度和角速度。这些数据通常包含噪声，对其进行滤波处理，使用低通滤波器或卡尔曼滤波器，以提供更清晰、更可靠的运动数据。将经过滤波的目标传感数据与摄像头的初始标定参数相结合，通过关联关系分析，最终得到关于工件在空间中的初始相对位姿信息。

在一具体实施例中，执行步骤102的过程可以具体包括如下步骤：

（1）对连续图像数据进行时间同步处理，得到对齐的视频帧数据；

（2）基于5个预设特征点，对对齐的视频帧数据进行特征点轨迹检测，得到每个预设特征点的特征点运动轨迹；

（3）通过光流估计算法对每个预设特征点的特征点运动轨迹进行速度场估计，得到每个预设特征点的初始速度场数据；

（4）对每个预设特征点的初始速度场数据进行平滑处理，得到每个预设特征点的平滑速度场数据；

（5）对每个预设特征点的平滑速度场数据进行误差修正，得到每个预设特征点的修正速度场数据；

（6）对每个预设特征点的修正速度场数据进行速度向量分析，得到每个预设特征点的初始相对速度；

（7）对每个预设特征点的初始相对速度进行平均求和运算，得到移动目标工件的相对速度数据。

具体的，对连续图像数据进行时间同步处理，通过调整各摄像头的时间戳或者使用外部同步信号，得到对齐的视频帧数据。基于已对齐的视频帧数据，选择五个预设特征点进行跟踪。这些特征点可能是工件上明显的标记，如螺丝孔、颜色变化或任何其他独特的视觉元素。特征点轨迹的检测通常通过特征点跟踪算法，如KLT跟踪器实现，这种方法能够高效地在多个连续帧中追踪同一特征点的移动，获得其精确的运动轨迹。通过光流估计算法对每个预设特征点的特征点运动轨迹进行速度场估计。光流方法通过分析图像序列中物体的像素强度变化来计算每个像素点的运动速度和方向，从而推导出整个特征点的速度向量。对每个预设特征点的初始速度场数据进行平滑处理。通过数字滤波技术如高斯模糊或均值滤波，削弱或消除误差，确保速度数据的真实性和可靠性。对每个预设特征点的平滑速度场数据进行误差修正。误差修正通常包括使用统计方法或优化技术来细化速度估计，比如通过最小二乘法调整光流参数，或者利用机器学习模型预测和校正可能的偏差，提高特征点速度数据的准确度。对每个预设特征点的修正速度场数据进行速度向量分析，将速度场数据转换为对应的速度向量，并计算出每个特征点的初始相对速度。将所有特征点的初始相对速度进行平均求和运算，获得整个移动目标工件的相对速度数据，反映目标工件的整体动态行为。

本实施例中的5个预设特征点包括传统5点标定法以及带宫格标定的5点标定法，测试目的是使用XYR（R为旋转轴），旋转轴为DD马达、XY平台和GMT对位平台分别进行一次对位精度，测试角度和XY的精度。测试过程为移动目标工件，一次对位后，计算目标与基准原点的距离差，Angle、X、Y为计算的偏移量，左点距和右点距为对位后计算目标与原点的距离。

其中，表1和表2为DD马达的测试结果：

表1为DD马达测试中X轴、Y轴和旋转轴均移动一定的量，一次定位后的精度，传统5点标定法的测试数据如下表所示：

表1：

表2为DD马达测试中X轴、Y轴和旋转轴均移动一定的量，一次定位后的精度，带宫格标定的5点标定法的测试数据如下表所示：

表2：

表3和表4为XY平台测试结果：

表3为XY平台单独移动角度，对应角度的响应，传统5点标定法测试数据如下表所示：

表3：

表4为XY平台单独移动角度，对应角度的响应，带宫格标定的5点标定法测试数据如下表所示：

表4：

表5-表8为GMT对位平台测试结果如下：

表5为X轴、Y轴和旋转轴均移动一定的量，一次定位后的精度，传统5点标定法测试数据如下表所示：

表5：

表6为X轴、Y轴和旋转轴均移动一定的量，一次定位后的精度，带宫格标定的5点标定法测试数据如下表所示：

表6：

表7为单独移动角度，对应角度的响应，传统5点标定法测试数据如下表所示：

表7：

表8为单独移动角度，对应角度的响应，带宫格标定的5点标定法测试数据如下表所示：

表8：

在一具体实施例中，执行步骤103的过程可以具体包括如下步骤：

（1）对相对速度数据进行时间序列分析，得到时序速度数据，并对时序速度数据进行滤波处理，得到去噪速度数据；

（2）对去噪速度数据进行位置预测，得到预测位置数据，并对预测位置数据进行误差分析，得到误差校正参数；

（3）通过卡尔曼滤波器对误差校正参数进行动态调整，得到动态调整的状态估计数据；

（4）对动态调整的状态估计数据进行位置积分，得到积分后的位置数据，并对积分后的位置数据进行速度积分处理，得到积分后的速度数据；

（5）对积分后的位置数据和积分后的速度数据进行整合，得到目标状态估计数据。

具体的，通过时间序列分析技术处理相对速度数据，利用统计方法分析速度数据随时间的变化趋势。时间序列分析有助于识别数据中的周期性变化、趋势以及任何潜在的异常值，更好地理解目标对象的运动特性。对时序速度数据进行滤波处理，使用数字滤波器如低通滤波器或高斯滤波器剔除可能的高频噪声。例如，在监控一个快速移动的车辆时，从传感器获得的速度信号可能会受到发动机振动或道路不平的干扰，滤波处理有助于消除这些干扰，提供更准确的速度读数。对去噪速度数据进行位置预测，根据物理运动模型或机器学习算法预测未来的位置。采用线性预测模型如线性回归或神经网络，根据历史速度数据推算未来的位置变化。预测完成后，对预测的位置数据进行误差分析，通过比较预测值与已知的实际位置数据识别和计算预测误差，生成误差校正参数。通过卡尔曼滤波器对误差校正参数进行动态调整，得到动态调整的状态估计数据。卡尔曼滤波是一种有效的递归滤波技术，用于含噪声的动态系统中进行状态估计。卡尔曼滤波器结合了预测模型和实际测量数据，通过计算预测误差的协方差，动态调整预测模型，以最小化预测误差。动态调整是连续进行的，随着每一个新的测量数据被加入，滤波器不断更新状态估计，确保高精度和高可靠性的输出。对动态调整的状态估计数据进行位置积分，根据速度数据计算位置变化，得到积分后的位置数据。位置积分是通过数值积分方法如梯形规则或辛普森规则实现，将速度数据转换为位置数据。同时，对位置数据进行速度积分处理，以估计新的速度状态，保持状态估计的连续性和完整性。将积分后的位置和速度数据整合起来，得到最终的目标状态估计数据。这些数据综合了目标的位置和速度信息，为系统提供了全面的动态描述。

在一具体实施例中，执行步骤104的过程可以具体包括如下步骤：

（1）基于目标状态估计数据对移动目标工件进行特征点提取，得到多个工件特征点；

（2）对多个工件特征点与预设特征点进行特征点匹配，得到多个特征点组合；

（3）对多个特征点组合进行特征点跟踪，得到每个特征点组合的特征点跟踪数据；

（4）根据每个特征点组合的特征点跟踪数据，对初始相对位姿信息进行位姿校正参数初始化，得到初始位姿校正参数；

（5）对初始位姿校正参数进行最优化求解，得到目标位姿校正参数；

（6）根据目标位姿校正参数对初始相对位姿信息进行位姿校正，得到目标相对位姿信息。

具体的，基于目标状态估计数据对移动目标工件进行特征点提取。目标状态估计数据提供了关于工件当前位置和方向的重要信息，辅助识别那些在工件上易于检测且对位姿校正至关重要的特征点。这些特征点可能包括工件的角点、边缘、纹理特征等。例如，在自动装配的机器臂操作中，选择装配部件上的螺钉孔或特定的标记作为特征点，这些点在视觉系统中易于被识别并且位置精确。对提取出的工件特征点与预设的特征点进行匹配。预设特征点是基于理想或期望位姿的特征点位置。特征点匹配过程使用各种算法，如基于距离的匹配或是基于机器学习的复杂模型，以确保实际图像中检测到的特征点与预设特征点之间的最佳对应。对匹配得到的特征点组合进行持续的跟踪。特征点跟踪通常依赖于光流算法或其他跟踪技术，在多帧图像中追踪同一特征点的运动轨迹。这种跟踪不仅提供了特征点随时间的移动数据，还能够捕捉到由于外部因素如机器震动或操作误差引起的微小位移。根据每个特征点组合的跟踪数据，初始化位姿校正参数。将跟踪得到的运动数据转换为可以用于调整机器操作的参数。位姿校正参数的初始化是为了设置起始的校正基线，这些参数后续通过算法调整达到最优的校正效果。进行初始位姿校正参数的最优化求解。如使用最小二乘法、梯度下降或其他优化技术，找到最小化预测误差的参数集。调整每个参数，以确保最终的机器操作能够精确对准预设的位姿。根据优化后的目标位姿校正参数对初始相对位姿信息进行位姿校正。位姿校正的实施可能涉及物理机器部件的移动，如调整机器臂的角度或位置，以确保工件的最终位置与设计规格严格一致。

在一具体实施例中，执行步骤对初始位姿校正参数进行最优化求解，得到目标位姿校正参数的过程可以具体包括如下步骤：

（1）对初始位姿校正参数进行参数群体初始化，得到初始参数群体，初始参数群体包括多个第一位姿校正参数；

（2）对多个第一位姿校正参数进行适应度计算，得到每个第一位姿校正参数的适应度值；

（3）根据适应度值对多个第一位姿校正参数进行参数群体划分，得到多个目标参数群体；

（4）对多个目标参数群体进行参数更新，生成多个第二位姿校正参数；

（5）对多个第二位姿校正参数进行参数最优化求解，得到目标位姿校正参数。

具体的，对初始位姿校正参数进行参数群体初始化，创建一个包含多个第一位姿校正参数的初始参数群体，每个参数都是对位姿校正算法中可能的一个解。在多维参数空间中布置一个网格，探索每个网格点对应的位姿校正效果。例如，在一项涉及高精度激光切割的工作中，机器的位姿校正参数可能包括激光的角度、焦距和功率设置。初始参数群体可能包括所有这些参数的不同组合，如角度从0到180度的30个点，焦距从5mm到20mm的15个点，以及功率从10到100瓦特的10个点。每个组合代表了一个可能的激光操作配置，用以切割不同材料或不同厚度的金属。对多个第一位姿校正参数进行适应度计算。评估每个位姿校正参数组合在实际操作中的效能。适应度计算可能基于多种指标，如位姿校正的精确度、操作的速度以及完成任务的稳定性。例如，适应度评估可能基于切割的精确度和边缘的光滑度，以及在实际切割过程中激光配置的能耗效率。根据适应度值，进行参数群体的划分。将适应度高的参数组合归为一组，适应度低的则可能被排除或用于进一步的分析以改进它们的表现。对目标参数群体进行参数更新，采用遗传算法、模拟退火或其他优化算法来调整参数值，寻找新的可能的最优解。这些算法通过引入随机性和迭代搜索，使得参数空间的探索更加全面，也更有可能找到全局最优解。例如，参数更新可能包括在当前最佳参数设置的基础上微调激光角度或焦距，以测试是否有进一步提高切割质量的可能。进行第二位姿校正参数的最优化求解，确定最终的位姿校正参数。最优化求解基于测试，评估每个参数组合的性能，并选择那些能够最有效达到预定目标的参数。

在一具体实施例中，执行步骤106的过程可以具体包括如下步骤：

（1）根据目标对位指令集对移动目标工件进行运动趋势分析和碰撞预测，得到碰撞风险数据；

（2）对碰撞风险数据进行防碰撞策略分析，生成防碰撞控制指令；

（3）根据防碰撞控制指令对移动目标工件进行运动控制，得到目标运动控制方案。

具体的，根据目标对位指令集对移动目标工件进行运动趋势分析。收集关于每个机器人和工件的运动数据，包括它们的速度、路径和预计的运动轨迹。通过算法，如运动学分析和动态模拟，预测每个实体在未来一段时间内的位置。碰撞预测模块将使用这些数据评估所有可能的相遇情况，生成碰撞风险数据。例如，如果一个机器人臂的预定轨迹将其带入另一个正在运动的机器人臂的路径，系统将标识这一情况为高碰撞风险。对碰撞风险数据进行分析，以制定有效的防碰撞策略。考虑各种潜在的调整措施，如改变速度、调整路径或暂时停止某些动作。防碰撞策略分析基于碰撞风险的严重程度，还需要考虑实施这些策略的实际可行性和对生产效率的影响。策略分析完成后，生成多个防碰撞控制指令，这些指令具体指示如何调整机器人臂的操作，以避免预测中的碰撞。例如，系统可能指示一个机器人臂在接近另一个机器人或工件时减速，或者稍微调整其路径以绕过潜在的障碍。根据防碰撞控制指令对移动目标工件进行运动控制，得到最终的目标运动控制方案。控制系统执行所有的调整指令。这包括动态调整路径、改变速度和暂停操作，所有这些调整都必须在不干扰整体生产流程的前提下实施。例如，如果一个机器人臂因为需要避开另一个机器人而改变了其路径，系统需要确保这一调整不会影响到装配线上的其他操作或延误生产进度。

上面对本申请实施例中视觉对位校准方法进行了描述，下面对本申请实施例中视觉对位校准装置进行描述，请参阅图2，本申请实施例中视觉对位校准装置一个实施例包括：

采集模块201，用于通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

光流估计模块202，用于根据连续图像数据对移动目标工件进行光流估计，得到移动目标工件的相对速度数据；

状态估计模块203，用于对相对速度数据进行状态估计，得到目标状态估计数据；

校正模块204，用于基于目标状态估计数据对初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；

计算模块205，用于对目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

控制模块206，用于根据目标对位指令集对移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

通过上述各个组成部分的协同合作，采用双目视觉系统结合光流估计算法，可以实时精确地追踪移动目标工件的位置和速度。通过对目标工件的特征点进行高效跟踪和光流分析，即使在目标快速移动或存在轻微遮挡的情况下，也能保持高精度的跟踪效果。这种精确的动态追踪大大提高了对位的准确性和响应速度。通过实时的状态估计和卡尔曼滤波器的应用，该方法能够有效抑制环境噪声和测量误差，优化目标状态的估计。这种动态调整和状态估计不仅提升了系统对复杂环境的适应能力，还增强了整个对位系统的稳定性和可靠性。结合目标对位指令集的生成进行运动趋势分析和碰撞预测，及时调整运动策略以避免潜在碰撞。这种预测和控制策略的结合，不仅保证了作业安全，也确保了生产流程的连续性和效率，支持复杂的决策和精细的操作，使得系统能够在无需人工干预的情况下自动完成高精度的对位任务，进而提高了视觉对位校准的精度。

本申请还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述视觉对位校准方法的步骤。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述视觉对位校准方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种视觉对位校准方法，其特征在于，所述视觉对位校准方法包括：

通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

根据所述连续图像数据对所述移动目标工件进行光流估计，得到所述移动目标工件的相对速度数据；

对所述相对速度数据进行状态估计，得到目标状态估计数据；具体包括：对所述相对速度数据进行时间序列分析，得到时序速度数据，并对所述时序速度数据进行滤波处理，得到去噪速度数据；对所述去噪速度数据进行位置预测，得到预测位置数据，并对所述预测位置数据进行误差分析，得到误差校正参数；通过卡尔曼滤波器对所述误差校正参数进行动态调整，得到动态调整的状态估计数据；对所述动态调整的状态估计数据进行位置积分，得到积分后的位置数据，并对所述积分后的位置数据进行速度积分处理，得到积分后的速度数据；对所述积分后的位置数据和所述积分后的速度数据进行整合，得到目标状态估计数据；

基于所述目标状态估计数据对所述初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；具体包括：基于所述目标状态估计数据对所述移动目标工件进行特征点提取，得到多个工件特征点；对所述多个工件特征点与预设特征点进行特征点匹配，得到多个特征点组合；对所述多个特征点组合进行特征点跟踪，得到每个特征点组合的特征点跟踪数据；根据每个特征点组合的特征点跟踪数据，对所述初始相对位姿信息进行位姿校正参数初始化，得到初始位姿校正参数；对所述初始位姿校正参数进行参数群体初始化，得到初始参数群体，所述初始参数群体包括多个第一位姿校正参数；对所述多个第一位姿校正参数进行适应度计算，得到每个第一位姿校正参数的适应度值；根据所述适应度值对所述多个第一位姿校正参数进行参数群体划分，得到多个目标参数群体；对所述多个目标参数群体进行参数更新，生成多个第二位姿校正参数；对所述多个第二位姿校正参数进行参数最优化求解，得到目标位姿校正参数；根据所述目标位姿校正参数对所述初始相对位姿信息进行位姿校正，得到目标相对位姿信息；

对所述目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

根据所述目标对位指令集对所述移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

2.根据权利要求1所述的视觉对位校准方法，其特征在于，所述通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息，包括：

通过双目视觉系统对移动目标工件进行连续图像采集，得到初始图像数据；

对所述初始图像数据进行分辨率调整，得到调整后的图像数据；

对所述调整后的图像数据进行色彩空间转换，得到转换后的图像数据；

对所述转换后的图像数据进行边缘检测，得到图像边缘信息，并对所述图像边缘信息进行噪声滤除处理，得到连续图像数据；

采用非线性阻尼函数，对所述连续图像数据中的图像边缘信息进行最小二乘拟合，得到摄像头的初始标定参数；

获取所述双目视觉系统中惯性测量单元的原始传感数据，并对所述原始传感数据进行滤波处理，得到目标传感数据；

对所述目标传感数据和所述初始标定参数进行关联关系分析，得到初始相对位姿信息。

3.根据权利要求1所述的视觉对位校准方法，其特征在于，所述根据所述连续图像数据对所述移动目标工件进行光流估计，得到所述移动目标工件的相对速度数据，包括：

对所述连续图像数据进行时间同步处理，得到对齐的视频帧数据；

基于5个预设特征点，对所述对齐的视频帧数据进行特征点轨迹检测，得到每个预设特征点的特征点运动轨迹；

通过光流估计算法对每个预设特征点的特征点运动轨迹进行速度场估计，得到每个预设特征点的初始速度场数据；

对每个预设特征点的初始速度场数据进行平滑处理，得到每个预设特征点的平滑速度场数据；

对每个预设特征点的平滑速度场数据进行误差修正，得到每个预设特征点的修正速度场数据；

对每个预设特征点的修正速度场数据进行速度向量分析，得到每个预设特征点的初始相对速度；

对每个预设特征点的初始相对速度进行平均求和运算，得到所述移动目标工件的相对速度数据。

4.根据权利要求1所述的视觉对位校准方法，其特征在于，所述根据所述目标对位指令集对所述移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案，包括：

根据所述目标对位指令集对所述移动目标工件进行运动趋势分析和碰撞预测，得到碰撞风险数据；

对所述碰撞风险数据进行防碰撞策略分析，生成防碰撞控制指令；

根据所述防碰撞控制指令对所述移动目标工件进行运动控制，得到目标运动控制方案。

5.一种视觉对位校准装置，其特征在于，所述视觉对位校准装置包括：

采集模块，用于通过双目视觉系统对移动目标工件进行连续图像采集和摄像头标定，得到连续图像数据和初始相对位姿信息；

光流估计模块，用于根据所述连续图像数据对所述移动目标工件进行光流估计，得到所述移动目标工件的相对速度数据；

状态估计模块，用于对所述相对速度数据进行状态估计，得到目标状态估计数据；具体包括：对所述相对速度数据进行时间序列分析，得到时序速度数据，并对所述时序速度数据进行滤波处理，得到去噪速度数据；对所述去噪速度数据进行位置预测，得到预测位置数据，并对所述预测位置数据进行误差分析，得到误差校正参数；通过卡尔曼滤波器对所述误差校正参数进行动态调整，得到动态调整的状态估计数据；对所述动态调整的状态估计数据进行位置积分，得到积分后的位置数据，并对所述积分后的位置数据进行速度积分处理，得到积分后的速度数据；对所述积分后的位置数据和所述积分后的速度数据进行整合，得到目标状态估计数据；

校正模块，用于基于所述目标状态估计数据对所述初始相对位姿信息进行特征点跟踪和位姿校正，得到目标相对位姿信息；具体包括：基于所述目标状态估计数据对所述移动目标工件进行特征点提取，得到多个工件特征点；对所述多个工件特征点与预设特征点进行特征点匹配，得到多个特征点组合；对所述多个特征点组合进行特征点跟踪，得到每个特征点组合的特征点跟踪数据；根据每个特征点组合的特征点跟踪数据，对所述初始相对位姿信息进行位姿校正参数初始化，得到初始位姿校正参数；对所述初始位姿校正参数进行参数群体初始化，得到初始参数群体，所述初始参数群体包括多个第一位姿校正参数；对所述多个第一位姿校正参数进行适应度计算，得到每个第一位姿校正参数的适应度值；根据所述适应度值对所述多个第一位姿校正参数进行参数群体划分，得到多个目标参数群体；对所述多个目标参数群体进行参数更新，生成多个第二位姿校正参数；对所述多个第二位姿校正参数进行参数最优化求解，得到目标位姿校正参数；根据所述目标位姿校正参数对所述初始相对位姿信息进行位姿校正，得到目标相对位姿信息；

计算模块，用于对所述目标相对位姿信息进行偏差分析和对位指令计算，生成目标对位指令集；

控制模块，用于根据所述目标对位指令集对所述移动目标工件进行碰撞预测和运动控制，得到目标运动控制方案。

6.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行如权利要求1-4中任一项所述的视觉对位校准方法。

7.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-4中任一项所述的视觉对位校准方法。