CN113504385B

CN113504385B - 复数相机测速方法及测速装置

Info

Publication number: CN113504385B
Application number: CN202110748440.5A
Authority: CN
Inventors: 张晓林; 王磊; 杨冬冬; 粱泓; 李嘉茂
Original assignee: Anhui Aiguan Vision Technology Co ltd
Current assignee: Anhui Aiguan Vision Technology Co ltd
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2023-07-14
Anticipated expiration: 2041-06-30
Also published as: US20240085448A1; WO2023273427A1; JP2024501731A; CN113504385A; JP7580614B2

Abstract

本发明提供了一种复数相机测速方法及测速装置，测速方法包括：S1、对设置在一个移动平台上的位置相对固定的相机组的各相机的位置进行标定；S2、获取相机组中各相机的同步图像序列并记录时间戳；S3、处理相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅图像的位置变换矩阵，并根据拍摄两幅所述图像的相机相对移动平台的位置关系得到移动平台的位置变换矩阵，最后根据位置变换矩阵及两幅图像的拍摄时间间隔算出移动平台的速度信息。通过处理不同相机拍摄的图像的配准来计算移动平台的速度，能够解决单个相机测速时拍摄距离和图像重合度的矛盾，获取高精度的移动速度信息。

Description

复数相机测速方法及测速装置

技术领域

本发明涉及测速技术领域，尤其涉及一种复数相机测速方法及测速装置。

背景技术

随着信息电子、自动控制等技术的不断发展，机器人已经越来越多的参与到人们的生产生活当中。其中具有移动、感知、搬运等能力的移动机器人作为其中的代表被广泛应用于多种行业。无论是家庭使用的扫地机器人，还是工业常见的AGV(自动导航小车)、智能叉车，或者酒店医院中的服务机器人，都是移动机器人技术的具体表现。

为了对移动机器人进行良好控制，实时获取机器人自身速度成为一个技术难点。当前应用的技术方案中，大部分移动机器人采用了左右轮测速码盘测速的方式，但这种方式本质上没有与真实环境形成反馈，因此当车轮出现打滑或者车轮被架空的情况下，移动机器人得到的速度并不真实，很容易误判自身的位置和运行状况，最终导致未知的错误，这对机器人运动的安全性和稳定性都带来极大挑战。

发明内容

本发明的目的在于提供一种复数相机测速方法及测速装置，测速精确且不会受外界干扰。

为了达到上述目的，本发明提供了一种复数相机测速方法，包括以下步骤：

S1、对设置在一个移动平台上的位置相对固定的相机组的各相机的位置进行标定，得到各相机之间的位置关系以及各相机与移动平台的位置关系；

S2、获取所述相机组中各相机的同步图像序列并记录时间戳；

S3、处理所述相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅所述图像的位置变换矩阵，并根据拍摄两幅所述图像的相机之间的位置关系、所述相机相对所述移动平台的位置关系及两幅所述图像的位置变换矩阵得到所述移动平台在两幅图像拍摄的时间间隔下的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，算出所述移动平台的速度信息。

可选的，所述S3具体包括：

S31、获取所述移动平台在当前时刻的位置信息，并根据所述移动平台在当前时刻的位置信息及第一相机相对所述移动平台的位置关系计算得到所述第一相机在当前时刻的第一位置；

S32、根据所述第一位置，遍历其他相机拍摄图像时的第二位置，当所述第二位置与所述第一位置的距离小于第二阈值时，则判定为查找成功，将对应所述第一位置及所述第二位置拍摄的图像分别记为查找图像及候选图像，记录所述查找图像及候选图像的时间戳，并进入S33；

S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为匹配成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S34；

S34、根据所述查找图像与所述候选图像的相机之间的位置关系及所述位置变换矩阵计算得到所述第一相机的位置变换矩阵，然后根据所述第一相机的位置变换矩阵及所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间差，算出所述移动平台的速度信息。

可选的，获取所述移动平台在当前时刻的位置信息的步骤具体包括：

对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的位置变换矩阵，并根据所述位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息。

可选的，对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的位置变换矩阵，并根据所述位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息时，根据每个相机的配准结果设定每个相机对应的权重，通过加权平均的方式计算得到所述移动平台的位置信息。

可选的，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算得到两幅图像的位置变换矩阵。

可选的，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而计算得到两幅图像的位置变换矩阵。

可选的，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而计算得到两幅图像的位置变换矩阵。

可选的，通过位置传感器直接获取所述移动平台在当前时刻的位置信息。

可选的，在执行步骤S32或S33时，若查找失败或匹配失败，则进入S35，所述S35具体包括：

获取所述移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述相机组相对所述被拍摄对象的速度。

为了达到上述目的，本发明还提供了一种复数相机测速装置，包括：

移动平台，能够相对被拍摄对象移动；

相机组，包括至少两台设置在所述移动平台上的相机，各相机之间的位置相对固定；

处理器，被配置为用于执行如权利要求1-8中任一项所述的复数相机测速方法。

可选的，所述相机组具备与所述相机匹配的光源，包括：

近红外光源和与之匹配的具有能够透过所述近红外光源发射光波长的镜头的相机；

或者远红外光源和与之匹配的远红外相机；

或者紫外光源和与之匹配的紫外相机；

或者具备偏振光的光源和与之匹配的具有能够透过所述偏振光的镜头的相机。

可选的，各相机的图像拍摄时间同步或者各相机的拍摄时间具有时间戳。

可选的，所述复数相机测速装置还包括设置在所述移动平台上的标定工具，所述标定工具用于标定各相机之间的相对位置关系及各相机相对所述移动平台的位置关系。

可选的，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。

可选的，所述相机组包括至少一对双目相机。

可选的，所述相机组包括至少两台沿所述移动平台的主要运动方向布置的TOF相机。

可选的，所述相机组包括至少一对沿所述移动平台的主要运动方向布置的线阵相机。

可选的，所述相机组还包括至少一台全局快门面阵相机，所述处理器能够将所述全局快门面阵相机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。

可选的，当得到的两幅图像的配准结果小于第一阈值时，所述处理器能够根据移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述相机组相对所述被拍摄对象的速度。

可选的，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。

可选的，所述激光测量仪为线激光测量仪或十字激光测量仪。

本发明提供了一种复数相机测速方法及测速装置，通过处理不同相机拍摄的图像的配准来得到高相似度的两幅图像，由于两幅所述图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1为本发明实施例提供的复数相机测速方法的步骤图；

图2为本发明实施例提供的复数相机测速方法的流程图；

图3为本发明实施例提供的复数相机测速装置的结构示意图；

图4为本发明实施例提供的查找图像和候选图像的示意图。

附图中：

101-相机组；102-相机组；103-光源；110-处理器；111-移动平台；

W-世界坐标系；C-中心坐标系。

具体实施方式

正如背景技术所述，当前应用的技术方案中，大部分移动机器人采用了左右轮测速码盘测速的方式，但这种方式本质上没有与真实环境形成反馈，因此当车轮出现打滑或者车轮被架空的情况下，移动机器人得到的速度并不真实，很容易误判自身的位置和运行状况，最终导致未知的错误，这对机器人运动的安全性和稳定性都带来极大挑战。

当把相机对准地面通过对地面图像的移动视频来算出相机的移动速度是已知的非常有效的方法。但是由于测速的精度取决于用于比较运算的两幅图像的拍摄位置距离和图像的重合度，所以如何提高两幅图像的拍摄距离和图像重合度是提高视觉测速性能的重要手段。因为一台相机的可视面积有限，当该相机拍摄的两幅图像的拍摄地点相距较远，两幅图像的重合率就会降低，进而影响视觉测速的准确性。

基于此，本发明提供了一种复数相机测速方法及测速装置，通过采用至少两台相对位置固定的相机进行拍摄，通过比较不同相机之间的图像来获取高精度的移动速度信息。

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非内容另外明确指出外。如在本发明中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，除非内容另外明确指出外。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。

本发明的核心思想在于提供一种复数相机测速方法及测速装置，解决当前机器人测速的真实性和准确性问题。

所述复数相机测速方法，包括以下步骤：

作为本发明的另一个方面，所述复数相机测速装置包括：

移动平台，能够相对被拍摄对象移动；

处理器，被配置为用于执行所述的复数相机测速方法。

如此配置，通过处理各相机拍摄的图像的配准来得到高相似度的两幅图像，由于两幅高相似度的图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。

以下参考附图进行描述。

如图1-图3所示，图1为本发明实施例提供的复数相机测速方法的步骤图，图2为本发明实施例提供的复数相机测速方法的流程图，图3为本发明实施例提供的复数相机测速装置的结构示意图。本实施例提供了一种复数相机测速方法，包括以下步骤：

S1、对设置在一个移动平台111上的位置相对固定的相机组101的各相机102的位置进行标定，得到各相机102之间的位置关系以及各相机102与移动平台111的位置关系；

S2、获取所述相机组101中各相机102的同步图像序列并记录时间戳；

S3、处理所述相机组101的各相机102拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅所述图像的位置变换矩阵，并根据拍摄两幅所述图像的相机102之间的位置关系、两幅所述图像的位置变换矩阵、所述相机102相对所述移动平台111的位置关系得到所述移动平台111在两幅图像拍摄的时间间隔下的位置变换矩阵，最后根据所述移动平台111的位置变化矩阵及两幅所述图像的拍摄时间差，算出所述移动平台111的速度信息。

本实施例中，结合图3，所述复数相机102测速装置包括：

移动平台111，能够相对被拍摄对象移动；

相机组101，包括至少两台设置在所述移动平台111上的相机102，各相机102之间的位置相对固定；

处理器110，被配置为用于执行所述的复数相机102测速方法。

首先，执行步骤S1，对相机组101的各相机102的位置进行标定，得到各相机102之间的位置关系以及各相机102与移动平台111的位置关系。在进行位置标定时，需要先建立世界坐标系W和移动平台111的车身坐标系C，所述世界坐标系W可以是任一点作为原点，所述车身坐标系C以所述移动平台111的中心作为原点。本实施例中，使用的坐标系为右手坐标系，朝向移动平台111的前进方向为X轴，朝向移动平台111的右边方向为Y轴，竖直向下朝向地面的方向为Z轴。

所述移动平台111的移动速度只考虑二维平面的平移和旋转，故位置信息的表示只考虑水平面。移动平台111和相机组101的每个相机102的位置均在世界坐标系W下表示。其中，移动平台111的位置以其物理中心表示。相机组101的每个相机102的位置以相机102中心表示。

具体的，设t_k时刻移动平台111的位置的坐标为c(x，y)，角度为θ,则在世界坐标系W下，所述移动平台111的位置矩阵表示为

相机组101中的每个相机102相对于移动平台111的位置固定，第i个相机102相对于移动平台111的位置关系可以表示为P_ci，其中i＝1，2，…，M，M为相机组101中相机102的数目。

其中，θ_ci是第i个相机102相对于移动平台111的角度、Δx_ci和Δy_ci是第i个相机102在移动平台111的车身坐标系C下的坐标。

本实施例中，可通过棋盘格、激光测距仪、激光雷达、TOF传感器或编码器来标定各相机102之间的相对位置关系及各相机102相对所述移动平台111的位置关系。

然后执行步骤S2，获取所述相机组101中各相机102的同步图像序列并记录时间戳。本实施例中，在时刻t_k，相机组101的各相机102同步获取图像

i＝1，2，…，M。其中/>

表示t_k时刻第i个相机102获取的图像数据，M表示相机组101中的相机102数量。在获取所述图像数据的同时获取该图像对应的时间戳t_k。

接着，执行步骤S3、处理所述相机组101的各相机102拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅所述图像的位置变换矩阵，并根据拍摄两幅所述图像的相机102之间的位置关系、两幅所述图像的位置变换矩阵、所述相机102相对所述移动平台111的位置关系得到所述移动平台111在两幅图像拍摄的时间间隔下的位置变换矩阵，最后根据所述移动平台111的位置变化矩阵及两幅所述图像的拍摄时间差，算出所述移动平台111的速度信息。

进一步的，所述S3具体包括：

S31、获取所述移动平台111在当前时刻的位置信息，并根据所述移动平台111在当前时刻的位置信息及第一相机102相对所述移动平台111的位置关系计算得到所述第一相机102在当前时刻的第一位置；

S32、根据所述第一位置，遍历其他相机102拍摄图像时的第二位置，当所述第二位置与所述第一位置的距离小于第二阈值时，则判定为查找成功，将对应所述第一位置及所述第二位置拍摄的图像分别记为查找图像及候选图像，记录所述查找图像及候选图像的时间戳，并进入S32；

S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为配准成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S33；

S34、根据所述查找图像与所述候选图像的相机102之间的位置关系及所述位置变换矩阵计算得到所述第一相机102的位置变换矩阵，然后根据所述第一相机102的位置变换矩阵及所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置变换矩阵，最后根据所述移动平台111的位置变换矩阵及所述两幅图像的拍摄时间差，算出所述移动平台111的速度信息。

具体的，在执行完步骤S2之后，接着执行步骤S31，获取所述移动平台111在当前时刻的位置信息，并使每个相机102存储查找图像及对应的位置信息。

进一步的，获取所述移动平台111在当前时刻的位置信息的步骤具体包括：

对所述第一相机102的查找图像和上一帧图像进行配准，得到所述第一相机102的位置变换矩阵，并根据所述位置变换矩阵、所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置信息。

也就是说，移动平台111的位置可以通过相机组101的每个相机102来估计，相机组101中每个相机102在t_k时刻获取相机102图像

后，对同一相机102的查找图像/>

和上一帧图像/>

进行配准计算，得到对应相机102的位置变换矩阵。

作为本实施例的第一个优选示例，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算两幅图像的位置变换矩阵

表示第i个相机102在t_k-1和t_k时刻的位置变换矩阵。

作为本实施例的第二个优选示例，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而获得两幅图像的位置变换矩阵

作为本实施例的第三个优选示例，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而获得两幅图像的位置变换矩阵

例如，当第i个相机102是TOF相机102或配置有激光测距仪或单线激光雷达或多线激光光雷达装置时，图像数据含有深度信息，可以使用3D匹配的方法估计第i个相机102当前的位置。通过两幅图像对应的3D点坐标使用迭代最邻近(ICP)方法计算空间3自由度的位姿变换，或者使用上一时刻图像的3D坐标和当前时刻图像的2D坐标使用PnP算法获得两幅图像的位置变换矩阵/>

第i个相机102在t_k时刻计算得到的前后帧位置变换矩阵

转换到移动平台111的位置变换关系/>

根据刚体变换有如下位置变换关系：

由于

为P_ci的逆矩阵，而P_ci为已知的第i个相机102相对移动平台111的位置关系，故可通过位置变换矩阵/>

直接计算出移动平台111的位置变换矩阵/>

t_k时刻移动平台111的位置

可以由移动平台111在t_k-1时刻的位置/>

和位置变换矩阵/>

计算得到，计算公式如下：

每个相机102根据移动平台111在t_k时刻的位置

和第i个相机102相对移动平台111的位置关系得到该相机102在时刻t_k的位置，计算公式如下：

每个相机102的存储当前时刻拍摄的查找图像

以及该查找图像/>

对应相机102在时刻t_k的位置为/>

本实施例中，还可以通过位置传感器直接获取所述移动平台111在当前时刻的位置信息，所述位置传感器包括但不限于是编码器、惯性器件或里程计。

更进一步的，对所述第一相机102的查找图像和上一帧图像进行配准，得到所述第一相机102的位置变换矩阵，并根据所述位置变换矩阵、所述第一相机102相对所述移动平台111的位置关系计算得到所述移动平台111的位置信息时，根据每个相机102的配准结果设定每个相机102对应的权重，通过加权平均的方式计算得到所述移动平台111的位置信息。

也就是说，相机组101中第i个相机102通过公式(3)和(4)前后帧图像配准和位置变换矩阵估算出一个移动平台111的位置

为提高移动平台111的位置的精确度，可根据每个相机102计算的结果进行加权平均，加权平均的权值由每个相机102的配准结果决定。

如果t_k时刻每个相机102的配准结果分别是s_i,则每个相机102的对应的

的权值分别为

其中，j为1，2，…，M。

则t_k时刻移动平台111的位置计算如下：

通过加权平均的方式得到的移动平台111的位置的精度更高。

每个相机102存储查找图像及对应的位置信息后，执行步骤S32，每个相机102根据相机102的当前位置

查找并选择其他相机102过去时刻在此位置的候选图像。相机组101的每个相机102根据t_k时刻的位置/>

遍历其他相机102所有候选图像的位置/>

为第l个相机102(l≠i)在时刻t_k′的位置。当距离/>

最近的/>

满足如下关系：

其中，D为第二阈值，即给定的距离阈值。

对应的图像

为第l个相机102的候选图像，记录所述候选图像的时间戳t_k′。

查找成功后，执行步骤S33，进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为匹配成功，计算出所述查找图像与所述候选图像的位置变换矩阵。

则根据(4)式可以得到位置变换矩阵满足下列关系：

当存在匹配成功的候选图像，进入步骤S34，根据所述查找图像与所述候选图像的相机102之间的位置关系及所述位置变换矩阵计算得到所述第一相机102的位置变换矩阵，然后根据所述第一相机102的位置变换矩阵及所述第一相机102相对所述移动平台的位置关系计算得到所述移动平台111的位置变换矩阵，最后根据移动平台111的位置变换矩阵及所述两幅图像的拍摄时间差，算出所述移动平台111的速度信息。

请参照图4，图4为本发明实施例提供的查找图像和候选图像的示意图，所述查找图像和所述候选图像对应的相机102之间的位置关系是固定的。

第i个相机102在时刻t_k和t_k′的位置变换矩阵

满足：

根据公式(9)可计算得到第i个相机102的查找图像

与候选图像/>

之间的位置偏差/>

第i个相机102和第l个相机102之间的相对位置关系P_li为已知，进而可以根据公式(10)计算得到/>

再根据公式(3)

可以得到第i个相机102计算出来的移动平台111在时刻t_k和时刻t_k′的位置变化。因为t_k时刻第i个相机102拍摄的查找图像/>

和第l个相机102拍摄的候选图像/>

具有最短的测量距离和最大的图像重合度，使得/>

的计算精度比单个相机102的连续图像追踪更高，进而使得/>

和/>

的计算精度更高。

将

按照(1)式分解成矩阵的形式，有

得到t_k时刻由第i个相机102计算出来的移动平台111的移动速度V_i如下表示：

所述移动平台111的移动速度V_i即所述相机组101相对所述被拍摄对象的速度。

同理，可根据(6)式的配准权值，得到更精确的移动速度，公式如下：

进一步的，在执行步骤S32或S33时，若查找失败或匹配失败，则进入S35，所述S35具体包括：

获取所述移动平台111在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述相机组101相对所述被拍摄对象的速度。

也就是说，如果相机组101中的所有相机102均未查找到候选图像，即没有一个相机102能够找到满足(8)式的候选图像，则查找失败进入步骤S35，否则查找成功进入S33。或者，如果所有的候选图像匹配失败，同样进入步骤S35。可根据步骤S31获取所述移动平台111在当前时刻的位置信息

上一时刻的位置信息/>

以及当前时刻和上一时刻的拍摄时间差(t_k-t_k-1)，进而得到移动平台111在相邻两个时刻的位置变换矩阵，具体公式如下：

当然，也可以根据公式(3)直接得到

所述/>

及/>

还可以根据公式(7)计算获得。

将

分解成矩阵的形式，有

最后得到t_k时刻移动平台111的移动速度如下表示：

本发明实施例通过处理各相机102拍摄的图像的配准来得到高相似度的两幅图像，由于两幅所述图像具有最短的测量距离和最大的图像重合度，使得计算得到的移动平台111的速度信息信的精度比单个相机102的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。

基于此，请参照图2，本发明实施例还提供了复数相机102测速装置，包括：

移动平台111，能够相对被拍摄对象移动；

处理器110，被配置为用于执行上述复数相机102测速方法。

本实施例中，所述相机组101具备与所述相机102匹配的光源103，包括：

近红外光源103和与之匹配的具有能够透过所述近红外光源103发射光波长的镜头的相机102；

或者远红外光源103和与之匹配的远红外相机102；

或者紫外光源103和与之匹配的紫外相机102；

或者具备偏振光的光源103和与之匹配的具有能够透过所述偏振光的镜头的相机102。

本实施例中，各相机102的图像拍摄时间同步或者各相机102的拍摄时间具有时间戳，所述时间戳能够实时的被所述处理器110获取，以便于进行移动速度的计算。

本实施例中，所述复数相机102测速装置还包括设置在所述移动平台111上的标定工具，所述标定工具用于标定各相机102之间的相对位置关系及各相机102相对所述移动平台111中心的位置关系，所述位置关系能够被所述处理器110获取。

进一步的，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。

作为本实施例的第一个优选示例，所述相机组101包括至少一对双目相机。所述双目相机是指双目相机包含共同视野，可以获得三维立体图像，使相机组101可以根据图像中各点的距离计算相机组101的空间3自由度以上的位姿及速度。

作为本实施例的第二个优选示例，所述相机组101包括至少两台沿所述移动平台111的主要运动方向布置的TOF相机，以保证前后两台相机用于匹配的图像是立体图像，使得图像匹配后可以根据拍摄对象的距离及/或形状得到更高的精度。

作为本实施例的第三个优选示例，所述相机组101包括至少一对沿所述移动平台111的主要运动方向布置的线阵相机，每对所述线阵相机的图像进行对比也可以得到相机组101的速度信息。

优选的，所述相机组101还包括至少一台全局快门面阵相机，所述处理器110能够将所述全局快门面阵相机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。

进一步的，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。

更进一步的，所述激光测量仪为线激光测量仪或十字激光测量仪。

本实施例中，所述处理器110不仅可以通过不同相机的图像对比获得高精度速度信息，而且也可以通过每一台相机的前后连续图像获得速度信息，该信息可以粗略算出不同相机拍摄的可用于匹配的图像出现时间，以提高匹配速度。

本实施例中，当得到的两幅图像的配准结果小于第一阈值时，所述处理器110能够根据移动平台111中心在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述相机组101相对所述被拍摄对象的速度。

综上，本发明实施例提供了一种复数相机测速方法及测速装置，通过处理不同相机拍摄的图像的配准来得到高相似度的两幅图像，由于两幅所述图像具有最短的测量距离和最大的图像重合度，使得所述复数相机测速方法计算得到的所述移动平台的速度信息的精度比单个相机的连续图像追踪计算得到的被拍摄对象的速度信息的精度更高。且本发明提供的复数相机测速方法及复数相机测速装置与真实环境形成了反馈，避免了机器人因车轮出现打滑或者车轮被架空而造成误判的问题。

此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims

1.一种复数相机测速方法，其特征在于，包括以下步骤：

S3、处理所述相机组的各相机拍摄的图像的配准，当得到的两幅图像的配准结果大于第一阈值时，计算两幅所述图像的位置变换矩阵，并根据拍摄两幅所述图像的相机之间的位置关系、所述相机相对所述移动平台的位置关系及两幅所述图像的位置变换矩阵得到所述移动平台在两幅图像拍摄的时间间隔下的位置变换矩阵，最后根据所述移动平台的位置变换矩阵及所述两幅图像的拍摄时间间隔，算出所述移动平台的速度信息;

其中，所述S3具体包括：

S33、进行所述查找图像与所述候选图像的配准，若得到的配准结果大于所述第一阈值时，则判定为配准成功，计算出所述查找图像与所述候选图像的位置变换矩阵，并进入S34；

2.如权利要求1所述的复数相机测速方法，其特征在于，获取所述移动平台在当前时刻的位置信息的步骤具体包括：

3.如权利要求2所述的复数相机测速方法，其特征在于，对所述第一相机的查找图像和上一帧图像进行配准，得到所述第一相机的位置变换矩阵，并根据所述位置变换矩阵、所述第一相机相对所述移动平台的位置关系计算得到所述移动平台的位置信息时，根据每个相机的配准结果设定每个相机对应的权重，通过加权平均的方式计算得到所述移动平台的位置信息。

4.如权利要求1或3所述的复数相机测速方法，其特征在于，所述配准的方法为2D图像特征匹配法，所述2D图像特征匹配法通过提取两幅图像的特征点并进行快速匹配计算得到两幅图像的位置变换矩阵。

5.如权利要求1或3所述的复数相机测速方法，其特征在于，所述配准的方法为2D图像频域信息匹配法，所述2D图像频域信息匹配法通过傅立叶-梅林变换算法计算两幅图像的旋转平移和尺度因子，进而计算得到两幅图像的位置变换矩阵。

6.如权利要求1或3所述的复数相机测速方法，其特征在于，所述配准的方法为3D匹配法，所述3D匹配法通过两幅图像对应的3D点坐标计算空间3自由度的位姿和速度，进而计算得到两幅图像的位置变换矩阵。

7.如权利要求1所述的复数相机测速方法，其特征在于，通过位置传感器直接获取所述移动平台当前时刻的位置信息。

8.如权利要求1所述的复数相机测速方法，其特征在于，在执行步骤S32或S33时，若查找失败或配准失败，则进入S35，所述S35具体包括：

获取所述移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述移动平台的速度信息。

9.一种复数相机测速装置，其特征在于，包括：

移动平台，能够相对被拍摄对象移动；

10.如权利要求9所述的复数相机测速装置，其特征在于，所述相机组具备与所述相机匹配的光源，包括：

或者远红外光源和与之匹配的远红外相机；

或者紫外光源和与之匹配的紫外相机；

11.如权利要求9所述的复数相机测速装置，其特征在于，各相机的图像拍摄时间同步或者各相机的拍摄时间具有时间戳。

12.如权利要求9所述的复数相机测速装置，其特征在于，所述复数相机测速装置还包括设置在所述移动平台上的标定工具，所述标定工具用于标定各相机之间的相对位置关系及各相机相对所述移动平台的位置关系。

13.如权利要求12所述的复数相机测速装置，其特征在于，所述标定工具为棋盘格、激光测距仪、激光雷达、TOF传感器或编码器。

14.如权利要求9所述的复数相机测速装置，其特征在于，所述相机组包括至少一对双目相机。

15.如权利要求9所述的复数相机测速装置，其特征在于，所述相机组包括至少两台沿所述移动平台的主要运动方向布置的TOF相机。

16.如权利要求9所述的复数相机测速装置，其特征在于，所述相机组包括至少一对沿所述移动平台的主要运动方向布置的线阵相机。

17.如权利要求16所述的复数相机测速装置，其特征在于，所述相机组还包括至少一台全局快门面阵相机，所述处理器能够将所述全局快门面阵相机拍摄的图像与所述线阵相机拍摄的图像进行对比，以修正所述线阵相机拍摄的图像。

18.如权利要求9所述的复数相机测速装置，其特征在于，当得到的两幅图像的配准结果小于第一阈值时，所述处理器能够根据移动平台在当前时刻的位置信息、上一时刻的位置信息以及当前时刻和上一时刻的拍摄时间差，估算所述移动平台的速度信息。

19.如权利要求9所述的复数相机测速装置，其特征在于，所述复数相机测速装置还包括至少一台激光测量仪，所述激光测量仪用于测量不同被拍摄对象之间的距离。

20.如权利要求19所述的复数相机测速装置，其特征在于，所述激光测量仪为线激光测量仪或十字激光测量仪。