[go: up one dir, main page]

CN103727930A - 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 - Google Patents

一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 Download PDF

Info

Publication number
CN103727930A
CN103727930A CN201310742582.6A CN201310742582A CN103727930A CN 103727930 A CN103727930 A CN 103727930A CN 201310742582 A CN201310742582 A CN 201310742582A CN 103727930 A CN103727930 A CN 103727930A
Authority
CN
China
Prior art keywords
edge
point set
range finder
laser range
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310742582.6A
Other languages
English (en)
Other versions
CN103727930B (zh
Inventor
熊蓉
李千山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Iplus Tech Co ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201310742582.6A priority Critical patent/CN103727930B/zh
Publication of CN103727930A publication Critical patent/CN103727930A/zh
Application granted granted Critical
Publication of CN103727930B publication Critical patent/CN103727930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于边缘匹配的激光测距仪与相机相对位姿标定方法，它的步骤是首先提取激光测距仪点云数据边缘轮廓和相机图像的边缘轮廓，建立点云数据边缘的概率分布即图像边缘的概率分布，然后最小化两个分布的KL距离，求得激光测距仪和相机的相对位姿参数。本发明方法不依赖特定环境结构，不依赖标定板等辅助物件；可以在线运行，即时更新激光测距仪和相机的相对位姿；所提取的点云边缘轮廓和图像边缘轮廓可进一步用于环境物体识别和定位等其它应用。

Description

一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
技术领域
本发明涉及多传感器信息融合领域，尤其涉及一种基于边缘匹配的激光测距仪与相机相对位姿标定方法。
背景技术：
传统的激光测距仪与相机相对位姿标定方法一般标定板实现，通过视觉识别标定板的角点，建立这些角点在空间中位于标定板平面的约束，最小化误差函数以获得表示相对位姿的旋转和平移矩阵                                                
Figure 2013107425826100002DEST_PATH_IMAGE001
。
另有一些方法虽不需要标定板，但也需要环境的特定结构以建立几何约束。
这些方法都依赖特定的对象，需要特别准备，且不利于在线运行。基于此，本发明提出了一种基于边缘匹配的激光测距仪与相机相对位姿标定方法，所述方法分别从激光数据和图像中提取表示环境边缘轮廓的边缘线，通过最小化边缘线分布的对称KL距离，计算得到激光测距仪和相机的相对位姿。
发明内容：
本发明的目的是克服现有技术的不足，提供一种基于边缘匹配的激光测距仪与相机相对位姿标定方法。
基于边缘匹配的激光测距仪与相机相对位姿标定方法的步骤如下：
1）通过激光测距仪获取周围环境的三维点云，同时通过相机采集该环境的图像；
2）提取激光测距仪采集到的点云的边缘轮廓，得到代表三维边缘的三维点集；
3）根据激光测距仪的性能参数和误差模型，确定三维边缘点集的概率分布
Figure 2013107425826100002DEST_PATH_IMAGE003
；
4）提取相机图像的边缘轮廓，得到代表二维边缘的像素集合
Figure 538598DEST_PATH_IMAGE004
；
5）根据相机的性能参数和误差模型，确定二维边缘像素的概率分布
Figure DEST_PATH_IMAGE005
；
6）以一组包括旋转矩阵和平移矩阵
Figure DEST_PATH_IMAGE007
的坐标转换矩阵来表示激光测距仪与相机的相对位姿，将三维边缘点集
Figure 83291DEST_PATH_IMAGE002
投影到相机坐标系下，得到二维边缘点集；
7）根据三维边缘点集的概率分布和投影关系确定二维边缘点集
Figure 429456DEST_PATH_IMAGE008
概率分布
Figure DEST_PATH_IMAGE009
；
8）计算两个概率分布三维边缘点集的概率分布和二维边缘点集
Figure 620452DEST_PATH_IMAGE008
概率分布
Figure 774353DEST_PATH_IMAGE009
之间的对称KL距离
Figure 656858DEST_PATH_IMAGE010
，以
Figure 709476DEST_PATH_IMAGE006
、
Figure 386445DEST_PATH_IMAGE007
为参数，以最小化对称KL距离
Figure 824380DEST_PATH_IMAGE010
为最优化目标，求得最优的激光测距仪与相机相对位姿转换矩阵
Figure DEST_PATH_IMAGE011
。
所述的步骤2）为：a）对于无序点云，搜索每个点周围半径小于
Figure 448259DEST_PATH_IMAGE012
范围内的数量不超过
Figure DEST_PATH_IMAGE013
的所有最近邻点，得到点集
Figure 842200DEST_PATH_IMAGE014
，为
Figure 955650DEST_PATH_IMAGE014
拟合平面
Figure DEST_PATH_IMAGE015
，以点集
Figure 818564DEST_PATH_IMAGE014
在平面内的投影点位置为自变量，点集到平面
Figure 342714DEST_PATH_IMAGE015
的距离为函数值，拟合二元二次函数，得到Hessian矩阵，计算Hessian矩阵
Figure 642294DEST_PATH_IMAGE017
的特征值
Figure 823877DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
，假定
Figure 216812DEST_PATH_IMAGE020
，若
Figure DEST_PATH_IMAGE021
且，
Figure DEST_PATH_IMAGE023
、
Figure 308844DEST_PATH_IMAGE024
分别为相应阈值，则认为该点为边缘点；b）对于有序点云,即深度图，利用Canny算法提取边缘点集。
所述的为点集
Figure 344933DEST_PATH_IMAGE014
拟合平面
Figure 971087DEST_PATH_IMAGE015
的方法为：计算点集
Figure 279577DEST_PATH_IMAGE014
的均值，得到平面
Figure 649379DEST_PATH_IMAGE015
的中心；计算
Figure 743236DEST_PATH_IMAGE026
的特征向量，其最小特征值对应的特征向量即为平面
Figure 540291DEST_PATH_IMAGE015
的法向量
Figure DEST_PATH_IMAGE027
；平面的中心
Figure 683139DEST_PATH_IMAGE025
和法向量
Figure 693820DEST_PATH_IMAGE027
即表示了一个经过中心
Figure 661776DEST_PATH_IMAGE025
、法向量为
Figure 944859DEST_PATH_IMAGE027
的平面。
所述的拟合二元二次函数
Figure 656463DEST_PATH_IMAGE016
并得到Hessian矩阵
Figure 724913DEST_PATH_IMAGE017
的方法为：对于点集
Figure 863770DEST_PATH_IMAGE014
中每一点
Figure 181619DEST_PATH_IMAGE028
，假定
Figure 385330DEST_PATH_IMAGE026
另两个特征值对应的特征向量分别为
Figure DEST_PATH_IMAGE029
和
Figure 308286DEST_PATH_IMAGE030
，计算一个以
Figure DEST_PATH_IMAGE031
、
Figure 618045DEST_PATH_IMAGE032
为自变量，
Figure 2013107425826100002DEST_PATH_IMAGE033
为值的键值对， 
Figure DEST_PATH_IMAGE035
最终形成一组
Figure 547824DEST_PATH_IMAGE036
向
Figure 601230DEST_PATH_IMAGE033
的键值映射,并利用最小二乘法求取Hessian矩阵
Figure 441010DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE037
，
表示为
Figure 105789DEST_PATH_IMAGE038
。
所述的步骤3）中三维边缘点集的概率分布
Figure 697308DEST_PATH_IMAGE003
为：
Figure 844124DEST_PATH_IMAGE040
其中
Figure 495685DEST_PATH_IMAGE014
代表高斯分布，
Figure 2013107425826100002DEST_PATH_IMAGE041
为点
Figure 213105DEST_PATH_IMAGE028
不确定性协方差矩阵，取决于传感器性能参数和误差模型。
所述的步骤4）中提取相机图像边缘轮廓的方法为Canny算法。
所述的步骤5）中二维边缘像素的概率分布
Figure 296730DEST_PATH_IMAGE005
为：
Figure DEST_PATH_IMAGE043
Figure 48786DEST_PATH_IMAGE044
为像素
Figure DEST_PATH_IMAGE045
不确定性协方差矩阵，取决于传感器性能参数和误差模型。
所述的步骤6）中将三维边缘点集投影到相机坐标系下方法为：对于三维边缘点集
Figure 325232DEST_PATH_IMAGE002
中的一点
Figure 524132DEST_PATH_IMAGE028
，其对应的相机成像平面内的投影点
Figure 130694DEST_PATH_IMAGE046
为
Figure 2013107425826100002DEST_PATH_IMAGE047
，
其中
Figure 124058DEST_PATH_IMAGE006
和
Figure 566803DEST_PATH_IMAGE007
分别为旋转矩阵和平移矩阵。
所述的步骤7）中的根据三维边缘点集
Figure 569394DEST_PATH_IMAGE002
的概率分布
Figure 30462DEST_PATH_IMAGE003
和投影关系确定二维边缘点集
Figure 194727DEST_PATH_IMAGE008
概率分布
Figure 623303DEST_PATH_IMAGE009
的方法为：
其中
 。
所述的步骤8）中的概率分布二维边缘点集概率分布和二维边缘像素的概率分布
Figure 220366DEST_PATH_IMAGE005
之间的对称KL距离
Figure 564759DEST_PATH_IMAGE010
的计算方法为：
Figure 797158DEST_PATH_IMAGE052
最小化此对称KL距离，即可得到位姿变换矩阵
Figure 506488DEST_PATH_IMAGE011
。
本发明与现有技术相比，具有的有益效果：
1.不依赖特定环境结构，不依赖标定板等辅助物件；
2.可以在线运行，即时更新激光测距仪和相机的相对位姿；
3.所提取的点云边缘轮廓和图像边缘轮廓可进一步用于环境物体识别和定位等其它应用。
附图说明
图1是基于边缘匹配的激光测距仪与相机相对位姿标定方法操作步骤示意图；
图2是基于边缘匹配的激光测距仪与相机相对位姿标定方法实施效果图。
具体实施方式
本发明的一种基于边缘匹配的激光测距仪与相机相对位姿标定方法，经过标定后，激光测距仪采集的点云能与相机采集的图像进行准确的对应。一方面，图像可以为点云上色，得到彩色点云，或为以点云为顶点的表面网格贴彩色纹理，得到纹理表面模型；另一方面，点云可以指示部分图像区域的深度，为基于图像的识别、定位等应用提供支持。
标定时，让激光测距仪和相机同时采集数据，并保证它们的观测范围大部分重合，对激光测距仪采集到的点云及相机采集的图像进行处理，在线得到激光测距仪和相机的相对位姿。
如图1所述，基于边缘匹配的激光测距仪与相机相对位姿标定方法的步骤如下：
1）通过激光测距仪获取周围环境的三维点云，同时通过相机采集该环境的图像；
2）提取激光测距仪采集到的点云的边缘轮廓，得到代表三维边缘的三维点集
Figure 457126DEST_PATH_IMAGE002
；
3）根据激光测距仪的性能参数和误差模型，确定三维边缘点集的概率分布
Figure 526582DEST_PATH_IMAGE003
；
4）提取相机图像的边缘轮廓，得到代表二维边缘的像素集合
Figure 879066DEST_PATH_IMAGE004
；
5）根据相机的性能参数和误差模型，确定二维边缘像素的概率分布
Figure 821614DEST_PATH_IMAGE005
；
6）以一组包括旋转矩阵
Figure 197232DEST_PATH_IMAGE006
和平移矩阵
Figure 883428DEST_PATH_IMAGE007
的坐标转换矩阵来表示激光测距仪与相机的相对位姿，将三维边缘点集
Figure 778834DEST_PATH_IMAGE002
投影到相机坐标系下，得到二维边缘点集
Figure 892284DEST_PATH_IMAGE008
；
7）根据三维边缘点集的概率分布
Figure 817514DEST_PATH_IMAGE003
和投影关系确定二维边缘点集
Figure 979506DEST_PATH_IMAGE008
概率分布
Figure 306582DEST_PATH_IMAGE009
；
8）计算两个概率分布三维边缘点集的概率分布
Figure 512304DEST_PATH_IMAGE003
和二维边缘点集
Figure 924831DEST_PATH_IMAGE008
概率分布
Figure 952830DEST_PATH_IMAGE009
之间的对称KL距离，以
Figure 527347DEST_PATH_IMAGE006
、
Figure 850007DEST_PATH_IMAGE007
为参数，以最小化对称KL距离
Figure 416117DEST_PATH_IMAGE010
为最优化目标，求得最优的激光测距仪与相机相对位姿转换矩阵
Figure 717786DEST_PATH_IMAGE011
。
所述的步骤2）为：a）对于无序点云，搜索每个点周围半径小于
Figure 281622DEST_PATH_IMAGE012
范围内的数量不超过
Figure 403162DEST_PATH_IMAGE013
的所有最近邻点，得到点集，为拟合平面
Figure 850827DEST_PATH_IMAGE015
，以点集
Figure 459662DEST_PATH_IMAGE014
在平面
Figure 367576DEST_PATH_IMAGE015
内的投影点位置为自变量，点集
Figure 66673DEST_PATH_IMAGE014
到平面
Figure 34629DEST_PATH_IMAGE015
的距离为函数值，拟合二元二次函数
Figure 68444DEST_PATH_IMAGE016
，得到Hessian矩阵
Figure 780048DEST_PATH_IMAGE017
，计算Hessian矩阵
Figure 645235DEST_PATH_IMAGE017
的特征值
Figure 971043DEST_PATH_IMAGE018
和
Figure 554472DEST_PATH_IMAGE019
，假定
Figure 7450DEST_PATH_IMAGE020
，若
Figure 727144DEST_PATH_IMAGE021
且
Figure 36903DEST_PATH_IMAGE022
，
Figure 796042DEST_PATH_IMAGE023
、
Figure 849449DEST_PATH_IMAGE024
分别为相应阈值，则认为该点为边缘点；b）对于有序点云,即深度图，利用Canny算法（Canny J. A computational approach to edge detection[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1986 (6): 679-698.）提取边缘点集。
所述的为点集拟合平面
Figure 107572DEST_PATH_IMAGE015
的方法为：计算点集的均值，得到平面
Figure 444061DEST_PATH_IMAGE015
的中心
Figure 138348DEST_PATH_IMAGE025
；计算
Figure 993171DEST_PATH_IMAGE026
的特征向量，其最小特征值对应的特征向量即为平面
Figure 772909DEST_PATH_IMAGE015
的法向量
Figure 168118DEST_PATH_IMAGE027
；平面
Figure 670906DEST_PATH_IMAGE015
的中心
Figure 493368DEST_PATH_IMAGE025
和法向量即表示了一个经过中心
Figure 896985DEST_PATH_IMAGE025
、法向量为
Figure 565863DEST_PATH_IMAGE027
的平面。
所述的拟合二元二次函数
Figure 746178DEST_PATH_IMAGE016
并得到Hessian矩阵的方法为：对于点集
Figure 175202DEST_PATH_IMAGE014
中每一点
Figure 698587DEST_PATH_IMAGE028
，假定
Figure 754530DEST_PATH_IMAGE026
另两个特征值对应的特征向量分别为
Figure 996156DEST_PATH_IMAGE029
和
Figure 271279DEST_PATH_IMAGE030
，计算一个以
Figure 101701DEST_PATH_IMAGE031
、
Figure 436867DEST_PATH_IMAGE032
为自变量，
Figure 103472DEST_PATH_IMAGE033
为值的键值对， 
Figure DEST_PATH_IMAGE053
最终形成一组
Figure 182287DEST_PATH_IMAGE036
向
Figure 368679DEST_PATH_IMAGE033
的键值映射,并利用最小二乘法求取Hessian矩阵
Figure 140326DEST_PATH_IMAGE017
，
Figure 911153DEST_PATH_IMAGE016
表示为
Figure 263637DEST_PATH_IMAGE038
。
所述的步骤3）中三维边缘点集的概率分布
Figure 393136DEST_PATH_IMAGE003
为：
Figure 831071DEST_PATH_IMAGE040
其中
Figure 189371DEST_PATH_IMAGE014
代表高斯分布，为点
Figure 775390DEST_PATH_IMAGE028
不确定性协方差矩阵，取决于传感器性能参数和误差模型（Bae K H, Belton D, Lichti D. A framework for position uncertainty of unorganised three-dimensional point clouds from near-monostatic laser scanners using covariance analysis[C]//Proceedings of the ISPRS Workshop" Laser scanning. 2005.）。
所述的步骤4）中提取相机图像边缘轮廓的方法为Canny算法（Canny J. A computational approach to edge detection[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1986 (6): 679-698.）。
所述的步骤5）中二维边缘像素的概率分布
Figure 400755DEST_PATH_IMAGE005
为：
Figure 625063DEST_PATH_IMAGE054
Figure 624243DEST_PATH_IMAGE044
为像素不确定性协方差矩阵，取决于传感器性能参数和误差模型（De Santo M, Liguori C, Pietrosanto A. Uncertainty characterization in image-based measurements: a preliminary discussion[J]. Instrumentation and Measurement, IEEE Transactions on, 2000, 49(5): 1101-1107.）。
所述的步骤6）中将三维边缘点集
Figure 508071DEST_PATH_IMAGE002
投影到相机坐标系下方法为：对于三维边缘点集
Figure 536070DEST_PATH_IMAGE002
中的一点
Figure 717653DEST_PATH_IMAGE028
，其对应的相机成像平面内的投影点
Figure 845009DEST_PATH_IMAGE046
为
Figure 744832DEST_PATH_IMAGE047
，
其中
Figure 999358DEST_PATH_IMAGE006
和
Figure 301026DEST_PATH_IMAGE007
分别为旋转矩阵和平移矩阵。
所述的步骤7）中的根据三维边缘点集
Figure 661600DEST_PATH_IMAGE002
的概率分布
Figure 986402DEST_PATH_IMAGE003
和投影关系确定二维边缘点集
Figure 356204DEST_PATH_IMAGE008
概率分布
Figure 433750DEST_PATH_IMAGE009
的方法为：
Figure DEST_PATH_IMAGE055
其中
Figure 230805DEST_PATH_IMAGE050
 。
所述的步骤8）中的概率分布二维边缘点集
Figure 777324DEST_PATH_IMAGE008
概率分布
Figure 950816DEST_PATH_IMAGE009
和二维边缘像素的概率分布之间的对称KL距离
Figure 617869DEST_PATH_IMAGE010
的计算方法为：
Figure 714001DEST_PATH_IMAGE056
最小化此对称KL距离，即可得到位姿变换矩阵
Figure 363288DEST_PATH_IMAGE011
。

Claims (10)

1.一种基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于它的步骤如下：
1）通过激光测距仪获取周围环境的三维点云，同时通过相机采集该环境的图像；
2）提取激光测距仪采集到的点云的边缘轮廓，得到代表三维边缘的三维点集                                                
Figure 62240DEST_PATH_IMAGE001
；
3）根据激光测距仪的性能参数和误差模型，确定三维边缘点集的概率分布
Figure 902020DEST_PATH_IMAGE002
；
4）提取相机图像的边缘轮廓，得到代表二维边缘的像素集合；
5）根据相机的性能参数和误差模型，确定二维边缘像素的概率分布；
6）以一组包括旋转矩阵和平移矩阵
Figure 864323DEST_PATH_IMAGE006
的坐标转换矩阵来表示激光测距仪与相机的相对位姿，将三维边缘点集
Figure 515884DEST_PATH_IMAGE001
投影到相机坐标系下，得到二维边缘点集
Figure 623517DEST_PATH_IMAGE007
；
7）根据三维边缘点集的概率分布
Figure 18727DEST_PATH_IMAGE002
和投影关系确定二维边缘点集
Figure 567520DEST_PATH_IMAGE007
概率分布
Figure 717878DEST_PATH_IMAGE008
；
8）计算两个概率分布三维边缘点集的概率分布和二维边缘点集
Figure 980549DEST_PATH_IMAGE007
概率分布
Figure 649428DEST_PATH_IMAGE008
之间的对称KL距离
Figure 472153DEST_PATH_IMAGE009
，以、
Figure 963494DEST_PATH_IMAGE006
为参数，以最小化对称KL距离
Figure 549196DEST_PATH_IMAGE009
为最优化目标，求得最优的激光测距仪与相机相对位姿转换矩阵
Figure 713461DEST_PATH_IMAGE010
。
2.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于所述的步骤2）为：a）对于无序点云，搜索每个点周围半径小于
Figure 17404DEST_PATH_IMAGE011
范围内的数量不超过
Figure 558106DEST_PATH_IMAGE012
的所有最近邻点，得到点集，为拟合平面
Figure 62403DEST_PATH_IMAGE014
，以点集
Figure 970578DEST_PATH_IMAGE013
在平面
Figure 468556DEST_PATH_IMAGE014
内的投影点位置为自变量，点集
Figure 36940DEST_PATH_IMAGE013
到平面
Figure 253158DEST_PATH_IMAGE014
的距离为函数值，拟合二元二次函数
Figure 135664DEST_PATH_IMAGE015
，得到Hessian矩阵，计算Hessian矩阵
Figure 227433DEST_PATH_IMAGE016
的特征值
Figure 727685DEST_PATH_IMAGE017
和
Figure 413881DEST_PATH_IMAGE018
，假定，若
Figure 298103DEST_PATH_IMAGE020
且，
Figure 509958DEST_PATH_IMAGE022
、
Figure 837034DEST_PATH_IMAGE023
分别为相应阈值，则认为该点为边缘点；b）对于有序点云,即深度图，利用Canny算法提取边缘点集。
3.根据权利要求2所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的为点集
Figure 183702DEST_PATH_IMAGE013
拟合平面
Figure 330650DEST_PATH_IMAGE014
的方法为：计算点集
Figure 358649DEST_PATH_IMAGE013
的均值，得到平面
Figure 602548DEST_PATH_IMAGE014
的中心
Figure 57800DEST_PATH_IMAGE024
；计算
Figure 521405DEST_PATH_IMAGE025
的特征向量，其最小特征值对应的特征向量即为平面的法向量
Figure 123604DEST_PATH_IMAGE027
；平面
Figure 812075DEST_PATH_IMAGE014
的中心
Figure 933615DEST_PATH_IMAGE024
和法向量
Figure 365733DEST_PATH_IMAGE027
即表示了一个经过中心
Figure 521908DEST_PATH_IMAGE024
、法向量为
Figure 318962DEST_PATH_IMAGE027
的平面。
4.根据权利要求2所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的拟合二元二次函数
Figure 990115DEST_PATH_IMAGE015
并得到Hessian矩阵
Figure 898028DEST_PATH_IMAGE016
的方法为：对于点集
Figure 472491DEST_PATH_IMAGE013
中每一点
Figure 440447DEST_PATH_IMAGE028
，假定
Figure 598896DEST_PATH_IMAGE025
另两个特征值对应的特征向量分别为
Figure 310500DEST_PATH_IMAGE029
和
Figure 503584DEST_PATH_IMAGE030
，计算一个以
Figure 642442DEST_PATH_IMAGE031
、
Figure 960290DEST_PATH_IMAGE032
为自变量，
Figure DEST_PATH_IMAGE033
为值的键值对， 
Figure 537902DEST_PATH_IMAGE034
最终形成一组
Figure 86958DEST_PATH_IMAGE035
向
Figure 396716DEST_PATH_IMAGE033
的键值映射,并利用最小二乘法求取Hessian矩阵
Figure 201861DEST_PATH_IMAGE016
，
Figure 157365DEST_PATH_IMAGE015
表示为
Figure 700342DEST_PATH_IMAGE037
。
5.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤3）中三维边缘点集的概率分布为：
Figure 912197DEST_PATH_IMAGE038
其中
Figure 872063DEST_PATH_IMAGE013
代表高斯分布，
Figure 523624DEST_PATH_IMAGE039
为点
Figure 867143DEST_PATH_IMAGE028
不确定性协方差矩阵，取决于传感器性能参数和误差模型。
6.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤4）中提取相机图像边缘轮廓的方法为Canny算法。
7.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤5）中二维边缘像素的概率分布为：
Figure 139041DEST_PATH_IMAGE040
Figure DEST_PATH_IMAGE041
为像素
Figure 961504DEST_PATH_IMAGE042
不确定性协方差矩阵，取决于传感器性能参数和误差模型。
8.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤6）中将三维边缘点集
Figure 290854DEST_PATH_IMAGE001
投影到相机坐标系下方法为：对于三维边缘点集
Figure 489754DEST_PATH_IMAGE001
中的一点
Figure 220950DEST_PATH_IMAGE028
，其对应的相机成像平面内的投影点
Figure 766377DEST_PATH_IMAGE043
为
Figure 520706DEST_PATH_IMAGE044
，
其中
Figure 585614DEST_PATH_IMAGE005
和
Figure 108999DEST_PATH_IMAGE006
分别为旋转矩阵和平移矩阵。
9.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤7）中的根据三维边缘点集的概率分布
Figure 577207DEST_PATH_IMAGE002
和投影关系确定二维边缘点集
Figure 117909DEST_PATH_IMAGE007
概率分布
Figure 558118DEST_PATH_IMAGE008
的方法为：
Figure 158864DEST_PATH_IMAGE045
其中
Figure 185988DEST_PATH_IMAGE046
 。
10.根据权利要求1所述的基于边缘匹配的激光测距仪与相机相对位姿标定方法，其特征在于，所述的步骤8）中的概率分布二维边缘点集
Figure 530381DEST_PATH_IMAGE007
概率分布
Figure 762780DEST_PATH_IMAGE008
和二维边缘像素的概率分布
Figure 596743DEST_PATH_IMAGE004
之间的对称KL距离的计算方法为：
Figure DEST_PATH_IMAGE047
最小化此对称KL距离，即可得到位姿变换矩阵
Figure 492204DEST_PATH_IMAGE010
。
CN201310742582.6A 2013-12-30 2013-12-30 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 Active CN103727930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310742582.6A CN103727930B (zh) 2013-12-30 2013-12-30 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310742582.6A CN103727930B (zh) 2013-12-30 2013-12-30 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法

Publications (2)

Publication Number Publication Date
CN103727930A true CN103727930A (zh) 2014-04-16
CN103727930B CN103727930B (zh) 2016-03-23

Family

ID=50452110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310742582.6A Active CN103727930B (zh) 2013-12-30 2013-12-30 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法

Country Status (1)

Country Link
CN (1) CN103727930B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111071A (zh) * 2014-07-10 2014-10-22 上海宇航系统工程研究所 基于激光测距与摄像机视觉融合的高精度位姿解算方法
CN104484887A (zh) * 2015-01-19 2015-04-01 河北工业大学 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN106023198A (zh) * 2016-05-16 2016-10-12 天津工业大学 基于Hessian矩阵的人体胸腹腔CT图像主动脉夹层提取方法
CN106530345A (zh) * 2016-11-07 2017-03-22 江西理工大学 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN106931879A (zh) * 2017-01-23 2017-07-07 成都通甲优博科技有限责任公司 一种双目误差测量方法、装置及系统
CN107607095A (zh) * 2017-09-22 2018-01-19 义乌敦仁智能科技有限公司 一种基于视觉和激光的房屋测量方法
WO2018195999A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN109782811A (zh) * 2019-02-02 2019-05-21 绥化学院 一种无人模型车的自动跟随控制系统及方法
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110414558A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的特征点匹配方法
CN111912346A (zh) * 2020-06-30 2020-11-10 成都飞机工业（集团）有限责任公司 一种适用于飞机表面机器人钻铆系统的窝孔在线检测方法
CN112325767A (zh) * 2020-10-16 2021-02-05 华中科技大学鄂州工业技术研究院 一种融合机器视觉和飞行时间测量的空间平面尺寸测量方法
CN113465536A (zh) * 2021-06-30 2021-10-01 皖江工学院 基于摄像头引导的激光云台及其工作方法
CN113587829A (zh) * 2021-09-03 2021-11-02 凌云光技术股份有限公司 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质
CN114820772A (zh) * 2019-07-15 2022-07-29 牧今科技 基于图像数据的物体检测的系统及方法
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
EP2573584A1 (en) * 2011-09-26 2013-03-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050237385A1 (en) * 2003-05-29 2005-10-27 Olympus Corporation Stereo camera supporting apparatus, stereo camera supporting method, calibration detection apparatus, calibration correction apparatus, and stereo camera system
EP2573584A1 (en) * 2011-09-26 2013-03-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MASTIN，A. ET AL.: "Automatic registration of LIDAR and optical images of urban scens", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
YUE WANG，RONG XIONG，ET AL.: "Kullback-Leibler Divergence based Graph Pruning in Robotic Feature Mapping", 《MOBILE ROBOTS（ECMR）》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111071B (zh) * 2014-07-10 2017-01-18 上海宇航系统工程研究所 基于激光测距与摄像机视觉融合的高精度位姿解算方法
CN104111071A (zh) * 2014-07-10 2014-10-22 上海宇航系统工程研究所 基于激光测距与摄像机视觉融合的高精度位姿解算方法
CN104484887B (zh) * 2015-01-19 2017-07-07 河北工业大学 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN104484887A (zh) * 2015-01-19 2015-04-01 河北工业大学 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN106023198A (zh) * 2016-05-16 2016-10-12 天津工业大学 基于Hessian矩阵的人体胸腹腔CT图像主动脉夹层提取方法
CN106530345A (zh) * 2016-11-07 2017-03-22 江西理工大学 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN106530345B (zh) * 2016-11-07 2018-12-25 江西理工大学 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN106931879A (zh) * 2017-01-23 2017-07-07 成都通甲优博科技有限责任公司 一种双目误差测量方法、装置及系统
CN106931879B (zh) * 2017-01-23 2020-01-21 成都通甲优博科技有限责任公司 一种双目误差测量方法、装置及系统
WO2018195999A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
US10884110B2 (en) 2017-04-28 2021-01-05 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
US10436884B2 (en) 2017-04-28 2019-10-08 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
CN107607095A (zh) * 2017-09-22 2018-01-19 义乌敦仁智能科技有限公司 一种基于视觉和激光的房屋测量方法
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
US11372101B2 (en) 2018-09-07 2022-06-28 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for determining relative pose, device and medium
CN109059902B (zh) * 2018-09-07 2021-05-28 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN109782811B (zh) * 2019-02-02 2021-10-08 绥化学院 一种无人模型车的自动跟随控制系统及方法
CN109782811A (zh) * 2019-02-02 2019-05-21 绥化学院 一种无人模型车的自动跟随控制系统及方法
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
CN110414558A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的特征点匹配方法
CN114820772A (zh) * 2019-07-15 2022-07-29 牧今科技 基于图像数据的物体检测的系统及方法
CN111912346A (zh) * 2020-06-30 2020-11-10 成都飞机工业（集团）有限责任公司 一种适用于飞机表面机器人钻铆系统的窝孔在线检测方法
CN112325767A (zh) * 2020-10-16 2021-02-05 华中科技大学鄂州工业技术研究院 一种融合机器视觉和飞行时间测量的空间平面尺寸测量方法
CN112325767B (zh) * 2020-10-16 2022-07-26 华中科技大学鄂州工业技术研究院 一种融合机器视觉和飞行时间测量的空间平面尺寸测量方法
CN113465536A (zh) * 2021-06-30 2021-10-01 皖江工学院 基于摄像头引导的激光云台及其工作方法
CN113587829A (zh) * 2021-09-03 2021-11-02 凌云光技术股份有限公司 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质
CN113587829B (zh) * 2021-09-03 2023-08-01 凌云光技术股份有限公司 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法

Also Published As

Publication number Publication date
CN103727930B (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN108107444B (zh) 基于激光数据的变电站异物识别方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN104748683B (zh) 一种数控机床工件在线自动测量装置及测量方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN103606170B (zh) 基于彩色尺度不变的街景影像特征检测与匹配方法
Cheng et al. Building boundary extraction from high resolution imagery and lidar data
CN108416385A (zh) 一种基于改进图像匹配策略的同步定位与建图方法
CN111126116A (zh) 无人船河道垃圾识别方法及系统
Yuan et al. Combining maps and street level images for building height and facade estimation
CN103136525A (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN109035207A (zh) 密度自适应的激光点云特征检测方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN103854290A (zh) 一种结合骨架特征点和分布场描述子的扩展目标跟踪方法
CN106886988A (zh) 一种基于无人机遥感的线性目标检测方法及系统
Gilani et al. Robust building roof segmentation using airborne point cloud data
Zheng et al. LiDAR point cloud registration based on improved ICP method and SIFT feature
Wang Automatic extraction of building outline from high resolution aerial imagery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180724

Address after: 310052 208, room 6, 1197 Binan Road, Binjiang District, Hangzhou, Zhejiang.

Patentee after: HANGZHOU IPLUS TECH CO.,LTD.

Address before: 310027 No. 38, Zhejiang Road, Hangzhou, Zhejiang, Xihu District

Patentee before: Zhejiang University

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for calibrating the relative pose between a laser rangefinder and a camera based on edge matching

Granted publication date: 20160323

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: HANGZHOU IPLUS TECH CO.,LTD.

Registration number: Y2024330002319

PE01 Entry into force of the registration of the contract for pledge of patent right