CN107464263A - 汽车标定系统及其标定方法 - Google Patents
汽车标定系统及其标定方法 Download PDFInfo
- Publication number
- CN107464263A CN107464263A CN201610386913.0A CN201610386913A CN107464263A CN 107464263 A CN107464263 A CN 107464263A CN 201610386913 A CN201610386913 A CN 201610386913A CN 107464263 A CN107464263 A CN 107464263A
- Authority
- CN
- China
- Prior art keywords
- module
- automobile
- demarcation
- calibration system
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims description 39
- 230000003993 interaction Effects 0.000 claims description 21
- 241000208340 Araliaceae Species 0.000 claims description 15
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 15
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 15
- 235000008434 ginseng Nutrition 0.000 claims description 15
- 241000894007 species Species 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004540 process dynamic Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000465 moulding Methods 0.000 claims 1
- 230000003068 static effect Effects 0.000 description 8
- 238000009434 installation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010068052 Mosaicism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一汽车标定系统,包括至少一信息采集模块、至少一标定物处理模块和至少一标定结果判定模块,其中所述信息采集模块通过控制多个摄像头在各个时刻拍摄图像采集信息,所述标定物处理模块将所述信息采集模块采集的信息中提取并对参数进行处理,所述标定结果判定模块将所述标定物处理模块中的参数处理结果的数据进行匹配,判断标定结果是否符合要求,当所述标定结果判定模块的判定结果为符合时,所述汽车标定系统的标定过程即结束。
Description
技术领域
本发明涉及一标定系统,尤其涉及一汽车标定系统及其标定方法,能够对汽车标定系统中摄像头的参数进行自动标定。
背景技术
汽车已经成为现代社会中不可缺少的代步工具。人们对汽车的体验感的要求也日益增多。另外,人们对于汽车安全性的要求也越来越高。其中,为了保证汽车使用过程的安全以及增强良好的人机互动体验感,汽车上被安装摄像头,并给人们提供汽车周边的各种行驶状况。最初简单的保证汽车倒车安全的汽车系统以及单个摄像头已经远远不能满足人们的需求。为了提供更全面的汽车行驶环境信息,多个摄像头被安装于汽车上。例如,在一辆汽车的前后左右四个方向上设置四个摄像头,每一时刻各个摄像头会同步拍摄到四幅原始图,系统将这些原始图进行拼接之后形成俯视图,人们可以通过传回的俯视图中看到汽车行驶的状况。这是提供了一种二维的效果。现有技术中这些图像信息也可以制作成三维的效果,人们通过人机交互屏幕任意放大缩小图像,例如可以从空中任何一个角度看等获取更全面的信息,从而能够时刻了解到汽车行驶中的各种情况并及时进行处理。
每个摄像头在安装或者生产的时候都会有各种各样的误差。而摄像头的参数可以被分为内参和外参。内参例如光线进入镜头之后需要折射到感光芯片上,这里就涉及到镜头的光心和感光芯片的光心的偏差,参数包括垂直性或者偏角等,这些可以通过机械参数处理。例如镜头在x轴和y轴的焦距,因为感光芯片每个像素的像源尺寸会有不同,所以针对这两个方向上的焦距也会有不一样。还有就是光轴的位置不一定在正中心。可以理解的是,偏差越小越好。如果镜头的质量能够保证的话,内参的误差也会小。因此垂直性和光心都会影响之后图像的拼接矫正。摄像头的外参是指每个摄像头相对于X轴Y轴Z轴三个方向的车辆坐标系来说的。例如坐标位置,摄像头旋转角度等。假如摄像头的制作质量好,那么内参的误差都较小,能保证各摄像头的一致性。
从外参上来说,想要获得良好的效果,就要对摄像头进行标定,而标定的过程是处理各摄像头的内参和外参的过程。换句话说,标定就是处理汽车周边多台摄像机的精确的空间位置和角度。而标定过程中的误差主要来源于两个方面。一是摄像头误差和,例如摄像头内参的一致性,包括鱼眼的纠偏参数,光学中心位置和焦距等。二是安装误差,主要在于量产摄像头的时候,虽然摄像头安装有个标准的位置,但是实际安装的时候都有一个误差存在。为了保证成像的重量,就要经过标定的工序。目前大部分车场采用2D的平面的标定,例如使用棋盘格,三角形,原点,平行线等标定物。如图1所示的现有技术中的标定,汽车91P被停在一个专门的标定车间W的一个固定的位置,这种标定车间的地面有确定好的提前预置的精确的各种点,线组成的标定物81P。这种方式可以实现整个标定过程,但是由于不同型号的汽车所使用的标定车间也不同,这样要准备各种类型的标定车间,直接增加了成本和浪费了空间。标定工序也很复杂,且需要频繁维护,否则会影响标定的准确程度。此外,这种2D平面标定的方法有很多要求,例如光照环境不能过于复杂,要避免地面有过多的反光等。
为了解决2D标定方法的问题,现有技术中还提出了一种3D标定方案,即平面上的标定参照物变为立体的参照物。如图2中显示了现有技术的一种3D标定。将汽车92P停在标定车间的一个固定位置,在汽车92P的周围放置预置的立体标定物82P。这种方式解决了2D标定方案中的很多问题。但是,这种3D立体标定方案也阻碍了在更多车场的应用,因为需要预定好的标定车间来调整各种立体参照物。此外,标定过程还需要大量的人力和时间,例如在汽车制造厂,对于一辆汽车的标定就需要三个工人15分钟。而在汽车4S店来说,更是很大的人力和时间成本。所以市场上就需要一种更加便利的标定手段。
发明内容
本发明的目的在于提供一汽车标定系统及其标定方法,自动地实现汽车系统中对各摄像头的标定。
本发明的另一目的在于提供一汽车标定系统及其标定方法,可以适用于静态标定,也可以适用于动态标定。
本发明的另一目的在于提供一汽车标定系统及其标定方法,不需要标定场地和预置的标定物,节省了空间,并简化了标定工序。
本发明的另一目的在于提供一汽车标定系统及其标定方法,不需要培训特定的标定人员,降低了成本。
本发明的另一目的在于提供一汽车标定系统及其标定方法,不需要经常维护标定场地和标定参考物等设施,灵活标定。
本发明的另一目的在于提供一汽车标定系统及其标定方法,只需要安装摄像头,在道路上短暂时间内,系统就可以自动标定。
本发明的另一目的在于提供一汽车标定系统及其标定方法,还适合于不同负载,不同胎压带来的环视画面偏差的情况,例如即使不同体重的人坐在车里造成胎压不同的情况下也快速精确地实现标定。
本发明的另一目的在于提供一汽车标定系统及其标定方法,提供良好的人机交互系统,增强体验感和提高标定效率。
为了实现上述目的,本发明提供一汽车标定系统,至少一信息采集模块、至少一标定物处理模块和至少一标定结果判定模块,其中所述信息采集模块通过控制多个摄像头在各个时刻拍摄图像采集信息,所述标定物处理模块将所述信息采集模块采集的信息中提取并对参数进行处理,所述标定结果判定模块将所述标定物处理模块中的参数处理结果的数据进行匹配,判断标定结果是否符合要求,当所述标定结果判定模块的判定结果为符合时,所述汽车标定系统的标定过程即结束。
在一实施例中,所述信息采集模块包括至少一图像拍摄控制模块和至少一信息存储模块,所述图像拍摄控制模块控制各车载摄像头同步不间断地拍摄汽车周围的图像,所述信息存储模块将拍摄到的图像信息存储起来。
在一实施例中,所述标定物处理模块还包括至少一特征提取模块、至少一初始参数赋值模块、至少一参数处理模块和至少一非平面特征剔除模块,所述特征提取模块提取标定物的特征信息,所述参数处理模块使用处理法对内参和外参进行处理,所述非平面特征剔除模块将不符合标定要求的标定物剔除。
在一实施例中,所述初始参数赋值模块还包括至少一初始内参赋值模块和至少一初始外参赋值模块,用于分别赋值初始内参和初始外参。
在一实施例中,所述非平面特征剔除模块还包括至少一IPM识别模块和至少一SOD识别模块。
在一实施例中,所述IPM识别模块采用的是IPM剔除方法,所述SOD识别模块采用的是静态障碍物识别方法,从而把非平面的特征剔除。
在一实施例中,所述标定结果判定模块包括至少一特征点距离处理模块、至少一特征线段评估模块、至少一加权处理模块和至少一数据匹配模块,其中,所述特征点距离处理模块处理共同区域内的特征点的欧几里得距离,所述特征线段评估模块进行特征线段的共线度和平行度的评估,所述加权处理模块将所述特征点距离处理模块和所述特征线段评估模块中的数据进行加权平均,所述数据匹配模块将各参数处理之后的数据进行匹配分析。
在一实施例中,所述汽车标定系统还包括一校正模块,当所述标定结果判定模块的判定结果不符合要求时,所述校正模块及时进行校正,所述校正模块进一步包括至少一摄像头同步校正模块、至少一共同区域校正模块和至少一噪音滤波校正模块。
在一实施例中,所述摄像头同步校正模块还包括至少一硬件同步模块、至少一软件同步模块和至少一软件补偿模块。
在一实施例中,所述硬件同步模块中可以采用主从模式或者外触发模式对各摄像头进行同步性校正。
在一实施例中,所述硬件同步模块还包括至少一主从同步控制模块和至少一外触发同步控制模块。
在一实施例中,所述共同区域校正模块在重叠区域进行调整和补偿匹配,所述共同区域校正模块包括至少一重叠区域调整模块、至少一重叠区域补偿模块和至少一奇偶场模拟模块。
在一实施例中,所述奇偶场模拟模块中仅使用奇场或仅使用偶场。
在一实施例中,所述汽车标定系统还包括至少一人机交互模块,所述人机交互模块提供良好的人机交互模式,从而促进整个标定过程的顺利进行,所述人机交互模块还包括至少一标定方法信息显示模块、至少一信息输入模块、至少一标定物种类判断模块、至少一调整信息输出模块和至少一标定过程动态显示模块。
在一实施例中,所述信息输入模块还包括至少一标定物种类输入模块、至少一标定地点输入模块和至少一手工标定参数输入模块。
在一实施例中,所述调整信息输出模块还包括至少一标定物更换提示模块、至少一高噪音环境提示模块、至少一负载调整提示模块和至少一手工标定提示模块。
在一实施例中,所述汽车标定系统还包括至少一标定物提供装置,为所述汽车标定系统提供方便且符合标定要求的标定物。
在一实施例中,所述标定物提供装置是安装于车身的激光发射装置。
在一实施例中,所述标定物提供装置是投影仪。
在一实施例中,本发明还提供一汽车标定系统,包括:
至少一信息采集模块、至少一标定物处理模块、至少一标定结果判定模块、至少一校正模块和至少一人机交互模块,其中所述信息采集模块通过控制多个摄像头在各个时刻拍摄图像获取图像信息,所述标定物处理模块将所述信息采集模块采集的信息中提取并对参数进行处理,所述标定结果判定模块将所述标定物处理模块中的数据进行匹配,判断标定结果是否符合要求,当所述标定结果判定模块的判定结果为符合时,所述汽车标定系统的标定过程即结束,当所述标定结果判定模块的判定结果不符合要求时,所述校正模块及时进行校正,所述人机交互模块提供良好的人机交互模式。
根据另一方面,本发明还提供一汽车标定方法,所述汽车标定方法包括以下步骤:
(A)采集图像信息;
(B)读取摄像头参数初始赋值;
(C)处理摄像头参数;
(D)判断标定结果是否符合标准;以及
(E)校正图像;
其中,如果所述步骤(D)的判定结果为符合标准,则所述汽车标定方法的标定步骤结束,如果所述步骤(D)的判定结果为不符合标准,则循环执行所述步骤(E)至步骤(C),直至所述步骤(D)的判定结果为符合标准。
在一实施例中,所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征点,再处理特征线,再处理特征块的匹配。
在一实施例中,所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征块,再处理特征线,再处理特征点。
在一实施例中,所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为同时处理特征点、特征线和特征块。
在一实施例中,所述步骤(E)还包括步骤(E1):校正摄像头的外参。
在一实施例中,所述步骤(E)还包括步骤(E2):软件校正映射图像数据。
附图说明
图1是现有技术中对汽车进行2D标定的示意图。
图2是现有技术中对汽车进行3D标定的示意图。
图3是根据本发明的一优选实施例的一汽车标定系统的流程图。
图4是根据本发明的上述优选实施例的所述汽车标定系统的示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
如图3至图4所示为本发明的一汽车标定系统的一优选实施例。通过简单、快速和准确的标定,驾驶人能够通过汽车中的人机交互界面及时迅速地获取实时且精确的汽车行驶中的各种情况,从而进行及时的应对和调整。
值得一提的是,本发明的所述汽车标定系统可以适用于静态标定,也可以适用于动态标定。换句话说,在标定过程中,汽车可以处于静止状态,也可以处于行驶的运动状态。在这两种情况下,所述汽车标定系统都能够快速精确地实现标定。
值得一提的是,本发明的所述汽车标定系统也可以适用于车载环视系统的标定。
在本发明的这个优选实施例中,所述汽车标定系统包括一信息采集模块10、一标定物处理模块20、一标定结果判定模块30、一校正模块40、一人机交互模块50以及一标定物提供装置60。所述信息采集模块10能够控制多个摄像头在各个时刻拍摄图像信息并及时存储起来。所述标定物处理模块20能够将所述信息采集模块10采集的信息中,将符合标定要求的标定物的特征信息进行提取,并将各摄像头的参数进行处理。所述标定结果判定模块30将所述标定物处理模块20中的数据进行匹配,判断标定结果是否符合要求。当所述标定结果判定模块30的判定结果为符合时,所述汽车标定系统的标定过程即结束,但是当所述标定结果判定模块30的判定结果不符合要求时,所述校正模块40能够及时进行校正。所述人机交互模块50能够提供良好的人机交互模式,从而促进整个标定过程的顺利进行,并且能够提高用户的体验感。所述标定物提供装置60能够为所述汽车标定系统提供方便且符合标定要求的标定物,适合于汽车周边的标定物较少或者不符合标定要求的情况。
可以理解的是,本发明中所使用的“标定物”并不仅仅指物理上存在的物体,也包括其他标识,例如光线形成的光斑等,只要能够作为本发明中需要使用的提取信息用于标定的即可,本发明并不受此限制。
具体地,所述信息采集模块10包括一图像拍摄控制模块11和一信息存储模块12。所述图像拍摄控制模块11能够控制各车载摄像头同步不间断地拍摄汽车周围的图像,所述信息存储模块12将拍摄到的图像信息存储起来。以汽车上安装四个摄像头拍摄图像进行拼合矫正为例。每个摄像头采用广角摄像头。优选地,每个摄像头的拍摄角度都是185度左右。这样四个摄像头就可以无死角地拍摄到汽车的各个角度。
进一步地,所述标定物处理模块20还包括一特征提取模块21、一初始参数赋值模块22、一参数处理模块23和一非平面特征剔除模块24。所述特征提取模块21能够提取标定物的特征信息,例如特征点、特征线或者特征块。所述初始参数赋值模块22中包括初始内参和初始外参的赋值。其中初始内参可以是由摄像模组厂家提供的内参和公差,还可以是汽车制造厂提供的装配摄像头时的装配图中获得的装配参数及公差。这些作为系统可以自动生成参数的初始值。值得一提的是,如果涉及到多个摄像头的部分和全部更换的情况时,可以根据不同的情况把这些初始值展开转换。因此,所述初始参数赋值模块22还包括一初始内参赋值模块221和一初始外参赋值模块222,用于分别赋值初始内参和初始外参。所述参数处理模块23能够使用多种处理法对内参和外参进行处理。例如当同时存在特征点,特征线和特征块时,可以先处理特征点,再处理特征线,再处理特征块的匹配;或者先处理特征块,再处理特征线,再处理特征点;或者同时处理特征点、特征线和特征块,或者根据各摄像头的安装位置的顺序进行处理,本发明并不受此限制。
值得一提的是,所述标定物处理模块20的所述非平面特征剔除模块24能够将不符合标定要求的标定物剔除。例如路桩和路沿等立体的参照标定物。因为在本发明的这个优选实施例中,主要是考虑平面的标定物作为基本的参数。具体地,所述标定物处理模块20的所述非平面特征剔除模块24还包括一IPM识别模块241和一SOD识别模块242。其中所述IPM识别模块241采用的是IPM(inverse projection mapping)剔除方法,类似俯视图的概念。如果是高于地面的立体物体在俯视图上是发散的。如果所述汽车标定系统的所述非平面特征剔除模块24识别出是这样的特征点,就要剔除掉。而如果是符合标定要求的平面标定物,则会呈现为平的非发散的。其中所述SOD识别模块242采用的是静态障碍物识别方法,从而把非平面的特征剔除。本领域的技术人员可以理解的是,在所述非平面特征剔除模块24中包括有可以实现多种剔除方法的子模块,以上两种仅仅作为举例,本发明并不受此限制。
可以理解的是,在标定过程中,每个摄像头和另外的摄像头都有共同区域。例如,如果标定好之后,路面上的物体被多个摄像头拍摄的图像在共同区域反映出来应该是重合在一起的。因此要同时调整多个摄像头,使其各自拍摄的同一物体的图像经过变换调整之后在共同区域是重合在一起。
值得一提的是,本发明中使用的摄像头可以是单摄摄像头,也可以是双摄摄像头,本发明并不受此限制。
值得一提的是,确定好标定结果的评价手段是标定过程中最关键的问题,也是最基础的问题。因此,进一步地,所述标定结果判定模块30包括一特征点距离处理模块31、一特征线段评估模块32、一加权处理模块33和一数据匹配模块34。其中,所述特征点距离处理模块31能够处理共同区域内的特征点的欧几里得距离。所述特征线段评估模块32能够进行特征线段的共线度和平行度的评估,而所述加权处理模块33能够进一步地将所述特征点距离处理模块31和所述特征线段评估模块32两个模块中的数据进行加权平均,从而进一步确保评估结果的可靠度。所述数据匹配模块34将各参数处理之后的数据进行匹配分析。
本领域的技术人员可以理解的是,本发明中的特征点是映射到映射空间里的像点,例如俯视图的点,从而保证原像点和映射点的一致性,保证标定之后显示的图像和实物的一致性。而特征点的匹配实质是标定过程中将参数处理之后数据之间的匹配。
由于在所述汽车标定系统的标定过程中环境的多变性和复杂性。当所述标定结果判定模块30中判定标定不符合要求时,所述校正模块40能够根据不同的情况进行及时的调整和校正。因此,所述校正模块40进一步包括一摄像头同步校正模块41、一共同区域校正模块42和一噪音滤波校正模块43。
在标定过程中,会存在多个摄像头不同步的情况。例如会存在多个摄像头采集的时间不同步,例如曝光时间不同,采集时间不同等。还有各个摄像头的启动时间不一样,各摄像头内部晶振的鼓点也不一定一致,而内部电路的工作都是根据这种鼓点进行的。不同制作生产线出来的摄像头虽然有一定的标准,但是还是会有差别,即使同一制作生产线也是会有差别的。这种鼓点的错位还有本身各摄像头启动时间的不一致,会导致最后什么时候拍的图像也不确定。这时对于静态的标定是影响不大的,但是对于动态行驶过程中会导致最终的标定是产生很大影响的。为了解决前述问题,在本发明的这个优选实施例中,所述摄像头同步校正模块41能够及时对摄像头的同步性问题进行校正。由于校正方式不同,所述摄像头同步校正模块41还包括一硬件同步模块411、一软件同步模块412和一软件补偿模块413。其中所述硬件同步模块411中可以采用两种方式对各摄像头进行同步性校正。第一种是采用主从模式,也就是说,各摄像头中的一个作为主摄像头,其他作为从摄像头,利用主摄像头发出信号去驱使其他从摄像头实现完全同步。第二种方法是采用外触发模式去实现各摄像头的同步校正。因此所述硬件同步模块411还包括一主从同步控制模块4111和一外触发同步控制模块4112。所述软件补偿模块413能够利用提前对各摄像头的不同编号,采集各摄像头之间的错位数据,根据车速,转向角等来预测匹配。本领域的技术人员可以理解的是,对于各摄像头的同步校正,前述方法仅仅作为举例,本发明并不受此限制。
所述共同区域校正模块42能够在重叠区域进行调整和补偿匹配等。例如在重叠区域设置大小,宽窄,距离车的远近,从而节省标定时间。具体地,所述共同区域校正模块42包括一重叠区域调整模块421、一重叠区域补偿模块422和一奇偶场模拟模块423。其中,所述奇偶场模拟模块423中可以仅使用奇场或仅使用偶场,即使用单场模拟。
值得一提的是,所述汽车标定系统的所述校正模块40的所述共同区域校正模块42也可以在不改变各摄像头的情况下,从系统内部通过软件将发生偏移或者重叠的图像进行调整或者补偿,使映射空间中的像点和原像点具有一致性,从而使映射的图像例如用户从所述人机交互模块50中获取的可视图像与实际图像保持一致性。
由于汽车在行驶过程中是有振动的,因为行驶的路况不同,行驶方向的转变和行驶地面的颠簸程度等,可以定义为噪音,动态过程是始终存在的。对这些噪音的滤波是很重要的问题,参数在动态过程中会发生各种变化。因此,所述校正模块40的所述噪音滤波校正模块43能够及时将这些噪音进行滤波处理,使其不影响整个标定过程。
为了更好地实现所述汽车标定系统的人机交互体验感和更利于整个标定过程。所述人机交互模块50还包括一标定方法信息显示模块51、一信息输入模块52、一标定物种类判断模块53、一调整信息输出模块54和一标定过程动态显示模块55。
具体地,所述标定方法信息显示模块51能够在标定之前为用户提供便于标定所需的信息。例如告诉汽车4s店或者消费者详细的标定方法,例如更有利的标定场合,便于标定的标定物的条件信息等。例如在动态标定的情况下,可以将汽车正常行驶一段路程,所行驶路面尽量平坦,路面有线等特征点,特征点越多比较好等便利提示信息。
所述信息输入模块52还包括一标定物种类输入模块521、一标定地点输入模块522和一手工标定参数输入模块523。所述标定物种类输入模块521能够接收到用户输入的标定物种类的信息,从而能够迅速相应的标定方案,并所述汽车标定系统的其他模块进行配合实现自动快速标定的目的。所述标定地点输入模块522能够接收到用户输入的标定地点信息,通过标定地点的信息自动调整内部标定方法,实现快速准确的标定。所述手工标定参数输入模块523能够在车行数据不明的情况下接收用户输入的手工标定信息,从而进行自动快速的标定。
由于标定物的种类不同,虽然所述汽车标定系统能够实现自动快速的标定,但是对于标定物种类的迅速判断分类也能够有利于系统内部采用不同的标定方法或者处理法,从而进一步地实现自动标定。标定物的种类多样,例如几何图形的边缘,拐点,角点,色块等。另外所述汽车标定系统的所述标定物种类判断模块53能够优选出平行直线作为重要的特征线。例如白线。每个白线的左边缘和右边缘也是平行的。或者例如两个白线的平行。再例如可以是道路线的端点,路面的标示,人行道标示等其他可供使用的特征信息。这些都可以作为优选的标定物,并从中提取特征信息。所述标定物种类判断模块53包括一静态标定处理模块531和一动态标定处理模块532,用于判断静态或者动态情况,自动选择更有利的标定方法,自动实现标定。
进一步地,所述调整信息输出模块54能够提示用户及时调整标定环境,有利于整个标定过程更快速,精确。例如提示增加特征匹配的条件,例如线要有持续性,点有对称性等。因此,所述调整信息输出模块54还包括一标定物更换提示模块541、一高噪音环境提示模块542、一负载调整提示模块543和一手工标定提示模块544。例如在车辆不断振动或者道路弯曲崎岖时,所述高噪音环境提示模块542提示用户在较平坦的道路上进行标定。例如在负载变化的时候,所述负载调整提示模块543提示用户注意负载的变化。除此以外,所述负载调整提示模块543不仅能够实现提示用户的功能,还能够自身在预定间隔时间自动作测试,不断评估,直到足够稳定。而在车行数据不明的情况下,所述手工标定提示模块544能够提醒用户及时进行手工标定,使用手工标定作为初始数据,之后输入到所述汽车标定系统中转成可以使用的车行数据。
所述标定过程动态显示模块55能够使用户实时看到标定进展的程度,例如判断静态参照物是否足够等,更好地实现良好的人机交互。
本领域的技术人员可以理解的是,所述人机交互模块50并不仅仅局限于以上举例,还可以根据实际情况和更好的人机交互体验,增加其他可行的人机交互子模块。
值得一提的是,本发明的所述汽车标定系统在实际应用中,为了提高标定的速度和精度,优选地,可以使用高精度的摄像头以获得高一致性的内参。优选地,摄像头在汽车的安装位置适合前装,这样可以尽可能减少误差,也就是说,在汽车制造工序中,摄像头已经被安装在了汽车上。此外,在标定过程中,除了静态标定以外,还可以将汽车驾驶一段路程,从而使标定结果更精准。但是,本领域的技术人员可以理解的是,以上只是在实际应用中的使用举例,即使没有以上额外操作,本发明的所述汽车标定系统也能够快速自动标定。也就是说,本发明的所述汽车标定系统并不受以上举例的限制。
值得一提的是,所述汽车标定系统还包括一标定物提供装置60。为了满足人们对于快速和自动标定的需求。在静态标定的情况下,所述汽车标定系统能够使用户在汽车周围放置各种平面标定物。例如色块、后备箱中的平面物品、周围环境中随意可获取的平面物作为标定物,所述汽车标定系统根据用户的这些标定物在静态情况下可以迅速实现自动标定。但是当周围环境中没有方便获取的标定物时,为了方便用户,所述汽车标定系统的所述标定物提供装置60能够自动提供符合标定条件的标定物,为用户节省了很多寻找标定物的时间,而且也更方便静态和动态的标定。所述标定物提供装置60可以是安装车身内部激光点激光发射的装置。这些激光发射装置能够朝周围环境的平面上发射出符合标定要求的图案作为参考的标定物。所述标定物提供装置60还可以是汽车本身带有的投影仪,或者直接附带的便于放置的一些色块等特征物,从而作为参照的标定物。这样更简单方便地实现所述汽车标定系统的自动标定。
本发明还提供一汽车标定方法,所述汽车标定方法包括以下步骤:
(A)采集图像信息;
(B)读取摄像头参数初始赋值;
(C)处理摄像头参数;
(D)判断标定结果是否符合标准;以及
(E)校正图像;
其中,如果所述步骤(D)的判定结果为符合标准,则所述汽车标定方法的标定步骤结束,如果所述步骤(D)的判定结果为不符合标准,则循环执行所述步骤(E)至步骤(C),直至所述步骤(D)的判定结果为符合标准。
值得一提的是,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征点,再处理特征线,再处理特征块的匹配。
值得一提的是,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征块,再处理特征线,再处理特征点。
值得一提的是,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为同时处理特征点、特征线和特征块。
值得一提的是,当所述步骤(D)中判定的标定结果不符合标准的时候,所述步骤(E)中校正图像的方法可以是硬件校正和软件校正。也就是说,所述步骤(E)还包括步骤(E1):校正摄像头的外参。或者所述步骤(E)还包括步骤(E2):软件校正映射图像数据。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
Claims (20)
1.一汽车标定系统,其特征在于,包括:
至少一信息采集模块、至少一标定物处理模块和至少一标定结果判定模块,其中所述信息采集模块通过控制多个摄像头拍摄图像的方式采集信息,所述标定物处理模块将所述信息采集模块采集的信息中提取至少一标定物,所述标定结果判定模块根据所述标定物进行标定。
2.如权利要求1所述的汽车标定系统,其中所述信息采集模块包括至少一图像拍摄控制模块和至少一信息存储模块,所述图像拍摄控制模块控制各车载摄像头同步不间断地拍摄汽车周围的图像,所述信息存储模块将拍摄到的图像信息存储起来。
3.如权利要求1所述的汽车标定系统,其中所述标定物处理模块还包括至少一特征提取模块、至少一初始参数赋值模块、至少一参数处理模块和至少一非平面特征剔除模块,所述特征提取模块提取标定物的特征信息,所述参数处理模块使用处理法对内参和外参进行处理,所述非平面特征剔除模块将不符合标定要求的标定物剔除。
4.如权利要求3所述的汽车标定系统,其中所述非平面特征剔除模块还包括至少一IPM识别模块和至少一SOD识别模块,其中所述IPM识别模块采用的是IPM剔除方法,所述SOD识别模块采用的是静态障碍物识别方法,从而把非平面的特征剔除。
5.如权利要求1所述的汽车标定系统,其中所述标定结果判定模块包括至少一特征点距离处理模块、至少一特征线段评估模块、至少一加权处理模块和至少一数据匹配模块,其中,所述特征点距离处理模块处理共同区域内的特征点的欧几里得距离,所述特征线段评估模块进行特征线段的共线度和平行度的评估,所述加权处理模块将所述特征点距离处理模块和所述特征线段评估模块中的数据进行加权平均,所述数据匹配模块将各参数处理之后的数据进行匹配分析。
6.如权利要求1所述的汽车标定系统,其中所述汽车标定系统还包括一校正模块,当所述标定结果判定模块的判定结果不符合要求时,所述校正模块及时进行校正,所述校正模块进一步包括至少一摄像头同步校正模块、至少一共同区域校正模块和至少一噪音滤波校正模块。
7.如权利要求6所述的汽车标定系统,其中所述摄像头同步校正模块还包括至少一硬件同步模块,其中所述硬件同步模块中可以采用主从模式或者外触发模式对各摄像头进行同步性校正。
8.如权利要求6所述的汽车标定系统,其中所述共同区域校正模块在重叠区域进行调整和补偿匹配,所述共同区域校正模块包括至少一重叠区域调整模块、至少一重叠区域补偿模块和至少一奇偶场模拟模块。
9.如权利要求1所述的汽车标定系统,其中所述汽车标定系统还包括至少一人机交互模块,所述人机交互模块提供良好的人机交互模式,从而促进整个标定过程的顺利进行,所述人机交互模块还包括至少一标定方法信息显示模块、至少一信息输入模块、至少一标定物种类判断模块、至少一调整信息输出模块和至少一标定过程动态显示模块。
10.如权利要求9所述的汽车标定系统,其中所述信息输入模块还包括至少一标定物种类输入模块、至少一标定地点输入模块和至少一手工标定参数输入模块。
11.如权利要求9所述的汽车标定系统,其中所述调整信息输出模块还包括至少一标定物更换提示模块、至少一高噪音环境提示模块、至少一负载调整提示模块和至少一手工标定提示模块。
12.如权利要求1至11中任一所述的汽车标定系统,其中所述汽车标定系统还包括至少一标定物提供装置,为所述汽车标定系统提供方便且符合标定要求的标定物。
13.如权利要求12所述的汽车标定系统,其中所述标定物提供装置是安装于车身的激光发射装置。
14.如权利要求13所述的汽车标定系统,其中所述标定物提供装置是投影仪。
15.一汽车标定方法,所述汽车标定方法包括以下步骤:
(A)采集图像信息;
(B)读取摄像头参数初始赋值;
(C)处理摄像头参数;
(D)判断标定结果是否符合标准;以及
(E)校正图像;
其中,如果所述步骤(D)的判定结果为符合标准,则所述汽车标定方法的标定步骤结束,如果所述步骤(D)的判定结果为不符合标准,则循环执行所述步骤(E)至步骤(C),直至所述步骤(D)的判定结果为符合标准。
16.如权利要求15所述的汽车标定方法,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征点,再处理特征线,再处理特征块的匹配。
17.如权利要求16所述的汽车标定方法,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为先处理特征块,再处理特征线,再处理特征点。
18.如权利要求17所述的汽车标定方法,其中所述步骤(C)中同时存在的特征点、特征线和特征面时,处理参数的顺序为同时处理特征点、特征线和特征块。
19.如权利要求18所述的汽车标定方法,其中所述步骤(E)还包括步骤(E1):校正摄像头的外参。
20.如权利要求19所述的汽车标定方法,其中所述步骤(E)还包括步骤(E2):软件校正映射图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610386913.0A CN107464263A (zh) | 2016-06-02 | 2016-06-02 | 汽车标定系统及其标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610386913.0A CN107464263A (zh) | 2016-06-02 | 2016-06-02 | 汽车标定系统及其标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107464263A true CN107464263A (zh) | 2017-12-12 |
Family
ID=60544756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610386913.0A Pending CN107464263A (zh) | 2016-06-02 | 2016-06-02 | 汽车标定系统及其标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107464263A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108801133A (zh) * | 2018-04-25 | 2018-11-13 | 上汽大众汽车有限公司 | 车身特征线位置落差的检测方法 |
CN109166152A (zh) * | 2018-07-27 | 2019-01-08 | 深圳六滴科技有限公司 | 全景相机标定的校正方法、系统、计算机设备和存储介质 |
CN112037286A (zh) * | 2020-08-26 | 2020-12-04 | 长春一汽富晟集团有限公司 | 基于角点识别的车载全景影像标定方法 |
CN112837381A (zh) * | 2021-02-09 | 2021-05-25 | 上海振华重工(集团)股份有限公司 | 一种适用于驾驶设备的摄像头的标定方法、系统及设备 |
CN114022978A (zh) * | 2021-10-25 | 2022-02-08 | 远峰科技股份有限公司 | 标定方法、钥匙、车辆、系统、电子设备及可读存储介质 |
CN117346695A (zh) * | 2023-12-04 | 2024-01-05 | 合肥埃科光电科技股份有限公司 | 表面轮廓检测标定方法、系统、自动化检测设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345890A (zh) * | 2008-08-28 | 2009-01-14 | 上海交通大学 | 基于激光雷达的摄像头标定方法 |
CN101976460A (zh) * | 2010-10-18 | 2011-02-16 | 胡振程 | 车载多目摄像机环视系统的虚拟视点图像生成方法 |
CN102034234A (zh) * | 2010-10-20 | 2011-04-27 | 浙江工业大学 | 一种多视图结构光系统自标定方法 |
US20120293663A1 (en) * | 2011-05-16 | 2012-11-22 | Sony Corporation | Device for determining disappearing direction and method thereof, apparatus for video camera calibration and method thereof |
CN103530880A (zh) * | 2013-10-16 | 2014-01-22 | 大连理工大学 | 基于投影高斯网格图案的摄像机标定方法 |
CN103646403A (zh) * | 2013-12-26 | 2014-03-19 | 北京经纬恒润科技有限公司 | 一种车载多摄像头标定方法、系统及图像处理装置 |
CN103985118A (zh) * | 2014-04-28 | 2014-08-13 | 无锡观智视觉科技有限公司 | 一种车载环视系统摄像头参数标定方法 |
CN204303031U (zh) * | 2014-11-17 | 2015-04-29 | 国家电网公司 | 基于光学投影仪的相机多功能标定装置 |
CN105588563A (zh) * | 2016-01-15 | 2016-05-18 | 武汉光庭科技有限公司 | 一种自动驾驶中双目相机与惯性导航单元联合标定方法 |
CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
-
2016
- 2016-06-02 CN CN201610386913.0A patent/CN107464263A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101345890A (zh) * | 2008-08-28 | 2009-01-14 | 上海交通大学 | 基于激光雷达的摄像头标定方法 |
CN101976460A (zh) * | 2010-10-18 | 2011-02-16 | 胡振程 | 车载多目摄像机环视系统的虚拟视点图像生成方法 |
CN102034234A (zh) * | 2010-10-20 | 2011-04-27 | 浙江工业大学 | 一种多视图结构光系统自标定方法 |
US20120293663A1 (en) * | 2011-05-16 | 2012-11-22 | Sony Corporation | Device for determining disappearing direction and method thereof, apparatus for video camera calibration and method thereof |
CN103530880A (zh) * | 2013-10-16 | 2014-01-22 | 大连理工大学 | 基于投影高斯网格图案的摄像机标定方法 |
CN103646403A (zh) * | 2013-12-26 | 2014-03-19 | 北京经纬恒润科技有限公司 | 一种车载多摄像头标定方法、系统及图像处理装置 |
CN103985118A (zh) * | 2014-04-28 | 2014-08-13 | 无锡观智视觉科技有限公司 | 一种车载环视系统摄像头参数标定方法 |
CN204303031U (zh) * | 2014-11-17 | 2015-04-29 | 国家电网公司 | 基于光学投影仪的相机多功能标定装置 |
CN105608693A (zh) * | 2015-12-18 | 2016-05-25 | 上海欧菲智能车联科技有限公司 | 车载全景环视的标定系统及方法 |
CN105588563A (zh) * | 2016-01-15 | 2016-05-18 | 武汉光庭科技有限公司 | 一种自动驾驶中双目相机与惯性导航单元联合标定方法 |
Non-Patent Citations (4)
Title |
---|
ZHENGYOU ZHANG 等: "A Flexible New Technique for Camera Calibration", 《IEEE》 * |
张三喜: "《弹道特征参数摄像测量》", 31 March 2014 * |
燕居怀 等: "《电工电子技术》", 31 August 2007 * |
牛海涛 等: "采用棋盘格模板的摄像机标定新方法", 《红外与激光工程》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108801133A (zh) * | 2018-04-25 | 2018-11-13 | 上汽大众汽车有限公司 | 车身特征线位置落差的检测方法 |
CN108801133B (zh) * | 2018-04-25 | 2020-03-10 | 上汽大众汽车有限公司 | 车身特征线位置落差的检测方法 |
CN109166152A (zh) * | 2018-07-27 | 2019-01-08 | 深圳六滴科技有限公司 | 全景相机标定的校正方法、系统、计算机设备和存储介质 |
CN112037286A (zh) * | 2020-08-26 | 2020-12-04 | 长春一汽富晟集团有限公司 | 基于角点识别的车载全景影像标定方法 |
CN112837381A (zh) * | 2021-02-09 | 2021-05-25 | 上海振华重工(集团)股份有限公司 | 一种适用于驾驶设备的摄像头的标定方法、系统及设备 |
CN114022978A (zh) * | 2021-10-25 | 2022-02-08 | 远峰科技股份有限公司 | 标定方法、钥匙、车辆、系统、电子设备及可读存储介质 |
CN117346695A (zh) * | 2023-12-04 | 2024-01-05 | 合肥埃科光电科技股份有限公司 | 表面轮廓检测标定方法、系统、自动化检测设备及介质 |
CN117346695B (zh) * | 2023-12-04 | 2024-02-13 | 合肥埃科光电科技股份有限公司 | 表面轮廓检测标定方法、系统、自动化检测设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107464263A (zh) | 汽车标定系统及其标定方法 | |
CN107464218A (zh) | 汽车标定系统及其标定方法 | |
US10293745B2 (en) | Projection of a pre-definable light pattern | |
CN104512328B (zh) | 汽车环视图像生成方法及汽车环视系统 | |
EP1961613B1 (en) | Driving support method and driving support device | |
US8743202B2 (en) | Stereo camera for a motor vehicle | |
CN202035096U (zh) | 移动机械的移动操作监控系统 | |
WO2016056197A1 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
KR101245906B1 (ko) | 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램 | |
US20140063197A1 (en) | Image generation device | |
KR20190102665A (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
JP6287406B2 (ja) | ヘッドアップディスプレイ装置 | |
CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
CN103871071A (zh) | 一种用于全景泊车系统的摄像头外参标定方法 | |
JP2008135856A (ja) | 物体認識装置 | |
JP6471522B2 (ja) | カメラパラメータ調整装置 | |
CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
CN111277796A (zh) | 图像处理方法、车载视觉辅助系统及存储设备 | |
JP2022152922A (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
CN105313773A (zh) | 高清全景泊车及辅助驾驶系统 | |
CN103253194A (zh) | 一种行车辅助系统 | |
WO2019123795A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
WO2021065494A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
US11580695B2 (en) | Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device | |
TWM568376U (zh) | 多攝像頭系統及多攝像頭模組 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 201203 Shanghai Pudong New Area free trade trial area, 1 spring 3, 400 Fang Chun road. Applicant after: Shanghai Sen Sen vehicle sensor technology Co., Ltd. Address before: Room 301B, 560 Midsummer Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai, 200120 Applicant before: New software technology (Shanghai) Co., Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171212 |
|
RJ01 | Rejection of invention patent application after publication |