CN109703465A - 车载图像传感器的控制方法和装置 - Google Patents
车载图像传感器的控制方法和装置 Download PDFInfo
- Publication number
- CN109703465A CN109703465A CN201811625730.5A CN201811625730A CN109703465A CN 109703465 A CN109703465 A CN 109703465A CN 201811625730 A CN201811625730 A CN 201811625730A CN 109703465 A CN109703465 A CN 109703465A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- imaging sensor
- image
- key point
- body key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000007689 inspection Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提出一种车载图像传感器的控制方法和装置，其中，方法包括：通过获取车载图像传感器采集的取景图像，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置。该方法根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置与设定位置一一对应，从而使得车辆中车载图像传感器采集的图像能够与训练图像具有相同的采集视角，有利于车辆驾驶控制模型提高识别精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
Description
技术领域
本申请涉及车辆自动驾驶领域，尤其涉及一种车载图像传感器的控制方法和装置。
背景技术
随着深度学习的迅速发展，人工智能的深入研究，汽车行业也跟着出现了革命性的变化，人类对无人驾驶汽车技术的研究也日益增加。无人驾驶汽车是通过车辆驾驶控制模型对车载图像传感器采集的图像进行识别来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶，并根据自动规划的行车路线控制车辆到达预定目标的智能汽车。
由此可知，车辆驾驶控制模型对于车载图像传感器采集图像的识别准确度，直接影响着无人驾驶汽车的控制效果，但是，现有技术中，由于车辆周围实际环境千差万别，给车辆驾驶控制模型识别带来了困难，识别准确度不高。
发明内容
本申请提出了一种车载图像传感器的控制方法和装置，以实现根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置处于对应的设定位置处，从而实现车辆中车载图像传感器的精确安装，以提高数据采集的精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
本申请第一方面实施例提出了一种车载图像传感器的控制方法，包括：
获取车载图像传感器采集的取景图像；
对所述取景图像进行识别，以得到车身关键点在所述取景图像中的检测位置；
根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置；其中，所述设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在所述训练图像中所述车身关键点所在位置；
将调整后的车载图像传感器所采集的图像输入所述模型，以进行车辆驾驶控制。
本申请实施例的车载图像传感器的控制方法，通过获取车载图像传感器采集的取景图像，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在位置，将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。该方法根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置与设定位置一一对应，从而实现车辆中车载图像传感器的精确安装，以提高数据采集的精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
本申请第二方面实施例提出了一种车载图像传感器的控制装置，包括：
获取模块，用于获取车载图像传感器采集的取景图像；
识别模块，用于对所述取景图像进行识别，以得到车身关键点在所述取景图像中的检测位置；
调整模块，用于根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置。
本申请实施例的车载图像传感器的控制装置，通过获取车载图像传感器采集的取景图像，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在位置，将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。该方法根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置处于设定位置，从而使得车辆中车载图像传感器采集的图像能够与训练图像具有相同的采集视角，有利于车辆驾驶控制模型提高识别精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
本申请第三方面实施例提出了一种计算机设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述是实施例中所述的车载图像传感器的控制方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的车载图像传感器的控制方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种车载图像传感器的控制方法的流程示意图；
图2为本申请实施例所提供的另一种车载图像传感器的控制方法的流程示意图；
图3为本申请实施例所提供的一种车载图像传感器的控制装置的结构示意图；
图4为本申请实施例所提供的另一种车载图像传感器的控制装置的结构示意图；
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车载图像传感器的控制方法和装置。
本申请实施例以该车载图像传感器的控制方法被配置于车载图像传感器的控制装置中来举例说明，该车载图像传感器的控制装置可以应用于任一计算机设备中，以使该计算机设备可以执行控制功能。
其中，计算机设备可以为车载设备中具有各种操作系统、触摸屏和/或显示屏的硬件设备。
图1为本申请实施例所提供的一种车载图像传感器的控制方法的流程示意图。
如图1所示，该车载图像传感器的控制方法包括以下步骤：
步骤101，获取车载图像传感器采集的取景图像。
其中，图像传感器是一种可以将光学图像，转换为电子信号的设备，同时也是(汽车)摄像头的重要组成部分，亦为自动驾驶基础部件之一。使用前期，图像传感器通过与数字摄像头相结合，为汽车视觉系统提供光学图像信息，经由图像数据处理单元放大、同步控制处理，最终将汽车外部真实的场景信息显示在计算机设备中。
本申请实施例中，车载图像传感器采集的取景图像中的物体在外界照明光的照射下，经成像物镜成像，形成二维光强分布的光学图像，再通过图像传感器转换成电子信号。之后，这些电子信号经图像数据处理系统的放大和同步控制处理，发送给图像显示器，以便在计算机设备中看到物体的二维光学图像，从而获取车载图像传感器采集的取景图像，为自动驾驶汽车提供准确的驾驶环境信息。
步骤102，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置。
其中，车身关键点，可以为汽车的前引擎盖、雨刷、挡风玻璃等，对于有的车型，车身关键点也可以为汽车的立体车标。检测位置，是指车载图像传感器采集的车身关键点在取景图像中的位置。
图像识别是人工智能的一个重要领域。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的目标。
本申请实施例中，通过图像识别技术对取景图像进行识别，以确定出车身关键点在取景图像中的检测位置。例如，可以确定汽车的前引擎盖、雨刷、挡风玻璃等关键点在取景图像中的检测位置。
作为一种可能的实现方式，可以利用神经网络的图像识别技术对取景图像进行识别，具体地，计算机设备首先对获取的图像传感器采集的取景图像进行图像特征的提取，再利用图像所具有的特征映射到神经网络进行图像识别分类，以得到车身关键点在取景图像中的检测位置。
需要说明的是，在对车身关键点进行识别的过程中利用了基于模板匹配算法和基于人工神经网络算法，通过从取景图像中提取若干特征向量与模板对应的特征向量进行比较，计算图像与模板特征向量之间的距离，用最小距离法判定所属类别，最终对车身关键点进行位置的显示。
步骤103，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置。
其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在的位置。
本申请实施例中，将通过对取景图像进行识别得到的取景图像中车身关键点的检测位置与设定位置进行比较，确定两者之间的差异，进而根据两者之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置。
作为一种可能的情况，取景图像中车身关键点的检测位置与设定位置之间的差异，仅仅是由于车载图像传感器的拍摄角度或者拍摄位置导致的，则只需要调整车载图像传感器的拍摄角度或拍摄位置，以使各车身关键点的检测位置处于对应的设定位置。例如，取景图像中车身关键点的检测位置与设定位置仅在水平或垂直位置上存在距离，则只需要调整车载图像传感器的拍摄位置。
作为另一种可能的情况，取景图像中车身关键点的检测位置与设定位置之间的差异，是由于车载图像传感器的拍摄角度和拍摄位置的设置同时导致的，则需要同时调整车载图像传感器的拍摄角度和拍摄位置，以使各车身关键点的检测位置处于对应的设定位置。例如，取景图像中车身关键点的检测位置未处于设定位置，并且车身关键点在取景图像中存在旋转的情况，此时，需要同时调整车载图像传感器的拍摄角度和拍摄位置。
本申请实施例中，对车载图像传感器的拍摄角度和/或拍摄位置的调整，可以通过人工根据取景图像中车身关键点的检测位置与设定位置之间的差异，进行手动调整的方式实现；也可以通过设定具有自动调整车载图像传感器的拍摄角度和/或拍摄位置的装置，来实现自动调整车载图像传感器的拍摄角度和/或拍摄位置。
步骤104，将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。
本申请实施例中，根据车载图像传感器采集的取景图像中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整后，车载图像传感器重新采集图像，计算机设备获取到调整后的车载图像传感器所采集的图像后，输入用于车辆驾驶控制的模型中，以实现对车辆驾驶的控制。
作为一种可能的情况，该车载图像传感器的控制方法用于汽车自动驾驶中，将调整后的车载图像传感器所采集的图像输入用于车辆自动驾驶控制的模型中，从而实现无人汽车的自动驾驶。
本申请实施例的车载图像传感器的控制方法，通过获取车载图像传感器采集的取景图像，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在位置，将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。该方法根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置处于设定位置，从而实现车辆中车载图像传感器的精确安装，以提高数据采集的精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
为了清楚说明上一实施例，本实施例提供了另一种车载图像传感器的控制方法，图2为本实施例提供了另一种车载图像传感器的控制方法的流程示意图。
如图2所示，该车载图像传感器的控制方法可以包括以下步骤：
步骤201，获取车载图像传感器采集的取景图像。
本申请实施例中，步骤201的实现过程，可参见上述实施例中步骤101的实现过程，在此不再赘述。
步骤202，识别取景图像中呈现的车身关键点。
本申请实施例中，通过图像识别技术对取景图像进行识别，以识别出取景图像中呈现的车身关键点。
需要说明的是，由于车载图像传感器采集的取景图像中不仅包含有车身关键点，还包括道路、行人、周围行驶的车辆、周围建筑物等信息，因此，需要通过图像识别技术对取景图像进行识别，以识别出车身关键点。
作为一种可能的实现方式，可以利用预先训练好的分类器，对取景图像进行识别，以识别出车身关键点。
作为另一种可能的实现方式，也可以利用深度学习中的神经网络模型对取景图像进行识别，以呈现取景图像中的车身关键点。具体的识别过程可参考现有技术中图像识别过程，在此不再赘述。
步骤203，在取景图像中绘制网格。
本申请实施例中，网格，是位于取景图像的背景处的。通过在取景图像中绘制网格，便于确定车身关键点在取景图像中的检测位置。
作为一种可能的实现方式，可以通过图像三角网格化算法，在取景图像中绘制网格。
步骤204，根据车身关键点所处的网格，确定到车身关键点在取景图像中的检测位置。
本申请实施例中，根据取景图像中绘制的网格，可以直观的确定车身关键点所处的网格，因此，可以根据车身关键点所处的网格，确定车身关键点在取景图像中的检测位置。
步骤205，确定至少两个车身关键点的检测位置之间的第一间距，并确定对应的至少两个车身关键点的设定位置之间的第二间距。
本申请实施例中，根据车身关键点所处的网格，确定到车身关键点在取景图像中的检测位置后，确定至少两个车身关键点的检测位置之间的第一间距。其中，第一间距，是指两个车身关键点的检测位置之间的距离，是为了区别于车身关键点的设定位置之间的间距。
同时，确定对应的至少两个车身关键点的设定位置之间的第二间距，以对第一间距和第二间距进行比较。
步骤206，根据第一间距与第二间距之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置。
本申请实施例中，根据确定的至少两个车身关键点的检测位置之间的第一间距，以及对应的至少两个车身关键点的设定位置之间的第二间距，判断判断第一间距与第二间距之间的大小关系。进而根据第一间距与第二间距之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整。
作为一种可能的情况，若至少两个车身关键点的检测位置之间的第一间距小于对应的至少两个车身关键点的设定位置之间的第二间距，说明车载图像传感器的安装位置离被拍摄物的距离较远，则沿垂直于车载图像传感器的成像面的方向，朝向被摄物移动图像传感器，直至第一间距等于第二间距。
作为另一种可能的情况，若至少两个车身关键点的检测位置之间的第一间距大于对应的至少两个车身关键点的设定位置之间的第二间距，说明车载图像传感器的安装位置离被拍摄物的距离较近，则沿垂直于车载图像传感器的成像面的方向，背离被摄物移动车载图像传感器的拍摄位置，直至第一间距等于第二间距。
作为另一种可能的情况，当至少两个车身关键点的检测位置之间的第一间距等于对应的至少两个车身关键点的设定位置之间的第二间距时，此时，车身关键点的检测位置与对应的这顶位置不重合，则沿平行于车载图像传感器的成像面方向，移动车载图像传感器，直至至少一个车身关键点的检测位置处于对应设定位置。
需要说明的是，当至少两个车身关键点的检测位置之间的第一间距等于对应的至少两个车身关键点的设定位置之间的第二间距时，但是由于车载图像传感器的拍摄角度的原因，使得车身关键点的检测位置与设定位置不重合，此时，需要转动车载图像传感器的拍摄角度，以使各车身关键点的检测位置处于对应设定位置。
步骤207，对车载图像传感器后续采集的取景图像再次进行识别。
本申请实施例中，根据车身关键点的第一间距和第二间距，对车载图像传感器的拍摄角度和/或拍摄位置进行调整后，车载图像传感器会继续采集图像，并将采集的图像上传至计算机设备，以使计算机设备对车载图像传感器后续采集的取景图像再次进行识别，以确定取景图像中车身关键点的检测位置。
需要说明的是，对车载图像传感器后续采集的取景图像再次进行识别，以确定取景图像中车身关键点的检测位置的实现过程，参见上述步骤202至步骤205的实现过程，在此不再赘述。
步骤208，校验后续采集的取景图像中车身关键点是否处于设定位置。
本申请实施例中，校验后续采集的取景图像中车身关键点的是否处于设定位置，若后续采集的取景图像中车身关键点处于设定位置，则执行步骤209，若后续采集的取景图像中车身关键点未处于设定位置，重新执行上述步骤206，对车载图像传感器的拍摄角度和/或拍摄位置进行重新调整，具体的调整过程在此不再赘述。
作为另一种可能的情况，若后续采集的取景图像中车身关键点未处于设定位置，可能是由于图像传感器采集的取景图像的大小、视角等原因，使得车身关键点未处于设定位置，此时，可以对后续采集的取景图像进行图像修正，以使修正后的取景图像中车身关键点处于设定位置；其中，图像修正包括图像放大、图像缩小和图像视角调整中的一个或多个组合。
步骤209，根据后续采集的取景图像进行车辆控制。
本申请实施例中，后续采集的取景图像中车身关键点的检测位置处于设定位置时，则根据后续采集的取景图像进行车辆的控制。
作为一种示例，自动驾驶的汽车进行停车时，当取景图像中车身关键点的检测位置处于设定位置时，则根据车载传感器采集的取景图像控制汽车进行自动停车。
本申请实施例的车载图像传感器的控制方法，通过获取车载图像传感器采集的取景图像，识别取景图像中呈现的车身关键点，在取景图像中绘制网格，根据车身关键点所处的网格，确定到车身关键点在取景图像中的检测位置，确定至少两个车身关键点的检测位置之间的第一间距，并确定对应的至少两个车身关键点的设定位置之间的第二间距，根据第一间距与第二间距之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，对车载图像传感器后续采集的取景图像再次进行识别，校验后续采集的取景图像中车身关键点是否处于设定位置，后续采集的取景图像中车身关键点的检测位置处于设定位置时，则根据后续采集的取景图像进行车辆的控制。由此，能够实现车辆中车载图像传感器采集的图像能够与训练图像具有相同的采集视角，有利于车辆驾驶控制模型提高识别精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
为了实现上述实施例，本申请还提出一种车载图像传感器的控制装置。
图3为本申请实施例提供的一种车载图像传感器的控制装置的结构示意图。
如图3所示，该车载图像传感器的控制装置100包括：获取模块110、识别模块120、调整模块130以及输入模块140。
获取模块110，用于获取车载图像传感器采集的取景图像。
识别模块120，用于对取景图像进行识别，以得到车身关键点在取景图像中的检测位置。
调整模块130，用于根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在位置。
输入模块140，用于将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。
作为一种可能的实现方式，参见图4，该车载图像传感器的控制装置100，还包括：
第二识别模块150，用于识别取景图像中呈现的车身关键点。
绘制模块160，用于在取景图像中绘制网格。
确定模块170，用于根据车身关键点所处的网格，确定到车身关键点在取景图像中的检测位置。
作为另一种可能的实现方式，调整模块130，具体用于确定至少两个车身关键点的检测位置之间的第一间距；
确定对应的至少两个车身关键点的设定位置之间的第二间距；
若第一间距小于所述第二间距，沿垂直于车载图像传感器的成像面的方向，朝向被摄物移动图像传感器，直至第一间距等于第二间距；
若第一间距大于第二间距，沿垂直于车载图像传感器的成像面的方向，背离被摄物移动车载图像传感器的拍摄位置，直至第一间距等于第二间距。
作为另一种可能的实现方式，调整模块130，还可以具体用于当第一间距等于第二间距时，沿平行于车载图像传感器的成像面方向，移动车载图像传感器，直至至少一个车身关键点的检测位置处于对应设定位置；
转动车载图像传感器的拍摄角度，以使各车身关键点的检测位置处于对应设定位置。
作为一种可能的实现方式，参见图4，该车载图像传感器的控制装置100，还可以包括：
第二识别模块150，用于对车载图像传感器后续采集的取景图像再次进行识别。
校验模块180，用于校验后续采集的取景图像中车身关键点是否处于设定位置。
若后续采集的取景图像中车身关键点处于设定位置，根据后续采集的取景图像进行车辆控制。
若后续采集的取景图像中车身关键点未处于设定位置，重新执行调整车载图像传感器的拍摄角度和/或拍摄位置的步骤。
若后续采集的取景图像中车身关键点未处于设定位置，对后续采集的取景图像进行图像修正，以使修正后的取景图像中车身关键点处于设定位置；图像修正包括图像放大、图像缩小和图像视角调整中的一个或多个组合。
需要说明的是，前述对车载图像传感器的控制方法实施例的解释说明也适用于该实施例的车载图像传感器的控制装置，此处不再赘述。
本申请实施例的车载图像传感器的控制装置，通过获取车载图像传感器采集的取景图像，对取景图像进行识别，以得到车身关键点在取景图像中的检测位置，根据检测位置与设定位置之间的差异，调整车载图像传感器的拍摄角度和/或拍摄位置，其中，设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在训练图像中车身关键点所在位置，将调整后的车载图像传感器所采集的图像输入模型，以进行车辆驾驶控制。该方法根据车载图像传感器中车身关键点的检测位置与设定位置之间的差异，对车载图像传感器的拍摄角度和/或拍摄位置进行调整，以使调整后车载图像传感器所采集的图像中车身关键点的检测位置处于设定位置处，从而实现车辆中车载图像传感器的精确安装，以提高数据采集的精确度，为自动驾驶的控制算法和模型训练提供数据支撑。
为了实现上述实施例，本申请还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的车载图像传感器的控制方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的车载图像传感器的控制方法。
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的车载图像传感器的控制方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种车载图像传感器的控制方法，其特征在于，所述方法包括以下步骤：
获取车载图像传感器采集的取景图像；
对所述取景图像进行识别，以得到车身关键点在所述取景图像中的检测位置；
根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置；其中，所述设定位置，是采用训练图像训练用于车辆驾驶控制的模型时，在所述训练图像中所述车身关键点所在位置；
将调整后的车载图像传感器所采集的图像输入所述模型，以进行车辆驾驶控制。
2.根据权利要求1所述的控制方法，其特征在于，所述对所述取景图像进行识别，以得到车身关键点在所述取景图像中的检测位置之前，还包括：
识别所述取景图像中呈现的车身关键点；
在所述取景图像中绘制网格；
根据所述车身关键点所处的网格，确定所述到车身关键点在所述取景图像中的检测位置。
3.根据权利要求1所述的控制方法，其特征在于，所述根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置，包括：
确定至少两个车身关键点的检测位置之间的第一间距；
确定对应的至少两个车身关键点的设定位置之间的第二间距；
若所述第一间距小于所述第二间距，沿垂直于所述车载图像传感器的成像面的方向，朝向被摄物移动所述图像传感器，直至所述第一间距等于所述第二间距；
若所述第一间距大于所述第二间距，沿垂直于所述车载图像传感器的成像面的方向，背离被摄物移动所述车载图像传感器的拍摄位置，直至所述第一间距等于所述第二间距。
4.根据权利要求3所述的控制方法，其特征在于，所述根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置，还包括：
当所述第一间距等于所述第二间距时，沿平行于所述车载图像传感器的成像面方向，移动所述车载图像传感器，直至所述至少一个车身关键点的检测位置处于对应设定位置；
转动所述车载图像传感器的拍摄角度，以使各车身关键点的检测位置处于对应设定位置。
5.根据权利要求1-4任一项所述的控制方法，其特征在于，所述调整所述车载图像传感器的拍摄角度和/或拍摄位置之后，还包括：
对所述车载图像传感器后续采集的取景图像再次进行识别；
校验所述后续采集的取景图像中车身关键点是否处于所述设定位置；
若所述后续采集的取景图像中车身关键点处于所述设定位置，根据后续采集的取景图像进行车辆控制。
6.根据权利要求5所述的控制方法，其特征在于，所述校验所述后续采集的取景图像中车身关键点是否处于所述设定位置之后，还包括：
若所述后续采集的取景图像中车身关键点未处于所述设定位置，重新执行调整所述车载图像传感器的拍摄角度和/或拍摄位置的步骤。
7.根据权利要求5所述的控制方法，其特征在于，所述校验所述后续采集的取景图像中车身关键点是否处于所述设定位置之后，还包括：
若所述后续采集的取景图像中车身关键点未处于所述设定位置，对后续采集的取景图像进行图像修正，以使修正后的取景图像中车身关键点处于所述设定位置；所述图像修正包括图像放大、图像缩小和图像视角调整中的一个或多个组合。
8.一种车载图像传感器的控制装置，其特征在于，所述装置包括：
获取模块，用于获取车载图像传感器采集的取景图像；
识别模块，用于对所述取景图像进行识别，以得到车身关键点在所述取景图像中的检测位置；
调整模块，用于根据所述检测位置与设定位置之间的差异，调整所述车载图像传感器的拍摄角度和/或拍摄位置。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的车载图像传感器的控制方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的车载图像传感器的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625730.5A CN109703465B (zh) | 2018-12-28 | 2018-12-28 | 车载图像传感器的控制方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625730.5A CN109703465B (zh) | 2018-12-28 | 2018-12-28 | 车载图像传感器的控制方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109703465A true CN109703465A (zh) | 2019-05-03 |
| CN109703465B CN109703465B (zh) | 2021-03-12 |
Family
ID=66258004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811625730.5A Active CN109703465B (zh) | 2018-12-28 | 2018-12-28 | 车载图像传感器的控制方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109703465B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503597A (zh) * | 2019-07-09 | 2019-11-26 | 浙江浩腾电子科技股份有限公司 | 一种基于2d结构模型的车辆视点规范化方法 |
| CN110723079A (zh) * | 2019-10-31 | 2020-01-24 | 北京百度网讯科技有限公司 | 车载传感器的位姿调整方法、装置、设备和介质 |
| CN110850872A (zh) * | 2019-10-31 | 2020-02-28 | 深圳市优必选科技股份有限公司 | 机器人巡检方法、装置、计算机可读存储介质及机器人 |
| CN112307825A (zh) * | 2019-07-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN114604175A (zh) * | 2021-11-26 | 2022-06-10 | 中科云谷科技有限公司 | 用于确定工程车辆的方法、处理器、装置及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293441B2 (ja) * | 1996-01-09 | 2002-06-17 | トヨタ自動車株式会社 | 撮像装置 |
| CN101236655A (zh) * | 2007-02-01 | 2008-08-06 | 三洋电机株式会社 | 摄像机校正装置以及方法和车辆 |
| WO2010113673A1 (ja) * | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| CN102377942A (zh) * | 2010-08-09 | 2012-03-14 | 佳能株式会社 | 摄像设备 |
| CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
| CN104159787A (zh) * | 2012-02-24 | 2014-11-19 | 京瓷株式会社 | 摄像机设备，摄像机系统和摄像机校正方法 |
| CN105139388A (zh) * | 2015-08-12 | 2015-12-09 | 武汉大学 | 一种倾斜航空影像中建筑物立面损毁检测的方法和装置 |
| CN105818747A (zh) * | 2016-03-11 | 2016-08-03 | 乐卡汽车智能科技（北京）有限公司 | 用于采集车辆外部图像的图像采集系统及图像采集方法 |
| CN107728646A (zh) * | 2017-09-05 | 2018-02-23 | 百度在线网络技术（北京）有限公司 | 对自动驾驶车辆的摄像头进行自动控制的方法和系统 |
| CN107833252A (zh) * | 2016-09-09 | 2018-03-23 | 现代摩比斯株式会社 | 用于校正摄像机的误差的系统和方法 |
-
2018
- 2018-12-28 CN CN201811625730.5A patent/CN109703465B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293441B2 (ja) * | 1996-01-09 | 2002-06-17 | トヨタ自動車株式会社 | 撮像装置 |
| CN101236655A (zh) * | 2007-02-01 | 2008-08-06 | 三洋电机株式会社 | 摄像机校正装置以及方法和车辆 |
| WO2010113673A1 (ja) * | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| CN102377942A (zh) * | 2010-08-09 | 2012-03-14 | 佳能株式会社 | 摄像设备 |
| CN104159787A (zh) * | 2012-02-24 | 2014-11-19 | 京瓷株式会社 | 摄像机设备，摄像机系统和摄像机校正方法 |
| CN102880866A (zh) * | 2012-09-29 | 2013-01-16 | 宁波大学 | 一种人脸特征提取方法 |
| CN105139388A (zh) * | 2015-08-12 | 2015-12-09 | 武汉大学 | 一种倾斜航空影像中建筑物立面损毁检测的方法和装置 |
| CN105818747A (zh) * | 2016-03-11 | 2016-08-03 | 乐卡汽车智能科技（北京）有限公司 | 用于采集车辆外部图像的图像采集系统及图像采集方法 |
| CN107833252A (zh) * | 2016-09-09 | 2018-03-23 | 现代摩比斯株式会社 | 用于校正摄像机的误差的系统和方法 |
| CN107728646A (zh) * | 2017-09-05 | 2018-02-23 | 百度在线网络技术（北京）有限公司 | 对自动驾驶车辆的摄像头进行自动控制的方法和系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503597A (zh) * | 2019-07-09 | 2019-11-26 | 浙江浩腾电子科技股份有限公司 | 一种基于2d结构模型的车辆视点规范化方法 |
| CN110503597B (zh) * | 2019-07-09 | 2023-05-16 | 浙江浩腾电子科技股份有限公司 | 一种基于2d结构模型的车辆视点规范化方法 |
| CN112307825A (zh) * | 2019-07-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN112307825B (zh) * | 2019-07-30 | 2024-05-31 | 阿波罗智能技术(北京)有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN110723079A (zh) * | 2019-10-31 | 2020-01-24 | 北京百度网讯科技有限公司 | 车载传感器的位姿调整方法、装置、设备和介质 |
| CN110850872A (zh) * | 2019-10-31 | 2020-02-28 | 深圳市优必选科技股份有限公司 | 机器人巡检方法、装置、计算机可读存储介质及机器人 |
| CN114604175A (zh) * | 2021-11-26 | 2022-06-10 | 中科云谷科技有限公司 | 用于确定工程车辆的方法、处理器、装置及系统 |
| CN114604175B (zh) * | 2021-11-26 | 2023-10-13 | 中科云谷科技有限公司 | 用于确定工程车辆的方法、处理器、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109703465B (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109703465A (zh) | 车载图像传感器的控制方法和装置 | |
| US11657604B2 (en) | Systems and methods for estimating future paths | |
| CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| WO2021004548A1 (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| US10891795B2 (en) | Localization method and apparatus based on 3D color map | |
| KR102677513B1 (ko) | 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치 | |
| EP3650814B1 (en) | Vision augmented navigation | |
| CN110377025A (zh) | 用于自动驾驶车辆的传感器聚合框架 | |
| CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
| CN112912920A (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
| TW202020811A (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
| CN107590438A (zh) | 一种智能辅助驾驶方法及系统 | |
| US11869257B2 (en) | AR-based labeling tool for 3D object detection model training | |
| US20190311209A1 (en) | Feature Recognition Assisted Super-resolution Method | |
| CN115717894A (zh) | 一种基于gps和普通导航地图的车辆高精度定位方法 | |
| CN109509223A (zh) | 基于深度学习的前方车辆测距方法 | |
| CN109753841A (zh) | 车道线识别方法和装置 | |
| CN110084230A (zh) | 基于图像的车身方向检测方法和装置 | |
| CN116311131A (zh) | 一种基于多目环视的智能驾培增强方法、系统、装置 | |
| CN114758318B (zh) | 一种基于全景视图的任意角度车位检测方法 | |
| CN115810179A (zh) | 一种人车视觉感知信息融合方法及系统 | |
| CN115273005A (zh) | 一种基于改进yolo算法的视觉导航车环境感知方法 | |
| CN111210411B (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
| CN115235526A (zh) | 用于传感器的自动校准的方法和系统 | |
| CN106991415A (zh) | 用于车载鱼眼相机的图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211012 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |