[go: up one dir, main page]

CN112349091A - 特定区域检测装置 - Google Patents

特定区域检测装置 Download PDF

Info

Publication number
CN112349091A
CN112349091A CN202010771709.7A CN202010771709A CN112349091A CN 112349091 A CN112349091 A CN 112349091A CN 202010771709 A CN202010771709 A CN 202010771709A CN 112349091 A CN112349091 A CN 112349091A
Authority
CN
China
Prior art keywords
point
points
predetermined
parking
specific area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010771709.7A
Other languages
English (en)
Inventor
小久保嘉人
末次惠久
足立淳
渡边宏行
上田康贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN112349091A publication Critical patent/CN112349091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及特定区域检测装置，其根据拍摄图像高精度地检测拍摄区域中的特定区域。该特定区域检测装置，基于拍摄图像，来检测拍摄区域中的特定区域，该特定区域检测装置具备：推定部，使用用于推定在拍摄区域中由规定数量的点定义的特定区域的学习模型，根据拍摄图像，来推定多个点与连结规定的2个上述点的直线的方向；以及检测部，基于上述方向将多个上述点按上述特定区域进行分类，从而检测上述特定区域。

Description

特定区域检测装置
技术领域
本发明的实施方式涉及特定区域检测装置。
背景技术
以往，例如，在车辆中，存在拍摄停车场，并根据该拍摄图像来检测各个停车区域的技术。在该技术中，例如，根据拍摄图像，识别表示停车区域的区域线(例如白线)，由此检测停车区域。
专利文献1：国际公开第2017/068701号
专利文献2：日本专利第5786833号公报
然而，在上述的现有技术中，在映现于拍摄图像的区域线不充分(较小、中断、模糊等)的情况等下，存在导致停车区域的检测精度大幅降低的问题。
发明内容
因此，实施方式的课题之一在于，提供一种能够根据拍摄图像高精度地检测拍摄区域中的特定区域的特定区域检测装置。
本发明的实施方式的特定区域检测装置例如是基于拍摄图像，来检测拍摄区域中的特定区域的特定区域检测装置，具备：推定部，使用通过使用学习用拍摄图像而针对由拍摄区域中的规定数量的点定义的特定区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个点、和连结规定的2个上述点的直线的方向；以及检测部，基于上述方向将多个上述点按上述特定区域进行分类，从而检测上述特定区域。
根据该结构，在使用学习模型而根据拍摄图像来推定多个点、和连结规定的2个点的直线的方向后，基于上述方向将多个点按特定区域进行分类，从而能够高精度地检测特定区域。
另外，在上述特定区域检测装置中，例如，上述推定部使用通过针对作为上述特定区域而由4个角的点定义的四边形形状的停车区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个点、和连结规定的2个上述点的直线的方向。另外，上述检测部基于上述方向将多个上述点按上述停车区域进行分类，从而检测上述停车区域。
根据该结构，能够高精度地推定作为特定区域而由4个角的点定义的四边形形状的停车区域。
另外，在上述特定区域检测装置中，例如，上述推定部在推定多个上述点时，将多个上述点分别以车辆向上述停车区域的进入方向为基准在规定回转方向上分类成第1点、第2点、第3点、第4点这4点来进行推定，在推定连结上述规定的2个上述点的直线的方向时，推定将被推定为属于相同的上述停车区域的上述第1点与上述第2点连结的直线的方向。另外，上述检测部基于上述方向，使用多个上述第1点和多个上述第2点的二部图所对应的成本矩阵，来探索成为成本最小的上述第1点与上述第2点的组合，从而将多个上述点按上述停车区域进行分类，在该情况下，在选择规定的第1点与规定的第2点时，基于上述规定的第1点、上述规定的第2点、从上述规定的第2点相对于表示针对上述规定的第1点而推定出的上述方向的上述直线垂下的垂线与该直线的交点这3个点，来计算成本。
根据该结构，在推定停车区域的情况下，使用上述的二部图与成本矩阵，由此能够容易且高精度地推定停车区域。
另外，在上述特定区域检测装置中，例如，上述检测部对于上述成本矩阵应用匈牙利算法来探索成为成本最小的上述第1点与上述第2点的组合。
根据该结构，对于成本矩阵应用匈牙利算法，由此能够利用简洁的算法高精度地推定停车区域。
另外，上述特定区域检测装置例如还具备显示控制部，该显示控制部使显示部显示由上述检测部检测出的上述特定区域。
根据该结构，显示被检测出的停车区域，由此能够进行针对驾驶员的停车辅助。
附图说明
图1是表示能够搭载实施方式的特定区域检测装置的车辆的例子的示意性的俯视图。
图2是包含实施方式的特定区域检测装置的停车辅助系统的结构的例示的框图。
图3是实施方式的CPU的结构的例示的框图。
图4是在实施方式中，定义停车区域的4个角的点的说明图。
图5是表示实施方式的拍摄图像的例子的示意图。
图6是在实施方式中，在成本矩阵中作为成本而使用的三角形的面积的计算方法的说明图。
图7是表示实施方式的二部图与成本矩阵的例子的示意图。
图8是表示实施方式的推荐停车区域的显示例的示意图。
图9是表示实施方式的特定区域检测装置进行的整体处理的流程图。
图10是表示图9的步骤S2的处理的详细的流程图。
附图标记的说明
10…车辆；14、14a、14b、14c、14d…拍摄部；16…显示装置；20…操作输入部；24…ECU；24a…CPU；100…停车辅助系统；241…取得部；242…推定部；243…检测部；244…显示控制部；245…设定部；246…计算部。
具体实施方式
以下，公开本发明的例示的实施方式。以下所示的实施方式的结构以及由该结构带来的作用、结果以及效果为例子。本发明通过以下的实施方式所公开的结构以外的结构也能够实现，并且能够获得基于基本结构的各种效果、衍生的效果中的至少一个。
图1是表示能够搭载实施方式的特定区域检测装置的车辆10的例子的示意性的俯视图。车辆10例如可以是以内燃机(未图示的发动机)为驱动源的汽车(内燃机汽车)，可以是以电动机(未图示的马达)为驱动源的汽车(电动汽车、燃料电池汽车等)，也可以是以内燃机以及电动机双方为驱动源的汽车(混动汽车)。另外，车辆10能够搭载各种变速装置，能够搭载驱动内燃机、电动机所需的各种装置(系统、部件等)。另外，与车辆10的车轮12(前轮12F、后轮12R)的驱动有关的装置的方式、个数、以及布局等能够进行各种设定。
如图1例示的那样，作为多个拍摄部14，在车辆10例如设置有四个拍摄部14a～14d。拍摄部14例如是内置CCD(Charge Coupled Device)、CIS(CMOS Image Sensor)等拍摄元件的数字照相机。拍摄部14能够以规定的帧率输出动画数据(拍摄图像数据)。拍摄部14分别具有广角透镜或者鱼眼透镜，从而能够在水平方向例如拍摄140°～220°的范围。另外，也存在拍摄部14的光轴朝向斜下方被设定的情况。因此，拍摄部14依次拍摄包含能够供车辆10移动的路面、附于路面的标志(包含表示停车区域的区域线、行车线分离线、箭头等)、物体(作为障碍物，例如为行人、车辆等)的车辆10的外部的周边环境，而输出为拍摄图像数据。
拍摄部14设置于车辆10的外周部。拍摄部14a例如在车辆10的后侧，即在车辆前后方向的后侧设置于车宽方向的大致中央的端部，例如后保险杠10a的上方位置，而能够拍摄包含车辆10的后端部(例如后保险杠10a)的后方区域。另外，拍摄部14b例如在车辆10的前侧，即在车辆前后方向的前侧设置于车宽方向的大致中央的端部，例如前保险杠10b、前格栅等，而能够拍摄包含车辆10的前端部(例如前保险杠10b)的前方图像。
另外，拍摄部14c例如设置于车辆10的右侧的端部，例如右侧的车门后视镜10c，而能够拍摄包含以车辆10的右侧面为中心的区域(例如从右前方至右后方的区域)的右侧面图像。拍摄部14d例如设置于车辆10的左侧的端部，例如左侧的车门后视镜10d，而能够拍摄包含以车辆10的左侧面为中心的区域(例如从左前方至左后方的区域)的左侧面图像。
本实施方式的特定区域检测装置基于由拍摄部14获得的拍摄图像(以下，也称为拍摄图像。)，执行运算处理，由此能够检测作为特定区域的一个例子的停车区域。
图2是包含实施方式的特定区域检测装置的停车辅助系统100的结构的例示的框图。在车辆10的车室内设置有显示装置16、声音输出装置18。显示装置16例如是LCD(LiquidCrystal Display：液晶显示器)、OELD(Organic Electro-Luminescent Display：有机电致发光显示器)等。声音输出装置18例如是扬声器。另外，显示装置16例如被触摸面板等、透明的操作输入部20覆盖。乘客(例如，驾驶员)能够视认经由操作输入部20显示于显示装置16的显示画面的图像。另外，乘客在与显示于显示装置16的显示画面的图像对应的位置，利用手指等触摸、按压、移动操作输入部20来进行操作，由此能够执行操作输入。这些显示装置16、声音输出装置18、操作输入部20等例如设置于位于车辆10的仪表盘的车宽方向即左右方向的中央部的监视装置22。监视装置22能够具有开关、拨盘、操纵杆、按钮等未图示的操作输入部。监视装置22例如能够兼作为导航系统、音响系统。
另外，如图2例示的那样，停车辅助系统100除了拍摄部14(14a～14d)、监视装置22之外，还具备ECU24(Electronic Control Unit：电子控制单元)。在停车辅助系统100中，ECU24、监视装置22经由作为电信线路的车内网络26被电连接。车内网络26例如构成为CAN(Controller Area Network：控制器局域网)。ECU24通过车内网络26输送控制信号，由此能够执行各种系统的控制。例如，在停车辅助系统100中，除了ECU24、监视装置22等之外，操舵系统28、转向角传感器30、制动系统32、驱动系统34、加速器传感器36、换挡传感器38、车轮速度传感器40等经由车内网络26被电连接。ECU24通过车内网络26输送控制信号，由此能够控制操舵系统28、制动系统32、驱动系统34等。另外，ECU24经由车内网络26，能够接受扭矩传感器28a、制动器传感器32a、转向角传感器30、加速器传感器36、换挡传感器38、车轮速度传感器40等的检测结果、操作输入部20等的操作信号等。
ECU24例如具备CPU24a(Central Processing Unit：中央处理单元)、ROM24b(ReadOnly Memory：只读存储器)、RAM24c(Random Access Memory：随机存储器)、显示控制部24d、声音控制部24e、SSD24f(Solid State Drive，闪存)等。CPU24a执行各种运算处理、控制。
CPU24a读取存储于ROM24b等的非易失性的存储装置的程序，根据该程序执行运算处理。ROM24b存储各程序以及程序的执行所需的参数等。RAM24c暂时存储CPU24a的运算所使用的各种数据。另外，显示控制部24d执行ECU24进行的运算处理中的、主要是使用由拍摄部14获得的图像数据的图像处理、由显示装置16显示的图像数据的合成等。另外，声音控制部24e执行ECU24进行的运算处理中的、主要是由声音输出装置18输出的声音数据的处理。另外，SSD24f为能够改写的非易失性的存储部，即便在切断ECU24的电源的情况下，也能够存储数据。此外，CPU24a、ROM24b、RAM24c等能够集成在同一封装内。另外，ECU24也可以是代替CPU24a，而使用DSP(Digital Signal Processor：数字信号处理器)等其他的逻辑运算处理器、逻辑电路等的结构。另外，可以代替SSD24f而设置HDD(Hard Disk Drive：硬盘驱动器)，SSD24f、HDD也可以与ECU24分别设置。
如图1例示的那样，车辆10例如为四轮汽车，具有左右二个前轮12F与左右二个后轮12R。这些四个车轮12均构成为能够转向。如图2例示的那样，操舵系统28对车辆10的至少二个车轮12进行操舵。操舵系统28具有扭矩传感器28a与促动器28b。操舵系统28被ECU24等电控制，而使促动器28b动作。操舵系统28例如是电动动力转向系统、SBW(SteerBy Wire：线控转向)系统等。操舵系统28通过促动器28b对操舵部(例如，方向盘)附加扭矩，即辅助扭矩而补充操舵力，通过促动器28b使车轮12转向。在该情况下，促动器28b可以使一个车轮12转向，也可以使多个车轮12转向。另外，扭矩传感器28a例如检测驾驶员给予操舵部的扭矩。
转向角传感器30例如是检测操舵部的操舵量的传感器。转向角传感器30例如使用霍尔元件等构成。ECU24从转向角传感器30取得驾驶员进行的操舵部的操舵量、自动操舵时的各车轮12的操舵量等，来执行各种控制。此外，转向角传感器30检测操舵部所含的旋转部分的旋转角度。
制动系统32例如是抑制制动器的抱死的ABS(Anti-lock BrakeSystem：防抱死制动系统)、抑制转弯时的车辆10的横向滑动的横向滑动防止装置(ESC：ElectronicStability Control)、使制动力增强(执行制动辅助)的电动制动系统、BBW(Brake ByWire：线控制动)等。制动系统32经由促动器32b，对车轮12进而车辆10给予制动力。另外，制动系统32根据左右车轮12的旋转差等，检测制动器的抱死、车轮12的空转、横向滑动的前兆等，而能够执行各种控制。制动器传感器32a例如是检测制动操作部(例如，制动踏板)的可动部的位置的传感器。
驱动系统34是作为驱动源的内燃机(发动机)系统、马达系统。驱动系统34根据由加速器传感器36检测出的驾驶员(用户)的要求操作量(例如加速踏板的踏入量)，控制发动机的燃料喷射量、吸气量的控制、马达的输出值。另外，能够与用户的操作无关，根据车辆10的行驶状态，与操舵系统28、制动系统32的控制协同动作地，控制发动机、马达的输出值。车辆10以自动行驶模式进行行驶的情况也相同。
加速器传感器36例如是检测加速操作部(例如，加速踏板)的可动部的位置的传感器。加速器传感器36能够检测作为可动部的加速踏板的位置。
换挡传感器38例如是检测变速操作部(例如，变速杆)的可动部的位置的传感器。换挡传感器38能够检测作为可动部的杆、臂、按钮等的位置。换挡传感器38可以包含位移传感器，也可以构成为开关。ECU24能够基于换挡传感器38的检测结果，进行车辆10是接受前进行驶要求，还是接受后退行驶要求的判定。
车轮速度传感器40是设置于各车轮12并检测各车轮12的旋转量、单位时间的转速的传感器，将表示检测出的转速的车轮速度脉冲数作为检测值输出。车轮速度传感器40例如能够使用霍尔元件等构成。ECU24基于从车轮速度传感器40取得的检测值，运算车辆10的车速、移动量等，执行各种控制。ECU24在基于各车轮12的车轮速度传感器40的检测值来计算车辆10的车速的情况下，基于四轮中的最小的检测值的车轮12的速度，决定车辆10的车速，从而执行各种控制。
此外，上述的各种传感器、促动器的结构、配置、电气连接形态等为例子，能够进行各种设定(变更)。
ECU24例如基于从拍摄部14取得的拍摄图像来执行停车辅助处理，将与基于拍摄图像数据而生成的周边图像、声音有关的数据向监视装置22发送。
图3是实施方式的CPU24a(特定区域检测装置)的结构的例示的框图。CPU24a例如基于拍摄图像，检测拍摄区域中的停车区域。具体而言，CPU24a作为各模块，具备取得部241、推定部242、检测部243、显示控制部244、设定部245以及计算部246。此外，各模块通过CPU24a读取存储于ROM24b等存储装置的程序，并执行该程序而被实现。另外，以下，在对CPU24a进行的处理中的、各部241～246以外所执行的处理进行说明的情况下，将动作主体表述为“CPU24a”。
取得部241从各结构取得各种数据。例如，取得部241从拍摄部14取得拍摄图像。
推定部242通过使用学习用拍摄图像而针对由拍摄区域中的规定数量的点定义的特定区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个点、与连结规定的2个点的直线的方向。例如，推定部242使用通过针对作为特定区域而由4个角的点定义的四边形形状的停车区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个点、与连结规定的2个点的直线的方向。
这里，图4是在实施方式中，定义停车区域的4个角的点的说明图。在本实施方式的学习模型中，一部分描绘白线的四边形形状的停车区域由4个角的点P1～点P4定义。具体而言，以车辆向停车区域的进入方向为基准，近前的左侧的点为点P1，近前的右侧的点为点P2，进深的右侧的点为点P3，进深的左侧的点为点P4。换句话说，推定部242在推定多个点时，将多个点分别以车辆向停车区域的进入方向为基准在规定回转方向上分类成第1点、第2点、第3点、第4点这4点来进行推定。
上述的学习模型例如能够通过深度学习(deep learning)而制成。在深度学习中，使用由该点P1～点P4定义停车区域的教师数据(正解数据)进行学习。在该情况下，例如，使用参数来构建函数，针对正解数据定义损失，将该损失最小化，由此进行学习。
返回图3，例如，推定部242优选在推定点时，将点推定为高斯分布，进行基于NMS(Non Maximum Suppression：非极大值抑制)的后处理。由此，能够提高点的推定的精度。
另外，推定部242使用学习模型，根据拍摄图像，除了推定点之外，还推定连结规定的2个点的直线的方向(以下，也简称为“方向”。)。例如，推定部242在推定连结规定的2个点的直线的方向时，推定将被推定为属于相同的停车区域的第1点与第2点连结的直线的方向。此外，在该情况下，第1点与第2点的组合只要是点P1～点P4的2点中的、作为对角点的点P1与点P3、点P2与点P4以外即可，具体而言，只要是点P1与点P2、点P1与点P4、点P2与点P3、点P3与点P4的至少任一个即可。但是，点与方向的推定的方法不限定于上述的方法。
参照图5～图7，对检测部243的处理进行说明。图5是表示实施方式的拍摄图像的例子的示意图。图6是在实施方式中，在成本矩阵中作为成本而使用的三角形的面积的计算方法的说明图。图7是表示实施方式的二部图与成本矩阵的例子的示意图。
如图5所示，通过推定部242，在拍摄图像(鱼眼图像)中，推定点P1a、P2a、点P1b、P2b、点P4b、点P1c、P2c、点P3c、点P4c、点P1d、P2d、点P3d、点P4d，作为各停车区域的角的点。此外，即便是实际上作为各停车区域的角的点而存在的部分，在车辆等中隐藏而看不见的部分也不成为对象。而且，这里，作为一个例子，即使无法看见构成一个停车区域的点P1～点P4的4个点中的全部，在能够看见任1点的情况下，也形成计算的对象。
然后，检测部243为了进行点彼此的匹配(将多个点按停车区域进行分类)，而将点彼此的对应视为二部图，归结于二部图的最佳匹配问题。具体而言，检测部243基于方向，针对多个点进行匹配，将多个点按停车区域进行分类，由此检测停车区域。例如，检测部243在基于方向，针对多个点进行匹配时，使用与多个第1点以及多个第2点的二部图对应的成本矩阵，探索成为成本最小的第1点与第2点的组合，由此将多个点按停车区域进行分类。检测部243在该情况下，在选择规定的第1点与规定的第2点时，基于规定的第1点、规定的第2点、从规定的第2点相对于表示关于规定的第1点推定出的方向的直线垂下的垂线与该直线的交点这3点，来计算成本。例如，计算该3点为顶点的三角形的面积、或使该三角形2个合并而成的平行四边形的面积作为成本。
另外，为了解决最佳匹配问题而活用匈牙利算法。匈牙利算法是用于解决所谓的指派问题的方法，是针对矩阵，进行从各行的各要素减去该行的最小值，之后再从各列的各要素减去该列的最小值等的操作的公知的算法。在这里的匈牙利算法中，制成与二部图对应的成本矩阵，探索成本最小的组合。换句话说，检测部243相对于成本矩阵应用匈牙利算法而探索成为成本最小的第1点与第2点的组合。
具体而言，如图6所示，例如，检测部243在选择点P1b(规定的第1点)与点P4c(规定的第2点)时，将以点P1b、点P4c、点Pz这3个点为顶点的三角形的面积计算为成本，其中，点Pz是从点P4c相对于表示关于点P1b推定出的方向的直线(连结点P1b与点P4b的直线)垂下的垂线与该直线的交点。此外，在该例的情况下，考虑计算效率，仅将点P4x(x＝a、b、c、d、···)中的、存在于与以点P1b为基准而连结点P1b与点P4b的直线具有规定角度(例如20度)的直线L1、L2的内侧的范围内的点设为对象。
图7的(a)表示选择点P1～点P4中的、点P1(点P1a～点P1d)与点P4(点P4a～点P4d)的情况下的二部图。另外，图7的(b)表示该情况下的成本矩阵。面积S1～S16是通过上述的方法计算出的三角形的面积(成本)。
这样，若探索点P1(点P1a～点P1d)与点P4(点P4a～点P4d)的组合，则能够容易且高精度地获得适当的组合。这是因为在选择属于相同的停车区域的2个点时，上述的三角形的面积变小。
另外，不仅针对点P1与点P4，同样地，针对点P2与点P3、以及、点P1与点P2，也进行上述的计算(匹配)，从而能够获得适当的组合。
然后，检测部243在关于点P1与点P4、点P2与点P3、以及、点P1与点P2的组合的最优推定后，例如，以点P1与点P2的组合为基准，整合匹配结果，由此将多个点按停车区域进行分类。此外，从推定结果除去未被整合的点P1与点P4的组合以及点P2与点P3的组合。
返回图3，显示控制部244在显示装置16(显示部)显示由检测部243检测出的停车区域。这里，图8是表示实施方式的推荐停车区域的显示例的示意图。图8所示的推荐停车区域PR例如是存在多个能够停车的停车区域的情况下的一个停车区域。
返回图3，设定部245在存在由用户使用操作输入部20对目标停车区域进行输入操作的情况下，设定其目标停车区域。
计算部246在通过设定部245进行目标停车区域的设定的情况下，使用公知的移动路径计算技术，计算从车辆的当前位置至目标停车区域的移动路径。
接下来，参照图9，对实施方式的特定区域检测装置进行的整体处理进行说明。图9是表示实施方式的特定区域检测装置进行的整体处理的流程图。
首先，在步骤S1中，取得部241从拍摄部14取得拍摄图像。接下来，在步骤S2中，CPU24a检测能够停车的停车区域。这里，图10是表示图9的步骤S2的处理的详细的流程图。
在步骤S21中，推定部242使用用于推定由4个角的点定义的四边形形状的停车区域的学习模型，根据拍摄图像，推定多个点与连结规定的2个点的直线的方向。
接下来，在步骤S22中，检测部243进行点彼此的匹配(图6、图7)。由此，在步骤S23中，检测部243将多个点按停车区域进行分类。然后，在步骤S24中，检测部243基于规定的基准来检测能够停车的停车区域。
返回图9，在步骤S2后，在步骤S3中，CPU24a检测推定停车区域。例如，在存在多个能够停车的停车区域的情况下，CPU24a基于规定的基准，将一个停车区域决定为推定停车区域。
接下来，在步骤S4中，显示控制部244使在步骤S3中决定的推定停车区域显示于显示装置16。
接下来，在步骤S5中，CPU24a判定是否存在由用户使用了操作输入部20对目标停车区域进行输入操作，在判定为是的情况下，进入步骤S6，在判定为否的情况下，返回步骤S3。
在步骤S6中，设定部245设定目标停车区域，显示控制部244使设定目标停车区域的提示显示于显示装置16。
接下来，在步骤S7中，计算部246使用公知的移动路径计算技术，计算从车辆的当前位置至目标停车区域的移动路径。
接下来，在步骤S8中，CPU24a执行停车辅助。例如，CPU24a在执行“完全自动停车辅助”作为停车辅助的情况下，控制操舵系统28、制动系统32、驱动系统34等，使车辆10沿着移动路径移动。另外，CPU24a在执行“半自动停车辅助”、“引导辅助”作为停车辅助的情况下，通过声音、显示将操作内容报告给驾驶员，通过驾驶员执行操作的一部分或者全部，而实现停车动作。
这样，根据本实施方式的特定区域检测装置，在使用学习模型并根据拍摄图像推定多个点与连结规定的2个点的直线的方向后，基于上述方向将多个点按特定区域进行分类，由此能够高精度地检测特定区域。
具体而言，能够高精度地推定作为特定区域而由4个角的点定义的四边形形状的停车区域。此外，例如，在表示停车区域的白线不充分(较小、中断、模糊等)的情况下，在现有的通过识别白线，从而检测停车区域的技术中，导致检测精度大幅降低。但是，根据本实施方式的特定区域检测装置，通过使用学习模型并根据拍摄图像来推定多个点与上述方向的方法，即便在上述的情况下，停车区域的检测精度也不降低。
另外，例如，在现有技术中，在检测停车区域时，在以该停车区域的附近的停车车辆为基准的方法的情况下，若不存在成为该基准的停车车辆，则无法检测停车区域。但是，根据本实施方式的特定区域检测装置，通过使用学习模型并根据拍摄图像推定多个点与上述方向的方法，即使没有停车车辆，也能够高精度地检测停车区域。
特别是，在停车区域为远距离的情况下，在现有技术中，与成为基准的停车车辆的存在的有无无关，停车区域的检测精度均大幅降低，但根据本实施方式的特定区域检测装置，通过使用学习模型并根据拍摄图像推定多个点与上述方向的方法，停车区域的检测精度几乎或者完全不降低。
另外，在推定停车区域的情况下，使用上述的二部图与成本矩阵，由此能够容易且高精度地推定停车区域。
另外，相对于成本矩阵应用匈牙利算法，由此能够利用简洁的算法高精度地推定停车区域。
另外，显示检测出的停车区域，由此能够进行相对于驾驶员的停车辅助。
此外，本实施方式的由CPU24a执行的停车辅助处理用的程序也可以构成为以能够安装的形式或者能够执行的形式的文件记录于CD－ROM、软盘(FD)、CD－R、DVD(DigitalVersatile Disk：数字通用光盘)等的计算机能够读取的记录介质来进行提供。
另外，也可以构成为将停车辅助处理程序储存在与因特网等网络连接的计算机上，经由网络进行下载，由此进行提供。另外，也可以构成为将在本实施方式中被执行的停车辅助处理程序经由因特网等网络进行提供或者发布。
对本发明的实施方式以及变形例进行了说明，但这些实施方式以及变形例作为例子进行了提示，并不意图对发明的范围进行限定。这些新的实施方式能够通过其他的各种方式被实施，能够在不脱离发明的主旨的范围内，进行各种省略、置换、变更。这些实施方式、其变形包含于发明的范围、主旨，并且包含于与权利要求书记载的发明及其均等的范围。
例如，基于拍摄图像进行检测的特定区域不限定于停车区域，也可以是人、车辆等。在该情况下，只要利用规定数量的点来定义检测对象即可。
另外，在学习、推理中使用的拍摄图像不限定于鱼眼图像，也可以是广角图像、通常图像、或者基于多个拍摄图像被合成的俯瞰图像等。
另外，在本实施方式中，在学习模型中，将停车区域形成为一部分被描绘白线的四边形形状，但不限定于此。例如，也可以将停车区域形成为全部被描绘白线的四边形形状，或者也可以形成为无白线并被两车辆夹持的空间。

Claims (5)

1.一种特定区域检测装置，是基于拍摄图像，来检测拍摄区域中的特定区域的特定区域检测装置，其特征在于，具备：
推定部，使用通过使用学习用拍摄图像而针对由拍摄区域中的规定数量的点定义的特定区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个所述点、和连结规定的2个所述点的直线的方向；以及
检测部，基于所述方向将多个所述点按所述特定区域进行分类，从而检测所述特定区域。
2.根据权利要求1所述的特定区域检测装置，其特征在于，
所述推定部使用通过针对作为所述特定区域而由4个角的点定义的四边形形状的停车区域进行学习从而被制成的学习模型，根据拍摄图像，来推定多个所述点、和连结规定的2个所述点的直线的方向，
所述检测部基于所述方向将多个所述点按所述停车区域进行分类，从而检测所述停车区域。
3.根据权利要求2所述的特定区域检测装置，其特征在于，
所述推定部在推定多个所述点时，将多个所述点分别以车辆向所述停车区域的进入方向为基准在规定回转方向上分类成第1点、第2点、第3点、第4点这4点来进行推定，
在推定连结所述规定的2个所述点的直线的方向时，推定将被推定为属于相同的所述停车区域的所述第1点与所述第2点连结的直线的方向，
所述检测部基于所述方向，使用多个所述第1点和多个所述第2点的二部图所对应的成本矩阵，来探索成为成本最小的所述第1点和所述第2点的组合，从而将多个所述点按所述停车区域进行分类，
在该情况下，在选择规定的第1点和规定的第2点时，基于所述规定的第1点、所述规定的第2点、从所述规定的第2点相对于表示针对所述规定的第1点而推定出的所述方向的所述直线垂下的垂线与该直线的交点这3点，来计算成本。
4.根据权利要求3所述的特定区域检测装置，其特征在于，
所述检测部对于所述成本矩阵应用匈牙利算法，来探索成为成本最小的所述第1点和所述第2点的组合。
5.根据权利要求2所述的特定区域检测装置，其特征在于，
还具备显示控制部，该显示控制部使显示部显示由所述检测部检测出的所述停车区域。
CN202010771709.7A 2019-08-07 2020-08-04 特定区域检测装置 Pending CN112349091A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-145692 2019-08-07
JP2019145692A JP7367375B2 (ja) 2019-08-07 2019-08-07 特定領域検知装置

Publications (1)

Publication Number Publication Date
CN112349091A true CN112349091A (zh) 2021-02-09

Family

ID=74358312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771709.7A Pending CN112349091A (zh) 2019-08-07 2020-08-04 特定区域检测装置

Country Status (3)

Country Link
US (1) US11301701B2 (zh)
JP (1) JP7367375B2 (zh)
CN (1) CN112349091A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7367375B2 (ja) * 2019-08-07 2023-10-24 株式会社アイシン 特定領域検知装置
JP2021079164A (ja) * 2021-02-22 2021-05-27 京楽産業．株式会社 遊技機

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041757A1 (ja) * 2012-09-12 2014-03-20 株式会社デンソー 駐車支援装置
CN103854272A (zh) * 2012-11-28 2014-06-11 比亚迪股份有限公司 全景泊车系统自动找点匹配方法
CN104916163A (zh) * 2015-06-29 2015-09-16 惠州华阳通用电子有限公司 泊车位检测方法
US20170096167A1 (en) * 2015-10-05 2017-04-06 Hyundai Motor Company Parking guidance apparatus and method for vehicle
US20180322349A1 (en) * 2015-10-22 2018-11-08 Nissan Motor Co., Ltd. Parking Space Detection Method and Device
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN109389013A (zh) * 2017-08-10 2019-02-26 纵目科技（上海）股份有限公司 基于车位主方向及模板响应点的车位组合算法和介质
CN109614913A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 一种斜车位识别方法、装置和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189393A (ja) * 2005-01-07 2006-07-20 Toyota Motor Corp 周辺物体情報取得装置及びこれを用いる駐車支援装置
US10025317B2 (en) 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking
EP3689695A4 (en) 2017-11-17 2020-12-23 Aisin Aw Co., Ltd. VEHICLE POSITION ESTIMATE AND VEHICLE CONTROL DEVICE
EP3576010A1 (en) * 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
US10896336B2 (en) * 2018-06-25 2021-01-19 Denso Ten Limited Parking compartment recognition apparatus
US10984659B2 (en) * 2018-09-13 2021-04-20 Volvo Car Corporation Vehicle parking availability map systems and methods
US11288525B2 (en) * 2018-10-31 2022-03-29 Texas Instruments Incorporated Object detection for distorted images
JP7246167B2 (ja) * 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
WO2020190880A1 (en) * 2019-03-16 2020-09-24 Nvidia Corporation Object detection using skewed polygons suitable for parking space detection
US11003945B2 (en) * 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US10867192B1 (en) * 2019-08-06 2020-12-15 Black Sesame International Holding Limited Real-time robust surround view parking space detection and tracking
JP7367375B2 (ja) * 2019-08-07 2023-10-24 株式会社アイシン 特定領域検知装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041757A1 (ja) * 2012-09-12 2014-03-20 株式会社デンソー 駐車支援装置
CN103854272A (zh) * 2012-11-28 2014-06-11 比亚迪股份有限公司 全景泊车系统自动找点匹配方法
CN104916163A (zh) * 2015-06-29 2015-09-16 惠州华阳通用电子有限公司 泊车位检测方法
US20170096167A1 (en) * 2015-10-05 2017-04-06 Hyundai Motor Company Parking guidance apparatus and method for vehicle
US20180322349A1 (en) * 2015-10-22 2018-11-08 Nissan Motor Co., Ltd. Parking Space Detection Method and Device
CN109389013A (zh) * 2017-08-10 2019-02-26 纵目科技（上海）股份有限公司 基于车位主方向及模板响应点的车位组合算法和介质
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN109614913A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 一种斜车位识别方法、装置和存储介质

Also Published As

Publication number Publication date
JP7367375B2 (ja) 2023-10-24
US20210042541A1 (en) 2021-02-11
JP2021026625A (ja) 2021-02-22
US11301701B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
JP6724425B2 (ja) 駐車支援装置
EP2902271B1 (en) Parking assistance device, and parking assistance method and program
JP6096156B2 (ja) 駐車支援装置
JP7351172B2 (ja) 駐車支援装置
JP6275006B2 (ja) 駐車支援装置
JP2016084094A (ja) 駐車支援装置
JP7003755B2 (ja) 駐車支援装置
JP7363343B2 (ja) 駐車支援装置、駐車支援方法、および、駐車支援プログラム
CN110546047A (zh) 停车辅助装置
JP7427907B2 (ja) 駐車支援装置
CN112349091A (zh) 特定区域检测装置
JP2021056717A (ja) 物体検知装置
US20240383469A1 (en) Parking assistance device
JP7380058B2 (ja) 駐車支援装置
JP7380073B2 (ja) 駐車支援装置
JP7114919B2 (ja) 走行支援装置
JP7383973B2 (ja) 駐車支援装置
US12174028B2 (en) Parking assistance device
US20250005937A1 (en) Parking assistance device
US20250139989A1 (en) Parking assistance device
JP2021140699A (ja) 特定領域検知装置
JP6730885B2 (ja) 出庫支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210209