[go: up one dir, main page]

CN113168692A - 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体 - Google Patents

信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体 Download PDF

Info

Publication number
CN113168692A
CN113168692A CN201980079022.2A CN201980079022A CN113168692A CN 113168692 A CN113168692 A CN 113168692A CN 201980079022 A CN201980079022 A CN 201980079022A CN 113168692 A CN113168692 A CN 113168692A
Authority
CN
China
Prior art keywords
image
sensor
estimated position
coordinate system
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980079022.2A
Other languages
English (en)
Inventor
松永大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113168692A publication Critical patent/CN113168692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使得能够提高物体识别的精度的信息处理装置、信息处理方法、程序、移动体控制装置和移动体。该信息处理装置设置有：图像处理单元，该图像处理器基于在第一坐标系上表示具有与图像传感器的感测范围至少部分地重叠的感测范围的传感器的感测结果的传感器图像，来生成指示在第二坐标系上物体的估计位置的估计位置图像，该第二坐标系与图像传感器所获取的捕获的图像是相同的；以及物体识别单元，该物体识别单元基于捕获的图像和估计位置图像来识别物体。本发明可以被应用于例如用于识别车辆附近的物体的系统。

Description

信息处理装置、信息处理方法、程序、移动物体控制装置以及 移动物体
技术领域
本技术涉及信息处理装置、信息处理方法、程序、移动物体控制装置和移动物体，尤其涉及旨在提高识别目标物体的精度的信息处理装置、信息处理方法、程序、移动物体控制装置和移动物体。
背景技术
过去已经提出，关于由毫米波雷达检测到的障碍物的位置信息被叠加以使用相对于雷达平面和相机图像平面执行的投影变换显示在相机图像上(例如，参考专利文献1)。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2005-175603
发明内容
技术问题
但是，专利文献1没有讨论提高使用相机和毫米波雷达识别目标物体(诸如车辆)的精度。
已经鉴于上述情形而做出了本技术，并且本技术旨在提高识别目标物体的精度。
问题的解决方案
根据本技术的第一方面的信息处理装置包括：图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理。
根据本技术的第一方面的信息处理方法包括：由信息处理装置基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及由信息处理装置基于捕获的图像和估计位置图像执行识别目标物体的处理。
根据本技术的第一方面使计算机执行处理的程序，包括：基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及基于捕获的图像和估计位置图像执行识别目标物体的处理。
根据本技术的第二方面的移动物体控制装置包括：图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与捕获移动物体周围的图像的图像传感器的感测范围至少部分重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理；以及运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
根据本技术的第三方面的移动物体控制装置包括：图像传感器；传感器，所述传感器的感测范围与图像传感器的感测范围至少部分地重叠；图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理；以及运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
在本技术的第一方面中，基于传感器图像生成估计位置图像，该估计位置图像指示在第二坐标系中目标物体的估计位置，该第二坐标系与其感测范围与传感器的感测范围至少部分地重叠的图像传感器所获得的捕获的图像的坐标系相同，该传感器图像指示在第一坐标系中传感器的感测结果；并且基于捕获的图像和估计位置图像执行识别目标物体的处理。
在本技术的第二方面中，基于传感器图像生成估计位置图像，该估计位置图像指示在第二坐标系中目标物体的估计位置，该第二坐标系与捕获移动物体周围的图像的并且其感测范围与传感器的感测范围至少部分地重叠的图像传感器所获得的捕获的图像的坐标系相同，该传感器图像指示在第一坐标系中传感器的感测结果；基于捕获的图像和估计位置图像执行识别目标物体的处理；并且基于目标物体的识别结果来控制移动物体的运动。
在本技术的第三方面中，基于传感器图像生成估计位置图像，该估计位置图像指示在第二坐标系中目标物体的估计位置，该第二坐标系与其感测范围与传感器的感测范围至少部分重叠的图像传感器所获得的捕获的图像的坐标系相同，该传感器图像指示在第一坐标系中传感器的感测结果；基于捕获的图像和估计位置图像执行识别目标物体的处理；并且基于目标物体的识别结果来控制运动。
附图说明
图1是图示对其应用本技术的车辆控制系统的配置示例的框图。
图2是图示数据获取部分的第一实施例和车辆外部信息检测器的第一实施例的框图。
图3图示图像处理模型的配置示例。
图4图示物体识别模型的配置示例。
图5图示用于图像处理模型的学习系统的配置示例。
图6图示用于物体识别模型的学习系统的配置示例。
图7是用于描述对图像处理模型执行的学习处理的流程图。
图8是用于描述对图像处理模型执行的学习处理的图。
图9是用于描述对物体识别模型执行的学习处理的流程图。
图10是用于描述对物体识别模型执行的学习处理的图。
图11是用于描述目标物体识别处理的流程图。
图12是用于描述由本技术提供的效果的图。
图13是用于描述由本技术提供的效果的图。
图14是用于描述由本技术提供的效果的图。
图15是图示数据获取部分的第二实施例和车辆外部信息检测器的第二实施例的框图。
图16是用于描述当毫米波雷达具有在高度方向上的分辨力时执行的处理的图。
图17图示毫米波图像的修改示例。
图18图示计算机的配置示例。
具体实施方式
下面描述用于执行本技术的实施例。按以下顺序进行描述。
1.第一实施例(使用相机和毫米波雷达的示例)
2.第二实施例(添加LiDAR的示例)
3.修改
4.其它
<<1.第一实施例>>
首先，参考图1至图14描述本技术的第一实施例。
<车辆控制系统100的配置示例>
图1是图示车辆控制系统100的示意性功能配置示例的框图，该车辆控制系统100是可对其应用本技术的移动物体控制系统的示例。
注意的是，当要将设有车辆控制系统100的车辆10与其它车辆区分开时，设有车辆控制系统100的车辆在下文中将称为本车或本车辆。
车辆控制系统100包括输入部分101、数据获取部分102、通信部分103、车载装备104、输出控制器105、输出部分106、动力传动系控制器107、动力传动系系统108、车身相关的控制器109、车身相关的系统110、存储装置111和自动驾驶控制器112。输入部分101、数据获取部分102、通信部分103、输出控制器105、动力传动系控制器107、车身相关的控制器109、存储装置111和自动驾驶控制器112通过通信网络121彼此连接。例如，通信网络121包括符合任何标准的总线或车载通信网络，诸如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。注意的是，车辆控制系统100的相应结构元件可以在不使用通信网络121的情况下直接彼此连接。
注意的是，当车辆控制系统100的相应结构元件通过通信网络121彼此通信时，下面将省略对通信网络121的描述。例如，当输入部分101和自动驾驶控制器112通过通信网络121彼此通信时，将简单地说输入部分101和自动驾驶控制器112彼此通信。
输入部分101包括由车上人员用来输入各种数据、指令等的装置。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备；可以通过除手动操作以外的方法(诸如声音或手势)执行输入的操作设备；等等。可替代地，例如，输入部分101可以是外部连接的装备，诸如使用红外或另一种无线电波的远程控制装置，或者与车辆控制系统100的操作兼容的移动装备或可穿戴装备。输入部分101基于车上人员输入的数据、指令等来生成输入信号，并将生成的输入信号供应给车辆控制系统100的相应结构元件。
数据获取部分102包括各种传感器等，以获取用于由车辆控制系统100执行的处理的数据，并将获取的数据供应给车辆控制系统100的相应结构元件。
例如，数据获取部分102包括用于检测例如本车的状况的各种传感器。具体而言，例如，数据获取部分102包括陀螺仪；加速度传感器；惯性测量单元(IMU)；以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机的转数、马达的转数、车轮旋转的速度等的传感器等。
另外，例如，数据获取部分102包括用于检测关于本车的外部的信息的各种传感器。具体而言，例如，数据获取部分102包括图像捕获装置，诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机及其它相机。此外，例如，数据获取部分102包括用于检测天气、气象现象等的环境传感器以及用于检测本车周围的物体的周围信息检测传感器。例如，环境传感器包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等。
而且，例如，数据获取部分102包括用于检测本车的当前位置的各种传感器。具体而言，例如，数据获取部分102包括例如全球导航卫星系统(GNSS)接收器，该GNSS接收器从GNSS卫星接收GNSS信号。
另外，例如，数据获取部分102包括用于检测关于车辆的内部的信息的各种传感器。具体而言，例如，数据获取部分102包括捕获驾驶员的图像的图像捕获装置、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器被设置在座椅表面、方向盘等上，并检测坐在座椅上的车上人员或握住方向盘的驾驶员的生物信息。
通信部分103与车载装备104以及各种车辆外部装备、服务器、基站等进行通信，传输由车辆控制系统100的相应结构元件供应的数据，并向车辆控制系统100的相应结构元件供应接收到的数据。注意的是，通信部分103所支持的通信协议没有特别限制。通信部分103还可以支持多种类型的通信协议。
例如，通信部分103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载装备104无线地通信。另外，例如，通信部分103通过连接端子(未示出)(如有必要，还可以利用线缆)利用电线使用通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等与车载装备104通信。
另外，例如，通信部分103通过基站或接入点与位于外部网络(例如，互联网、云网络或特定于运营商的网络)上的装备(例如，应用服务器或控制服务器)进行通信。此外，例如，通信部分103使用对等(P2P)技术与位于本车附近的终端(例如，行人或商店的终端，或机器类型通信(MTC)终端)进行通信。而且，例如，通信部分103执行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、本车与家庭之间的车辆到家庭通信和车辆到行人通信。另外，例如，通信部分103包括信标接收器，接收从例如安装在道路上的无线电站发送的无线电波或电磁波，并且获取关于例如当前位置、交通拥堵、交通管制或必要时间的信息。
车载装备104的示例包括车上人员的移动装备或可穿戴装备，被带入或附接到本车的信息装备以及搜索到任何目的地的路线的导航装置。
输出控制器105控制各种信息到本车的车上人员或本车外部的输出。例如，输出控制器105生成包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个的输出信号，将输出信号供应给输出部分106，由此控制视觉信息和音频信息从输出部分106的输出。具体而言，例如，输出控制器105组合由数据获取部分102的不同图像捕获装置捕获的图像的多条数据，生成鸟瞰图像、全景图像等，并将包括生成的图像的输出信号供应给输出部分106。另外，例如，输出控制器105生成包括例如提醒诸如碰撞、接触或进入危险地带之类的危险的警告蜂鸣声或警告消息的声音数据，并将包括生成的声音数据的输出信号供应给输出部分106。
输出部分106包括能够将视觉信息或音频信息输出到本车的车上人员或本车外部的装置。例如，输出部分106包括显示装置、仪表板、音频扬声器、耳机、可穿戴设备(诸如用于戴在车上人员上的眼镜型显示器)、投影仪、灯等。代替包括常用显示器的装置，输出部分106中包括的显示装置可以是诸如平视显示器、透明显示器或包括增强现实(AR)显示功能的装置之类的在驾驶员视场中显示视觉信息的装置。
动力传动系控制器107生成各种控制信号，并将其供应给动力传动系系统108，并由此控制动力传动系系统108。另外，动力传动系控制器107还根据需要将控制信号供应给除动力传动系系统108以外的结构元件，以例如向它们通知控制动力传动系系统108的状况。
动力传动系系统108包括与本车的动力传动系相关的各种装置。例如，动力传动系系统108包括生成驱动力的驱动力生成装置(诸如内燃机和驱动马达)、用于将驱动力传输到车轮的驱动力传输机构、调整转向角的转向机构、生成制动力的制动装置、防抱死制动系统(ABS)、电子稳定控制(ESC)系统、电动助力转向装置等。
车身相关的控制器109生成各种控制信号，将它们供应给车身相关的系统110，并由此控制车身相关的系统110。另外，车身相关的控制器109还根据需要将控制信号供应给除车身相关的系统110以外的结构元件，以例如向它们通知控制车身相关的系统110的状况。
车身相关的系统110包括设置到车身的各种车身相关的装置。例如，车身相关的系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调、各种灯(诸如前照灯、尾灯、刹车灯、方向灯和雾灯)等。
例如，存储装置111包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等。存储装置111在其中存储由车辆控制系统100的相应结构元件使用的各种程序、数据等。例如，存储装置111在其中存储地图数据，诸如三维高精度地图、全局地图和本地地图。高精度地图是动态地图等。全局地图的精度低于高精度地图，但覆盖范围比高精度地图更广。本地地图包括关于本车周围的信息。
自动驾驶控制器112执行与自动驾驶相关的控制，诸如自主行驶或驾驶辅助。具体而言，例如，自动驾驶控制器112执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该高级驾驶员辅助系统包括针对本车的防撞或减震、基于车辆间距离在前车后面的行驶、在维持车速的同时行驶、本车碰撞的警告、本车偏离车道的警告等。另外，例如，自动驾驶控制器112执行旨在实现例如自动驾驶(这是无需驾驶员执行的操作的自主行驶)的协作控制。自动驾驶控制器112包括检测器131、自身位置估计器132、状况分析器133、计划部分134和运动控制器135。
检测器131检测控制自动驾驶所需的各种信息。检测器131包括车辆外部信息检测器141、车辆内部信息检测器142和车辆状况检测器143。
车辆外部信息检测器141基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测关于本车外部的信息的处理。例如，车辆外部信息检测器141执行检测、识别和跟踪本车周围的物体的处理以及检测到物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、结构、道路、交通信号灯、交通标志和道路标志。另外，例如，车辆外部信息检测器141执行检测本车周围的环境的处理。检测目标周围环境的示例包括天气、温度、湿度、亮度和路面状态。车辆外部信息检测器141将指示检测处理的结果的数据供应给例如自身位置估计器132；状况分析器133的地图分析器151、交通规则识别部分152和状况识别部分153；以及运动控制器135的紧急事件避免部分171。
车辆内部信息检测器142基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测关于车辆内部的信息的处理。例如，车辆内部信息检测器142执行认证和识别驾驶员的处理、检测驾驶员的状况的处理、检测车上人员的处理以及检测车辆内部环境的处理。驾驶员的检测目标状况的示例包括身体状态、唤醒程度、专心程度、疲劳程度和视线方向。检测目标车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测器142将指示检测处理的结果的数据供应给例如状况分析器133的状况识别部分153和运动控制器135的紧急事件避免部分171。
车辆状况检测器143基于来自车辆控制系统100的每个结构元件的数据或信号来执行检测本车的状况的处理。本车的检测目标状况的示例包括速度、加速度、转向角、是否存在异常及其细节、驾驶操作状况、电动座椅的位置和倾斜度、门锁的状况，以及其它车载装备的状况。车辆状况检测器143将指示检测处理的结果的数据供应给例如状况分析器133的状况识别部分153和运动控制器135的紧急事件避免部分171。
自身位置估计器132基于来自车辆控制系统100的相应结构元件(诸如车辆外部信息检测器141和状况分析器133的状况识别部分153)的数据或信号来执行估计本车的位置、姿势等的处理。另外，自身位置估计器132根据需要生成用于估计自身位置的本地地图(下文中称为自身位置估计地图)。例如，自身位置估计地图是使用诸如同时定位和绘制(SLAM)之类的技术的高精度地图。自身位置估计器132将指示估计处理的结果的数据供应给例如状况分析器133的地图分析器151、交通规则识别部分152和状况识别部分153。另外，自身位置估计器132将自身位置估计地图存储在存储装置111中。
状况分析器133执行分析本车及其周围的状况的处理。状况分析器133包括地图分析器151、交通规则识别部分152、状况识别部分153和状况预测部分154。
根据需要，使用来自车辆控制系统100的相应结构元件(诸如自身位置估计器132和车辆外部信息检测器141)的数据或信号，地图分析器151执行分析存储在存储装置111中的各种地图的处理，并且构造包括自动驾驶处理所需的信息的地图。地图分析器151将构造好的地图供应给例如交通规则识别部分152、状况识别部分153和状况预测部分154，以及计划部分134的路线计划部分161、行为计划部分162和运动计划部分163。
交通规则识别部分152基于来自车辆控制系统100的相应结构元件(诸如自身位置估计器132、车辆外部信息检测器141和地图分析器151)的数据或信号来执行识别本车周围的交通规则的处理。识别处理使得可以识别本车周围的交通信号灯的位置和状况、本车周围执行的交通控制的细节以及可行驶的车道。交通规则识别部分152将指示识别处理的结果的数据供应给例如状况预测部分154。
状况识别部分153基于来自车辆控制系统100的相应结构元件(诸如自身位置估计器132、车辆外部信息检测器141、车辆内部信息检测器142、车辆状况检测器143和地图分析器151)的数据或信号来执行识别与本车相关的状况的处理。例如，状况识别部分153执行识别本车的状况、本车周围的状况、本车的驾驶员的状况等的处理。另外，根据需要，状况识别部分153生成用于识别本车周围的状况的本地地图(下文中称为状况识别地图)。状况识别地图是例如占有栅格地图(occupancy grid map)。
本车的识别目标状况的示例包括本车的位置、姿势和运动(诸如速度、加速度和运动方向)以及是否存在异常及其细节。本车周围的识别目标状况的示例包括本车周围的静止物体的类型和位置；本车周围的移动物体的类型、位置和运动(诸如速度、加速度和运动方向)；本车周围的道路的结构和道路表面的状态；以及本车周围的天气、温度、湿度和亮度。驾驶员的识别目标状况的示例包括身体状态、唤醒程度、专心程度、疲劳程度、视线运动和驾驶操作。
状况识别部分153将指示识别处理的结果的数据(根据需要包括状况识别地图)供应给例如自身位置估计器132和状况预测部分154。另外，状况识别部分153将状况识别地图存储在存储装置111中。
状况预测部分154基于来自车辆控制系统100的相应结构元件(诸如地图分析器151、交通规则识别部分152和状况识别部分153)的数据或信号来执行预测与本车相关的状况的处理。例如，状况预测部分154执行预测本车的状况、本车周围的状况、驾驶员的状况等的处理。
本车的预测目标状况的示例包括本车的行为、本车中异常的发生以及本车的可行驶距离。本车周围的预测目标状况的示例包括移动物体的行为、交通信号灯的状况的改变以及本车周围的环境(诸如天气)的改变。驾驶员的预测目标状况的示例包括驾驶员的行为和身体状态。
状况预测部分154将指示预测处理的结果的数据与来自交通规则识别部分152和状况识别部分153的数据一起供应给例如计划部分134的路线计划部分161、行为计划部分162和运动计划部分163。
路线计划部分161基于来自车辆控制系统100的相应结构元件(诸如地图分析器151和状况预测部分154)的数据或信号来计划到目的地的路线。例如，路线计划部分161基于全局地图来设定从当前位置到指定目的地的路线。另外，例如，路线计划部分161基于例如交通拥堵、事故、交通管制和构造的状况以及驾驶员的身体状态来适当地改变路线。路线计划部分161将指示计划的路线的数据供应给例如行为计划部分162。
基于来自车辆控制系统100的相应结构元件(诸如地图分析器151和状况预测部分154)的数据或信号，行为计划部分162计划本车的行为，以便本车在由路线计划部分161计划的时间内在由路线计划部分161计划的路线上安全地行驶。例如，行为计划部分162制定关于例如开始运动、停止、行驶方向(诸如向前运动、向后运动、向左转、向右转和方向改变)、行驶的车道、行驶速度和超车的计划。行为计划部分162将指示本车的计划的行为的数据供应给例如运动计划部分163。
基于来自车辆控制系统100的相应结构元件(诸如地图分析器151和状况预测部分154)的数据或信号，运动计划部分163计划本车的运动，以便实现由行为计划部分162计划的行为。例如，运动计划部分163制定关于例如加速度、减速度和行驶路线的计划。运动计划部分163将指示本车的计划的运动的数据供应给例如运动控制器135的加速/减速控制器172和方向控制器173。
运动控制器135控制本车的运动。运动控制器135包括紧急事件避免部分171、加速/减速控制器172和方向控制器173。
基于由车辆外部信息检测器141、车辆内部信息检测器142和车辆状况检测器143执行的检测的结果，紧急事件避免部分171执行检测紧急事件(诸如碰撞、接触、进入危险地带、驾驶员的不寻常情况以及车辆中的异常)的处理。当紧急事件避免部分171检测到紧急事件的发生时，紧急事件避免部分171计划本车的移动，诸如突然停止或快速转弯，以避免紧急事件。紧急事件避免部分171将指示本车的计划的运动的数据供应给例如加速度/减速度控制器172和方向控制器173。
加速度/减速度控制器172控制加速度/减速度以实现由运动计划部分163或紧急事件避免部分171计划的本车的运动。例如，加速度/减速度控制器172计算用于实现计划的加速度、计划的减速度或计划的突然停止的驱动力生成装置或制动装置的控制目标值，并将指示计算出的控制目标值的控制指令供应给动力传动系控制器107。
方向控制器173控制方向以实现由运动计划部分163或紧急事件避免部分171计划的本车的运动。例如，方向控制器173计算用于实现由运动计划部分163计划的行驶路线或由紧急事件避免部分171计划的快速转弯的转向机构的控制目标值，并将指示计算出的控制目标值的控制指令供应给动力传动系控制器107。
<数据获取部分102A和车辆外部信息检测器141A的配置示例>
图2图示作为图1的车辆控制系统100中的数据获取部分102的第一实施例的数据获取部分102A和作为图1的车辆控制系统100中的车辆外部信息检测器141的第一实施例的车辆外部信息检测器141A的配置示例的部分。
数据获取部分102A包括相机201和毫米波雷达202。车辆外部信息检测器141A包括信息处理器211。信息处理器211包括图像处理器221、信号处理器222、图像处理器223和物体识别部分224。
相机201包括图像传感器201A。诸如CMOS图像传感器或CCD图像传感器之类的任何类型的图像传感器都可以用作图像传感器201A。相机201(图像传感器201A)捕获位于车辆10前方的区域的图像，并将获得的图像(下文中称为捕获的图像)供应给图像处理器221。
毫米波雷达202相对于位于车辆10前方的区域执行感测，并且毫米波雷达202和相机201的感测范围至少部分重叠。例如，毫米波雷达202在车辆10的前向方向上发送包括毫米波的发送信号，并且使用接收天线接收作为从位于车辆10前方的物体(反射体)反射的信号的接收信号。例如，在车辆10的横向(宽度方向)上以指定的间隔布置多个接收天线。另外，还可以在高度方向上布置多个接收天线。毫米波雷达202向信号处理器222供应按时间顺序指示使用每个接收天线接收的接收信号的强度的数据(以下称为毫米波数据)。
图像处理器221对捕获的图像执行指定的图像处理。例如，图像处理器221对捕获的图像的每个像素执行内插红色(R)分量、绿色(G)分量和蓝色(B)分量的处理，以生成由捕获的图像的R分量组成的R图像，由捕获的图像的G分量组成的G图像和由捕获的图像的B分量组成的B图像。图像处理器221将R图像、G图像和B图像供应给物体识别部分224。
信号处理器222对毫米波数据执行指定的信号处理，以生成毫米波图像，该毫米波图像是指示由毫米波雷达202执行的感测的结果的图像。信号处理器222将毫米波图像供应给图像处理器223。
图像处理器223对毫米波图像执行指定的图像处理以生成估计位置图像，该估计位置图像指示目标物体的估计位置，该目标物体的坐标系与捕获的图像的坐标系完全相同。图像处理器223将估计位置图像供应给物体识别部分224。
物体识别部分224基于R图像、G图像、B图像和估计位置图像来执行识别位于车辆10前方的目标物体的处理。物体识别部分224将指示识别目标物体的结果的数据供应给例如自身位置估计器132；状况分析器133的地图分析器151、交通规则识别部分152和状况识别部分153；以及运动控制器135的紧急事件避免部分171。
注意的是，目标物体是要由物体识别部分224识别的物体，并且任何物体都可以被设定为目标物体。但是，将包括具有毫米波雷达202的发送信号的高反射率的部分的物体设定为目标物体是有利的。以下，以目标物体是车辆的情况为例进行适当描述。
<图像处理模型301的配置示例>
图3图示用于图像处理器223的图像处理模型301的配置示例。
图像处理模型301是通过机器学习获得的模型。具体而言，图像处理模型301是通过深度学习获得的模型，该深度学习是机器学习的一种类型并且使用深度神经网络。图像处理模型301包括特征量提取部分311、几何变换部分312和解卷积部分313。
特征量提取部分311包括卷积神经网络。具体而言，特征量提取部分311包括卷积层321a至321c。卷积层321a至321c执行卷积操作以提取毫米波图像的特征量，生成指示在与毫米波图像的坐标系完全相同的坐标系中特征量的分布的特征图，并且将特征图供应给几何变换部分312。
几何变换部分312包括几何变换层322a和322b。几何变换层322a和322b对特征图执行几何变换，以将特征图的坐标系从毫米波图像的坐标系变换为捕获的图像的坐标系。几何变换部分312向解卷积部分313供应已经对其执行了几何变换的特征图。
解卷积部分313包括解卷积层323a至323c。解卷积层323a至323c对已对其执行了几何变换的特征图进行解卷积以生成并输出估计位置图像。
<物体识别模型351的配置示例>
图4图示用于物体识别部分224的物体识别模型351的配置示例。
物体识别模型351是通过机器学习获得的模型。具体而言，物体识别模型351是通过深度学习获得的模型，该深度学习是机器学习的一种类型并且使用深度神经网络。更具体而言，物体识别模型351由单镜头多方框检测器(SSD)构成，其是使用深度神经网络的物体识别模型之一。物体识别模型351包括特征量提取部分361和识别部分362。
特征量提取部分361包括VGG16 371，其是使用卷积神经网络的卷积层。包括R图像、G图像、B图像和估计位置图像的四通道图像数据P被输入到VGG16 371。VGG16 371提取R图像、G图像、B图像和估计位置图像的特征量中的每一个，并生成二维地表示通过组合从相应图像中提取出的特征量而获得的特征量的分布的组合特征图。组合特征图表示与捕获的图像的坐标系完全相同的坐标系中特征量的分布。VGG16 371将组合特征图供应给识别部分362。
识别部分362包括卷积神经网络。具体而言，识别部分362包括卷积层372a至372f。
卷积层372a对组合特征图执行卷积操作。卷积层372a基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。卷积层372a向卷积层372b供应已经对其执行了卷积操作的组合特征图。
卷积层372b对由卷积层372a供应的组合特征图执行卷积操作。卷积层372b基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。卷积层372b向卷积层372c供应已经对其执行了卷积操作的组合特征图。
卷积层372c对由卷积层372b供应的组合特征图执行卷积操作。卷积层372c基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。卷积层372c向卷积层372d供应已经对其执行了卷积操作的组合特征图。
卷积层372d对由卷积层372c供应的组合特征图执行卷积操作。卷积层372d基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。卷积层372d向卷积层372e供应已经对其执行了卷积操作的组合特征图。
卷积层372e对由卷积层372d供应的组合特征图执行卷积操作。卷积层372e基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。卷积层372e向卷积层372f供应已经对其执行了卷积操作的组合特征图。
卷积层372f对由卷积层372e供应的组合特征图执行卷积操作。卷积层372f基于已经对其执行了卷积操作的组合特征图来执行识别目标物体的处理。
物体识别模型351输出指示由卷积层372a至372f执行的目标物体的识别结果的数据。
注意的是，按照从卷积层372a开始的顺序，组合特征图的尺寸(像素的数量)变小，并且在卷积层372f中最小。另外，如果组合特征图具有较大的尺寸，那么当从车辆10观察时，具有小尺寸的目标物体以较高的精度被识别，并且如果组合特征图具有较小的尺寸，那么当从车辆10观察时，具有大尺寸的目标物体以较高的精度被识别。因此，例如，当目标物体是车辆时，在具有大尺寸的组合特征图中容易识别小的远处车辆，并且在具有小尺寸的组合特征图中易于识别大的附近车辆。
<学习系统401的配置示例>
图5图示学习系统401的配置示例。
学习系统401对图3的图像处理模型301执行学习处理。学习系统401包括输入部分411、正确答案数据生成器412、信号处理器413、训练数据生成器414和学习部分415。
输入部分411包括各种输入设备，并且用于例如输入生成训练数据所需的数据以及由用户执行的操作。例如，当输入捕获的图像时，输入部分411将捕获的图像供应给正确答案数据生成器412。例如，当输入毫米波数据时，输入部分411将毫米波数据供应给信号处理器413。例如，输入部分411向正确答案数据生成器412和训练数据生成器414供应指示通过由用户执行的操作输入的用户指令的数据。
正确答案数据生成器412基于捕获的图像生成正确答案数据。例如，用户通过输入部分411在捕获的图像中指定车辆的位置。正确答案数据生成器412基于用户指定的车辆的位置生成指示在捕获的图像中的车辆的位置的正确答案数据。正确答案数据生成器412将正确答案数据供应给训练数据生成器414。
信号处理器413执行与由图2的信号处理器222执行的处理相似的处理。换句话说，信号处理器413对毫米波数据执行指定的信号处理以生成毫米波图像。信号处理器413将毫米波图像供应给训练数据生成器414。
训练数据生成器414生成包括输入数据和正确答案数据的训练数据，该输入数据包括毫米波图像。训练数据生成器414将训练数据供应给学习部分415。
学习部分415使用训练数据对图像处理模型301执行学习处理。学习部分415输出已经执行了学习的图像处理模型301。
<学习系统451的配置示例>
图6图示学习系统451的配置示例。
学习系统451对图4的物体识别模型351执行学习处理。学习系统451包括输入部分461、图像处理器462、正确答案数据生成器463、信号处理器464、图像处理器465、训练数据生成器466和学习部分467。
输入部分461包括各种输入设备，并且用于例如输入生成训练数据所需的数据以及由用户执行的操作。例如，当输入捕获的图像时，输入部分461将捕获的图像供应给图像处理器462和正确答案数据生成器463。例如，当输入毫米波数据时，输入部分461将毫米波数据供应给信号处理器464。例如，输入部分461向正确答案数据生成器463和训练数据生成器466供应指示通过用户执行的操作所输入的用户指令的数据。
图像处理器462执行与由图2的图像处理器221执行的处理相似的处理。换句话说，图像处理器462对捕获的图像执行指定的图像处理以生成R图像、G图像和B图像。图像处理器462将R图像、G图像和B图像供应给训练数据生成器466。
正确答案数据生成器463基于捕获的图像生成正确答案数据。例如，用户通过输入部分461在捕获的图像中指定车辆的位置。正确答案数据生成器463基于用户指定的车辆的位置生成指示在捕获的图像中的车辆的位置的正确答案数据。正确答案数据生成器463将正确答案数据供应给训练数据生成器466。
信号处理器464执行与由图2的信号处理器222执行的处理相似的处理。换句话说，信号处理器464对毫米波数据执行指定的信号处理以生成毫米波图像。信号处理器464将毫米波图像供应给图像处理器465。
图像处理器465执行与由图2的图像处理器223执行的处理相似的处理。换句话说，图像处理器465基于毫米波图像生成估计位置图像。图像处理器465将估计位置图像供应给训练数据生成器466。
注意的是，已经执行学习的图像处理模型301被用于图像处理器465。
训练数据生成器466生成包括输入数据和正确答案数据的训练数据，该输入数据包括四通道图像数据，该四通道图像数据包括R图像、G图像、B图像和估计位置图像。训练数据生成器466将训练数据供应给学习部分467。
学习部分467使用训练数据对物体识别模型351执行学习处理。学习部分467输出已经执行了学习的物体识别模型351。
<对图像处理模型执行的学习处理>
接下来，参考图7的流程图描述由学习系统401执行的对图像处理模型的学习处理。
注意的是，在开始这个处理之前，收集用于生成训练数据的数据。例如，在车辆10实际行驶的状况下，设置到车辆10的相机201和毫米波雷达202对位于车辆10前方的区域执行感测。具体而言，相机201捕获位于车辆10前方的区域的图像，并将获得的捕获的图像存储在存储装置111中。毫米波雷达202检测位于车辆10前方的物体，并将获得的毫米波数据存储在存储装置111中。基于累积在存储装置111中的捕获的图像和毫米波数据来生成训练数据。
在步骤S1中，学习系统401生成训练数据。
例如，用户将在基本上相同时间获取的捕获的图像和毫米波数据输入到学习系统401并且通过输入部分411来输入。换句话说，通过在基本上相同时间点执行感测而获得的捕获的图像和毫米波数据被输入到学习系统401。捕获的图像被供应给正确答案数据生成器412，并且毫米波数据被供应给信号处理器413。
另外，用户在捕获的图像中指定其中存在目标物体的区域。正确答案数据生成器412生成包括二进制图像的正确答案数据，该二进制图像指示其中存在由用户指定的目标物体的区域。
例如，通过输入部分411，用户框出其中存在车辆的区域，该车辆是图8的捕获的图像502中的目标物体。正确答案数据生成器412生成正确答案数据503，该正确答案数据503是通过用实心白色填充方框部分并且用实心黑色填充其它部分而二值化的图像。
正确答案数据生成器412将正确答案数据供应给训练数据生成器414。
信号处理器413对毫米波数据执行指定的信号处理，以估计位于车辆10前方的区域中已经反射了发送信号的物体的位置和速度。物体的位置由例如从车辆10到物体的距离以及相对于毫米波雷达202的光轴方向(车辆10的行驶方向)的物体的方向(角度)来表示。注意的是，例如，当发送信号被放射状地发送时，毫米波雷达202的光轴方向与其中执行放射状地发送的范围的中心的方向相同，并且当用发送信号执行扫描时，毫米波雷达202的光轴方向与其中执行扫描的范围的中心的方向相同。物体的速度由例如相对于车辆10的物体的相对速度表示。信号处理器413基于估计物体的位置的结果来生成毫米波图像。
例如，生成图8的毫米波图像501。毫米波图像501的x轴表示相对于毫米波雷达202的光轴方向(车辆10的行驶方向)的物体的角度，并且毫米波图像501的y轴表示到物体的距离。另外，在毫米波图像501中，由颜色或浓度来指示从位于由x轴和y轴限定的位置处的物体反射的信号(接收信号)的强度。
信号处理器413将毫米波图像供应给训练数据生成器414。
训练数据生成器414生成包括输入数据和正确答案数据的训练数据，该输入数据包括毫米波图像。例如，生成包括输入数据和正确答案数据503的训练数据，该输入数据包括毫米波图像501。训练数据生成器414将生成的训练数据供应给学习部分415。
在步骤S2中，学习部分415使图像处理模型执行学习。具体而言，学习部分415将输入数据输入到图像处理模型301。图像处理模型301基于包括在输入数据中的毫米波图像来生成估计位置图像。
例如，基于毫米波图像501生成图8的估计位置图像504。估计位置图像504是其坐标系与捕获的图像502的坐标系完全相同的灰度级图像。捕获的图像502和估计位置图像504是从相同视点观察时位于车辆10的前方的区域的图像。在估计位置图像504中，更可能被包括在存在目标物体的区域中的像素更亮，而更不可能被包括在存在目标物体的区域中的像素更暗。
学习部分415将估计位置图像与正确答案数据进行比较，并且基于比较的结果来调整例如图像处理模型301的参数。例如，学习部分415将估计位置图像504与正确答案数据503进行比较，并且例如调整图像处理模型301的参数以使得误差减小。
在步骤S3中，学习部分415确定是否要连续执行学习。例如，当由图像处理模型301执行的学习还未结束时，学习部分415确定将连续执行学习，并且处理返回到步骤S1。
此后，重复执行步骤S1到S3的处理，直到在步骤S3中确定要终止学习为止。
另一方面，学习部分415在步骤S3中确定例如当学习已经结束时，将终止由图像处理模型301执行的学习，并且终止对图像处理模型执行的学习处理。
如上所述，生成已经执行了学习的图像处理模型301。
<对物体识别模型执行的学习处理>
接下来，参考图9的流程图描述由学习系统451执行的关于物体识别模型的学习处理。
注意的是，与开始对图像处理模型执行的学习处理之前一样，在开始这个处理之前收集用于生成训练数据的数据。注意的是，对于对图像处理模型执行的学习处理和对物体识别模型执行的学习处理，可以使用相同的捕获的图像和相同的毫米波数据。
在步骤S51中，学习系统451生成训练数据。
例如，用户将在基本上相同时间获取的捕获的图像和毫米波数据输入到学习系统451并且通过输入部分461来输入。换句话说，将通过在基本上相同时间点执行感测而获得的捕获的图像和毫米波数据输入到学习系统451。捕获的图像被供应给图像处理器462和正确答案数据生成器463，并且毫米波数据被供应给信号处理器464。
图像处理器462执行对捕获的图像的每个像素中的R分量、G分量和B分量进行插值的处理，以生成由捕获的图像的R分量组成的R图像、由捕获的图像的G分量组成的G图像，以及由捕获的图像的B分量组成的B图像。例如，从图10的捕获的图像551生成R图像552R、G图像552G和B图像552B。图像处理器462将R图像、G图像和B图像供应给训练数据生成器466。
信号处理器464执行与由信号处理器413在图7的步骤S1中执行的处理相似的处理，以基于毫米波数据生成毫米波图像。例如，生成图10的毫米波图像553。信号处理器464将毫米波图像供应给图像处理器465。
图像处理器465将毫米波图像输入到图像处理模型301以生成估计位置图像。例如，从毫米波图像553生成图10的估计位置图像554。图像处理器462将估计位置图像供应给训练数据生成器466。
另外，用户通过输入部分461在捕获的图像中指定其中存在目标物体的位置。正确答案数据生成器463基于由用户指定的目标物体的位置生成指示在捕获的图像中的车辆的位置的正确答案数据。例如，从捕获的图像551生成图10的正确答案数据555，其包括作为捕获的图像551中的目标物体的框定的车辆。正确答案数据生成器463将正确答案数据供应给训练数据生成器466。
训练数据生成器466生成包括输入数据和正确答案数据的训练数据，该输入数据包括作为R图像、G图像、B图像和估计位置图像的四通道图像数据。例如，生成包括输入数据和正确答案数据的训练数据，该输入数据包括作为R图像552R、G图像552G、B图像552B和估计位置图像554的四通道图像数据。训练数据生成器466将训练数据供应给学习部分467。
在步骤S52中，学习部分467使物体识别模型351执行学习。具体而言，学习部分467将训练数据中包括的输入数据输入到物体识别模型351。物体识别模型351基于包括在输入数据中的R图像、G图像、B图像和估计位置图像来识别捕获的图像551中的目标物体，并生成指示识别的结果的识别结果数据。例如，生成图10的识别结果数据556。在识别结果数据556中，框定作为识别出的目标物体的车辆。
学习部分467将识别结果数据与正确答案数据进行比较，并且基于比较的结果来调整例如物体识别模型351的参数。例如，学习部分467将识别结果数据556与正确答案数据555进行比较，并且例如调整物体识别模型351的参数以使得误差减小。
在步骤S53中，学习部分467确定是否要连续执行学习。例如，当由物体识别模型351执行的学习还未结束时，学习部分467确定将连续执行学习，并且处理返回到步骤S51。
此后，重复执行步骤S51至S53的处理，直到在步骤S53中确定要终止学习为止。
另一方面，学习部分467在步骤S53中确定例如当学习已经结束时将终止由物体识别模型351执行的学习，并且终止对物体识别模型执行的学习处理。
如上所述，生成已经执行了学习的物体识别模型351。
<目标物体识别处理>
接下来，参考图11的流程图描述由车辆10执行的目标物体识别处理。
当例如执行用于激活车辆10以开始驾驶的操作时(即，例如当车辆10的点火开关、电源开关、起动开关等打开时)，开始这个处理。另外，例如当执行用于终止车辆10的驾驶的操作时(即，例如当车辆10的点火开关、电源开关、起动开关等关闭时)，终止这个处理。
在步骤S101中，相机201和毫米波雷达202对位于车辆10前方的区域执行感测。
具体而言，相机201捕获位于车辆10前方的区域的图像，并将获得的捕获的图像供应给图像处理器221。
毫米波雷达202在车辆10的前向方向上发送发送信号，并且使用多个接收天线接收作为从位于车辆10前方的物体反射的信号的接收信号。毫米波雷达202向信号处理器222供应毫米波数据，该毫米波数据按时间顺序指示使用每个接收天线接收的接收信号的强度。
在步骤S102中，图像处理器221对捕获的图像执行预处理。具体而言，图像处理器221执行与图9的步骤S51中由图像处理器462执行的处理相似的处理，以基于捕获的图像来生成R图像、G图像和B图像。图像处理器221将R图像、G图像和B图像供应给物体识别部分224。
在步骤S103中，信号处理器222生成毫米波图像。具体而言，信号处理器222执行与在图7的步骤S1中由信号处理器413执行的处理相似的处理，以基于毫米波数据生成毫米波图像。信号处理器222将毫米波图像供应给图像处理器223。
在步骤S104中，图像处理器223基于毫米波图像生成估计位置图像。具体而言，图像处理器223执行与图9的步骤S51中由图像处理器465执行的处理相似的处理，以基于毫米波图像生成估计位置图像。图像处理器223将估计位置图像供应给物体识别部分224。
在步骤S105中，物体识别部分224基于捕获的图像和估计位置图像执行识别目标物体的处理。具体而言，物体识别部分224将包括四通道图像数据的输入数据输入到物体识别模型351，该四通道图像数据是R图像、G图像、B图像和估计位置图像。物体识别模型351基于输入数据执行识别位于车辆10前方的目标物体的处理。
物体识别部分224将指示识别目标物体的结果的数据供应给例如自身位置估计器132；状况分析器133的地图分析器151、交通规则识别部分152和状况识别部分153；以及运动控制器135的紧急事件避免部分171。
基于例如识别目标物体的结果，自身位置估计器132执行估计车辆10的位置、姿势等的处理。
例如，基于识别目标物体的结果，地图分析器151执行分析存储在存储装置111中的各种地图的处理，并且构造包括自动驾驶处理所需的信息的地图。
例如，基于识别目标物体的结果，交通规则识别部分152执行识别车辆10周围的交通规则的处理。
例如，基于识别目标物体的结果，状况识别部分153执行识别车辆10的周围的状况的处理。
当紧急事件避免部分171基于例如识别目标物体的结果检测到紧急事件的发生时，紧急事件避免部分171计划车辆10的运动，诸如突然停止或快速转弯以避免紧急事件。
此后，处理返回到步骤S101，并且执行步骤S101及之后的处理。
如上所述，可以提高识别位于车辆10前方的目标物体的精度。
图12是在仅使用相机201(图像传感器201A)的情况、仅使用毫米波雷达202的情况与使用相机201和毫米波雷达202两者的情况之间在识别目标物体的属性方面进行比较的雷达图。图601图示了在仅使用相机201的情况下执行的识别的特性。图602图示了在仅使用毫米波雷达202的情况下执行的识别的特性。图603图示了在使用相机201和毫米波雷达202两者的情况下执行的识别的特性。
该雷达图由距离精度、无干扰性能、于材料的独立性、坏天气、夜间驾驶和水平角分辨率的六个轴定义。
距离精度的轴表示检测到物体的距离的精度。如果检测到物体的距离的精度较高，那么这个轴表现出较大的值，而如果检测到物体的距离的精度较低，那么这个轴表现出较小的值。
无干扰性能的轴表示不易受到来自其它电磁波的干扰的状况。这个轴在较不易受到来自其它电磁波的干扰的状况下表现出较大的值，而在较易于受到来自其它电磁波的干扰的状况下表现出较小的值。
于材料的独立性的轴表示识别的精度受材料类型的影响是否较小。如果识别的精度受材料类型的影响较小，那么这个轴表现出较大的值，而如果识别的精度受材料类型的影响较大，那么这个轴表现出较小的值。
坏天气的轴表示在坏天气期间识别物体的精度。如果在坏天气期间识别物体的精度较高，那么这个轴表现出较大的值，而如果在坏天气期间识别物体的精度较低，那么这个轴表现出较小的值。
夜间驾驶的轴表示夜间驾驶期间识别物体的精度。如果在夜间驾驶期间中识别物体的精度较高，那么这个轴表现出较大的值，而如果在夜间驾驶期间识别物体的精度较低，那么表现出较小的值。
水平角分辨率的轴表示被识别物体的位置中的水平(横向)角分辨率。如果水平角分辨率较高，那么这个轴表现出较大的值，而如果水平角分辨率较低，那么这个轴表现出较小的值。
相机201在无干扰性能、于材料的独立性以及水平角分辨率方面优于毫米波雷达202。另一方面，毫米波雷达202在距离精度、坏天气期间的识别精度和夜间驾驶期间的识别精度方面优于相机201。因此，当相机201和毫米波雷达202都用于融合识别结果时，这使得可以补偿彼此的弱点。这导致识别目标物体的精度提高。
例如，图13的A图示了当仅使用相机201执行识别车辆的处理时获得的识别结果的示例，并且图13的B图示了当使用相机201和毫米波雷达202两者执行识别车辆的处理时获得的识别结果的示例。
在两种情况下，车辆621至623都被识别出。当仅使用相机201时，这导致无法识别部分隐藏在车辆622和623后面的车辆624。另一方面，当同时使用相机201和毫米波雷达202两者时，这导致成功地识别车辆624。
例如，图14的A图示了当仅使用相机201执行识别车辆的处理时获得的识别结果的示例，并且图14的B图示了当使用相机201和毫米波雷达202两者执行识别车辆的处理时获得的识别结果的示例。
在两种情况下，车辆641都被识别出。当仅使用相机201时，这导致无法识别具有特有形状的特有颜色的车辆642。另一方面，当使用相机201和毫米波雷达202两者时，这导致成功地识别车辆642。
另外，当使用估计位置图像而不是毫米波图像执行识别目标物体的处理时，这导致提高了识别目标物体的精度。
具体而言，对毫米波图像执行几何变换以获得其坐标系与捕获的图像的坐标系匹配的估计位置图像，并且物体识别模型351是使用估计位置图像来学习得到的。这导致便于将捕获的图像的每个像素与估计位置图像中的反射点(接收信号的强度高的点)进行匹配，并且提高学习的精度。另外，在估计位置图像中，包括在毫米波图像中并且从除了位于车辆10前方的目标物体以外的物体反射的接收信号的分量(即，执行识别目标物体的处理不需要的分量)减小。因此，使用估计位置图像可以提高识别目标物体的精度。
<<2.第二实施例>>
接下来，参考图15描述本技术的第二实施例。
<数据获取部分102B和车辆外部信息检测器141B的配置示例>
图15图示作为图1的车辆控制系统100中的数据获取部分102的第二实施例的数据获取部分102B和作为图1的车辆控制系统100中的外部信息检测器141的第二实施例的车辆外部信息检测器141B的配置示例。注意的是，图中与图2中的部分对应的部分由与图2相同的附图标记表示，并且适当地省略其描述。
数据获取部分102B在包括相机201和毫米波雷达202方面与数据获取部分102A相似，并且与数据获取部分102A的不同之处在于包括LiDAR 701。
车辆外部信息检测器141B与车辆外部信息检测器141A的不同之处在于包括信息处理器711而不是信息处理器211。信息处理器711在包括图像处理器221、信号处理器222和图像处理器223方面与信息处理器211相似。另一方面，信息处理器711与信息处理器211的不同之处在于包括物体识别部分723而不是物体识别部分224，并且在于添加了信号处理器721和图像处理器722。
LiDAR 701对位于车辆10前方的区域执行感测，并且LiDAR701和相机201的感测范围至少部分重叠。例如，LiDAR 701相对于位于车辆10前方的区域在横向和高度方向上利用激光脉冲执行扫描，并且接收作为激光脉冲的反射的反射光。LiDAR 701基于接收反射光所花费的时间来计算到位于车辆10前方的物体的距离，并且基于计算的结果，LiDAR 701生成三维点组数据(点云)，其指示位于车辆10前方的物体的形状和位置。LiDAR 701将点组数据供应给信号处理器721。
信号处理器721针对点组数据执行指定的信号处理(例如，插值处理或数量减少的处理)，并且向图像处理器722供应已执行了信号处理的点组数据。
图像处理器722对点组数据执行指定的图像处理，以生成指示在与捕获的图像的坐标系完全相同的坐标系中目标物体的估计位置的估计位置图像，如图像处理器223的情况那样。图像处理器722将估计位置图像供应给物体识别部分723。
注意的是，将类似于例如图3的图像处理模型301的图像处理模型用于图像处理器722，但是省略了其详细描述。用于图像处理器722的图像处理模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，该输入数据包括点组数据，正确答案数据是基于捕获的图像生成的。
注意的是，将由图像处理器223基于毫米波图像生成的估计位置图像称为基于毫米波的估计位置图像，并将由图像处理器722基于点组数据生成的估计位置图像称为基于点组的估计位置图像。
物体识别部分723基于R图像、G图像、B图像、基于毫米波的估计位置图像和基于点组的估计位置图像来执行识别位于车辆10前方的目标物体的处理。物体识别部分723将指示识别目标物体的结果的数据供应给例如自身位置估计器132；状况分析器133的地图分析器151、交通规则识别部分152和状况识别部分153；以及运动控制器135的紧急事件避免部分171。
注意的是，与例如图4的物体识别模型351相似的物体识别模型被用于物体识别部分723，但是省略了其详细描述。用于物体识别部分723的物体识别模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，该输入数据包括作为R图像、G图像、B图像、基于毫米波的估计位置图像和基于点组的估计位置图像的五通道图像数据，正确答案数据是基于捕获的图像生成的。
如上所述，LiDAR 701的添加导致进一步提高识别目标物体的精度。
<<3.修改>>>
下面描述上述本技术的实施例的修改。
上面已经主要描述了其中车辆是识别目标的示例。但是，如上所述，除了车辆以外的任何物体都可以是识别目标。例如，如果学习处理是使用包括指示要识别的目标物体的位置的正确答案数据的训练数据对图像处理模型301和物体识别模型351执行的，那就足够了。
另外，本技术还适用于识别多种类型的物体的情况。例如，如果学习处理是使用包括指示每个目标物体的位置和标签(目标物体的类型)的正确答案数据的训练数据对图像处理模型301和物体识别模型351执行的，那就足够了。
已经参考图7至9描述了在生成训练数据的同时执行学习处理的示例。但是，例如，可以在预先生成需要的训练数据之后执行学习处理。
上面已经描述了识别位于车辆10前方的目标物体的示例。但是，当从车辆10观察时，本技术还适用于识别沿着另一方向位于车辆10周围的目标物体的情况。
另外，本技术还适用于识别除了车辆以外的移动物体周围的目标物体的情况。例如，可以想到的是，本技术可以应用于诸如摩托车、自行车、个人移动、飞机、轮船、建筑机械和农业机械(拖拉机)之类的移动物体。另外，本技术适用的移动物体的示例还包括由用户远程操作的移动物体(诸如无人驾驶飞机和机器人)而无需用户登上移动物体。
此外，本技术还适用于执行在固定位置处识别目标物体的处理(诸如监视系统)的情况。
而且，图3的图像处理模型301和图4的物体识别模型351仅仅是示例，并且除了由机器学习生成的图像处理模型301和物体识别模型351以外的模型也可以被使用。
另外，本技术还适用于通过结合使用相机(图像传感器)和LiDAR执行识别目标物体的处理的情况。
此外，本技术还适用于使用检测物体的传感器而不是毫米波雷达或LiDAR的情况。
另外，当毫米波雷达在高度方向上具有分辨力时(即，当毫米波雷达能够检测到物体的高度方向上的位置(角度)时)，本技术也适用。
例如，当毫米波雷达在高度方向上的分辨力是6时，基于毫米波数据生成与不同高度对应的毫米波图像801a至801f，如图16中所示。在这种情况下，例如，如果图像处理模型301可以是使用包括输入数据的训练数据来学习得到的，那就足够了，该输入数据包括作为毫米波图像801a至801f的六通道图像数据802。
可替代地，例如，毫米波图像801a至801f可以组合以生成单个毫米波图像，并且图像处理模型301可以是使用包括输入数据的训练数据来学习得到的，该输入数据包括生成的毫米波图像。
另外，例如，可以使用图17的B的毫米波图像822代替图17的A的毫米波图像821。
在毫米波图像821中，如在图8的毫米波图像501的情况下那样，x轴表示相对于毫米波雷达202的光轴方向的物体的角度，并且y轴表示到物体的距离。
另一方面，在毫米波图像822中，x轴表示横向方向(车辆10的宽度方向)，并且y轴表示毫米波雷达202的光轴方向(车辆10的行驶方向)。在毫米波图像822中，位于车辆10前方的物体的位置以及每个物体的反射强度的分布(即，从位于车辆10前方的物体反射的接收信号的强度的分布)以鸟瞰图给出。
毫米波图像822是基于毫米波图像821生成的，并且与使用毫米波图像821时相比，毫米波图像822的使用使得在视觉上更容易掌握位于车辆10前方的物体的位置。但是，当毫米波图像821被变换为毫米波图像822时，其中部分信息丢失。因此，当使用毫米波图像821而没有任何改变时，识别目标物体的精度更高。
<<4.其它>>
<计算机的配置示例>
可以使用硬件或软件来执行上述系列处理。当使用软件执行系列处理时，软件中包括的程序被安装在计算机上。在此，计算机的示例包括结合到专用硬件中的计算机，以及能够通过安装在其上的各种程序来执行各种功能的诸如通用个人计算机之类的计算机。
图18是使用程序执行上述系列处理的计算机的硬件配置示例的框图。
在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。
另外，输入/输出接口1005连接到总线1004。输入部分1006、输出部分1007、记录部分1008、通信部分1009和驱动器1010连接到输入/输出接口1005。
输入部分1006例如包括输入开关、按钮、麦克风和成像元件。输出部分1007包括例如显示器和扬声器。记录部分1008包括例如硬盘和非易失性存储器。通信部分1009包括例如网络接口。驱动器1010驱动可移除介质1011，诸如磁盘、光盘、磁光盘或半导体存储器。
在具有上述配置的计算机1000中，上述系列处理由CPU 1001执行，例如，经由输入/输出接口1005和总线1004将记录在记录部分1008中的程序加载到RAM 1003中并执行该程序。
例如，可以通过将计算机1000(CPU 1001)执行的程序记录在用作例如包装介质的可移除介质1011中来提供程序。另外，可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机1000中，通过将可移除介质1011安装在驱动器1010上，可以经由输入/输出接口1005将程序安装在记录部分1008上。另外，可以由通信部分1009经由有线或无线传输介质接收程序，以将其安装在记录部分1008上。而且，可以预先将程序安装在ROM1002或记录部分1008上。
注意的是，由计算机执行的程序可以是其中按照本文描述的顺序按时间顺序执行处理的程序，或者可以是其中并行执行处理或在需要的定时(诸如调用的定时)执行处理的程序。
另外，本文所使用的系统是指多个组件(诸如装置和模块(部分))的集合，并且所有组件是否都在单个壳体中并不重要。因此，容纳在分离的壳体中并经由网络彼此连接的多个装置以及其中多个模块被容纳在单个壳体中的单个装置两者都是系统。
此外，本技术的实施例不限于上述示例，并且在不脱离本技术的范围的情况下可以对其进行各种修改。
例如，本技术还可以具有云计算的配置，其中单个功能被共享以经由网络由多个装置共同处理。
另外，除了由单个装置执行以外，使用上述流程图描述的相应步骤可以被共享以便由多个装置执行。
而且，当单个步骤包括多个处理时，除了由单个装置执行以外，单个步骤中包括的多个处理可以被共享以便由多个装置执行。
<配置的组合的示例>
本技术还可以采用以下配置。
(1)一种信息处理装置，包括：
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理。
(2)根据(1)所述的信息处理装置，其中
图像处理器使用通过机器学习获得的图像处理模型来生成估计位置图像。
(3)根据(2)所述的信息处理装置，其中
图像处理模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，所述输入数据包括传感器图像，所述正确答案数据指示在捕获的图像中目标物体的位置。
(4)根据(3)所述的信息处理装置，其中
正确答案数据是指示在捕获的图像中存在目标物体的区域的二进制图像。
(5)根据(3)或(4)所述的信息处理装置，其中
图像处理模型是使用深度神经网络的模型。
(6)根据(5)所述的信息处理装置，其中
图像处理模型包括
特征量提取部分，所述特征量提取部分提取传感器图像的特征量，以生成指示在第一坐标系中所述特征量的分布的特征图，几何变换部分，所述几何变换部分将第一坐标系中的特征图变换为第二坐标系中的特征图，以及
解卷积部分，所述解卷积部分对第二坐标系中的特征图进行解卷积以生成估计位置图像。
(7)根据(1)至(6)中的任何一项的信息处理装置，其中
物体识别部分使用通过机器学习获得的物体识别模型来执行识别目标物体的处理。
(8)根据(7)所述的信息处理装置，其中
物体识别模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，所述输入数据包括捕获的图像和估计位置图像，所述正确答案数据指示在捕获的图像中目标物体的位置。
(9)根据(8)所述的信息处理装置，其中
物体识别模型是使用深度神经网络的模型。
(10)根据(9)所述的信息处理装置，其中
物体识别模型包括
第一卷积神经网络，所述第一卷积神经网络提取捕获的图像和估计位置图像的特征量，以及
第二卷积神经网络，所述第二卷积神经网络基于捕获的图像和估计位置图像的特征量来识别目标物体。
(11)根据(1)至(10)中的任何一项所述的信息处理装置，其中
图像传感器和传感器对于移动物体的周围执行感测，并且
物体识别部分执行识别移动物体的周围的目标物体的处理。
(12)根据(1)至(11)中的任何一项所述的信息处理装置，其中
传感器包括毫米波雷达，并且
传感器图像指示从其反射来自毫米波雷达的传输信号的物体的位置。
(13)根据(12)所述的信息处理装置，其中
第一坐标系由表示到毫米波雷达的光轴方向的角度的轴和表示到物体的距离的轴来定义。
(14)根据(12)所述的信息处理装置，其中
毫米波雷达具有在高度方向上的分辨力，并且
图像处理器基于与不同高度对应的多个传感器图像生成估计位置图像。
(15)根据(1)至(14)中的任何一项所述的信息处理装置，其中
传感器包括激光雷达LiDAR(光检测和测距)，并且
传感器图像是由LiDAR获得的点组数据。
(16)一种信息处理方法，包括：
由信息处理装置基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
由信息处理装置基于捕获的图像和估计位置图像执行识别目标物体的处理。
(17)一种用于使计算机执行处理的程序，包括：
基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
基于捕获的图像和估计位置图像执行识别目标物体的处理。
(18)一种移动物体控制装置，包括：
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与捕获移动物体周围的图像的图像传感器的感测范围至少部分重叠的传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；
物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理；以及
运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
(19)一种移动物体，包括：
图像传感器；
传感器，所述传感器的感测范围与图像传感器的感测范围至少部分地重叠；
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示传感器的感测结果，所述估计位置图像指示在与图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；
物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理；以及
运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
注意的是，本文描述的效果不是限制性的，而仅是说明性的，并且可以提供其它效果。
附图标记列表
10 车辆
100 车辆控制系统
102，102A，102B 数据获取部分
107 动力传动系控制器
108 动力传动系系统
135 运动控制器
141，141A，141B 车辆外部信息检测器
201 相机
201A 图像传感器
202 毫米波雷达
211 信息处理器
221 图像处理器
222 信号处理器
223 图像处理器
224 物体识别部分
301 图像处理模型
311 特征量提取部分
312 几何变换部分
313 解卷积部分
351 物体识别模型
361 特征量提取部分
362 识别部分
401 学习系统
414 训练数据生成器
415 学习部分
451 学习系统
466 训练数据生成器
467 学习部分
701 LiDAR
711 信息处理器
721 信号处理器
722 图像处理器
723 物体识别部分

Claims (19)

1.一种信息处理装置，包括：
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与所述图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
物体识别部分，所述物体识别部分基于捕获的图像和估计位置图像执行识别目标物体的处理。
2.根据权利要求1所述的信息处理装置，其中
所述图像处理器使用通过机器学习获得的图像处理模型来生成所述估计位置图像。
3.根据权利要求2所述的信息处理装置，其中
所述图像处理模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，所述输入数据包括所述传感器图像，所述正确答案数据指示在所述捕获的图像中目标物体的位置。
4.根据权利要求3所述的信息处理装置，其中
所述正确答案数据是指示在所述捕获的图像中存在目标物体的区域的二进制图像。
5.根据权利要求3所述的信息处理装置，其中
所述图像处理模型是使用深度神经网络的模型。
6.根据权利要求5所述的信息处理装置，其中
所述图像处理模型包括
特征量提取部分，所述特征量提取部分提取所述传感器图像的特征量，以生成指示在第一坐标系中所述特征量的分布的特征图，
几何变换部分，所述几何变换部分将第一坐标系中的特征图变换为第二坐标系中的特征图，以及
解卷积部分，所述解卷积部分对第二坐标系中的特征图进行解卷积以生成所述估计位置图像。
7.根据权利要求1所述的信息处理装置，其中
所述物体识别部分使用通过机器学习获得的物体识别模型来执行所述识别目标物体的处理。
8.根据权利要求7所述的信息处理装置，其中
所述物体识别模型是使用包括输入数据和正确答案数据的训练数据来学习得到的，所述输入数据包括所述捕获的图像和所述估计位置图像，所述正确答案数据指示在所述捕获的图像中目标物体的位置。
9.根据权利要求8所述的信息处理装置，其中
所述物体识别模型是使用深度神经网络的模型。
10.根据权利要求9所述的信息处理装置，其中
所述物体识别模型包括
第一卷积神经网络，所述第一卷积神经网络提取所述捕获的图像和所述估计位置图像的特征量，以及
第二卷积神经网络，所述第二卷积神经网络基于所述捕获的图像和所述估计位置图像的特征量来识别目标物体。
11.根据权利要求1所述的信息处理装置，其中
所述图像传感器和所述传感器对于移动物体的周围执行感测，并且
所述物体识别部分执行识别所述移动物体的周围的目标物体的处理。
12.根据权利要求1所述的信息处理装置，其中
所述传感器包括毫米波雷达，并且
所述传感器图像指示从其反射来自所述毫米波雷达的传输信号的物体的位置。
13.根据权利要求12所述的信息处理装置，其中
第一坐标系由表示到所述毫米波雷达的光轴方向的角度的轴和表示到所述物体的距离的轴来定义。
14.根据权利要求12所述的信息处理装置，其中
所述毫米波雷达具有在高度方向上的分辨力，并且
所述图像处理器基于与不同高度对应的多个传感器图像生成所述估计位置图像。
15.根据权利要求1所述的信息处理装置，其中
所述传感器包括激光雷达LiDAR(光检测和测距)，并且
所述传感器图像是由LiDAR获得的点组数据。
16.一种信息处理方法，包括：
由信息处理装置基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与所述图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
由所述信息处理装置基于所述捕获的图像和所述估计位置图像执行识别目标物体的处理。
17.一种用于使得计算机执行处理的程序，包括：
基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与图像传感器的感测范围至少部分地重叠的传感器的感测结果，所述估计位置图像指示在与所述图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；以及
基于所述捕获的图像和所述估计位置图像执行识别目标物体的处理。
18.一种移动物体控制装置，包括：
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示其感测范围与捕获移动物体周围的图像的图像传感器的感测范围至少部分重叠的传感器的感测结果，所述估计位置图像指示在与所述图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；
物体识别部分，所述物体识别部分基于所述捕获的图像和所述估计位置图像执行识别目标物体的处理；以及
运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
19.一种移动物体，包括：
图像传感器；
传感器，所述传感器的感测范围与所述图像传感器的感测范围至少部分地重叠；
图像处理器，所述图像处理器基于传感器图像生成估计位置图像，所述传感器图像利用第一坐标系指示所述传感器的感测结果，所述估计位置图像指示在与所述图像传感器所获得的捕获的图像的坐标系相同的第二坐标系中目标物体的估计位置；
物体识别部分，所述物体识别部分基于所述捕获的图像和所述估计位置图像执行识别目标物体的处理；以及
运动控制器，所述运动控制器基于目标物体的识别结果来控制移动物体的运动。
CN201980079022.2A 2018-12-07 2019-11-22 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体 Pending CN113168692A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-230060 2018-12-07
JP2018230060 2018-12-07
PCT/JP2019/045742 WO2020116194A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Publications (1)

Publication Number Publication Date
CN113168692A true CN113168692A (zh) 2021-07-23

Family

ID=70975025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079022.2A Pending CN113168692A (zh) 2018-12-07 2019-11-22 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体

Country Status (6)

Country Link
US (1) US12125237B2 (zh)
EP (1) EP3893195A4 (zh)
JP (1) JP7497298B2 (zh)
KR (1) KR20210098445A (zh)
CN (1) CN113168692A (zh)
WO (1) WO2020116194A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098972A (ko) * 2018-12-07 2021-08-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치 및 이동체
KR20210071584A (ko) * 2019-12-06 2021-06-16 팅크웨어(주) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
JP7542396B2 (ja) 2020-10-19 2024-08-30 京セラ株式会社 物体認識装置、物体認識システム、学習方法、物体認識装置の物体認識方法、学習プログラム及び物体認識装置の物体認識プログラム
JP7523312B2 (ja) 2020-10-19 2024-07-26 京セラ株式会社 物体認識装置、物体認識システム、物体認識装置の学習方法、物体認識装置の物体認識方法、物体認識装置の学習プログラム及び物体認識装置の物体認識プログラム
JP7549509B2 (ja) * 2020-10-21 2024-09-11 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両
JP7391278B2 (ja) * 2021-11-05 2023-12-04 三菱電機株式会社 レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置
CN114202696B (zh) * 2021-12-15 2023-01-24 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法
WO2025028385A1 (ja) * 2023-08-03 2025-02-06 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2025033195A1 (ja) * 2023-08-10 2025-02-13 日本電気株式会社 検出装置、学習装置、検出方法、学習方法及び記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139476A (zh) * 2015-09-30 2018-06-08 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175603A (ja) 2003-12-08 2005-06-30 Suzuki Motor Corp レーダを用いた障害物の表示方法及び表示システム
JP4910090B2 (ja) 2007-02-19 2012-04-04 国立大学法人横浜国立大学 画像処理システム
JP6682833B2 (ja) 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
US11657267B2 (en) 2016-07-21 2023-05-23 Denso It Laboratory, Inc. Neural network apparatus, vehicle control system, decomposition device, and program
WO2018052714A2 (en) 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Video to radar
US10495753B2 (en) 2016-09-19 2019-12-03 Nec Corporation Video to radar
US20180330238A1 (en) * 2017-05-09 2018-11-15 Neurala, Inc. Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
JP6802756B2 (ja) * 2017-05-18 2020-12-16 株式会社デンソーアイティーラボラトリ 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
DE102018208992A1 (de) * 2018-06-07 2019-12-12 Robert Bosch Gmbh Radarsensorsystem
US20200177798A1 (en) * 2018-12-03 2020-06-04 Nvidia Corporation Machine Learning of Environmental Conditions to Control Positioning of Visual Sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139476A (zh) * 2015-09-30 2018-06-08 索尼公司 信息处理设备、信息处理方法和程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING LIANG ETC.: "Deep Continuous Fusion for Multi-Sensor 3D Object Detection", COMPUTER VISION-ECCV, 6 October 2018 (2018-10-06), pages 663, XP047497249, DOI: 10.1007/978-3-030-01270-0_39 *
XIAOZHI CHEN ETC.: ""Multi-View 3D Object Detection Network for Autonomous Driving", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 26 July 2017 (2017-07-26), pages 1907 - 1915 *

Also Published As

Publication number Publication date
EP3893195A4 (en) 2022-01-26
KR20210098445A (ko) 2021-08-10
WO2020116194A1 (ja) 2020-06-11
US12125237B2 (en) 2024-10-22
EP3893195A1 (en) 2021-10-13
JP7497298B2 (ja) 2024-06-10
US20220058428A1 (en) 2022-02-24
JPWO2020116194A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US12125237B2 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US12270895B2 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11531354B2 (en) Image processing apparatus and image processing method
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
US11615628B2 (en) Information processing apparatus, information processing method, and mobile object
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
CN113167883B (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
US20220092876A1 (en) Information processing apparatus, information processing method, and program
EP3951663A1 (en) Information processing method, program, and information processing device
US20240056694A1 (en) Imaging device, image processing method, and image processing program
CN116438470A (zh) 信息处理装置、信息处理方法和程序
US20230245423A1 (en) Information processing apparatus, information processing method, and program
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
US20210295563A1 (en) Image processing apparatus, image processing method, and program
US20240386724A1 (en) Recognition processing device, recognition processing method, and recognition processing system
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination