[go: up one dir, main page]

CN111226094A - 信息处理装置、信息处理方法、程序和移动体 - Google Patents

信息处理装置、信息处理方法、程序和移动体 Download PDF

Info

Publication number
CN111226094A
CN111226094A CN201880067728.2A CN201880067728A CN111226094A CN 111226094 A CN111226094 A CN 111226094A CN 201880067728 A CN201880067728 A CN 201880067728A CN 111226094 A CN111226094 A CN 111226094A
Authority
CN
China
Prior art keywords
weight
self
vehicle
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880067728.2A
Other languages
English (en)
Inventor
丰吉政彦
李骏
山本启太郎
阿部真一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111226094A publication Critical patent/CN111226094A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及能够容易地提高移动体的自身位置估计的环境耐受性的信息处理装置、信息处理方法、程序和移动体。信息处理装置设置有：第一自身位置估计单元，通过使用可视图像来估计移动体的自身位置；第二自身位置估计单元，通过使用红外图像来估计移动体的自身位置；以及组合单元，基于移动体所处的状况来设定通过使用可视图像进行的自身位置估计的第一估计结果的第一权重和通过使用红外图像进行的自身位置估计的第二估计结果的第二权重，并且通过使用第一权重和第二权重来组合第一估计结果和第二估计结果。本发明可应用于例如移动体，诸如车辆。

Description

信息处理装置、信息处理方法、程序和移动体
技术领域
本技术涉及信息处理装置、信息处理方法、程序和移动体，并且具体地，涉及适合用来估计移动体的自身位置的信息处理装置、信息处理方法、程序和移动体。
背景技术
迄今为止，已经提出了如下方法，该方法通过向上安装在移动体的上部的广角相机来检测干扰因素和界标，选择不受干扰因素影响的界标，并且控制安装在移动体上的多个标准相机的姿态以跟随所选择的界标，从而提高自身位置估计的环境耐受性(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：PCT专利公开号WO2016/016955
发明内容
技术问题
然而，在专利文献1中描述的发明中，需要选择不受干扰因素影响的界标，并且单独地控制多个标准相机的姿态以跟随所选择的界标，从而导致复杂的处理。
鉴于这样的情况而提出了本技术，并且本技术的目的在于容易地提高移动体的自身位置估计的环境耐受性。
问题的解决方案
根据本技术的第一方面，提供了一种信息处理装置，包括：第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计移动体的自身位置；第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计所述移动体的自身位置；以及组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
根据本技术的第一方面，提供了一种信息处理方法，包括：由信息处理装置：分别使用可视图像和红外图像来估计移动体的自身位置；以及基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
根据本技术的第一方面，提供了一种用于使计算机执行以下处理的程序：分别使用可视图像和红外图像来估计移动体的自身位置；以及基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
根据本技术的第二方面，提供了一种移动体，包括：可视图像传感器，所述可视图像传感器被配置为拍摄可视图像；红外图像传感器，所述红外图像传感器被配置为拍摄红外图像；第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计自身位置；第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计自身位置；以及组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
在本技术的第一方面或第二方面中，分别使用可视图像和红外图像来估计移动体的自身位置。基于移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重。使用第一权重和第二权重来组合第一估计结果和第二估计结果。
发明的有益效果
根据本技术的第一方面或第二方面，可以容易地提高移动体的自身位置估计的环境耐受性。
注意，本文中描述的效果不必受限制，并且可以是本公开中描述的任何效果。
附图说明
图1是示出可应用本技术的车辆控制系统的示意性功能的配置示例的框图。
图2是示出应用本技术的一个实施例的地图生成系统的框图。
图3是示出地图生成处理的流程图。
图4是示出应用本技术的一个实施例的自身位置估计系统的框图。
图5是示出自身位置估计处理的流程图。
图6是示出权重设定方法的表。
图7是示出车辆的估计位置误差的模型的示例的图。
图8是比较自身位置估计方法的表。
图9是示出计算机的配置示例的图。
具体实施方式
现在，描述用于实施本技术的模式。按以下顺序进行描述。
1、车辆控制系统的配置示例
2、实施例
3、变型示例
4、其他
<<1、车辆控制系统的配置示例>>
图1是示出车辆控制系统100的示意性功能的配置示例的框图，该车辆控制系统100是可应用本技术的移动体控制系统的示例。
车辆控制系统100是提供给车辆10的系统，并且被配置为执行车辆10的各种类型的控制。注意，在下面的描述中，在将车辆10与其他车辆区分开的情况下，车辆10被称为“讨论中的车辆”。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121的示例包括符合任何标准(例如CAN(控制器区域网)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标))的车载通信网络和总线。注意，在某些情况下，车辆控制系统100的各个部分在没有通信网络121的情况下彼此直接连接。
注意，在以下描述中，在车辆控制系统100的各个部分经由通信网络121彼此通信的情况下，省略对通信网络121的描述。例如，将输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况简单地描述为输入单元101和自动驾驶控制单元112彼此通信的情况。
输入单元101包括乘员用来输入各种类型的数据、指令等的装置。例如，输入单元101包括：诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备；被配置为支持除手动操作之外的输入方法(诸如语音输入和手势输入)的操作设备；或其他操作设备。此外，例如，输入单元101可以是使用红外线或其他无线电波的遥控装置，或者是被配置为由车辆控制系统100操作的外部连接的设备，诸如移动设备或可穿戴设备。输入单元101基于由乘员输入的数据、指令等生成输入信号，并且将输入信号供应给车辆控制系统100的每个部分。
数据获取单元102包括例如被配置为获取在车辆控制系统100的处理中使用的数据的各种传感器，并且将所获取的数据供应给车辆控制系统100的每个部分。
例如，数据获取单元102包括用于检测车辆10的状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角、发动机速度、电机速度，车轮转速等的传感器。
此外，例如，数据获取单元102包括用于检测车辆10外部的信息的各种传感器。具体地，例如，数据获取单元102包括诸如ToF(飞行时间)相机、立体相机、单目相机、红外相机或其他相机之类的成像装置。此外，例如，数据获取单元102包括用于检测天气、气象现象等的环境传感器以及用于检测车辆10周围的对象的周边信息检测传感器。环境传感器的示例包括雨传感器、雾传感器、阳光传感器和雪传感器。周边信息检测传感器的示例包括超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)传感器以及声纳。
此外，例如，数据获取单元102包括用于检测车辆10的当前位置的各种传感器。具体地，例如，数据获取单元102包括被配置为从GNSS(全球导航卫星系统)卫星接收GNSS信号的GNSS接收器。
此外，例如，数据获取单元102包括用于检测车辆内部信息的各种传感器。具体地，例如，数据获取单元102包括被配置为对驾驶员进行成像的成像装置、被配置为检测与驾驶员有关的生物信息的生物传感器、被配置为收集车辆内部的声音的麦克风等。生物传感器例如分别设置在座椅或方向盘上，并且检测与坐在座椅上的乘员或握持方向盘的驾驶员有关的生物信息。
通信单元103与车载设备104和车辆外部的各种类型的设备、服务器、基站等进行通信，并且发送从车辆控制系统100的每个部分供应的数据或者将接收到的数据供应给车辆控制系统100的每个部分。注意，通信单元103与之兼容的通信协议不受特别限制。此外，通信单元103可以与多种类型的通信协议兼容。
例如，通信单元103经由无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车载设备104进行无线通信。此外，例如，通信单元103使用USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)，MHL(移动高清链接)等，经由未示出的连接端子(和电缆，如果需要)，通过有线通信与车载设备104进行通信。
此外，例如，通信单元103经由基站或接入点与外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)进行通信。此外，例如，通信单元103使用P2P(点对点)技术与车辆10附近的终端(例如，行人的终端、商店的终端或MTC(机器类型通信)终端)进行通信。另外，例如，通信单元103执行V2X通信，诸如车辆对车辆通信、车辆对基础设施通信、车辆10与家庭之间的通信(车辆对家庭通信)以及车辆对行人通信。此外，例如，通信单元103包括信标接收部，并且接收从安装在道路上的无线站发送的无线电波或电磁波，以获取关于当前位置、交通拥堵、交通限制、所需时间等的信息。
车载设备104包括例如乘员的移动设备或可穿戴设备、被带入或安装在车辆10上的信息设备以及被配置为搜索去往任何目的地的路线的导航装置。
输出控制单元105控制将各种信息输出到车辆10的乘员或车辆外部。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，声音数据)中的至少一种的输出信号，并且将该输出信号供应给输出单元106，从而控制从输出单元106输出视觉信息和听觉信息。具体地，例如，输出控制单元105组合由数据获取单元102的不同成像装置拍摄的图像的数据以生成鸟瞰图像、全景图像或其他图像，并且将包括所生成的图像的输出信号供应给输出单元106。此外，例如，输出控制单元105生成包括例如对危险(诸如碰撞、轻微碰撞或进入危险区域)进行警告的声音或消息的声音数据，并且将包括所生成的声音数据的输出信号供应给输出单元106。
输出单元106包括能够向车辆10的乘员或车辆外部输出视觉信息或听觉信息的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、耳机、乘员穿戴的可穿戴设备(例如眼镜型显示器)、投影仪或灯。除了包括普通显示器的装置以外，输出单元106的显示装置可以是被配置为在驾驶员的视野中显示视觉信息的装置，例如诸如平视显示器、透射显示器或具有AR(增强现实)显示功能的装置。
驱动系统控制单元107生成各种控制信号并且将控制信号供应给驱动系统108，从而控制驱动系统108。此外，例如，驱动系统控制单元107将控制信号供应给除驱动系统108以外的每个部分，以根据需要向每个部分通知驱动系统108的控制状态。
驱动系统108包括与车辆10的驱动系统有关的各种装置。例如，驱动系统108包括：用于生成用于内燃机、驱动电机等的驱动力的驱动力生成装置，用于将驱动力传递至车轮的驱动力传递机构，被配置为调节转向角的转向机构，被配置为生成制动力的制动装置，ABS(防抱死制动系统)，ESC(电子稳定控制)和电动助力转向装置。
车身系统控制单元109生成各种控制信号并且将控制信号供应给车身系统110，从而控制车身系统110。此外，例如，车身系统控制单元109将控制信号供应给除车身系统110以外的每个部分，以根据需要向每个部分通知车身系统110的控制状态。
车身系统110包括安装在车身上的各种车身系统装置。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调装置以及各种灯(例如，前灯、倒车灯、刹车灯、指示灯和雾灯)。
存储单元111包括例如诸如ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器)之类的磁存储设备、半导体存储设备、光存储设备以及磁光存储设备。存储单元111存储例如将要在车辆控制系统100的每个部分中使用的各种类型的程序或数据。例如，存储单元111存储地图数据，诸如三维高精度地图(诸如动态地图)；全球地图，其准确性低于高精度地图，但覆盖范围比高精度地图宽；以及局部地图，包括有关车辆10的周边信息。
自动驾驶控制单元112执行与诸如自主驾驶和驾驶辅助之类的自动驾驶有关的控制。具体地，例如，自动驾驶控制单元112为了实现ADAS(高级驾驶员辅助系统)功能的目的而执行协作控制，所述ADAS(高级驾驶员辅助系统)功能包括车辆10的避免碰撞或减震、基于车辆到车辆距离的跟随行驶、车辆速度维持行驶、车辆10的碰撞警告、车辆10的车道偏离警告等。此外，例如，自动驾驶控制单元112为了实现例如允许车辆在没有驾驶员操作的情况下自主行进的自动驾驶的目的而执行协作控制。自动驾驶控制单元112包括检测部131、自身位置估计部132、状况分析部133、规划部134和操作控制部135。
检测部131检测自动驾驶控制所需的各种信息。检测部131包括车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143。
车辆外部信息检测部141执行基于来自车辆控制系统100的每个部分的数据或信号来检测车辆10外部的信息的处理。例如，车辆外部信息检测部141执行检测、识别并且跟踪车辆10周围的对象的处理、以及检测与对象的距离的处理。要检测的对象的示例包括车辆、人、障碍物、构造物、道路，交通信号灯、交通标志和道路标记。此外，例如，车辆外部信息检测部141执行检测车辆10的周围环境的处理。要检测的周围环境的示例包括天气、温度、湿度、亮度和道路状态。例如，车辆外部信息检测部141将指示检测处理的结果的数据供应给自身位置估计部132，状况分析部133的地图分析部151、交通规则识别部152和状况识别部153，以及操作控制部135的紧急情况避免部171。
车辆内部信息检测部142执行基于来自车辆控制系统100的每个部分的数据或信号来检测车辆内部信息的处理。例如，车辆内部信息检测部142执行认证并且识别驾驶员的处理、检测驾驶员状态的处理、检测乘员的处理、检测车辆内部环境的处理等。要检测的驾驶员状态的示例包括身体状态、觉醒度、集中度、疲劳度和视线方向。要检测的车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测部142将指示检测处理的结果的数据供应给状况分析部133的状况识别部153、操作控制部135的紧急情况避免部171等。
车辆状态检测部143执行基于来自车辆控制系统100的每个部分的数据或信号来检测车辆10的状态的处理。要检测的车辆10的状态的示例包括速度、加速度、转向角、是否存在异常、异常的详细信息、驾驶操作状态、电动座椅的位置和倾斜度、门是被锁定还是未被锁定以及其他车载设备的状态。车辆状态检测部143将指示检测处理的结果的数据供应给状况分析部133的状况识别部153、操作控制部135的紧急情况避免部171等。
自身位置估计部132执行基于来自车辆控制系统100的各个部分(诸如车辆外部信息检测部141和状况分析部133的状况识别部153)的数据或信号来估计例如车辆10的位置和姿态的处理。此外，自身位置估计部132根据需要生成在自身位置估计中使用的局部地图(以下被称为“用于自身位置估计的地图”)。用于自身位置估计的地图例如是使用诸如SLAM(同时定位和地图构建)之类的技术的高精度地图。自身位置估计部132将指示估计处理的结果的数据供应给状况分析部133的地图分析部151、交通规则识别部152和状况识别部153等。此外，自身位置估计部132将用于自身位置估计的地图存储在存储单元111中。
状况分析部分133执行分析车辆10的状态和车辆10周围的状况的处理。状况分析部133包括地图分析部151、交通规则识别部152、状况识别部153和状况预测部154。
地图分析部151进行以下处理：分析存储在存储单元111中的各种地图，同时根据需要使用来自车辆控制系统100的各个部分(例如自身位置估计部132和车辆外部信息检测部141)的数据或信号，从而建立包括自动驾驶处理所需的信息的地图。例如，地图分析部151将所构建的地图供应给交通规则识别部152、状况识别部153、状况预测部154以及规划部134的路线规划部161、行为规划部162和操作规划部163。
交通规则识别部152执行基于来自车辆控制系统100的各个部分(例如自身位置估计部132、车辆外部信息检测部141和地图分析部151)的数据或信号来识别车辆10周围的交通规则的处理。通过该识别处理，例如，车辆10周围的交通信号的位置和状态、车辆10周围的交通规则的详细信息、车辆可以行进的车道等被识别。交通规则识别部152将指示识别处理的结果的数据供应给状况预测部154等。
状况识别部153执行基于来自车辆控制系统100的各个部分(例如自身位置估计部132、车辆外部信息检测部141、车辆内部信息检测部142、车辆状态检测部143和地图分析部151)的数据或信号来识别与车辆10有关的状况的处理。例如，状况识别部153执行识别车辆10的状态、车辆10周围的状况、车辆10的驾驶员的状态等的处理。此外，状况识别部153根据需要生成用来识别车辆10周围的状况的局部地图(在下文中被称为“用于状况识别的地图”)。用于状况识别的地图例如是占用网格地图。
要识别的车辆10的状态的示例包括车辆10的位置、姿态和运动(例如，速度、加速度或行驶方向)、是否存在异常以及异常的详细信息。要识别的车辆10周围的状况的示例包括车辆周围的静止对象的种类、静止对象的位置、车辆周围的移动对象的种类、移动对象的位置、移动对象的运动(例如，速度、加速度或行驶方向)、车辆周围道路的构成、路面状态以及车辆周围的天气、温度、湿度和亮度。要识别的驾驶员状态的示例包括身体状态、觉醒度、集中度、疲劳度、视线方向和驾驶操作。
状况识别部153将指示识别处理的结果的数据(根据需要包括用于状况识别的地图)供应给自身位置估计部132、状况预测部154等。此外，状况识别部153将用于状况识别的地图存储在存储单元111中。
状况预测部154执行基于来自车辆控制系统100的各个部分(例如地图分析部151、交通规则识别部152和状况识别部153)的数据或信号来预测与车辆10有关的状况的处理。例如，状况预测部154执行预测车辆10的状态、车辆10周围的状况、驾驶员状态等的处理。
要预测的车辆10的状态的示例包括车辆10的行为、异常的发生和可行进距离。要预测的车辆10周围的状况的示例包括车辆10周围的移动对象的行为、交通信号的状态变化以及诸如天气变化之类的环境变化。要预测的驾驶员状态的示例包括驾驶员的行为和身体状态。
状况预测部154将指示预测处理的结果的数据与来自交通规则识别部152和状况识别部153的数据一起供应给规划部134的路线规划部161、行为规划部162和操作规划部163等。
路线规划部161基于来自车辆控制系统100的各个部分(例如地图分析部151和状况预测部154)的数据或信号来规划去往目的地的路线。例如，路线规划部161基于全球地图来设定从当前位置到指定目的地的路线。此外，例如，路线规划部161基于诸如交通拥堵、事故、交通规则或施工工程之类的状况以及驾驶员的身体状态来适当地改变路线。路线规划部161将指示所规划的路线的数据供应给行为规划部162等。
行为规划部162基于来自车辆的各个部分(例如地图分析部151和状况预测部154)的数据或信号，规划允许车辆10在由路线规划部161规划的路线上在规划的时间段内安全地行进的车辆10的行为。例如，行为规划部162规划开始、停止、行进方向(例如，向前移动、向后移动、向左转、向右转或掉头)、行进车道、行进速度、驶过等。行为规划部162将指示所规划的车辆10的行为的数据供应给操作规划部163等。
操作规划部163基于来自车辆控制系统100的各个部分(例如地图分析部151和状况预测部154)的数据或信号，规划用于实现由行为规划部162规划的行为的车辆10的操作。例如，操作规划部163规划加速、减速、行进轨迹等。操作规划部163将指示所规划的车辆10的操作的数据供应给操作控制部135的加速/减速控制部172和方向控制部173等。
操作控制部135执行车辆10的操作控制。操作控制部135包括紧急情况避免部171、加速/减速控制部172和方向控制部173。
紧急情况避免部171执行基于车辆外部信息检测部141、车辆内部信息检测部142和车辆状态检测部143的检测结果来检测诸如碰撞、轻微碰撞、进入危险区域、驾驶员的异常或车辆10的异常之类的紧急情况的处理。在紧急情况避免部171检测到紧急情况的发生的情况下，紧急情况避免部171规划用于避开紧急情况的车辆10的操作，例如突然刹车或突然转弯。紧急情况避免部171将指示所规划的车辆10的操作的数据供应给加速/减速控制部172、方向控制部173等。
加速/减速控制部172执行用于实现由操作规划部163或紧急情况避免部171规划的车辆10的操作的加速/减速控制。例如，加速/减速控制部172计算用于实现已规划的加速、减速或突然制动的驱动力生成装置或制动装置的控制目标值，并且将指示所计算的控制目标值的控制指令供应给驱动系统控制单元107。
方向控制部173执行用于实现由操作规划部163或紧急情况避免部171规划的车辆10的操作的方向控制。例如，方向控制部173计算用于实现由操作规划部163或紧急情况避免部171规划的行进轨迹或突然转弯的转向机构的控制目标值，并且将指示所计算的控制目标值的控制指令供应给驱动系统控制单元107。
<<2、实施例>>
接下来，参考图2至图9描述本技术的实施例。
注意，本技术是与由图1中的车辆控制系统100进行的处理有关的技术，特别是与由数据获取单元102和自身位置估计部132进行的处理以及生成在自身位置估计处理中使用的地图数据的处理有关的技术。
<地图生成系统的配置示例>
图2是示出应用本技术的一个实施例的地图生成系统的框图。
地图生成系统200例如被提供给与包括图1中的车辆控制系统100的车辆10不同的车辆11。地图生成系统200生成在车辆控制系统100中的自身位置估计处理中使用的地图。
地图生成系统200包括地图生成用数据获取单元201、地图生成处理单元202和地图存储单元203。
地图生成用数据获取单元201获取作为在地图生成中使用的数据的地图生成用数据。地图生成用数据获取单元201包括立体相机211、红外图像传感器212和传感器部213。
立体相机211包括左可视图像传感器211L和右可视图像传感器211R。左可视图像传感器211L和右可视图像传感器211R分别包括对可见光区域敏感的图像传感器，并且从不同方向(即，左和右(立体摄影))拍摄车辆11的前方区域的图像。左可视图像传感器211L和右可视图像传感器211R将作为摄影的结果而获得的彩色可视图像供应给地图生成单元214的特征点检测部221和界标检测部222。
注意，在以下描述中，在将由左可视图像传感器211L拍摄的可视图像与由右可视图像传感器211R拍摄的可视图像彼此区分开的情况下，前者被称为“左可视图像”，而后者被称为“右可视图像”。
红外图像传感器212包括例如对预定红外线波长范围(例如，远红外线波长范围中的预定波长范围)敏感的图像传感器，并且拍摄车辆11的前方区域的图像。红外图像传感器212将作为摄影的结果而获得的红外图像供应给地图生成单元214的界标检测部223。
注意，与可视图像相比，红外图像通常分辨率更低并且噪声更大。
传感器部213包括例如各种传感器，所述各种传感器被配置为检测用来估计车辆11的自身位置的数据。例如，传感器部213包括被配置为检测车辆11的加速度、角速度等的IMU(惯性测量单元)、被配置为从GNSS(全球导航卫星系统)卫星接收GNSS信号的GNSS接收器、或LiDAR(光检测和测距)传感器。传感器部213将从每个传感器输出的传感器数据供应给地图生成处理单元202的自身位置估计部224。
地图生成处理单元202执行以下处理：生成在车辆控制系统100中的自身位置估计处理中使用的地图，并且将地图存储在地图存储单元203中。地图生成处理单元202包括特征点检测部221、界标检测部222、界标检测部223、自身位置估计部224和地图生成部225。
特征点检测部221检测左可视图像和右可视图像中的特征点，并且将检测结果供应给地图生成部225。
界标检测部222检测左可视图像和右可视图像中的界标，并且将检测结果供应给地图生成部225。
界标检测部223检测红外图像中的界标，并且将检测结果供应给地图生成部225。
自身位置估计部224基于从传感器部213供应的传感器数据来估计车辆11的自身位置，并且将估计结果供应给地图生成部225。
地图生成部225基于左可视图像和右可视图像中的特征点的检测结果以及车辆11的自身位置的估计结果来生成特征点地图。此外，地图生成部225基于左可视图像和右可视图像中的界标的检测结果以及车辆11的自身位置的估计结果来生成可视界标图像。此外，地图生成部225基于红外图像中的界标的检测结果和车辆11的自身位置的估计结果来生成红外界标地图。地图生成部225将特征点地图、可视界标地图和红外界标地图存储在地图存储单元203中。
地图存储单元203存储特征点地图、可视界标地图和红外界标地图。
注意，地图存储单元203不一定提供给车辆11，而是例如可以提供给外部服务器。
<地图生成处理>
接下来，参考图3的流程图，描述由地图生成系统200执行的地图生成处理。例如，该处理在地图生成处理开始指令被输入到地图生成系统200时开始，并且在地图生成处理结束指令被输入到地图生成系统200时结束。
在步骤S1中，地图生成用数据获取单元201获取地图生成用数据。
具体地，左可视图像传感器211L和右可视图像传感器211R拍摄车辆11的前方区域的图像，并且将分别获得的左可视图像和右可视图像供应给特征点检测部221和界标检测部222。
红外图像传感器212拍摄车辆11的前方区域的图像，并且将所获得的红外图像供应给界标检测部222。
传感器部213的每个传感器执行检测各种类型的数据的处理，并且将指示检测结果的传感器数据供应给自身位置估计部224。
在步骤S2中，自身位置估计部224估计自身位置。具体地，自身位置估计部224通过预定方法来估计车辆11的位置和姿态，并且将估计结果供应给地图生成部225。
注意，作为估计车辆11的位置和姿态的方法，可以使用任何方法。例如，使用RTK(实时动态(Real Time Kinematic))-GNSS、LiDAR等的高精度估计方法被使用。
在步骤S3中，地图生成处理单元202执行特征点和界标检测处理。
具体地，特征点检测部221检测左可视图像和右可视图像中的特征点，并且计算每个检测到的特征点的特征量。特征点检测部221将指示计算结果的数据供应给地图生成部225。
注意，作为特征点检测方法，可以使用任何方法，例如哈里斯角检测、DoG(高斯差分)或LoG(高斯拉普拉斯)。此外，作为特征量计算方法，可以使用任何方法，例如SIFT(尺度不变量特征变换)、SURF(快速鲁棒特征)、Haar-Like(类哈尔)或AKAZE。
界标检测部222执行检测左可视图像和右可视图像中的界标的处理，并且将指示检测结果的数据供应给地图生成部225。
注意，要检测的界标的示例包括道路车道线、道路标记和道路标志。
此外，作为界标检测方法，可以使用任何方法。例如，界标检测部222将左可视图像和右可视图像转换成鸟瞰图。接下来，界标检测部222通过模板匹配、直线检测等来检测界标的位置、种类、角度、比例等。接下来，界标检测部222基于例如左可视图像和右可视图像之间的视差来计算与每个界标的距离。
注意，界标检测方法的详细信息例如在“智能车辆研讨会(IV)，2016年IEEE，Bahman Soheilian和其他两人，“基于界标的本地化：使用RJMCMC提取的道路标记的MCMC优化投影的LBA细化””中描述。
界标检测部223执行检测红外图像中的界标的处理，并且将指示检测结果的数据供应给地图生成部225。
注意，作为界标检测部223使用的界标检测方法，例如，使用与由界标检测部222使用的方法类似的方法。注意，界标检测部223使用例如最新帧中的红外图像和前一帧中的红外图像之间的视差来计算与每个界标的距离。
在步骤S4中，地图生成部225生成并且登记地图数据。
例如，地图生成部225基于由自身位置估计部224估计的车辆11的位置和姿态，将由特征点检测部221检测的每个特征点的位置转换为世界坐标系上的绝对位置。地图生成部225利用存储在地图存储单元203中的特征点地图来登记包括每个特征点的绝对位置和特征量的数据。
此外，地图生成部225基于由自身位置估计部224估计的车辆11的位置和姿态，将由界标检测部222检测的每个界标的位置转换为世界坐标系上的绝对位置。地图生成部225利用存储在地图存储单元203中的可视界标地图来登记包括每个界标的种类、绝对位置、角度和比例的数据。
另外，地图生成部225基于由自身位置估计部224估计的车辆11的位置和姿态，将由界标检测部223检测的每个界标的位置转换为世界坐标系上的绝对位置。地图生成部225利用存储在地图存储单元203中的红外界标地图来登记包括每个界标的种类、绝对位置、角度和比例的数据。
之后，处理返回到步骤S1，并且执行步骤S1和后续步骤中的处理。
<自身位置估计系统的配置示例>
图4是示出应用本技术的一个实施例的自身位置估计系统的框图。
自身位置估计系统300是被配置为执行与由图1中的车辆控制系统100进行的处理(特别是由自身位置估计部132进行的处理)相对应的处理的系统。具体地，自身位置估计系统300使用由地图生成系统200生成的地图来执行估计包括自身位置估计系统300的车辆10的位置和姿态的自身位置估计处理。
自身位置估计系统300包括观测数据获取单元301、自身位置估计单元302和地图存储单元303。
观测数据获取单元301获取在自身位置估计处理中使用的数据(在下文中被称为“观测数据”)。观测数据获取单元301包括立体相机311、红外图像传感器312和传感器部313。
立体相机311包括左可视图像传感器311L和右可视图像传感器311R。左可视图像传感器311L和右可视图像传感器311R分别包括对可见光区域敏感的图像传感器，并且从不同方向(即，左和右(立体摄影))拍摄车辆10的前方区域的图像。左可视图像传感器311L和右可视图像传感器311R将作为摄影的结果而获得的彩色可视图像供应给自身位置估计单元302的特征点检测部341、界标检测部351和状况检测部323。
注意，在以下描述中，在将由左可视图像传感器311L拍摄的可视图像与由右可视图像传感器311R拍摄的可视图像彼此区分开的情况下，前者被称为“左可视图像”，而后者被称为“右可视图像”。
红外图像传感器312包括对与图2中的地图生成系统200的红外图像传感器212的红外线波长范围相类似的红外线波长范围敏感的图像传感器，并且拍摄车辆10的前方区域的图像。红外图像传感器312将作为摄影的结果而获得的红外图像供应给自身位置估计单元302的界标检测部361和状况检测部323。
注意，与可视图像相比，红外图像通常分辨率更低并且噪声更大。
传感器部313包括被配置为检测用来检测车辆10所处的状况的数据的各种传感器。例如，传感器部313包括被配置为检测车辆10的加速度、角速度等的IMU、被配置为从GNSS卫星接收GNSS信号的GNSS接收器、照度计、气流传感器、风向传感器、雷达或偏振相机。传感器部313将从每个传感器输出的传感器数据供应给自身位置估计单元302的状况检测部323。
自身位置估计单元302执行估计车辆10的自身位置的处理。自身位置估计单元302包括基于可视图像的自身位置估计部321、基于红外图像的自身位置估计部322、状况检测部323和组合部324。
基于可视图像的自身位置估计部321执行使用可视图像估计车辆10的自身位置的处理。基于可视图像的自身位置估计部321包括基于特征点的自身位置估计部331和基于界标的自身位置估计部332。
基于特征点的自身位置估计部331执行基于可视图像中的特征点来估计车辆10的自身位置的处理。基于特征点的自身位置估计部331包括特征点检测部341、特征点检查部342和算术部343。
特征点检测部341检测可视图像中的特征点，并且将指示检测结果的数据供应给特征点检查部342。
特征点检查部342对照存储在地图存储单元303中的特征点地图中的特征点来检查可视图像中的特征点，并且将指示检查结果的数据供应给算术部343。
算术部343基于可视图像中的特征点和特征点地图中的特征点的检查结果来计算车辆10的位置和姿态，并且将指示计算结果的数据供应给组合部324。
基于界标的自身位置估计部332执行基于可视图像中的界标来估计车辆10的自身位置的处理。基于界标的自身位置估计部332包括界标检测部351、界标检查部352和算术部353。
界标检测部351检测可视图像中的界标，并且将指示检测结果的数据供应给界标检查部352。
界标检查部352对照存储在地图存储单元303中的可视界标地图中的界标来检查可视图像中的界标，并且将指示检查结果的数据供应给算术部353。
算术部353基于可视图像中的界标和可视界标地图中的界标的检查结果来计算车辆10的位置和姿态，并且将指示计算结果的数据供应给组合部324。
红外自身位置估计部333执行基于红外图像中的界标来估计车辆10的自身位置的处理。红外自身位置估计部333包括界标检测部361、界标检查部362和算术部363。
界标检测部361检测红外图像中的界标，并且将指示检测结果的数据供应给界标检查部362。
界标检查部362对照存储在地图存储单元303中的红外界标地图中的界标来检查红外图像中的界标，并且将指示检查结果的数据供应给算术部363。
算术部363基于红外图像中的界标和红外界标地图中的界标的检查结果来计算车辆10的位置和姿态，并且将指示计算结果的数据供应给组合部324。
注意，在自身位置估计中使用的参数(例如左可视图像传感器311L、右可视图像传感器311R和红外图像传感器312的安装位置、安装方向和内在矩阵(intrinsic matrices)、以及传感器之间的相对位置和相对姿态)被预先获得，并且被设定到自身位置估计单元302。
状况检测部323基于可视图像，红外图像和传感器数据来检测车辆10所处的状况，并且将指示检测结果的数据供应给组合部324。
组合部324在基于车辆10所处的状况调整权重的同时，组合来基于特征点的自身位置估计部331的对车辆10的位置和姿态的估计结果、来自基于界标的自身位置估计部332的对车辆10的位置和姿态的估计结果以及来自基于红外图像的自身位置估计部322的对车辆10的位置和姿态的估计结果。组合部324输出车辆10的位置和姿态的组合估计结果。
地图存储单元303存储由图2中的地图生成系统200生成的特征点地图、可视界标地图和红外界标地图。
注意，地图存储单元303不一定被提供给车辆10，而是例如可以被提供给外部服务器。例如，在地图存储单元203和地图存储单元303分别被提供给外部服务器的情况下，例如，图2中的地图存储单元203与地图存储单元303可以共享。
<自身位置估计处理>
接下来，参考图5的流程图，描述由自身位置估计系统300执行的自身位置估计处理。另外，当执行用于启动包括自身位置估计系统300的车辆10以开始行驶的操作时，例如当接通车辆10的点火开关、电源开关、启动开关等时，该处理开始。另外，当执行用于结束行驶的操作时，例如当断开车辆10的点火开关、电源开关、启动开关等时，该处理结束。
在步骤S101中，观测数据获取单元301获取观测数据。
具体地，左可视图像传感器311L和右可视图像传感器311R拍摄车辆10的前方区域的图像，并且将分别获得的左可视图像和右可视图像供应给特征点检测部341、界标检测部351和状况检测部323。
红外图像传感器312拍摄车辆10的前方区域的图像，并且将所获得的红外图像供应给界标检测部361和状况检测部323。
传感器部313的每个传感器执行检测各种类型的数据的处理，并且将指示检测结果的传感器数据供应给状况检测部323。
在步骤S102中，自身位置估计单元302执行特征点和界标检测处理。
具体地，特征点检测部341执行通过与由图2中的地图生成系统200的特征点检测部221使用的方法类似的方法来检测左可视图像和右可视图像中的特征点的处理。特征点检测部341将指示特征点检测处理结果的数据供应给特征点检查部342。
界标检测部351执行通过与由地图生成系统200的界标检测部222使用的方法类似的方法来检测左可视图像和右可视图像中的界标的处理。界标检测部351将指示界标检测处理结果的数据供应给界标检查部352。
界标检测部361执行通过与由地图生成系统200的界标检测部223使用的方法类似的方法来检测红外图像中的界标的处理。界标检测部361将指示界标检测处理结果的数据供应给界标检查部362。
在步骤S103中，自身位置估计单元302估计自身位置。
特征点检查部342对照存储在地图存储单元303中的特征点地图中的特征点来检查左可视图像和右可视图像中的特征点。特征点检查部342将指示特征点检查结果的数据供应给算术部343。指示特征点检查结果的数据包括例如指示左可视图像和右可视图像中的特征点与特征点地图中的特征点之间的对应关系的数据。另外，此时，在左可视图像和右可视图像中的特征点中，在特征点地图中没有对应特征点的特征点被丢弃。
算术部343基于左可视图像和右可视图像中的特征点与特征点地图中的特征点之间的对应关系来计算车辆10的位置和姿态。
注意，作为算术部343用来计算车辆10的位置和姿态的方法，可以使用任何方法。
例如，首先，算术部343计算左可视图像传感器311L相对于左可视图像中的特征点的位置和姿态。
具体地，例如，算术部分343使用RANSAC(随机抽样共识)或其他方法丢弃左可视图像和右可视图像中的如下特征点，这些特征点是对位置和姿态估计具有不利影响的异常值。
接下来，算术部343将作为被投影在右可视图像上的左可视图像中的剩余特征点的特征点的位置与右可视图像中的实际特征点的位置之间的误差定义为成本。然后，算术部343使用最小二乘法来求解该成本的最小化问题。这样，计算左可视图像传感器311L相对于左可视图像中的特征点的位置(例如，平移矩阵)和左可视图像传感器311L相对于左可视图像中的特征点的姿态(例如旋转矩阵)。
然后，算术部343基于左可视图像中的特征点与特征点地图中的特征点之间的对应关系，计算左可视图像传感器311L在世界坐标系上的绝对位置和绝对姿态作为车辆10的位置和姿态。算术部343将车辆10的位置和姿态的计算结果供应给组合部324。
通过与由算术部343使用的方法类似的方法，算术部353基于左可视图像和右可视图像中的界标与可视界标地图中的界标之间的对应关系，计算左可视图像传感器311L在世界坐标系上的绝对位置和绝对姿态作为车辆10的位置和姿态。算术部353将车辆10的位置和姿态的计算结果供应给组合部324。
通过与由算术部353使用的方法类似的方法，算术部363基于红外图像中的界标与红外界标地图中的界标之间的对应关系，计算红外图像传感器312在世界坐标系上的绝对位置和绝对姿态。然后，算术部363基于红外图像传感器312与左可视图像传感器311L之间的相对位置和相对姿态，计算左可视图像传感器311L在世界坐标系上的绝对位置和绝对姿态作为车辆10的位置和姿态。算术部363将车辆10的位置和姿态的计算结果供应给组合部324。
注意，在上述示例中，计算左可视图像传感器311L在世界坐标系上的绝对位置和绝对姿态作为车辆10的位置和姿态。然而，可以计算右可视图像传感器311R、红外图像传感器312或车辆10的其他部分的绝对位置和绝对姿态。
在步骤S104中，状况检测部323检测当前状况。具体地，状况检测部323基于左可视图像、右可视图像、红外图像、来自传感器部313的传感器数据等来检测车辆10所处的当前状况。状况检测部323将指示状况检测结果的数据供应给组合部324。
这里，例如，将假设影响可视图像中的特征点和界标检测的精度以及红外图像中的界标检测的精度的状况设定为检测目标。例如，将假设影响可视图像或红外图像的图像质量的状况(例如，每个图像中的被摄体的清晰度)设定为检测对象。
例如，状况检测部323基于左可视图像和右可视图像来检测环境亮度、天气等。例如，状况检测部323使用未示出的时钟来检测当前时间。例如，状况检测部323基于从传感器部213供应的GNSS信号来检测行驶位置、道路种类等。例如，行驶位置被分类为市区和郊区。例如，道路种类被分类为高速公路和普通道路。
在步骤S105中，组合部324基于当前状况，设定要用来组合自身位置估计结果的权重。具体地，组合部324设定基于来自基于特征点的自身位置估计部331和基于界标的自身位置估计部332的可视图像的自身位置估计结果的权重(在下文中被称为“可视图像权重”)、以及基于来自基于红外图像的自身位置估计部322的红外图像的自身位置估计结果的权重(在下文中被称为“红外图像权重”)。
例如，基于由状况检测部323检测的每个状况对可视图像的图像质量和红外图像的图像质量的影响来设定可视图像权重和红外图像权重。更具体地，基于每个状况对可视图像的图像质量的影响与每个状况对红外图像的图像质量的影响之间的相对关系来设定可视图像权重和红外图像权重。
图6示出在每个状况下设定可视图像权重和红外图像权重的方法的具体示例。例如，首先将可视图像权重和红外图像权重设定为预定的定义值，然后通过下述方式进行调整。
例如，在车辆10在白天行进的情况下，可视图像明亮并且具有高图像质量，这意味着可视图像中的特征点和界标的检测精度较高。结果，基于可视图像的自身位置估计的精度较高。同时，与可视图像相比，红外图像的分辨率更低并且噪声更大。因此，红外图像中的界标的检测精度低于可视图像中的界标的检测精度。由于基于可视图像的自身位置估计的精度足够高，因此无需基于红外图像的自身位置估计结果就确保了优异的自身位置估计精度。因此，可视图像权重增加，而红外图像权重减小。
注意，在这种情况下，因为存在红外图像传感器212由于日光而损坏的风险，所以可以将红外图像权重设定为零以控制红外图像传感器212停止拍摄图像。
同时，在车辆10在夜间行进的情况下，在可视图像中，几乎无法识别除了利用车辆的灯、街灯、路灯、建筑物或商店的灯等照明的区域以外的区域中的被摄体。此外，在可视图像中，在一些情况下，例如由于迎面而来的汽车的前灯而发生耀斑(flare)。这导致可视图像中的特征点和界标的检测精度降低，从而导致基于可视图像的自身位置估计的精度降低。同时，红外图像的图像质量几乎与白天拍摄的红外图像的图像质量相同。结果，红外图像中的界标的检测精度几乎不下降，因此基于红外图像的自身位置估计的精度几乎不下降。因此，可视图像权重减小，而红外图像权重增加。
注意，例如，白天和夜间利用预先确定的时间或者利用日出时间和日落时间来彼此区分。可替选地，例如，可以基于环境亮度将白天和夜间彼此区分开。
例如，在车辆10在雾中行进的情况下，在可视图像中，由于雾而几乎无法识别被摄体。此外，在可视图像中，在一些情况下，例如由于迎面而来的汽车的前灯而发生耀斑。这导致可视图像中的特征点和界标的检测精度大幅降低，从而导致基于可视图像的自身位置估计的精度大幅降低。同时，红外图像的图像质量几乎不受雾的影响。结果，红外图像中的界标的检测精度几乎不下降，因此基于红外图像的自身位置估计的精度几乎不下降。因此，可视图像权重大幅减小，而红外图像权重大幅增加。
注意，在车辆10在雾中行进的情况下，可视图像权重可以被设定为零，使得可以仅使用基于红外图像的自身位置估计结果。
例如，在车辆10在雪中行进的情况下，在可视图像中，由于雪而难以识别被摄体。这导致可视图像中的特征点和界标的检测精度降低，从而导致基于可视图像的自身位置估计的精度降低。同时，尽管由于雪也难以识别红外图像中的被摄体，但是与可视图像相比，红外图像受雪的影响更小。这导致红外图像中的界标的检测精度降低，从而导致基于红外图像的自身位置估计的精度降低。然而，基于红外图像的自身位置估计的精度降低量小于基于可视图像的自身位置估计的精度降低量。因此，可视图像权重减小，而红外图像权重增加。
例如，在车辆10在市区行进的情况下，可视图像通常具有丰富的纹理并且明亮。这导致可视图像中的特征点和界标的检测精度提高，从而导致基于可视图像的自身位置估计的精度提高。同时，如上所述，与可视图像相比，红外图像的分辨率更低并且噪声更大。因此，红外图像中的界标的检测精度低于可视图像中的界标的检测精度。由于基于可视图像的自身位置估计的精度足够高，因此无需使用基于红外图像的自身位置估计结果就确保了优异的自身位置估计精度。因此，可视图像权重增加，而红外图像权重减小。
注意，例如，基于对市区和郊区进行分类的地图数据，将市区和郊区彼此区分开。
例如，在车辆10高速行进的情况下，要求更高的自身位置估计精度。这里，如上所述，与可视图像相比，红外图像的分辨率更低去噪声更大，因此基于红外图像的自身位置估计的精度低于基于可视图像的自身位置估计的精度。因此，可视图像权重增加，而红外图像权重减小。
注意，例如，基于预先确定的阈值来确定车辆10是否正在高速行进。
注意，上述状况示例是示例，并且可以根据需要使用更多或更少种类的状况。
此外，例如，可以基于多个状况的组合来调整权重。例如，在车辆10在夜间高速行进的情况下，如果仅设定夜间条件，则可视图像权重减小而红外图像权重增加，而如果仅设定高速行驶条件，则可视图像权重增加而红外图像权重减小。因此，权重两者可以不变，或者权重的增加或减小量可以降低。
此外，可以根据每个状况的水平来调整权重的增加或减小量。例如，可以根据雾的厚度来调整权重的增加或减小量。此外，在车辆10在夜间或雾中行进的情况下，可以根据可视图像是否具有耀斑来调整可视图像权重的减小量。例如，在可视图像中检测到耀斑的情况下，可视图像权重的减小量可以增加，而在可视图像中没有检测到耀斑的情况下，可视图像权重的减小量可以降低。此外，例如，随着车辆10的速度增加，可视图像权重的增加量和红外图像权重的减小量可以增加。
在步骤S106中，组合部324组合自身位置估计结果。
例如，组合部324使用扩展卡尔曼滤波器(EKF)，组合来自基于特征点的自身位置估计部331、基于界标的自身位置估计部332和基于红外图像的自身位置估计部322的对车辆10的位置和姿态的估计结果。在此，简要地描述使用扩展卡尔曼滤波器来组合估计结果的方法的示例。
例如，如图7中所示，假设由每个自身位置估计部估计的车辆10的位置的误差遵循平均值为零且方差为σ2的正态分布。注意，图7中的圆的中心表示估计位置，而圆的半径表示标准偏差σ。
随着权重增加，方差σ2减小，而随着权重减小，方差σ2增加。例如，由基于特征点的自身位置估计部331估计的车辆10的位置的误差的方差由σ12表示。方差σ12随着可视图像权重增加而减小，并且随着可视图像权重减小而增加。以类似的方式，由基于界标的自身位置估计部332估计的车辆10的位置的误差的方差由σ22表示。方差σ22随着可视图像权重增加而减小，并且随着可视图像权重减小而增加。此外，由基于红外图像的自身位置估计部322估计的车辆10的位置的误差的方差由σ32表示。方差σ32随着红外图像权重增加而减小，并且随着红外图像权重减小而增加。
例如，利用表达式(1)来组合车辆10的估计位置。
Pf＝K×Pe+G1×(Po1-Pe)+G2×(Po2-Pe)+G3×(Po3-Pe)…(1)
注意，Pf表示车辆10的组合估计位置。K表示系数矩阵。Pe表示基于状态方程式的车辆10的预测位置。例如，在假设车辆10执行恒定加速运动的情况下构建该状态方程。Po1表示由基于特征点的自身位置估计部331估计的车辆10的位置。Po2表示由基于界标的自身位置估计部332估计的车辆10的位置。Po3表示由基于红外图像的自身位置估计部322估计的车辆10的位置。G1至G3表示卡尔曼增益。
例如，随着估计位置Po1的误差的方差σ12减小，卡尔曼增益G1增加。结果，估计位置Pf接近估计位置Po1。因此，随着可视图像权重增加，估计位置Pf接近估计位置Po1。
例如，随着估计位置Po2的误差的方差σ22减小，卡尔曼增益G2增加。结果，估计位置Pf接近估计位置Po2。因此，随着可视图像权重增加，估计位置Pf接近估计位置Po2。
例如，随着估计位置Po3的误差的方差σ32减小，卡尔曼增益G3增加。结果，估计位置Pf接近估计位置Po3。因此，随着红外图像权重增加，估计位置Pf接近估计位置Po3。
注意，通过与用于估计位置的方法类似的方法来组合车辆10的估计姿态。
因此，随着可视图像权重增加，基于可视图像的车辆10的估计位置和估计姿态的重要性水平增加。具体地，增加了车辆10的组合的估计位置和估计姿态与基于可视图像的车辆10的估计位置和估计姿态之间的相关性，并且车辆10的组合的估计位置和估计姿态接近基于可视图像的车辆10的估计位置和估计姿态。同时，随着可视图像权重减小，基于可视图像的车辆10的估计位置和估计姿态的重要性水平降低。具体地，降低了车辆10的组合的估计位置和估计姿态与基于可视图像的车辆10的估计位置和估计姿态之间的相关性。
以类似的方式，随着红外图像权重增加，基于红外图像的车辆10的估计位置和估计姿态的重要性水平增加。具体地，车辆10的组合的估计位置和估计姿态与基于红外图像的车辆10的估计位置和估计姿态之间的相关性增加，并且车辆10的组合的估计位置和估计姿态接近基于红外图像的车辆10的估计位置和估计姿态。同时，随着红外图像权重减小，基于红外图像的车辆10的估计位置和估计姿态的重要性水平降低。具体地，降低了车辆10的组合的估计位置和估计姿态与基于红外图像的车辆10的估计位置和估计姿态之间的相关性。
注意，上述对车辆10的估计位置和估计姿态进行组合的方法是示例，并且可以使用其他方法。然而，不管使用哪种方法，都对车辆10的估计位置和估计姿态进行组合，使得随着可视图像权重增加，车辆10的组合的估计位置和估计姿态接近基于可视图像的车辆10的估计位置和估计姿态，而随着红外图像权重增加，车辆10的组合的估计位置和估计姿态接近基于红外图像的车辆10的估计位置和估计姿态。
组合部324输出车辆10的组合的位置和姿态的估计结果。例如，将车辆10的组合的位置和姿态的估计结果供应给图1中的地图分析部151、交通规则识别部152、状况识别部153等，从而被用在与自动驾驶(例如自主驾驶和驾驶辅助)有关的控制中。
之后，处理返回到步骤S101，并且执行步骤S101和后续步骤中的处理。
上述处理使得可以容易地提高车辆10的自身位置估计的环境耐受性。另外，利用提高的自身位置估计的环境耐受性，提高了车辆10的自身位置估计的精度。
图8是将使用可视图像传感器、红外图像传感器或LiDAR传感器估计自身位置的情况与使用本技术(自身位置估计系统300)估计自身位置的情况进行比较的表。注意，对各个项目的评价用四个等级指示，即双圆、圆、三角形和十字。具体地，双圆、圆、三角形和十字以降序指示评价。
如上所述，在使用可视图像传感器的情况下，在白天或在高速行驶期间，自身位置估计精度不下降。同时，如上所述，在夜间或在下雪时，自身位置估计精度下降。在有雾时或在迎面而来的汽车的前灯照射可视图像传感器时，自身位置估计精度会大幅下降。同样，在下雨时，由于雨使得难以识别可视图像中的被摄体，因此自身位置估计精度下降。
此外，可视图像传感器的优点在于价格便宜并且具有高分辨率和宽视角。此外，可使用各种可视图像传感器。例如，多种类型的快门(例如滚动快门和全局快门)可用于可视图像传感器。
如上所述，在使用红外图像传感器的情况下，在夜间、在有雾时、或者在迎面而来的汽车的前灯照射红外图像传感器时，自身位置估计精度不下降。同时，如上所述，在下雪时，自身位置估计精度下降。在高速行驶期间，自身位置估计精度大幅下降。此外，如上所述，在白天，存在红外图像传感器可能由于日光而损坏的风险。同样，在下雨时，由于雨降低利用红外光的检测精度，因此自身位置估计结果劣化。
此外，红外图像传感器比可视图像传感器稍微更贵一些，但是比LiDAR传感器便宜得多。此外，红外图像传感器的缺点在于例如由于温度变化等引起噪声增加，并且对快门的种类有限制；仅滚动快门可用。
在使用LiDAR传感器的情况下，自身位置估计精度没有由于白天和夜间之间的差异而下降。此外，自身位置估计精度不受迎面而来的汽车的前灯的影响。同时，在下雪时或在有雾时，由于激光被雪或雾阻挡，因此自身位置估计精度大幅下降。此外，同样，在下雨时，由于激光被雨遮挡，因此自身位置估计精度下降。此外，在高速行驶期间，由于激光的返回光的接收性能下降，因此自身位置估计精度大幅下降。
此外，LiDAR传感器的优点在于能够精确地测量与被摄体的距离。同时，与可视图像传感器和红外图像传感器相比，LiDAR传感器价格更昂贵并且分辨率更低。
与此相比，由于自身位置估计系统300使用可视图像传感器和红外图像传感器两者来估计自身位置并且组合估计结果，因此自身位置估计系统300可以具有传感器两者的优点。具体地，除了在下雨时，自身位置估计精度不下降。此外，与使用LiDAR传感器的情况相比，可以以低成本来实现自身位置估计系统300。
此外，在自身位置估计系统300中，与上述专利文献1中描述的发明不同，既不需要提供广角相机，也不需要控制可视图像传感器的姿态和红外图像传感器的姿态。此外，可以彼此独立地执行基于可视图像的自身位置估计处理和基于红外图像的自身位置估计处理，而无需彼此协调。这实现了容易的处理。
如上所述，使用本技术，可以以低成本来容易地实现具有优异的环境耐受性和高估计精度的自身位置估计系统。
<<3、变型示例>>
现在，描述上述根据本公开的技术的实施例的变型示例。
在上述示例中，使用了两个可视图像传感器，即，左可视图像传感器311L和右可视图像传感器311R。然而，例如，可以仅使用一个可视图像传感器，基于各帧之间的视差等来计算与特征点或界标的距离。
此外，例如，可以仅使用可视图像中的特征点和界标之一来估计自身位置。
此外，本技术也可适用于仅估计车辆的位置或姿态中的至少一个的情况。
此外，本技术也可适用于例如基于由可视图像传感器拍摄的单色可视图像来估计自身位置的情况。
此外，例如，可以在不考虑每个状况对可视图像的图像质量的影响与每个状况对红外图像的图像质量的影响之间的相对关系的情况下设定可视图像权重和红外图像权重，即，可以在分别考虑对可视图像和红外图像的影响的同时设定可视图像权重和红外图像权重。具体地，可视图像权重和红外图像权重可以独立地设定。
此外，本技术也可适用于除以上例示的车辆以外的各种移动体的自身位置估计处理，所述各种移动体包括例如摩托车、自行车、个人移动工具、飞机、轮船、建筑机械和农业机械(拖拉机)。此外，可应用本技术的移动体的示例还包括用户在没有登上或进入移动体中的情况下远程驾驶(操作)的移动体，例如无人机和机器人。
<<4、其他>>
<计算机的配置示例>
可以通过硬件或软件来执行上述一系列处理。在通过软件来执行一系列处理的情况下，在计算机上安装构成软件的程序。在此，计算机的示例包括集成在专用硬件中的计算机和能够利用其上安装的各种程序执行各种功能的通用个人计算机。
图9是示出被配置为利用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504彼此连接。
总线504还连接到输入/输出接口505。输入/输出接口505连接到输入单元506、输出单元507、记录单元508、通信单元509和驱动器510。
输入单元506包括例如输入开关、按钮、麦克风或成像元件。输出单元507包括例如显示器或扬声器。记录单元508包括例如硬盘或非易失性存储器。通信单元509例如包括网络接口。驱动器510驱动可移动记录介质511，例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机500中，例如，通过使CPU 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中、从而执行该程序来执行上述一系列处理。
例如，计算机500(CPU 501)执行的程序可以记录在可移动记录介质511上，例如要提供的封装介质。此外，可以通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机500中，可以利用安装在驱动器510上的可移动记录介质511、通过输入/输出接口505将程序安装在记录单元508上。此外，程序可以由通信单元509通过有线或有线方式接收以被安装在记录单元508上。此外，可以预先将程序安装在ROM 502或记录单元508上。
注意，关于计算机执行的程序，可以按本文中描述的顺序以时间顺序或并行地执行程序的处理。可替选地，可以在正确的定时(例如在程序被调用时)执行程序的处理。
此外，在本文中，系统是指多个组件(装置、模块(部件)等)的集合，并且所有组件是否都在同一机柜中并不重要。因此，容纳在单独的机柜中并且经由网络彼此连接的多个装置以及包括容纳在一个机柜中的多个模块的一个装置都是系统。
此外，本技术的实施例不限于上述实施例，并且在不偏离本技术的要旨的情况下可以进行各种修改。
例如，本技术可以采用经由网络在多个装置中共享一个功能以协作地处理该功能的云计算的配置。
此外，上述流程图中描述的每个步骤可以通过在多个装置中共享以及由一个装置执行来执行。
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以通过在多个装置中共享以及由一个装置执行来执行。
<配置组合示例>
本技术还可以采用以下配置。
(1)一种信息处理装置，包括：
第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计移动体的自身位置；
第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计所述移动体的自身位置；以及
组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
(2)根据项目(1)所述的信息处理装置，
其中，所述移动体所处的状况包括天气、亮度、时间或位置中的至少一个。
(3)根据项目(2)所述的信息处理装置，
其中，所述组合部在白天增加第一权重并且减小第二权重。
(4)根据项目(2)或(3)所述的信息处理装置，
其中，所述组合部在夜间减小第一权重并且增加第二权重。
(5)根据项目(2)至(4)中任一项所述的信息处理装置，
其中，在所述移动体位于市区的情况下，所述组合部增加第一权重并且减小第二权重。
(6)根据项目(2)至(5)中任一项所述的信息处理装置，
其中，在所述移动体的速度等于或高于预定阈值的情况下，所述组合部增加第一权重并且减小第二权重。
(7)根据项目(2)至(6)中任一项所述的信息处理装置，
其中，在有雾的情况下，所述组合部减小第一权重并且增加第二权重。
(8)根据项目(2)至(7)中任一项所述的信息处理装置，
其中，在下雪的情况下，所述组合部减小第一权重并且增加第二权重。
(9)根据项目(1)至(8)中任一项所述的信息处理装置，
其中，基于每个状况对可视图像的图像质量的影响以及每个状况对红外图像的图像质量的影响来设定第一权重和第二权重。
(10)根据项目(9)所述的信息处理装置，
其中，基于每个状况对可视图像的图像质量的影响与每个状况对红外图像的图像质量的影响之间的相对关系来设定第一权重和第二权重。
(11)根据项目(9)或(10)所述的信息处理装置，
其中，在可视图像的图像质量变高的状况下增加第一权重，以及
在红外图像的图像质量变高的状况下，增加第二权重。
(12)根据项目(1)至(11)中任一项所述的信息处理装置，
其中，所述组合部随着第一权重增加而减小关于第一估计结果的误差方差，并且随着第二权重增加而减小关于第二估计结果的误差方差，从而使用扩展卡尔曼滤波器来组合第一估计结果和第二估计结果。
(13)根据项目(1)至(12)中任一项所述的信息处理装置，
其中，所述第一自身位置估计部和所述第二自身位置估计部估计所述移动体的位置或姿态中的至少一个。
(14)根据项目(1)至(13)中任一项所述的信息处理装置，
其中，所述第一自身位置估计部基于可视图像中的特征点或界标中的至少一个来估计所述移动体的自身位置，以及
所述第二自身位置估计部基于红外图像中的界标来估计所述移动体的自身位置。
(15)根据项目(1)至(14)中任一项所述的信息处理装置，还包括：
状况检测部，所述状况检测部被配置为检测所述移动体所处的状况。
(16)根据项目(1)至(15)中任一项所述的信息处理装置，
其中，可视图像是由可视图像传感器拍摄的，以及
红外图像是由红外图像传感器拍摄的。
(17)一种信息处理方法，包括：
由信息处理装置：
分别使用可视图像和红外图像来估计移动体的自身位置；以及
基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
(18)一种用于使计算机执行以下处理的程序：
分别使用可视图像和红外图像来估计移动体的自身位置；以及
基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
(19)一种移动体，包括：
可视图像传感器，所述可视图像传感器被配置为拍摄可视图像；
红外图像传感器，所述红外图像传感器被配置为拍摄红外图像；
第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计自身位置；
第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计自身位置；以及
组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
注意，本文中描述的效果仅是示例性的而不是限制性的，并且可以提供其他效果。
[参考符号列表]
10、11车辆，100车辆控制系统，112自动驾驶控制单元，132自身位置估计部，200地图生成系统，202地图生成处理单元，300自身位置估计系统，301观测数据获取单元，302自身位置估计单元，311L、311R可视图像传感器，312红外图像传感器，313传感器部，321基于可视图像的自身位置估计部，322基于红外图像的自身位置估计部，323状况检测部，324组合部，331基于特征点的自身位置估计部，332基于界标的自身位置估计部。

Claims (19)

1.一种信息处理装置，包括：
第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计移动体的自身位置；
第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计所述移动体的自身位置；以及
组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
2.根据权利要求1所述的信息处理装置，
其中，所述移动体所处的状况包括天气、亮度、时间或位置中的至少一个。
3.根据权利要求2所述的信息处理装置，
其中，所述组合部在白天增加第一权重并且减小第二权重。
4.根据权利要求2所述的信息处理装置，
其中，所述组合部在夜间减小第一权重并且增加第二权重。
5.根据权利要求2所述的信息处理装置，
其中，在所述移动体位于市区的情况下，所述组合部增加第一权重并且减小第二权重。
6.根据权利要求2所述的信息处理装置，
其中，在所述移动体的速度等于或高于预定阈值的情况下，所述组合部增加第一权重并且减小第二权重。
7.根据权利要求2所述的信息处理装置，
其中，在有雾的情况下，所述组合部减小第一权重并且增加第二权重。
8.根据权利要求2所述的信息处理装置，
其中，在下雪的情况下，所述组合部减小第一权重并且增加第二权重。
9.根据权利要求1所述的信息处理装置，
其中，基于每个状况对可视图像的图像质量的影响以及每个状况对红外图像的图像质量的影响来设定第一权重和第二权重。
10.根据权利要求9所述的信息处理装置，
其中，基于每个状况对可视图像的图像质量的影响与每个状况对红外图像的图像质量的影响之间的相对关系来设定第一权重和第二权重。
11.根据权利要求9所述的信息处理装置，
其中，在可视图像的图像质量变高的状况下增加第一权重，以及
在红外图像的图像质量变高的状况下，增加第二权重。
12.根据权利要求1所述的信息处理装置，
其中，所述组合部随着第一权重增加而减小关于第一估计结果的误差方差，并且随着第二权重增加而减小关于第二估计结果的误差方差，从而使用扩展卡尔曼滤波器来组合第一估计结果和第二估计结果。
13.根据权利要求1所述的信息处理装置，
其中，所述第一自身位置估计部和所述第二自身位置估计部估计所述移动体的位置或姿态中的至少一个。
14.根据权利要求1所述的信息处理装置，
其中，所述第一自身位置估计部基于可视图像中的特征点或界标中的至少一个来估计所述移动体的自身位置，以及
所述第二自身位置估计部基于红外图像中的界标来估计所述移动体的自身位置。
15.根据权利要求1所述的信息处理装置，还包括：
状况检测部，所述状况检测部被配置为检测所述移动体所处的状况。
16.根据权利要求1所述的信息处理装置，
其中，可视图像是由可视图像传感器拍摄的，以及
红外图像是由红外图像传感器拍摄的。
17.一种信息处理方法，包括：
由信息处理装置：
分别使用可视图像和红外图像来估计移动体的自身位置；以及
基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
18.一种用于使计算机执行以下处理的程序：
分别使用可视图像和红外图像来估计移动体的自身位置；以及
基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
19.一种移动体，包括：
可视图像传感器，所述可视图像传感器被配置为拍摄可视图像；
红外图像传感器，所述红外图像传感器被配置为拍摄红外图像；
第一自身位置估计部，所述第一自身位置估计部被配置为使用可视图像来估计自身位置；
第二自身位置估计部，所述第二自身位置估计部被配置为使用红外图像来估计自身位置；以及
组合部，所述组合部被配置为基于所述移动体所处的状况来设定通过使用可视图像进行的自身位置估计而获得的第一估计结果的第一权重以及通过使用红外图像进行的自身位置估计而获得的第二估计结果的第二权重，从而使用第一权重和第二权重来组合第一估计结果和第二估计结果。
CN201880067728.2A 2017-10-24 2018-10-11 信息处理装置、信息处理方法、程序和移动体 Withdrawn CN111226094A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017205178 2017-10-24
JP2017-205178 2017-10-24
PCT/JP2018/037838 WO2019082669A1 (ja) 2017-10-24 2018-10-11 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (1)

Publication Number Publication Date
CN111226094A true CN111226094A (zh) 2020-06-02

Family

ID=66246518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067728.2A Withdrawn CN111226094A (zh) 2017-10-24 2018-10-11 信息处理装置、信息处理方法、程序和移动体

Country Status (5)

Country Link
US (1) US11100675B2 (zh)
JP (1) JP7143857B2 (zh)
CN (1) CN111226094A (zh)
DE (1) DE112018004691T5 (zh)
WO (1) WO2019082669A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116007626A (zh) * 2022-12-12 2023-04-25 南京小网科技有限责任公司 一种一体化综合定位系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7143733B2 (ja) * 2018-11-14 2022-09-29 トヨタ自動車株式会社 環境状態推定装置、環境状態推定方法、環境状態推定プログラム
JP7298343B2 (ja) * 2019-07-01 2023-06-27 日本電信電話株式会社 故障影響推定装置、故障影響推定方法、及びプログラム
DE102019120778A1 (de) * 2019-08-01 2021-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in einer Umgebung
US12249089B2 (en) 2019-12-09 2025-03-11 Nec Corporation Self-position estimation apparatus, self-position estimation method, and program
JP7342753B2 (ja) * 2020-03-18 2023-09-12 株式会社デンソー 車両用位置特定装置及び車両用位置特定方法
JP7402993B2 (ja) * 2020-08-11 2023-12-21 日立Astemo株式会社 位置推定システム
CN112950712B (zh) * 2021-02-25 2023-03-24 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质
WO2024190136A1 (ja) * 2023-03-15 2024-09-19 日本電気株式会社 画像処理装置、画像処理方法、及び記録媒体
US20240385616A1 (en) * 2023-05-17 2024-11-21 The Boeing Company Flight director assist system for aircraft

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2009414A1 (en) * 1999-01-14 2008-12-31 Panasonic Corporation Infrared imaging device, vehicle with the same, and infrared image adjusting device
JP4363207B2 (ja) 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
US20120299702A1 (en) * 2011-05-26 2012-11-29 Caterpillar Inc. Hybrid positioning system
JP5992184B2 (ja) 2012-03-09 2016-09-14 株式会社トプコン 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP6067175B2 (ja) * 2014-03-03 2017-01-25 三菱電機株式会社 位置測定装置及び位置測定方法
WO2016016955A1 (ja) 2014-07-30 2016-02-04 株式会社日立製作所 自律移動装置及び自己位置推定方法
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
JP2016156973A (ja) 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
WO2017043067A1 (ja) 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116007626A (zh) * 2022-12-12 2023-04-25 南京小网科技有限责任公司 一种一体化综合定位系统
CN116007626B (zh) * 2022-12-12 2024-02-20 南京小网科技有限责任公司 一种一体化综合定位系统

Also Published As

Publication number Publication date
JPWO2019082669A1 (ja) 2020-12-10
WO2019082669A1 (ja) 2019-05-02
JP7143857B2 (ja) 2022-09-29
US11100675B2 (en) 2021-08-24
DE112018004691T5 (de) 2020-06-18
US20200250854A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7351293B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
US20200409387A1 (en) Image processing apparatus, image processing method, and program
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
US11501461B2 (en) Controller, control method, and program
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
CN113168692A (zh) 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210179142A1 (en) Mobile object, information processing apparatus, information processing method, and program
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
CN113167883A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
CN114026436B (zh) 图像处理装置、图像处理方法和程序
CN112567427A (zh) 图像处理装置、图像处理方法和程序
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200602