CN115777116A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及可以提高跟踪性能的信息处理装置、信息处理方法和程序。特征信息提取单元以帧图像为单位提取关于对象的特征信息，并且跟踪处理单元使用该特征信息在帧图像中跟踪对象。本技术适用于例如使用车载相机的驾驶辅助装置。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及提高跟踪性能的信息处理装置、信息处理方法和程序。

背景技术

专利文献1公开了通过确认识别出的停车位置和车牌来确定车辆的停车位置的停车位置识别装置。

此外，近年来，已知在具有车载相机的驾驶支持或自动驾驶中跟踪在本车辆周围行驶的车辆的技术。

引用列表

专利文献

专利文献1：JP H8-96297 A。

发明内容

技术问题

常规地，在一些情况下，在跟踪期间跟踪除了要被跟踪的对象之外的对象。

鉴于这种情况做出本技术，以便提高跟踪性能。

问题的解决方案

根据本技术的信息处理装置是包括特征信息提取单元和跟踪单元的信息处理装置，该特征信息提取单元针对每个帧图像提取关于对象的特征信息，该跟踪单元通过使用特征信息在帧图像中跟踪对象。

根据本技术的信息处理方法是使信息处理装置进行以下操作的信息处理方法：针对每个帧图像提取关于对象的特征信息，以及通过使用特征信息在帧图像中跟踪对象。

根据本技术的程序是使计算机执行以下处理的程序：针对每个帧图像提取关于对象的特征信息；以及通过使用特征信息在帧图像中跟踪对象。

在本技术中，针对每个帧图像提取关于对象的特征信息，以及通过使用特征信息在帧图像中跟踪对象。

附图说明

图1是示出车辆控制系统的配置示例的框图。

图2示出了感测区域的示例。

图3是示出应用本技术的信息处理装置的配置示例的框图。

图4指示得分特征信息的示例。

图5示出了车辆的识别的示例。

图6示出了车辆的识别的示例。

图7示出了特征区域的示例。

图8示出了点群数据的示例。

图9是用于说明车辆跟踪的流程图。

图10是车辆跟踪中的数据流的说明图。

图11是示出坐标信息的细节的说明图。

图12示出了相对速度的计算的示例。

图13示出了相对速度的计算的示例。

图14示出了鸟瞰图坐标的示例。

图15是示出跟踪的细节的说明图。

图16示出了多个车载相机的成像范围的示例。

图17是示出信息处理装置的另一配置示例的框图。

图18是示出集成的细节的说明图。

图19是示出计算机的配置示例的框图。

具体实施方式

下面将描述用于执行本技术的模式(在下文中，被称为实施例)。将按以下顺序进行描述。

1.车辆控制系统的配置示例

2.常规跟踪的问题

3.信息处理装置的配置示例

4.车辆跟踪的流程

5.安装多个车载相机的示例

6.计算机的配置示例

<1.车辆控制系统的配置示例>

图1是示出作为应用本技术的移动设备控制系统的示例的车辆控制系统11的配置示例的框图。

车辆控制系统11设置在车辆1中，并且执行与车辆1的驾驶支持和自动驾驶相关的处理。

车辆控制系统11包括处理器21、通信单元22、地图信息累积单元23、全球导航卫星系统(GNSS)接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、驾驶支持/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。

处理器21、通信单元22、地图信息累积单元23、GNSS接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、驾驶支持/自动驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此连接。通信网络41包括例如符合任何标准的控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)的车载网络以及总线等。可替代地，车辆控制系统11的每个单元可以通过近场通信(NFC)、蓝牙(注册商标)等直接连接，而不涉及通信网络41。

在下文中，当车辆控制系统11的每个单元经由通信网络41进行通信时，将省略通信网络41的描述。例如，在处理器21与通信单元22之间经由通信网络41执行的通信将被简称为在处理器21与通信单元22之间执行的通信。

处理器21例如包括诸如中央处理单元(CPU)、微处理单元(MPU)或电子控制单元(ECU)的各种处理器。处理器21控制整个车辆控制系统11。

通信单元22与车辆内部和外部的各种装置、其他车辆、服务器、基站等通信，并且发送和接收各种数据。作为车辆外部的通信，例如，通信单元22从外部接收用于更新控制车辆控制系统11的操作的软件的程序、地图信息、交通信息以及关于车辆1的周围环境的信息。例如，通信单元22将关于车辆1的信息(例如，表示车辆1的状态的数据或识别单元73的识别结果)、关于车辆1的周边的信息等发送到外部。例如，通信单元22与车辆紧急通知系统(诸如eCall)执行通信。

通信单元22的通信方法没有特别限制。此外，可以使用多种通信方法。

作为车辆内部的通信，例如，通信单元22使用诸如无线LAN、蓝牙(注册商标)、NFC、或无线USB(WUSB)的通信方法与车辆内部的装置执行无线通信。例如，通信单元22根据诸如通用串行总线(USB)、高清晰度多媒体接口(注册商标)(HDMI)或移动高清晰度链路(MHL)的通信方法经由连接端子(未示出)(以及必要时的电缆)与车辆内部的装置执行有线通信。

在这种情况下，车辆中的装置例如是未连接至车辆中的通信网络41的装置。例如，该装置被假定为由乘坐者(诸如驾驶员)携带的移动装置或可佩戴装置或被携带在车辆上以临时安装在其中的信息装置。

例如，通信单元22根据诸如第四代移动通信系统(4G)、第五代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)的无线通信方法经由基站或接入点与存在于外部网络(例如，因特网、云网络或特定商业网络)上的服务器等通信。

例如，通信单元22使用对等(P2P)技术与存在于本车辆附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)通信。例如，通信单元22执行V2X通信。V2X通信的示例包括与另一车辆的车辆到车辆通信、与路边设备等的车辆到基础设施通信、与家庭的车辆到家庭通信、以及与行人拥有的终端等的车辆到行人通信。

例如，通信单元22使用无线电信标、光信标、FM多路复用广播等接收由车辆信息和通信系统(VICS(注册商标))发送的电磁波。

地图信息累积单元23累积从外部获取的地图和由车辆1创建的地图。例如，地图信息累积单元23累计三维高精度地图和比该高精度地图精度低但覆盖宽区域的全局地图。

高精度地图例如是动态地图、点云地图或矢量地图(也称为高级驾驶员辅助系统(ADAS)地图)。动态地图例如是由分别表示动态信息、准动态信息、准静态信息以及静态信息的四层组成的地图并且从外部服务器等提供。点云地图是由点云(点群数据)构成的地图。矢量地图是诸如车道和交通灯的位置的信息与点云地图相关联的地图。例如，点云地图和矢量地图可以从外部服务器提供，或者可以基于雷达52、LiDAR 53等的感测结果在车辆1中创建并且在地图信息累积单元23中累积作为与局部地图(稍后描述)匹配的地图。此外，当从外部服务器等提供高精度地图时，为了减少通信容量，从服务器等获取关于车辆1所行驶的规划路径的例如每边几百米的正方形的地图数据。

GNSS接收单元24从GNSS卫星接收GNSS信号并将该信号提供给驾驶支持/自动驾驶控制单元29。

外部识别传感器25包括用于识别车辆1外部的情况的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。外部识别传感器25可以包括任意类型或任意数量的传感器。

例如，外部识别传感器25包括相机51、雷达52、LiDAR(光探测和测距、激光成像探测和测距)53、以及超声波传感器54。可以设置任意数量的相机51、雷达52、LiDAR 53和超声波传感器54，并且稍后将描述每个传感器的感测区域的示例。

作为相机51，例如，根据需要使用诸如飞行时间(ToF)相机、立体相机、单目相机或红外相机的任意拍摄方法的相机。

此外，例如，外部识别传感器25包括用于检测天气、气象现象、亮度等的环境传感器。例如，环境传感器包括雨滴传感器、雾传感器、阳光传感器、雪传感器、以及照度传感器。

此外，例如，外部识别传感器25包括用于检测车辆1周围的声音和声源的位置的麦克风。

车载传感器26包括用于检测车辆内部的信息的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。车载传感器26可以包括任意类型或任意数量的传感器。

例如，车载传感器26包括相机、雷达、座位传感器、方向盘传感器、麦克风、或生物传感器。作为相机，例如，可以使用诸如ToF相机、立体相机、单眼相机或红外线相机的任意摄影方法的相机。例如，生物传感器设置在座位、方向盘等上并且检测关于诸如驾驶员的乘坐者的各种生物信息。

车辆传感器27包括用于检测车辆1的状态的各种传感器并且将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。车辆传感器27可以包括任意类型或任意数量的传感器。

例如，车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和惯性测量单元(IMU)。车辆传感器27例如包括检测方向盘的转向角的转向角传感器、偏航率传感器、检测加速器踏板的操作量的加速器传感器、以及检测制动踏板的操作量的制动传感器。车辆传感器27例如包括检测发动机或马达的转速的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的滑移率的滑移率传感器、以及检测车轮的转速的车轮速度传感器。例如，车辆传感器27包括检测电池的剩余电池寿命和温度的电池传感器以及检测来自外部的冲击的冲击传感器。

例如，记录单元28包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置和磁光存储装置。记录单元28记录要由车辆控制系统11的每个单元使用的各种程序和数据。例如，记录单元28记录包括在机器人操作系统(ROS)中发送和接收的消息的rosbag文件，在ROS中运行与自动驱动相关的应用程序。例如，记录单元28包括事件数据记录器(EDR)或用于自动驾驶的数据存储系统(DSSAD)并且记录关于诸如事故的事件之前和之后的车辆1的信息。

驾驶支持/自动驾驶控制单元29控制车辆1的驾驶支持和自动驾驶。例如，驾驶支持/自动驾驶控制单元29包括分析单元61、行动规划单元62和操作控制单元63。

分析单元61对车辆1及其周围环境执行分析。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。

自身位置估计单元71基于来自外部识别传感器25的传感器数据和在地图信息累积单元23中累积的高精度地图来估计车辆1的自身位置。例如，自身位置估计单元71通过基于来自外部识别传感器25的传感器数据生成局部地图并且将该局部地图和高精度地图彼此匹配来估计车辆1的自身位置。车辆1的位置例如基于后轴的中心。

局部地图例如是使用诸如同时定位和地图构建(SLAM)的技术创建的三维高精度地图或占用网格地图。三维高精度地图例如是上述点云地图。占用网格地图是以预定大小的网格为单位指示对象的占用的地图，车辆1周围的三维空间或二维空间被划分为预定大小的网格。对象的占用例如通过对象的存在或不存在或对象的存在概率来表示。局部地图例如也用于识别单元73对车辆1的周围环境的检测和识别。

自身位置估计单元71可以基于GNSS信号和来自车辆传感器27的传感器数据来估计车辆1的自身位置。

传感器融合单元72通过组合多个不同类型的传感器数据(例如，从相机51提供的图像数据和从雷达52提供的传感器数据)来执行用于获得新信息的传感器融合处理。组合多个不同类型的传感器数据的方法包括集成、融合和关联。

识别单元73执行对车辆1的周围环境的检测和识别。

例如，识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等执行车辆1的周围的检测和识别。

具体地，识别单元73例如执行车辆1周围的对象的检测和识别。对象的检测例如是指用于检测对象的存在或不存在、大小、形状、位置、运动的处理。对象的识别例如是指用于识别诸如对象的类型的属性或者识别特定对象的处理。然而，检测与识别之间的区别并不总是显而易见的，并且可能发生重叠。

例如，识别单元73通过执行集群来检测车辆1周围的对象，其中，基于LiDAR或雷达等的传感器数据的点云被分类为点群块。因此，检测车辆1周围的对象的存在或不存在、大小、形状、位置。

例如，识别单元73通过跟踪通过集群分类的点群块的运动来检测车辆1周围的对象的运动。因此，检测车辆1周围的对象的速度和行进方向(移动矢量)。

例如，识别单元73通过对从相机51提供的图像数据执行诸如语义分割的对象识别来识别车辆1周围的对象的类型。

要被检测或识别的对象例如被假定为车辆、人、自行车、障碍物、结构、道路、交通灯、交通标志或道路标志。

例如，识别单元73基于地图信息累积单元23中累积的地图、自身位置的估计结果以及车辆1周围的对象的识别结果，执行车辆1周围的交通规则的识别。该处理例如可以识别交通灯的位置和状态、交通标志和道路标志的内容、道路交通规则的内容以及可行驶车道等。

例如，识别单元73对车辆1周围的环境执行识别。要被识别的周围环境例如被假定为天气、空气温度、湿度、亮度、以及路面条件等。

行动规划单元62创建车辆1的行动规划。例如，行动规划单元62通过执行路径规划和路径跟随的处理来创建行动规划。

路径规划(全局路径规划)是指从开始到终点规划一般路径的过程。路径规划被称为轨迹规划，并且包括轨迹生成(局部路径规划)的处理，考虑到车辆1沿着由全局路径规划规划的路径的运动特性，该处理使得能够在车辆1附近安全和平稳地行驶。

路径跟随是指规划操作以在规划时间内在由全局路径规划规划的路径上安全且准确地行进的过程。例如，计算车辆1的目标速度和目标角速度。

操作控制单元63控制车辆1的操作，以实现由行动规划单元62创建的行动规划。

例如，操作控制单元63控制转向控制单元81、制动控制单元82和驱动控制单元83，以执行加速/减速控制和方向控制，使得车辆1沿着通过轨迹规划计算的轨迹行驶。例如，操作控制单元63执行协作控制，以实现ADAS功能，诸如防碰撞或减震、追车驾驶、恒速驾驶、本车辆的碰撞警告、以及本车辆的车道偏离警告。例如，操作控制单元63执行旨在自主驾驶等的协作控制，其中，车辆自主地行驶，而不考虑驾驶员的操纵。

DMS 30基于来自车载传感器26的传感器数据、要输入到HMI 31的输入数据等，例如对驾驶员执行认证和驾驶员的状态的识别。要被识别的驾驶员的状态例如被假定定为身体状况、清醒度、集中度、疲劳度、眼睛注视方向、醉酒度、驾驶操作或姿势。

可替代地，DMS 30可以对除了驾驶员之外的乘坐者执行认证以及对乘坐者的状态的识别。此外，例如，DMS 30可以基于来自车载传感器26的传感器数据执行对车辆内部的状况的识别。在车辆内部识别的状况例如被假定为温度、湿度、亮度、或气味。

HMI 31用于输入各种数据和指令，并且基于输入数据、输入指令等生成输入信号并且将该输入信号提供给车辆控制系统11的每个单元。例如，HMI 31包括诸如触摸面板、按钮、麦克风、开关、或者杠杆的操作装置，以及通过诸如语音或者手势而不是手动操作的方法能够进行输入的操作装置。例如，HMI 31可以是使用红外光或其他无线电波的远程控制装置、对应于车辆控制系统11的操作的移动装置、外部连接装置(诸如可佩戴装置)。

此外，HMI 31生成并输出关于乘坐者或车辆外部的视觉信息、音频信息、以及触觉信息，并且执行用于控制输出内容、输出定时、输出方法等的输出控制。视觉信息例如是由操作画面、车辆1的状态显示、警告显示、表示车辆1的周围环境的监视图像的图像和光所表示的信息。音频信息例如是诸如引导、警告声音、警告消息的声音所表示的信息。触觉信息例如是用力、振动、运动等触觉地呈现给乘坐者的信息。

用于输出视觉信息的装置例如被假定为显示设备、投影仪、导航设备、仪表板、相机监控系统(CMS)、电子镜或灯。除了具有正常显示器的设备之外，显示设备可以是用于在乘坐者的视野中显示视觉信息的设备，例如，平视显示器、光透射显示器、或配备有增强现实(AR)功能的可佩戴装置。

用于输出音频信息的装置例如被假设为音频扬声器、头戴式耳机或耳机。

用于输出触觉信息的装置例如被假设为使用触觉技术的触觉元件等。例如，触觉元件设置在方向盘或座位内部。

车辆控制单元32控制车辆1的每个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85以及喇叭控制单元86。

转向控制单元81对车辆1的转向系统的状态执行检测、控制等。例如，转向系统包括设置有方向盘的转向机构和电子动力转向。例如，转向控制单元81包括用于控制转向系统的控制单元(诸如ECU)和用于驱动转向系统的致动器。

制动控制单元82对车辆1的制动系统的状态执行检测、控制等。例如，制动系统包括设置有制动踏板和防抱死制动系统(ABS)的制动机构。例如，制动控制单元82包括用于控制制动系统的控制单元(诸如ECU)和用于驱动制动系统的致动器。

驱动控制单元83对车辆1的驱动系统的状态执行检测、控制等。例如，驱动系统包括加速踏板、用于生成驱动力的驱动力生成设备(例如，内燃机或驱动马达)以及用于将驱动力传输至车轮的驱动力传输机构。例如，驱动控制单元83包括用于控制驱动系统的控制单元(诸如ECU)和用于驱动驱动系统的致动器。

车身系统控制单元84对车辆1的车身系统的状态执行检测、控制等。例如，车身系统包括无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、空调、安全气囊、安全带以及变速杆。例如，车身系统控制单元84包括用于控制车身系统的控制单元(诸如ECU)和用于驱动车身系统的致动器。

灯控制单元85对车辆1的各种灯的状态执行检测、控制等。例如，要控制的灯被假定为前照灯、尾灯、雾灯、转向信号、制动灯、投影灯、以及保险杠显示。灯控制单元85包括用于控制灯的控制单元(诸如ECU)和用于驱动灯的致动器。

喇叭控制单元86对车辆1的车喇叭的状态执行检测、控制等。例如，喇叭控制单元86包括用于控制车喇叭的控制单元(诸如ECU)和用于驱动车喇叭的致动器。

图2是示出通过图1所示的外部识别传感器25的相机51、雷达52、LiDAR 53以及超声波传感器54进行的感测区域的示例的示图。

感测区域101F和感测区域101B表示超声波传感器54的感测区域的示例。感测区域101F覆盖车辆1的前端的外围。感测区域101B覆盖车辆1的后端的外围。

感测区域101F和感测区域101B中的感测结果例如用于车辆1的停车辅助。

感测区域102F至感测区域102B表示用于短距离或中间距离的雷达52的感测区域的示例。感测区域102F覆盖在车辆1前方比感测区域101F更远的位置。感测区域102B覆盖在车辆1的后面比感测区域101B更远的位置。感测区域102L覆盖车辆1的左后侧的外围。感测区域102R覆盖车辆1的右后侧的外围。

感测区域102F的感测结果例如用于检测车辆1前方的车辆或行人。感测区域102B中的感测结果例如用于防止车辆1的后部处的碰撞的功能。感测区域102L和感测区域102R中的感测结果例如用于检测车辆1的侧边的盲点中的对象。

感测区域103F至感测区域103B表示相机51的感测区域的示例。感测区域103F覆盖在车辆1前方比感测区域102F更远的位置。感测区域103B覆盖在车辆1的后面比感测区域102B更远的位置。感测区域103L覆盖车辆1的左侧的外围。感测区域103R覆盖车辆1的右侧的外围。

感测区域103F中的感测结果例如用于交通灯或交通标志以及车道偏离防止支持系统的识别。感测区域103B中的感测结果例如用于停车辅助和环视系统。感测区域103L和感测区域103R中的感测结果例如用于环视系统。

感测区域104表示LiDAR 53的感测区域的示例。感测区域104覆盖在车辆1前方比感测区域103F更远的位置。感测区域104在横向方向上具有比感测区域103F窄的范围。

感测区域104中的感测结果例如用于紧急制动、碰撞避免和行人检测。

感测区域105表示长距离的雷达52的感测区域的示例。感测区域105覆盖在车辆1前方比感测区域104更远的位置。感测区域105在横向方向上具有比感测区域104窄的范围。

感测区域105中的感测结果例如用于自适应巡航控制(ACC)。

传感器的感测区域可以具有除图2中的配置之外的各种配置。具体地，超声波传感器54可被配置为也感测车辆1的侧面，或者LiDAR 53可被配置为感测车辆1的后方。

<2.常规跟踪的问题>

近年来，已知在具有车载相机的驾驶支持或自动驾驶中跟踪在本车辆周围行驶的车辆的技术。

在跟踪行驶车辆时，要跟踪的车辆难以跟随时间轴上的同一车辆。因此，在某些情况下，错误跟踪除了要跟踪的车辆之外的车辆。这也被称为跟踪中的ID切换。

在跟踪中，基于所识别车辆的相机坐标系或三维坐标系中的位置估计结果来确定所识别车辆与要跟踪的车辆是否相同。然而，因为车辆并不总是被精确地识别，并且所估计的车辆位置包括误差，所以发生ID切换。

下面将描述用于抑制ID切换和提高跟踪性能的配置。

<3.信息处理装置的配置示例>

图3是示出应用本技术的信息处理装置的配置示例的框图。

图3示出了相机210和信息处理装置230。

信息处理装置230被配置为具有车载相机的驾驶支持装置的示例。信息处理装置230安装在车辆1中，并且在相机图像中识别和跟踪车辆1周围的对象，该相机图像是由相机210捕获的移动图像。相机210对应于图1中的相机51，并且被配置为捕获车辆1的前方和后面的图像的单眼相机。此外，相机210例如可被配置为安装在车辆1的车顶(顶棚外部)上并捕获车辆1周围的图像的360度相机。

例如，信息处理装置230对应于图1中的分析单元61并且包括信号处理单元231、车辆识别单元232、距离/速度计算单元233、矩形区域裁剪单元234、特征信息提取单元235、以及跟踪单元236。

信号处理单元231对构成由相机210捕获的相机图像(原始数据)的帧图像执行各种信号处理，并且将帧图像提供给车辆识别单元232和矩形区域裁剪单元234。

车辆识别单元232对来自信号处理单元231的帧图像执行对象识别，从而识别车辆1周围的对象，具体地，在车辆1周围行驶的车辆。在一个帧图像中识别的车辆的数量不限于一个，并且可识别两个或两个以上的车辆。关于围绕所识别车辆的矩形框的位置和大小的坐标信息被提供给距离/速度计算单元233和矩形区域裁剪单元234。

距离/速度计算单元233基于来自车辆识别单元232的坐标信息计算所识别的车辆与本车辆(车辆1)之间的距离和所识别的车辆的相对速度。例如，距离/速度计算单元233基于雷达52和LiDAR 53的感测结果确定与所识别的车辆的距离，并且通过使用该距离和坐标信息计算所识别的车辆的相对速度。通过计算获得的距离信息和速度信息被添加到坐标信息并被提供给追踪单元236。

矩形区域裁剪单元234从来自信号处理单元231的每个帧图像裁剪由来自车辆识别单元232的坐标信息表示的矩形框中的矩形区域(所识别的车辆)。作为裁剪的矩形区域的图像的车辆图像被提供给特征信息提取单元235。

特征信息提取单元235针对每个帧图像提取来自矩形区域裁剪单元234的车辆图像中的车辆特征信息。具体地，特征信息提取单元235基于由一个或多个传感器获得的传感器数据提取车辆特征信息。传感器数据包括由相机210捕获的帧图像和由雷达52或LiDAR53获得的点群数据中的至少一个。所提取的特征信息被提供给跟踪单元236。

基于来自距离/速度计算单元233的坐标信息，跟踪单元236针对每个帧图像估计要跟踪的车辆的位置，从而在相机图像(按时间顺序捕获的帧图像)中跟踪车辆。

此时，追踪单元236通过使用来自特征信息提取单元235的特征信息在相机图像中追踪车辆。换句话说，跟踪单元236基于当前时间(当前帧)的帧图像中的特征信息与当前帧之前(之前)的帧图像(前一帧)中的特征信息之间的比较结果跟踪车辆。

具体地，在当前帧的特征信息与前一帧的特征信息之间匹配时，跟踪单元236确定当前帧中的车辆与先前帧中的车辆相同，从而跟踪车辆。

例如，在当前帧与前一帧之间的特征信息的比较中，如果指示匹配程度的得分等于或大于预定的阈值，则确定当前帧与前一帧之间的特征信息匹配。更具体地，从每个帧图像的车辆图像中提取多个特征信息。如果特征信息的总得分等于或大于预定的阈值，则确定当前帧与前一帧之间的特征信息匹配。

图4指示得分特征信息的示例。

在图4的示例中，提取车辆图像中的车辆的车牌的数字、车牌的位置、以及雷达检测点的位置作为特征信息。通过将车牌识别为从用作一条传感器数据的相机图像剪辑的车辆图像中的车辆特性区域(特征区域)来提取车牌的数字和位置。从由雷达52作为传感器数据而获得的点群数据中从车辆上反映的点群数据中提取雷达检测点的位置。

在每项特征信息中，预先设置对应于当前帧与前一帧之间的匹配的得分。在图4的示例中，在当前帧与前一帧之间的车牌的数字匹配时，得分为5，并且在当前帧与前一帧之间的车牌的位置匹配时，得分为1。作为雷达检测点的位置的得分，通过将当前帧与前一帧之间的匹配的比例乘以5来获得值。

之后，将特征信息的总得分与阈值5彼此进行比较。如果特征信息的总得分为5或5以上，则确定当前帧与前一帧之间的特征信息匹配，并且当前帧与前一帧的车辆图像中的车辆彼此相同。

图5示出了车辆的识别的示例。

在图5的示例中，在时间t-1的帧图像中识别的车辆通过围绕车辆的矩形框251(在下文中，例如被称为边界框251)被跟踪。在边界框251中，车牌N251被识别为车辆的特征区域，并且获取多个(具体地，七个)雷达检测点D251作为点群数据。在边界框251中，车牌的位置和雷达检测点的位置被表示为p-q坐标系的坐标，该坐标系基于相机坐标系将边界框251的左下顶点设定为原点。

假设两个车辆在随后的时间t的帧图像中被边界框261和262识别，并且被输入为要被识别的输入数据。在这种情况下，假设边界框261中的车辆是时间t-1的边界框251中的车辆，并且边界框262中的车辆不同于时间t-1的边界框251中的车辆。

当比较边界框261与边界框251之间的特征信息时，车牌的数字在这两个边界框中是“18-66”并且因此5被分配为得分。因为边界框中的车牌的位置(坐标)匹配，所以1被分配为得分。此外，边界框261中的雷达检测点的七个位置中的五个(空心圆)与边界框251的那些位置匹配，使得(5/7)×5＝3.57被分配为得分。在这种情况下，总得分是9.57，其大于阈值5。因此，确定边界框261中的车辆与时间t-1的边界框251中的车辆相同。

当比较边界框262与边界框251之间的特征信息时，车牌的数字是“84-54”和“18-66”，并且因此没有得分被分配给不匹配。因为边界框中的车牌的位置(坐标)不匹配，所以不分配得分。此外，边界框262中的雷达检测点的七个位置中的三个(空心圆)与边界框251的那些位置匹配，使得(3/7)×5＝2.14被分配为得分。在这种情况下，总得分是2.14，其小于阈值5。因此，确定边界框262中的车辆与时间t-1的边界框251中的车辆不同。

因此，通过使用当前帧和前一帧中的特征信息，正确地识别车辆。

通常已知的是，与具有平坦表面的对象相比，从雷达发射的无线电波在具有球形表面等的弯曲对象上更可能被反射和检测。例如，具有圆形设计的车辆比具有角度设计的车辆反射更多的来自雷达的无线电波。换句话说，当雷达向车辆发射无线电波时，反射位置在车辆类型之间变化，并且因此雷达检测点的位置可以用于识别车辆。此外，雷达检测点的位置还取决于本车辆与要跟踪车辆之间的位置关系(角度或距离)，使得雷达检测点的位置可用于识别相同类型的车辆。

例如，在具有大约15fps的帧速率的相机图像的情况下，雷达检测点的位置在时间t-1的帧图像和时间t的帧图像中大致不变。然而，如果雷达发射的无线电波的反射强度在检测阈值附近变化，则时间t-1的雷达检测点的位置可能在时间t改变或未检测到，如在前述示例中。

图6示出了车辆的识别的另一示例。

在图6的示例中，通过围绕车辆的边界框271跟踪时间t-1的帧图像中识别的车辆。在边界框271中，车牌N271被识别为车辆的特征区域，并且获取多个(具体地，五个)雷达检测点D271作为点群数据。

假设两个车辆在随后的时间t的帧图像中被边界框281和282识别，并且被输入为要被识别的输入数据。在这种情况下，假设边界框281中的车辆是时间t-1的边界框271中的车辆，并且边界框282中的车辆不同于时间t-1的边界框271中的车辆。

假设由于本车辆和本车辆附近的车辆经过黑暗的位置(例如，隧道)，所以在时间t的帧图像中的被摄体是不清楚的。

当比较边界框281与边界框271之间的特征信息时，图像是不清晰的，并且因此车牌的数字不匹配，使得不分配得分。因为边界框中的车牌的位置(坐标)匹配，所以1被分配为得分。此外，边界框281中的雷达检测点的五个位置中的四个(空心圆)与边界框271的那些位置匹配，使得(4/5)×5＝4被分配为得分。在这种情况下，总得分是5，其等于或大于阈值5。因此，确定边界框281中的车辆与时间t-1的边界框271中的车辆相同。

此外，当比较边界框282与边界框271之间的特征信息时，图像是不清晰的，并且因此车牌的数字不匹配，使得不分配得分。因为边界框中的车牌的位置(坐标)不匹配，所以不分配得分。此外，边界框282中的雷达检测点的五个位置中的两个(空心圆)与边界框271的位置匹配，使得(2/5)×5＝2被分配为得分。总得分是2，其小于阈值5。因此，确定边界框282中的车辆与时间t-1的边界框271中的车辆不相同。

以这种方式，即使在暗位置(诸如隧道)中的不良成像条件下，通过使用当前帧和前一帧中的特征信息来正确地识别车辆。

(特征信息的另一示例)

在前面的描述中，提取车辆图像中的车牌的数字、车牌的位置和雷达检测点的位置作为特征信息。也可以替代地提取其他种类的特征信息。

图7示出了特征区域的示例。

在图7的示例中，在包括所识别的车辆的边界框291中，前格栅G291、右前灯R291、左前灯L291和标志E291被识别为车辆的特征区域。

在这种情况下，提取前格栅G291的位置(p2，q2)、右前灯R291的位置(p3，q3)、左前灯L291的位置(p4，q4)以及标志E291的位置(p5，q5)作为相对于边界框291设置的p-q坐标系中的特征信息。在图7的示例中，特征区域在p-q坐标系中的位置由表示特征区域的矩形框的左下顶点的坐标表示。特征区域的位置可由矩形框的其他点的坐标表示。

此外，可以基于表示被识别为特征区域的前格栅G291、右前灯R291、左前灯L291和标志E291的矩形框的宽度和高度提取特征区域的大小和形状作为特征信息。

在图7的示例中，车辆前部的部分被识别为特征区域。车辆后方的部分可被识别为特征区域。

图8示出了点群数据的示例。

在图8的示例中，在包括所识别的车辆的边界框291中，获取多个LiDAR点群数据D291作为点群数据。

在这种情况下，提取LiDAR点群数据D291的位置作为相对于边界框291设置的p-q坐标系中的特征信息，并且确定当前帧与先前帧之间的匹配的比例。

此外，LiDAR点群数据D291包括三维坐标系中的位置信息。因此，LiDAR点群数据D291的三维坐标可被提取为特征信息以确定当前帧和前一帧之间的匹配的比例。在这种情况下，深度(距离)方向上的位置在每个帧图像中改变。因此，当前帧中的坐标用于比较。通过将通过将要跟踪车辆的速度乘以一帧的时间而确定的距离添加到前一帧中的三维坐标来预测当前帧中的坐标。

此外，每条LiDAR点群数据D291的反射强度可被提取为特征信息以确定当前帧与前一帧之间的匹配的比例。

例如，特征信息可根据安装在车辆1中的传感器来组合使用。此外，特征信息的提取是仅在包括所识别的车辆的边界框中进行的计算，因此与对整体图像的计算相比，该提取可以抑制计算量，并且适合于实时处理。

<4.车辆跟踪的流程>

参考图9的流程图，下面将描述信息处理装置230的车辆跟踪的流程。针对构成相机图像的每个帧图像重复图9的处理。

在步骤S11中，信号处理单元231对由相机210捕获的相机图像的帧图像执行各种信号处理。

在步骤S12中，车辆识别单元232对已经经受信号处理的帧图像执行对象识别，从而识别在车辆1周围行驶的车辆并且获取关于每个所识别的车辆的坐标信息。在这种情况下，除了对帧图像的对象识别之外，还可执行基于传感器融合处理的对象识别。

在步骤S13中，距离/速度计算单元233基于关于所识别的车辆的坐标信息计算与所识别的车辆的距离以及所识别的车辆的相对速度。将通过计算所获得的距离信息和速度信息添加到坐标信息。

在步骤S14中，矩形区域裁剪单元234基于关于所识别的车辆的坐标信息从已经经受信号处理的帧图像中裁剪矩形区域，从而获得车辆图像。

在步骤S15中，特征信息提取单元235从帧图像中剪辑的车辆图像中提取车辆特征信息。

在步骤S16中，跟踪单元236通过使用包括添加的距离信息和速度信息的坐标信息以及从车辆图像中提取的特征信息，在包括帧图像的相机图像中跟踪车辆。

(车辆跟踪中的数据流)

参考图10，下面将描述图9的车辆跟踪中的数据流。图10中的处理P12至P16对应于图9的流程图中的步骤S12至S16，并且假定对时间t的帧图像执行处理P12至P16。

处理P12是由车辆识别单元232对时间t的帧图像执行的车辆识别。通过处理P12，获取包括边界框ID(在下文中，被称为BBox ID)和BBox坐标的坐标信息。

BBox ID是特定于在帧图像中识别的每个车辆的边界框的ID。BBox ID每次被分配给每个帧图像中的每个边界框。BBox坐标表示以帧图像的左下顶点为原点的u-v坐标系中的边界框的位置(坐标)、宽度和高度。

例如，如图11所示，识别两个车辆并且在特定时间的帧图像中设置相应的边界框311和312。在这种情况下，边界框311的位置由边界框311的左下顶点的坐标(u1，v1)表示，并且边界框311的宽度和高度由边界框311的水平长度w和垂直长度h表示。

因此，关于边界框311的坐标信息例如被表示为“BBox ID：B1，BBox坐标：(u1，v1，w，h)”。

处理P13是由距离/速度计算单元233对在时间t的帧图像中识别的车辆的距离和相对速度进行计算。通过处理P13，获取包括添加的距离信息和速度信息的坐标信息。距离信息表示以本车辆为原点、水平方向为x轴和深度方向为y轴的x-y坐标系中的车辆的位置(坐标)，并且速度信息表示车辆相对于本车辆的相对速度。在图10的示例中，关于距离：(x1，y1)的距离信息和关于相对速度：v1的速度信息被添加到关于BBox ID：B1的坐标信息中。

参考图12和图13，下面将描述相对速度的计算的示例。

在该示例中，如图12所示，估算车辆331相对于本车辆(车辆1)的相对速度v。车辆331的相对速度是在时间t-1(时间t之前的Δt秒)从时间t-1(时间t之前的Δt秒)的车辆331的位置到在时间t与车辆331距离为dm的位置，车辆331接近车辆1的速度v(m/s)。

在该示例中，s1是车辆331在时间t-1的相机图像中的外观大小，s2是车辆331在时间t的相机图像中的外观大小。当外观大小的变化率定义为S＝s2/s1时，相对速度v的计算表达式表示如下：

v＝d×(S-1)/Δt(m/s)

外观大小的变化率S可被确定为相机图像中设置的边界框的大小的变化率。

参考图13，下面将描述相对速度v的计算表达式的推导。在图13中，H(m)是车辆331的实际高度，a(m)是从相机210到帧图像的投影平面的距离，θ1是在时间t-1的边界框的视角，以及θ2是在时间t的边界框的视角。

在时间t-1的相机图像(帧图像)中的车辆331的外观大小s1表达如下：

s1＝a×tanθ1

在时间t的相机图像(帧图像)中的外观大小s2表达如下：

s2＝a×tanθ2

因此，外观大小的变化率S表达如下：

S＝s2/s1＝(a×tanθ2)/(a×tanθ1)＝tanθ2/tanθ1

在这种情况下，车辆331的实际高度H具有如下建立的关系：

H＝d×tanθ2＝(d+v×Δt)×tanθ1

因此，通过修改第二项和第三项，获得以下关系：

S＝tanθ2/tanθ1＝(d+v×Δt)/d

通过求解v的表达式，获得以下关系：

v＝d×(S-1)/Δt

因此，估算车辆331的相对速度v。相对速度可以通过除上述计算方法之外的计算方法来确定。

再次参考图10的描述，处理P14是基于关于在时间t的帧图像中识别的车辆的坐标信息裁剪矩形区域(边界框)，该矩形区域由矩形区域裁剪单元234裁剪。通过处理P14，获取每个BBox ID的车辆图像。

处理P15是由特征信息提取单元235在时间t从每个车辆图像中提取关于车辆的特征信息。通过处理P15，获取每个BBox ID的特征信息。在图10的示例中，从BBox ID：B1的车辆图像中，至少提取车牌的数字：N1和车牌的位置：(p1，q1)作为特征信息。

在处理P15中，车牌的数字是在用作特征区域的车牌中识别的数字，并且该数字被提取为特征信息。如果没有识别到任何数字，则例如输出值“-1”。

处理P16是由追踪单元236在时间t的帧图像中的车辆进行的追踪。通过处理P16，输出包括跟踪ID、BBox坐标、鸟瞰图坐标和特征信息的跟踪结果。

跟踪ID是在相机图像(每个帧图像)中专用于要跟踪的车辆(跟踪对象)的ID。跟踪ID被传送至在每个时间的帧图像之间被判断为相同的跟踪对象。鸟瞰图坐标表示车辆在与距离信息相同的x-y坐标系中的位置(坐标)。

图14示出鸟瞰图坐标的示例。

图14示出了在本车辆(车辆1)的后部的相机图像中跟踪两个车辆351和352的鸟瞰图。

在与车辆1相同方向上行驶的车辆351分配ID1作为跟踪ID。车辆351的位置表示为相对于车辆1的坐标(x1，y1)。与车辆1相对行驶的车辆352分配ID2作为追踪ID。车辆352的位置表示为相对于车辆1的坐标(x2，y2)。

以这种方式，跟踪输出每个车辆相对于本车辆的鸟瞰图的坐标。

(跟踪的细节)

参考图15，下面将具体描述图10中的处理P16(跟踪)。如图15所示，在处理P16中，主要执行四个处理P31至P34。也对时间t的帧图像执行这些处理。

在图15的示例中，通过仅使用车牌的数字作为特征信息来识别车辆。此外，当使用其他类型的特征信息时，基本上以相同方式识别车辆。

处理P31是用于对坐标信息以及特征信息进行集成的集成，其中，坐标信息包括在时间t的帧图像中识别的每个车辆的添加的距离信息和速度信息。基于BBox ID集成坐标信息和特征信息。通过处理P31，获取时间t的观测值，该观测值包括BBox ID、BBox坐标、距离、速度以及特征信息(车牌的数字)。

在图15的示例中，获取包括“BBox ID：B1(t)、BBox坐标：(u1，v1，w，h)(t)、距离：(x1，y1)(t)、速度：v1(t)、数字：N1(t)”的观测值。

处理P32时在时间t的观测值与时间t-1的关于跟踪对象的特征信息之间匹配。在处理P32中，对如参考图4至图6所描述的评分的特征信息进行匹配。在时间t-1的跟踪对象包括直到时间t-1所跟踪的车辆的跟踪结果。在图15的示例中，将包括“跟踪ID：ID1(t-1)、BBox坐标：(u1，v1)(t-1)、距离：(x1，y1)(t-1)、速度：v1(t-1)、数字：N1(t-1)”的关于跟踪对象的特征信息与关于时间t时的观测值的特征信息(车牌的数字)进行比较。通过处理P32，时间t的观测值和时间t-1的跟踪对象分别被分配给特征信息匹配列表、时间t-1的跟踪对象的不匹配列表以及时间t的观测值的不匹配列表中的一个。

处理P33是基于匹配中的分配列表将时间t的观测值与时间t-1的跟踪对象相关联的关联分析。

例如，具有跟踪ID：ID1(t-1)的跟踪对象和具有BBox ID：B1(t)的观测值与建立的关联配对，使得数字N1(t-1)和数字N1(t)彼此相等并且在特征信息匹配列表中不是“-1”。

不匹配列表中的时间t-1的跟踪对象和时间t的观测值通过与基于跟踪对象与观测值之间的距离的关联的关联分析进行配对。在图15的示例中，具有跟踪ID：ID2(t-1)的跟踪对象和具有BBox ID：B4(t)的观测值彼此配对。

处理P34是成对地使用在时间t-1的跟踪对象和在时间t的观测值通过卡尔曼滤波器估计时间t的车辆的位置的处理。在处理P34中，例如，通过使用基于时间t-1的跟踪对象预测的车辆存在概率和基于时间t的观测值预测的车辆存在概率来估计时间t的车辆的位置。通过处理P34，输出时间t时的跟踪对象作为跟踪结果。

此时，如果时间t的观测值被分配给特征信息匹配列表，则包括在时间t的跟踪对象中的数字N1’(t)被更新为观测值，而如果时间t的观测值被分配给不匹配列表，则保持时间t-1的配对中的跟踪对象的值。

如上所述，将第一时间的观测值和第一时间之前的第二时间的跟踪对象中的特征信息彼此重复地进行比较，从而执行跟踪。

根据上述处理，通过使用所识别的车辆的特征信息，在帧图像之间进行车辆识别。这可以抑制跟踪期间的ID切换，从而提高跟踪性能。特别地，特征信息的提取是仅在包括所识别的车辆的边界框中执行的计算，使得该提取与对整体图像的计算相比可以抑制计算量，并且适合于实时处理。

<5.安装多个车载相机的示例>

在上述示例中，车辆通过安装在车辆1中的单个车载相机跟踪。该配置不限于此。在车辆1中，可以在不同的成像方向上安装具有不同视角的多个车载相机，并且每个车载相机可以跟踪车辆。

下面将描述用于对多个车载相机的车辆跟踪结果进行集成的配置。在以下示例中，安装5个车载相机。车载相机的数量不限于此。

图16示出了安装在车辆1中的多个车载相机的成像范围的示例。

成像范围401表示捕获本车辆1的前方的广角相机的成像范围，成像范围402表示捕获本车辆1的前方的窄角相机的成像范围。成像范围401覆盖至车辆1前方比成像范围402更宽的范围，而成像范围402覆盖至车辆1前方比成像范围401更远的范围。由成像范围401和402捕获的相机图像用于跟踪车辆1前方的车辆。

成像范围403表示捕获车辆1的左侧的图像的左相机的成像范围，而成像范围404表示捕获车辆1的右侧的图像的右相机的成像范围。由成像范围403捕获的相机图像用于跟踪车辆1左侧的车辆，并且由成像范围404捕获的相机图像用于跟踪车辆1右侧的车辆。

成像范围405表示捕获车辆1的后方的后置相机的成像范围。成像范围405的相机图像用于跟踪车辆1后面的车辆。

在本示例中，在由成像范围401至405捕获的相机图像中识别的车辆中，指定并跟踪要跟踪的车辆。

图17是示出本实施例的信息处理装置的配置示例的框图。

图17示出了广角相机411、窄角相机412、左相机413、右相机414、后置相机415和信息处理装置430。

广角相机411通过捕获车辆1前方的图像获取图16中的成像范围401的相机图像并且将该相机图像提供给信息处理装置430。

窄角相412通过捕获车辆1前方的图像获取图16中的成像范围402的相图像并且将该相机图像提供给信息处理装置430。

左相机413通过捕获车辆1的左侧的图像获取图16中的成像范围403的相机图像并且将该相机图像提供给信息处理装置430。

右相机414通过捕获车辆1的右侧的图像获取图16中的成像范围404的相机图像并且将该相机图像提供给信息处理装置430。

后置相机415通过捕获车辆1的后方的图像获取图16中的成像范围405的相机图像并且将该相机图像提供给信息处理装置430。

信息处理装置430包括信息处理单元431-1至431-5和集成单元432。

信息处理单元431-1至431-5具有与图3中的信息处理装置230相同的配置。具体地，信息处理单元431-1至431-5在由广角相机411、窄角相机412、左相机413、右相机414和后置相机415(在下文中，也被称为多个车载相机)捕获的相机图像中跟踪车辆1周围的车辆。将相机图像中的车辆的跟踪结果输出至集成单元432。

集成单元432集成由在不同成像方向上以不同视角安装的多个车载相机捕获的相机图像中的车辆的跟踪结果，从而跟踪车辆。此时，集成单元432针对每个预定时间单位集成跟踪结果。

在多个车载相机中的车辆的跟踪结果中，例如，边界框的大小可在相同的车辆的跟踪结果(相同的跟踪ID)之间变化。在这种情况下，集成单元432在跟踪结果中对边界框执行缩放等。

(集成的细节)

参考图18，下面将具体描述集成单元432的跟踪结果的集成。如图18所示，在通过集成单元432集成跟踪结果时，主要执行三个处理。在这种情况下，多个车载相机以异步方式捕获相机图像，但是相机图像具有相同的帧速率(fps)。

处理P41是针对每个预定时间单位对多个车载相机中的每一个的车辆的跟踪结果进行分组的处理。如上所述，多个车载相机具有相同的帧速率，并且因此可以将在一个帧时间(1/fps)中的跟踪结果分组为时间组。在图18的示例中，在时间t1_1、t1_2、t1_3、t1_4和t1_5针对多个车载相机中的每一个获得的跟踪结果被分组为一个时间组t1。

处理P42是在一个时间组中对跟踪结果按时间顺序排序的处理。在图18的示例中，按时间t1_2、t1_1、t1_4、t1_5以及t1_3的顺序对多个车载相机的跟踪结果进行排序，并且按时间顺序将其输入到处理P43。

处理P43是累积按时间顺序在一个时间组中排序的跟踪结果并且重复与图15中的处理P32至P34相同的处理以输出跟踪结果作为一个时间组的跟踪对象的集成。在图18的示例中，输出时间组t1的跟踪对象。例如，通过处理P43输出的跟踪对象可以可选地包括跟踪ID、BBox坐标、距离信息或速度信息以及特征信息。

如上所述，通过重复集成多个车载相机的跟踪结果来跟踪车辆。

根据以上的处理，在包括多个车载相机的配置中，也通过使用所识别的车辆的特征信息，在相应车载相机的帧图像之间进行车辆识别。这可以抑制跟踪期间的ID切换，从而提高跟踪性能。

在以上描述中，主要示出了车辆跟踪的示例。可以跟踪除了车辆之外的任何对象。

本技术还适用于跟踪除了车辆之外的移动对象周围的对象。假设移动对象例如是摩托车、自行车、个人移动体、飞机、船舶、施工设备或农业机械(拖拉机)。此外，例如，本技术适用的移动对象包括无人机和移动对象，诸如，在远程控制下在没有机载用户的情况下驱动(操作)的机器人。

本技术还适用于跟踪固定位置中的对象，例如，监控系统。

<6.计算机的配置示例>

上述一系列处理也可以通过硬件或软件执行。当通过软件执行一系列处理时，用于软件的程序嵌入在专用硬件中以从程序记录介质安装至计算机或者通用个人计算机。

图19是示出使用程序执行上述一系列处理的计算机硬件的配置示例的框图。

信息处理装置230和信息处理装置430由具有图19所示的配置的计算机600实现。

CPU 601、ROM 602和RAM 603经由总线604彼此连接。

输入/输出接口605进一步连接至总线604。包括键盘和鼠标的输入单元606以及包括显示器和扬声器的输出单元607连接至输入/输出接口605。此外，包括硬盘和非易失性存储器的存储单元608、包括网络接口的通信单元609以及驱动可移动介质611的驱动器610连接至输入/输出接口605。

在由此配置的计算机600中，例如，CPU 601通过经由输入/输出接口605和总线604将存储在存储单元608中的程序加载到RAM 603中并执行该程序来执行上述一系列处理。

例如，由CPU 601执行的程序被记录在可移动介质611上或者经由诸如局域网、因特网、或者数字广播的有线或无线传输介质提供，并且程序被安装在存储单元608中。

由计算机600执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行或在诸如调用时间的必要定时执行处理的程序。

在本说明书中，系统是指多个组成元件(装置、模块(部件)等)的集合，而不管所有组成元件是否位于同一壳体中。因此，容纳在单独壳体中并且经由网络连接的多个装置、以及多个模块容纳在一个壳体中的一个装置都是系统。

本技术的实施例不限于上述实施例，并且在不脱离本技术的主旨的情况下，可以进行各种变化。

本说明书中描述的有益效果仅是示例性的并且不受限制，并且可以实现其他有利效果。

此外，本技术可以配置如下：

(1)

一种信息处理装置，包括：

特征信息提取单元，针对每个帧图像提取关于对象的特征信息；

跟踪单元，通过使用特征信息在帧图像中跟踪对象。

(2)

根据(1)的信息处理装置，其中，特征信息提取单元仅提取与围绕帧图像中识别的对象的矩形框相对应的特征信息。

(3)

根据(1)或(2)的信息处理装置，其中，跟踪单元基于在第一时间和第一时间之前的第二时间的特征信息的比较结果跟踪对象。

(4)

根据(3)的信息处理装置，其中，如果在第一时间与第二时间之间的特征信息匹配，则跟踪单元确定在第一时间的帧图像中的对象与在第二时间的帧图像中的对象相同。

(5)

根据(4)的信息处理装置，其中，如果指示第一时间与第二时间之间的特征信息的匹配程度的得分等于或大于预定的阈值，则跟踪单元确定第一时间与第二时间之间的特征信息匹配。

(6)

根据(5)的信息处理装置，其中，特征信息提取单元提取多个特征信息，并且

如果多个特征信息的总得分等于或大于阈值，则跟踪单元确定第一时间与第二时间之间的特征信息匹配。

(7)

根据(1)至(6)中任一项的信息处理装置，其中，特征信息提取单元基于由一个或多个传感器获得的传感器数据提取特征信息。

(8)

根据(7)的信息处理装置，其中，传感器数据包括由相机捕获的帧图像和由雷达或LiDAR获得的点群数据中的至少一个。

(9)

根据(8)的信息处理装置，其中，特征信息提取单元从帧图像中的对象的特征区域中提取特征信息。

(10)

根据(9)的信息处理装置，其中，特征信息包括特征区域中包括的数字。

(11)

根据(9)的信息处理装置，其中，特征信息包括特征区域的位置和形状中的至少一个。

(12)

根据(9)至(11)中任一项的信息处理装置，其中，特征区域包括车辆的车牌、前格栅、灯以及标志中的至少一个。

(13)

根据(9)的信息处理装置，其中，特征信息提取单元从反映在对象上的点群数据中提取特征信息。

(14)

根据(13)的信息处理装置，其中，特征信息包括点群数据的相机坐标系的位置。

(15)

根据(13)的信息处理装置，其中，特征信息包括点群数据的三维坐标系的位置。

(16)

根据(13)的信息处理装置，其中，特征信息包括点群数据中的每一个的反射强度。

(17)

根据(1)至(16)中任一项的信息处理装置，进一步包括：集成单元，通过集成对象的跟踪结果来跟踪对象，该跟踪结果基于在不同的成像方向上具有不同视角的多个相机捕获的相应帧图像。

(18)

根据(17)的信息处理装置，其中，集成单元针对每个预定时间单位集成跟踪结果。

(19)

一种信息处理方法，使信息处理装置：

针对每个帧图像提取关于对象的特征信息；以及

通过使用特征信息在帧图像中跟踪对象。

(20)

一种程序，使计算机执行以下处理：

针对每个帧图像提取关于对象的特征信息；以及

通过使用特征信息在帧图像中跟踪对象。

参考标记列表

1 车辆

61 分析单元

210 相机

230 信息处理装置

231 信号处理单元

232 车辆识别单元

233 距离/速度计算单元

234 矩形区域裁剪单元

235 特征信息提取单元

236 跟踪单元

411 广角相机

412 窄角相机

413 左相机

414 右相机

415 后置相机

430 信息处理装置

431-1至431-5 信息处理单元

432 集成单元。

Claims (20)

1.一种信息处理装置，包括：

特征信息提取单元，针对每个帧图像提取关于对象的特征信息；以及

跟踪单元，通过使用所述特征信息在所述帧图像中跟踪所述对象。

2.根据权利要求1所述的信息处理装置，其中，所述特征信息提取单元仅提取与围绕所述帧图像中识别的所述对象的矩形框相对应的所述特征信息。

3.根据权利要求1所述的信息处理装置，其中，所述跟踪单元基于在第一时间和所述第一时间之前的第二时间的所述特征信息的比较结果跟踪所述对象。

4.根据权利要求3所述的信息处理装置，其中，如果所述第一时间与所述第二时间之间的所述特征信息匹配，则所述跟踪单元确定在所述第一时间的所述帧图像中的所述对象与在所述第二时间的所述帧图像中的所述对象相同。

5.根据权利要求4所述的信息处理装置，其中，如果指示所述第一时间与所述第二时间之间的所述特征信息的匹配程度的得分等于或大于预定的阈值，则所述跟踪单元确定所述第一时间与所述第二时间之间的所述特征信息匹配。

6.根据权利要求5所述的信息处理装置，其中，所述特征信息提取单元提取多个所述特征信息，并且

如果多个所述特征信息的总得分等于或大于所述阈值，则所述跟踪单元确定所述第一时间与所述第二时间之间的所述特征信息匹配。

7.根据权利要求1所述的信息处理装置，其中，所述特征信息提取单元基于由一个或多个传感器获得的传感器数据提取所述特征信息。

8.根据权利要求7所述的信息处理装置，其中，所述传感器数据包括由相机捕获的所述帧图像和由雷达或LiDAR获得的点群数据中的至少一个。

9.根据权利要求8所述的信息处理装置，其中，所述特征信息提取单元从所述帧图像中的所述对象的特征区域中提取所述特征信息。

10.根据权利要求9所述的信息处理装置，其中，所述特征信息包括所述特征区域中包括的数字。

11.根据权利要求5所述的信息处理装置，其中，所述特征信息包括特征区域的位置和形状中的至少一个。

12.根据权利要求9所述的信息处理装置，其中，所述特征区域包括车辆的车牌、前格栅、灯以及标志中的至少一个。

13.根据权利要求8所述的信息处理装置，其中，所述特征信息提取单元从反映在所述对象上的所述点群数据中提取所述特征信息。

14.根据权利要求13所述的信息处理装置，其中，所述特征信息包括所述点群数据的相机坐标系的位置。

15.根据权利要求13所述的信息处理装置，其中，所述特征信息包括所述点群数据的三维坐标系的位置。

16.根据权利要求13所述的信息处理装置，其中，所述特征信息包括所述点群数据中的每一个的反射强度。

17.根据权利要求1所述的信息处理装置，进一步包括：集成单元，通过集成所述对象的跟踪结果来跟踪所述对象，所述跟踪结果基于由在不同的成像方向上具有不同视角的多个相机捕获的相应帧图像。

18.根据权利要求17所述的信息处理装置，其中，所述集成单元针对每个预定时间单位集成所述跟踪结果。

19.一种信息处理方法，使信息处理装置：

针对每个帧图像提取关于对象的特征信息；以及

通过使用所述特征信息在所述帧图像中跟踪所述对象。

20.一种程序，使计算机执行以下处理：

针对每个帧图像提取关于对象的特征信息；以及

通过使用所述特征信息在所述帧图像中跟踪所述对象。

Images