[go: up one dir, main page]

CN209014724U - 基于交通工具的雷达上采样 - Google Patents

基于交通工具的雷达上采样 Download PDF

Info

Publication number
CN209014724U
CN209014724U CN201790000657.5U CN201790000657U CN209014724U CN 209014724 U CN209014724 U CN 209014724U CN 201790000657 U CN201790000657 U CN 201790000657U CN 209014724 U CN209014724 U CN 209014724U
Authority
CN
China
Prior art keywords
distance
region
data
sensor
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201790000657.5U
Other languages
English (en)
Inventor
尼古拉斯·霍格斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telidan Ferrier Co ltd
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Application granted granted Critical
Publication of CN209014724U publication Critical patent/CN209014724U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开的各种实施例可包括一个或多个对象检测设备。对象检测设备可以包括至少一个距离传感器(例如，雷达、激光雷达、或其他距离传感器)以及至少一个热传感器(例如，热成像设备)。一个或多个对象检测设备可以安装到交通工具上，以提供交通工具周围的区域的增强表示。

Description

基于交通工具的雷达上采样
相关申请的交叉引用
本申请要求于2016年1月11日提交的题目为“VEHICLE BASED RADAR UPSAMPLING”的序列号为No.62/277,186的美国临时专利申请的优先权和权益，其全部内容通过引用结合于此。
技术领域
本发明的一个或多个实施例总体上涉及交通工具控制设备，并且更具体地涉及例如交通工具对象检测设备。
背景技术
需要交通工具快速且准确地确定交通工具周围环境或向交通工具操作者显示环境表示的能力。随着自主交通工具技术变得更加普遍，这种能力可能是特别期望的。用于确定交通工具周围环境的传统系统可能是昂贵且不准确的。
发明内容
本文公开了用于提供基于交通工具的雷达上采样的系统和方法。在某些实施例中，可以提供一种装置。该装置可包括对象检测设备和逻辑设备。对象检测设备可以包括：第一距离传感器，被配置为检测第一距离区域内的对象并输出第一距离数据；第一热传感器，被配置为检测第一热区域内的热特征(signature)并输出第一热数据。第一距离区域和第一热区域可以至少部分地重叠。逻辑设备可以被配置为接收第一距离数据，接收第一热数据，并且至少部分地基于第一距离数据和第一热数据来生成第一重叠区域的三维表示，该第一重叠区域包括第一距离区域和第一热区域的重叠。
在另一是实施例中，提供了一种方法。该方法可以包括：从对象检测设备的第一距离传感器接收第一距离数据，其中第一距离传感器被配置为检测第一距离区域内的对象；从对象检测设备的第一热传感器接收第一热数据，其中第一热数据被配置为检测第一热区域内的热特征；以及至少部分地基于第一距离数据和第一热数据生成第一重叠区域的三维表示，该第一重叠区域包括第一距离区域和第一个热区域的重叠。
本发明的范围由权利要求限定，该权利要求通过引用结合到这部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将更加全面地理解本发明的实施例以及对其附加优点的实现。将参考将首先简要描述的附图。
附图说明
图1示出了根据本公开的实施例的对象检测系统的框图。
图2示出了根据本公开实施例的配备有对象检测装置阵列的交通工具。
图3示出了根据本公开实施例的利用对象检测系统执行的对象分类技术的流程图。
图4A示出了根据本公开实施例的具有由对象检测设备捕获的对象的图像。
图4B示出了根据本公开实施例的具有由对象检测设备分类的对象的图像。
通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应理解的是，相同的参考数字用于标识一个或多个附图中示出的相同元件。
根据一个或多个实施例提供了技术和机制，以对交通工具周围的环境成像、检测交通工具周围的一个或多个对象、和/或识别和/或分类交通工具周围的对象。交通工具可以是任何交通工具，例如，飞机、汽车、机车或火车、船只、摩托车、气垫船、航天器、或其他类型的交通工具。
某些实施例可包括一个或多个对象检测设备。对象检测设备可以包括至少一个距离传感器和至少一个热传感器。对象检测设备的距离传感器和热传感器可以包括重叠的视野。可以通过距离和热传感器对区域或体积进行成像。来自距离和/或热传感器的数据可用于检测至少视野内的一个或多个对象。然后可以利用来自热传感器的数据对检测到的一个或多个对象进行分类。
图1示出了根据本公开的实施例的对象检测系统的框图。图1中的对象检测系统100可用于根据本文所描述的各种技术来捕获和处理环境的数据和图像。图1示出了对象检测系统100，其中对象检测设备102通信地连接到控制设备108。对象检测设备102包括距离传感器106和热传感器104。距离传感器106和热传感器104可以通过安装件(mount)192耦合。安装件192可以以固定的空间关系来连接距离传感器106和热传感器104。安装件192可以是刚性结构，并且可以用于控制距离传感器106和热传感器104之间的距离。距离传感器106可以是例如雷达、激光雷达、测距仪、或可以提供空间感知的其他传感器(例如，检测位于距离传感器106一定距离处的一个或多个对象和/或确定一个或多个对象相对于距离传感器106所处的距离)。热传感器104可以是例如热成像相机，例如基于辐射热测量计的相机或任何其他合适的相机。对象检测设备102的其他实施例可以包括传感器的其他组合，例如，两个或更多个距离传感器和/或两个或更多个热传感器。
在某些实施例中，距离传感器106和热传感器104可以是同步的。也就是说，距离传感器106和热传感器104可以被校准以获取场景170的图像和/或与场景170相关联的数据。因此，由距离传感器106成像的场景170的至少一部分也可以由热传感器104成像。热传感器104和距离传感器106可以同时或基本上同时(例如，在同一时段期间)获取数据(例如，图像、视频、距离数据、和/或其他数据)。然后可以将来自距离传感器106和热传感器104的数据分别经由例如接口116和114输出到控制设备108以进行处理。
对象检测系统100可以包括分布在多个设备上的组件。特别地，对象检测设备102可以与控制设备108通信。其他实施例可以以其他方式将组件分发到设备，并且可以另外将组件分发到三个或更多个设备。一些这样的实施例可以在云上分发对象检测系统100的一个、一些、或全部组件。在图1的实施例中，接口116和114可以分别将距离传感器106和热传感器104通信地连接到控制设备108的通信组件152。在各种实施例中，接口116和114可以是蓝牙链路、WiFi链路、NFC链路、有线连接、或传感器106和104与控制设备108之间的另一类型的链路。
在某些实施例中，控制设备108可以包括处理组件110、存储器组件120、显示组件140、第二通信组件152、和控制组件150。处理组件110可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理操作的可编程逻辑器件)、数字信号处理(DSP)设备、用于存储可执行指令(例如，软件、固件、或其他指令)的一个或多个存储器、和/或处理设备和/或存储器的任何其他适当组合，以用于执行指令以执行本文所描述的任何各种操作。处理组件110可以适于与组件120、140、150和152接口和通信。
处理组件110(经由接口116和114)可以适用于来自对象检测设备102的数据，处理这样的数据，将信号或数据存储在存储器组件120中，和/或从存储器组件120中获取所存储的信号或数据。处理组件110可以适于将数据输出到显示组件140以供用户查看。
在一个实施例中，显示组件140可以包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。处理组件110可以适于在显示组件140上显示数据和信息。
在各个方面，显示组件140可以远程地放置(例如，容纳在单独的外壳中)，并且处理组件110可以适于经由与显示组件140的有线或无线通信来在显示组件140上远程地显示数据和信息，如本文所述。
在一个实施例中，控制组件150包括用户输入和/或接口设备，其具有适于生成一个或多个用户致动的输入控制信号的一个或多个用户致动组件，例如，一个或多个按钮、滑杆、可旋转旋钮或键盘。控制组件150可以适于集成为显示组件140的一部分，以作为用户输入设备和显示设备两者进行操作，例如，适于从触摸显示屏的不同部分的用户接收输入信号的触摸屏设备。处理组件110可以适于感测来自控制组件150的控制输入信号，并对从其接收的任何感测的控制输入信号进行响应。
在一个实施例中，控制组件150可以包括控制面板单元(例如，有线或无线手持控制单元)，其具有适于与用户接口并接收用户输入控制信号的一个或多个用户激活机构(例如，按钮、旋钮、滑块、或其他)。
在另一实施例中，控制组件150可以包括图形用户界面(GUI)，其可以被集成为显示组件140的一部分(例如，用户致动的触摸屏)，具有适于与用户接口并经由显示组件140接收用户输入控制信号的用户激活机构(例如，按钮、旋钮、滑块、或其他)的一个或多个图像。作为如本文进一步讨论的一个或多个实施例的示例，显示组件140和控制组件图150可以表示交通工具内的集成显示器的适当部分(例如，LED或LCD显示器、多功能显示器、智能电话、平板电脑、个人数字助理(例如，无线、移动设备)、膝上型计算机、台式计算机、或其他类型的设备)。
在各种实施例中，可以根据需要或根据应用要求来组合和/或实现或不实现对象检测系统100的各种组件。例如，处理组件110可以与存储器组件120、控制组件150、显示组件140、和/或通信组件152组合。
图2示出了配备有根据本发明的实施例的对象检测设备阵列的交通工具。图2包括交通工具230，其具有设置在交通工具230的各个位置处的多个对象检测设备102-1-10。交通工具230可以是任何交通工具，例如，飞机、汽车、机车或火车、船只、摩托车、气垫船、航天器、或其他类型的交通工具。
对象检测设备102-1-10可以设置在交通工具230的外部，但是其他实施例可以将对象检测设备设置在交通工具230内或交通工具230上的某些壳体内。在对象检测设备被安装在汽车上的某些实施例中，对象检测设备可以例如设置在交通工具230的前部、后部、侧面、车顶、发动机罩、行李箱、车窗、后视镜、和其他部分上。对象检测设备102-1-10可以以允许交通工具周围区域的完全360度覆盖的方式布置。在某些其他实施例中，对象检测设备可以布置成覆盖交通工具230周围的感兴趣区域(例如，交通工具230前方的区域、交通工具230后方的区域、交通工具230的盲点、和/或交通工具230的侧面的区域)。这样，对象检测设备可以检测交通工具230周围的对象的存在并对这些对象进行分类。对对象的检测和分类可以辅助操作者或(例如，交通工具230的自主或部分自主控制系统(例如，自适应巡航控制、自动驾驶、或全自主驾驶)的)导航系统进行交通工具230的操作。对象检测设备102-1-10可以将数据输出到位于交通工具230内、在交通工具230外部、或分布在交通工具230的内部和外部两者的控制设备108。
图3示出了根据本公开实施例的利用对象检测系统执行的对象分类技术的流程图。在框302中，一个或多个距离传感器可以成像或感测区域。在某些实施例中，例如其中一个或多个距离传感器是雷达传感器的实施例，距离传感器数据可以是二维(2D)或三维(3D)雷达数据。在框304中，一个或多个热传感器可以检测该区域内的热特征。然后可以将来自一个或多个距离传感器和一个或多个热传感器的数据输出到控制设备。
在框306中，可以检测该区域内的对象。可以根据例如距离传感器数据和/或热传感器数据来检测对象。在某些实施例中，例如其中一个或多个距离传感器可以是雷达传感器的实施例，控制设备可以根据由一个或多个距离传感器输出的数据来检测该区域内的对象(例如，可以通过来自雷达传感器的雷达信号的反射来检测对象)。另外，控制设备还可以确定对象处于某距离处和/或位于某距离所在的某平面内。在某些这样的实施例中，当在交通工具正在移动时确定距离时，控制设备可以补偿多普勒效应。
在某些其他实施例中，控制设备可以用至少来自一个或多个热传感器的数据来检测对象(例如，通过经由热特征检测来对象)。例如，某些对象(例如，人类、动物、或交通工具)可能比周围环境温暖得多，因此可以发出比环境温暖得多的热特征。控制设备可以检测这种热特征并根据该特征来确定对象的存在。
在检测到对象之后，可以在框308中对其进行分类。可以使用例如距离传感器数据和/或热传感器数据来执行分类。距离传感器数据可以用于例如确定对象的形状并且至少部分地由于对象的大小和/或形状而对对象进行分类。附加地或替代地，热传感器数据可以用于例如确定对象的温度并且至少部分地由于对象的温度而对对象进行分类。例如，已知某种动物的体温可能为X，而已知另一种动物的体温可能为Y。因此，如果(关于两种动物的大小的)检测到的对象具有体温为Y，则将其分类为对象Y。可以将这些技术另外组合，使得如果对象是一定大小，则可以仅参考这种大小的对象的已知温度来确定对象的分类。
在框310中，可以生成环境的表示，该环境的表示可以包括检测到的对象。在某些实施例中，该表示可以被交通工具用于驾驶(例如，自动驾驶、自适应巡航控制、和/或自主驾驶)目的。其他实施例可以将表示输出到例如显示组件上以便与交通工具的操作者进行通信。
可以根据来自一个或多个距离传感器的数据和/或来自一个或多个热传感器的数据来生成表示。在某些实施例中，可以在表示内显示和/或突出显示在框306和308中检测到的和经分类的对象。另外，在某些实施例中，来自一个或多个距离传感器和/或一个或多个热传感器的数据可以用作内插、扭曲、和/或上采样过程的一部分。可以执行这样的过程以例如对地形、对象、和表示内的其他特征进行锐化。函数可以用于这样的过程，以便对来自距离传感器、热传感器、或来自诸如视觉传感器之类的另一传感器的数据进行内插、扭曲和/或上采样。在某些实施例中，这些函数可以至少部分地响应于来自一个或多个距离传感器的数据或来自一个或多个热传感器的数据来确定。在这样的实施例中，距离传感器或热传感器的较高分辨率信号可用于改进对距离传感器或热传感器的较低分辨率信号的重采样和/或上采样，以用于任何二维或三维表示。
例如，在这样的实施例中，距离传感器数据可以是比热传感器数据更低的分辨率(反之亦然)。具有较低分辨率的数据(例如，上述示例中的距离传感器数据)可以被重采样(例如，上采样)以匹配具有较高分辨率的数据的分辨率。在这样的实施例中，较高分辨率数据可用于引导对较低分辨率数据的重采样，以更准确地描绘地形、对象、和/或表示中的其他特征。这样，较高分辨率数据可以引导对这种用于重采样的函数的确定。这种内插、封装、上采样、和/或重采样可以通过例如在题为“Systems and Methods for Image ResolutionEnhancement”的序列号为No.62/276,800的美国临时申请中描述的系统和技术来执行，该临时申请通过引用整体结合于此。
在某些实施例中，图3中示出的技术可以以不同的顺序执行。另外，该技术可以用更少或额外的步骤来执行。例如，某些实施例可以省略框306和308，或者框310可以在框306和308之前执行。
图4A示出了根据本公开的实施例的具有由对象检测设备捕获的对象的图像。图4A示出了由热传感器捕获的区域的热表示400A和距离传感器的稀疏平面400B。距离传感器可以是例如雷达传感器，并且稀疏平面可以表示例如距离传感器的各种检测平面。
热表示400A可以是单个平面视图(例如，二维表示)的区域的表示。热表示400A可以包括人482和484以及交通工具486的表示(例如，热读数或图像)。
稀疏平面400B可以是由距离传感器检测的区域的表示。距离传感器可以检测位于不同距离的对象，并且还可以确定对象所处的距离。这样，距离传感器可以经由例如稀疏平面400B生成该区域的三维表示(并且在一些情况下，由于对任何多普勒效应的补偿而生成“四维”表示)。在诸如其中距离传感器可以是雷达传感器的某些实施例中，距离传感器可以成像、扫描、和/或发射指向该区域内的线或平面的信号。例如，在3D雷达实施例中，距离传感器可以成像、扫描、和/或发射指向一个或多个稀疏平面的信号并且可以通过成像、扫描、和/或发射指向多个稀疏平面的信号来进行循环，其中稀疏平面位于距距离传感器不同的距离处。因此，稀疏平面400B可以表示由距离传感器经由所发射的信号而成像、扫描、和/或检测到的多个不同的稀疏平面。稀疏平面400B中的一个或一些可以包括检测稀疏平面400B内的人482和/或人484和/或交通工具486的数据。
图4B示出了根据本公开的实施例的具有由对象检测设备分类的对象的图像。在图4B中，稀疏平面400B可以包括第一稀疏平面490A、第二稀疏平面490B、第三稀疏平面490C、第四稀疏平面490D、和其他稀疏平面。交通工具的控制设备可以至少部分地基于来自距离传感器的数据对热表示400A内的对象进行分类。例如，控制设备可以确定距离传感器已经检测到第一稀疏平面490A内的第一对象、第三稀疏平面490C内的第二对象、以及第四稀疏平面490D内的第三对象。然后，控制设备可以确定可以在第四稀疏平面490D内检测到人482，可以在第三稀疏平面490C内检测到人484，并且可以在第一稀疏平面490A内检测到交通工具486。因此，控制设备然后可以确定人482和484以及交通工具486相对于对象检测设备和/或对象检测设备所耦合至的交通工具的距离。
控制设备可以通过例如将热读数和/或热图像的大小与在稀疏平面内检测到的对象的大小进行匹配和/或将对象在二维热表示400A内的位置与对象在稀疏平面内的位置进行匹配来确定对象(例如，人482和/或人484和/或交通工具486)位于哪个稀疏平面。这样，在某些实施例中，可以生成具有距离数据的增强热表示和/或三维热表示。
在某些实施例中，可以根据一定排序来执行对对象的分类和/或匹配。例如，在一个实施例中，距离传感器检测到的最近和/或最接近的对象可以与热传感器检测到的以与稀疏平面内检测到的对象的锥角度相同的锥角度的热读数或热图像匹配(例如，如果从对象检测设备向对象绘制直线，则该直线的角度在距离传感器和热传感器内相同或基本相似)。然后，检测到的第二最近和/或最接近的对象可以与以相对应的与第二对象相同的锥角度的第二热读数或热图像匹配。可以针对检测到的每个对象重复这样的过程，直到所有对象都已匹配为止。
在各种实施例中，网络可以被实现为单个网络或多个网络的组合。例如，在各种实施例中，网络可以包括互联网和/或一个或多个内联网、陆线(landline)网络、无线网络和/或其他适当类型的通信网络。在另一示例中，网络可以包括适于与诸如互联网之类的其他通信网络通信的无线电信网络(例如，蜂窝电话网络)。这样，在各种实施例中，成像系统100A可以与特定网络链路(例如，URL(统一资源定位符)、IP(互联网协议)地址、和/或移动电话号码)相关联。
在适用的情况下，可以通过使用硬件、软件、或硬件与软件的组合来实现本公开所提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件组件和/或软件组件可以被组合成包括软件、硬件、和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件、和/或两者的子组件。另外，在适用的情况下，预期软件组件可以被实现为硬件组件，反之亦然。
根据本公开的诸如非暂态指令、程序代码、和/或数据之类的软件可以被存储在一个或多个非暂态机器可读介质上。还预期本文中识别的软件可以通过使用一个或多个通用或专用计算机和/或计算机系统、联网和/或以其他方式来实现。在适用的情况下，本文所描述的各种步骤的顺序可以被改变、被组合成复合步骤、和/或被分成子步骤以提供本文所描述的特征。
上述实施例说明但不限制本发明。还应理解的是，可以根据本发明的原理进行许多修改和变化。因此，本发明的范围仅由以下权利要求限定。

Claims (10)

1.一种装置，包括：
对象检测设备，包括：
第一距离传感器，被配置为检测第一距离区域内的对象并输出第一距离数据，以及
第一热传感器，被配置为检测第一热区域内的热特征并输出第一热数据，其中，所述第一距离区域和所述第一热区域至少部分地重叠；以及
逻辑设备，被配置为生成第一重叠区域的三维表示，其中该第一重叠区域包括所述第一距离区域和所述第一热区域的重叠。
2.根据权利要求1所述的装置，其中，所述第一距离传感器是基于雷达的传感器和/或基于激光雷达的传感器，并且其中所述逻辑设备耦合到所述对象检测设备并且还被配置为将所述三维表示输出到用户界面。
3.根据权利要求1所述的装置，还包括移动结构，其中所述对象检测设备耦合到所述移动结构，并且其中所述移动结构包括多个物体检测设备，使得每个物体检测设备包括距离传感器和热传感器。
4.根据权利要求3所述的装置，其中，所述多个对象检测设备耦合到所述移动结构，使得所述对象检测设备的所述距离传感器和所述热传感器的重叠区域形成对所述移动结构周围区域的360度覆盖，并且由所述逻辑设备生成的所述三维表示至少包括对所述区域的360度覆盖的表示。
5.根据权利要求1所述的装置，其中，所述对象检测设备是第一对象检测设备并且还包括：
第二对象检测阵列，包括：
第二距离传感器，被配置为检测第二距离区域内的对象并输出第二距离数据，以及
第二热传感器，被配置为检测第二热区域内的热特征并输出第二热数据，其中所述第二距离区域和所述第二热区域至少部分地重叠，
并且其中所述三维表示还包括第二重叠区域的表示，该第二重叠区域包括所述第二距离区域和所述第二热区域的重叠。
6.根据权利要求1所述的装置，其中，所述逻辑设备还被配置为：
利用所述第一距离数据来确定所述第一重叠区域内的第一对象；以及
使用所述第一热数据来对所述第一对象进行分类。
7.根据权利要求6所述的装置，其中，所述逻辑设备还被配置为利用所述第一距离数据来确定第一对象距离。
8.根据权利要求6所述的装置，其中：
所述对象检测设备还包括第二热传感器，被配置为检测第二热区域内的热特征并输出第二热数据，其中所述第一距离区域、所述第一热区域、和所述第二热区域至少部分地重叠；以及
所述逻辑设备还被配置为：
接收所述第二热数据，以及
基于所述第一热数据和所述第二热数据来确定第一对象距离。
9.根据权利要求6所述的装置，其中，所述逻辑设备还被配置为：
利用所述第一距离数据来确定所述第一重叠区域内的第二对象，其中所述第一对象位于距所述对象检测设备第一距离处并且所述第二对象位于距所述对象检测设备第二距离处；
利用所述第一距离数据来确定所述第一对象的所述第一距离；
利用所述第一距离数据来确定所述第二对象的所述第二距离；
利用所述第一热数据来对所述第一重叠区域内的所述第二对象进行分类。
10.根据权利要求1所述的装置，其中，所述逻辑设备被配置为至少通过利用函数对所述第一距离数据或所述第一热数据中的一个进行内插、扭曲、和/或上采样来生成所述三维表示，其中该函数是至少部分地根据所述第一距离数据或所述第一热数据中的另一个来确定的。
CN201790000657.5U 2016-01-11 2017-01-06 基于交通工具的雷达上采样 Active CN209014724U (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662277186P 2016-01-11 2016-01-11
US62/277,186 2016-01-11
PCT/US2017/012609 WO2017123477A1 (en) 2016-01-11 2017-01-06 Vehicle based radar upsampling

Publications (1)

Publication Number Publication Date
CN209014724U true CN209014724U (zh) 2019-06-21

Family

ID=57868411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201790000657.5U Active CN209014724U (zh) 2016-01-11 2017-01-06 基于交通工具的雷达上采样

Country Status (3)

Country Link
US (1) US10928512B2 (zh)
CN (1) CN209014724U (zh)
WO (1) WO2017123477A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235466A (zh) * 2021-03-29 2022-10-25 泰立戴恩菲力尔商业系统公司 导航系统和方法的辐射测量热成像改进

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875487B (zh) * 2017-09-29 2021-06-15 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
US10509410B2 (en) 2017-12-06 2019-12-17 Zoox, Inc. External control of an autonomous vehicle
CN108583434B (zh) * 2018-04-17 2020-05-15 北京车和家信息技术有限公司 辅助驾驶方法、装置及系统
WO2020085303A1 (ja) * 2018-10-22 2020-04-30 パナソニックＩｐマネジメント株式会社 情報処理装置及び情報処理方法
CN110799853B (zh) * 2018-10-26 2024-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
US10926855B2 (en) 2018-11-01 2021-02-23 Brunswick Corporation Methods and systems for controlling low-speed propulsion of a marine vessel
US11198494B2 (en) 2018-11-01 2021-12-14 Brunswick Corporation Methods and systems for controlling propulsion of a marine vessel to enhance proximity sensing in a marine environment
US11794865B1 (en) 2018-11-21 2023-10-24 Brunswick Corporation Proximity sensing system and method for a marine vessel
US11443637B2 (en) 2018-11-21 2022-09-13 Brunswick Corporation Proximity sensing system and method for a marine vessel
US11436927B2 (en) 2018-11-21 2022-09-06 Brunswick Corporation Proximity sensing system and method for a marine vessel with automated proximity sensor location estimation
US11403955B2 (en) 2018-12-14 2022-08-02 Brunswick Corporation Marine propulsion control system and method with proximity-based velocity limiting
US11373537B2 (en) 2018-12-21 2022-06-28 Brunswick Corporation Marine propulsion control system and method with collision avoidance override
US11257378B2 (en) 2019-01-31 2022-02-22 Brunswick Corporation Marine propulsion control system and method
US11702178B2 (en) 2019-01-31 2023-07-18 Brunswick Corporation Marine propulsion control system, method, and user interface for marine vessel docking and launch
US11609301B2 (en) 2019-03-15 2023-03-21 Teledyne Flir Commercial Systems, Inc. Radar data processing systems and methods
EP3716140A1 (en) 2019-03-27 2020-09-30 Elektrobit Automotive GmbH Processing environmental data of an environment of a vehicle
DE102019118983A1 (de) * 2019-07-12 2021-01-14 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Steuersystem
FR3117966B1 (fr) * 2020-12-17 2023-06-02 Faurecia Interieur Ind Système de détection d’intrusion pour un véhicule et véhicule et procédé associés
US20220291701A1 (en) 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) * 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US6862537B2 (en) * 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
DE102013221713A1 (de) * 2013-10-25 2014-12-11 Continental Automotive Gmbh Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument eines Fahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115235466A (zh) * 2021-03-29 2022-10-25 泰立戴恩菲力尔商业系统公司 导航系统和方法的辐射测量热成像改进

Also Published As

Publication number Publication date
WO2017123477A1 (en) 2017-07-20
US20180292529A1 (en) 2018-10-11
US10928512B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN209014724U (zh) 基于交通工具的雷达上采样
US9976848B2 (en) Dimensioning system with guided alignment
CN106233219B (zh) 移动平台操作系统及方法
CA2640884C (en) Methods and systems for use in security screening, with parallel processing capability
US20160217617A1 (en) Augmented reality device interfacing
WO2018021181A1 (en) Vessel monitoring apparatus
AU2015311971B2 (en) Wide-area real-time method for detecting foreign fluids on water surfaces
US10809899B2 (en) Computing device mirroring on a marine electronics device
US10151829B2 (en) Systems and associated methods for producing sonar image overlay
CN103885089A (zh) 用于生成图像的方法及手提式筛分装置
US9679406B2 (en) Systems and methods for providing a visualization of satellite sightline obstructions
KR20200067866A (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US20190228539A1 (en) Method and System for Providing Position or Movement Information for Controlling At Least One Function of an Environment
US20160225163A1 (en) Method and system for providing position or movement information for controlling at least one function of an environment
US12238459B2 (en) Rendezvous assistance apparatus, rendezvous assistance system, and rendezvous assistance method
JP2014053795A (ja) 情報処理装置及び情報処理システム
JP2014122805A (ja) 非破壊探査装置および探査支援装置
JP7354686B2 (ja) 出力制御装置、表示制御システム、出力制御方法およびプログラム
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
US11810363B2 (en) Systems and methods for image processing using mobile devices
US20190299857A1 (en) Surrounding monitoring device
US10824888B1 (en) Imaging analysis technology to assess movements of vehicle occupants
US20180356933A1 (en) Augmented Touch-Sensitive Display System
KR102597823B1 (ko) 먼지 측정 장치

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230509

Address after: California, USA

Patentee after: Telidan Ferrier Co.,Ltd.

Address before: Ore

Patentee before: FLIR SYSTEMS, Inc.