[go: up one dir, main page]

CN112567427A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN112567427A
CN112567427A CN201980053006.6A CN201980053006A CN112567427A CN 112567427 A CN112567427 A CN 112567427A CN 201980053006 A CN201980053006 A CN 201980053006A CN 112567427 A CN112567427 A CN 112567427A
Authority
CN
China
Prior art keywords
image
section
imaging
processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980053006.6A
Other languages
English (en)
Other versions
CN112567427B (zh
Inventor
青木卓
元山琢人
丰吉政彦
山本祐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112567427A publication Critical patent/CN112567427A/zh
Application granted granted Critical
Publication of CN112567427B publication Critical patent/CN112567427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

当执行由图像捕获单元20‑1获得的图像中的处理区域的被摄体识别时，识别处理单元35基于指示由图像捕获单元20‑1获得的图像的图像特性的特性图来识别处理区域的图像特性，并使用与处理区域的图像特性相应的识别器。特性图是基于在图像捕获单元中使用的成像透镜的光学特性的图，并且被存储在特性信息存储单元31中。成像镜头21在所有方向或预定方向上具有比标准透镜更宽的视角，并且具有与透镜上的位置相应的不同的光学特性。识别处理单元35使用与例如处理区域的分辨率或偏斜度相应的识别器执行被摄体识别。结果，变得可以高精度地执行被摄体识别。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及图像处理装置、图像处理方法和程序，并且使得能够进行精确的被摄体识别。
背景技术
传统上，在通过使用广角透镜捕获远方区域和近处区域两者的情况下，在一些情况下，由于每图像高度的入射角的变化率，在图像中产生具有劣化的图像质量的部分。因此，在PTL 1中，入射角小于转折点入射角的中央区域的放大率被设置为大于入射角大于转折点入射角的周边区域的放大率。这增加了中央区域的检测距离，同时减小了具有宽范围的周边区域的检测距离。此外，为了识别对象物，中央区域和周边区域中的至少一个的分辨率被设置为高，而作为模糊区域的与转折点入射角对应的转折点对应区域的分辨率被设置为低于中央区域和周边区域的分辨率。
引用列表
专利文献
PTL 1：日本专利公开号2016-207030
发明内容
技术问题
顺便提及，存在图像中的分辨率的不均匀性使被摄体识别的性能劣化的可能性。例如，如果被摄体被包括在PTL 1的转折点对应区域中，则存在不能精确地识别被摄体的可能性。
因此，本技术的目的是提供一种能够精确地执行被摄体识别的图像处理装置、图像处理方法和程序。
问题的解决方案
本技术的第一方面在于一种图像处理装置，包括：识别处理部，被配置为通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器，执行所述处理区域中的被摄体识别。
在本技术中，在执行由成像部获得的图像中的处理区域中的被摄体识别时，基于指示由所述成像部获得的图像的图像特性的特性图，判定所述处理区域的图像特性，并且使用与所述处理区域的图像特性对应的识别器。特性图包括基于在成像部中使用的成像透镜的光学特性的图。成像透镜与标准透镜相比在所有方向或预定方向上具有更大的视角，并且成像透镜的光学特性根据透镜上的位置而不同。与例如处理区域的分辨率或偏斜度对应的识别器用于执行处理区域中的被摄体识别。此外，在使用识别器执行模板匹配的情况下，例如，可以根据成像透镜的光学特性来调整模板的大小和移动量。
此外，可以选择与成像场景相对应的成像透镜。根据使用基于所选择的成像透镜的光学特性的特性图判定的处理区域的图像特性，来切换被配置为执行使用所选择的成像透镜获得的图像中的处理区域中的被摄体识别的识别器。基于由成像部获取的图像信息、包括成像部的移动体的操作信息和指示使用成像部的环境的环境信息中的至少任何一个来判定成像场景。
此外，使用基于在成像部中使用的图像传感器的滤波器布置状态的特性图来判定处理区域的图像特性，并且使用与对应于处理区域的滤波器的布置相对应的识别器来执行处理区域中的被摄体识别。滤波器布置状态包括彩色滤波器的布置状态，并且包括例如其中在图像传感器的成像区域的中央部分中没有布置滤色器或者布置有被配置为仅透射特定颜色的滤波器的状态。此外，滤波器布置状态可以包括红外截止滤波器的布置状态。例如，滤波器布置状态包括其中仅在图像传感器中的成像区域的中央部分中布置红外截止滤波器的状态。
本技术的第二方面在于一种图像处理方法，包括：由识别处理部通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器，执行所述处理区域中的被摄体识别。
本技术的第二方面在于一种用于使计算机执行识别处理的程序，并且所述程序使所述计算机执行：检测由成像部获得的图像中的处理区域的图像特性的处理；以及使得使用与检测到的图像特性相对应的识别器执行处理区域中的被摄体识别的处理。
注意的是，根据本技术的程序是例如可以由存储介质或通信介质提供的程序，该存储介质或通信介质以计算机可读形式将各种程序代码提供给可以执行这些各种程序代码的通用计算机。
发明的效果
根据本技术，使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器来执行处理区域中的被摄体识别。因此，可以精确地执行被摄体识别。注意，本说明书中描述的效果仅仅是示例，而不是限制性的。此外，可以提供附加效果。
附图说明
图1是例示在成像时使用的透镜和透镜的光学特性的图。
图2是例示第一实施例的配置的图。
图3是例示第一实施例的操作的流程图。
图4是用于描述第一实施例的操作的图。
图5是例示第二实施方式的配置的图。
图6是例示第二实施例的操作的流程图。
图7是用于描述第二实施例的操作的图。
图8是例示第三实施例的配置的图。
图9是例示图像传感器的成像面的图。
图10是例示第三实施例的操作的流程图。
图11是例示图像传感器的成像面的图。
图12是示出车辆控制系统的示意性功能配置的示例的框图。
具体实施方式
下面将描述用于执行本技术的模式。注意，将按以下顺序给出描述。
1.第一实施例
1-1.第一实施例的配置
1-2.第一实施例的操作
2.第二实施例
2-1.第二实施例的配置
2-2.第二实施例的操作
3.第三实施例
3-1.第三实施例的配置
3-2.第三实施例的操作
4.修改
5.应用示例
<1.第一实施例>
为了获取其中捕获宽范围中的被摄体的图像，成像系统使用广角透镜(例如，鱼眼透镜)，其在所有方向上具有比通常使用的具有更少的失真的标准透镜更宽的视角。此外，在一些情况下，柱面透镜还用于获取在特定方向(例如，水平方向)上具有宽视角的捕获图像。
图1是例示在成像时使用的透镜和透镜的光学特性的图。图1(a)例示标准透镜的分辨率图。图1(b)例示广角透镜的分辨率图。图1(c)例示柱面透镜的分辨率图。注意，如分辨率图中所示，具有高亮度的区域具有高分辨率，而具有低亮度的区域具有低分辨率。另外，水平方向H的标准透镜和广角透镜的偏斜度图以及柱面透镜的偏斜度图与各自的分辨率图相似，并且偏斜度随着亮度的降低而增加。另外，垂直方向V的柱面透镜的偏斜度图与标准透镜的偏斜度图相似。
如图1(a)所示，对于标准透镜，分辨率高，并且在整个区域中偏斜度低。例如，如图1的(d)所示，当捕获网格状被摄体时，可以获取具有高分辨率并且没有失真的图像。
如图1的(b)所示，对于广角透镜，在距离图像中心更远的位置处，分辨率降低并且偏斜度增加。因此，例如，如图1的(e)所示，当捕获网格状被摄体时，在距离图像中心更远的位置处，分辨率降低并且偏斜度增加。
对于柱面透镜，例如，如图1的(c)所示，垂直方向上的分辨率是恒定的，并且其中的偏斜度小，而水平方向上的分辨率降低，并且其中的偏斜度在距离图像中心更远的位置处增加。因此，如图1的(f)所示，当捕获网格状被摄体时，垂直方向上的分辨率和偏斜度是恒定的，而在离图像中心更远的位置处，水平方向上的分辨率降低并且水平方向上的偏斜度增加。
以这种方式，使用具有比标准透镜更宽的视角的成像透镜使得分辨率和偏斜度根据图像中的位置而变化。因此，根据第一实施例，为了精确地执行被摄体识别，对于由成像部获得的图像中的每个识别区域，使用与基于成像透镜的光学特性的特性图中的识别区域的图像特性相对应的识别器。
<1-1.第一实施例的配置>
图2例示第一实施例的配置。成像系统10包括成像部20-1和图像处理部30-1。
成像部20-1的成像透镜21使用具有比标准透镜更宽的视角的成像透镜，例如鱼眼透镜或柱面透镜。成像透镜21在成像部20-1的图像传感器22的成像面上形成具有比标准透镜更宽的视角的被摄体光学图像。
图像传感器22包括例如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像。图像传感器22生成与被摄体光学图像对应的图像信号，并将该图像信号输出到图像处理部30-1。
图像处理部30-1基于由成像部20-1生成的图像信号进行被摄体识别。图像处理部30-1包括特性信息存储部31和识别处理部35。
特性信息存储部31存储基于与在成像部20-1中使用的成像透镜21相关的光学特性的特性图作为特性信息。例如，成像透镜的分辨率图、偏斜度图等被用作特性信息(特性图)。特性信息存储部31将存储的特性图输出到识别处理部35。
识别处理部35使用与由成像部20-1获得的图像中的处理区域的图像特性相对应的识别器，执行处理区域中的被摄体识别。识别处理部35包括识别器切换部351和多个识别器352-1至352-n。识别器352-1至352-n根据成像部20-1中使用的成像透镜21的光学特性来设置。提供了适于具有不同分辨率的图像的多个识别器，诸如适于具有高分辨率的图像的识别器和适于具有低分辨率的图像的识别器。识别器352-1是例如可以使用具有高分辨率的学习图像来执行机器学习等并且从具有高分辨率的捕获图像以高精度识别被摄体的识别器。此外，识别器352-2至352-n是可以使用具有彼此不同的分辨率的学习图像来执行机器学习等并且从具有对应的分辨率捕获图像中以高精度识别被摄体的识别器。
识别器切换部351基于由成像部20-1生成的图像信号检测处理区域。此外，识别器切换部351基于例如图像上的处理区域的位置和分辨率图来检测处理区域的分辨率，并且将用于被摄体识别处理的识别器切换到与检测到的分辨率相对应的识别器。识别器切换部351将图像信号提供给切换的识别器352-x，以识别处理区域中的被摄体，并从图像处理部30-1输出识别结果。
此外，可以根据成像透镜21的偏斜度来提供识别器352-1至352-n。本发明提供适合于偏斜度不同的图像的多个识别器，例如适合于偏斜度小的图像的识别器和适合于偏斜度大的图像的识别器等。识别器切换部351基于由成像部20-1生成的图像信号来检测处理区域，并且将用于被摄体识别处理的识别器切换到与检测到的偏斜度相对应的识别器。识别器切换部351将图像信号提供给切换的识别器352-x，以识别处理区域中的被摄体，并从图像处理部30-1输出识别结果。
此外，例如，在识别处理部35在被摄体识别中使用学习字典(诸如，指示用于学习的被摄体的模板)执行匹配的情况下，识别处理部35可以调整模板的大小，以便能够获得等同的识别精度，而不管分辨率和偏斜度的差异如何。例如，图像的周边部分的被摄体区域小于其中央部分的被摄体区域。因此，识别处理部35使得图像的周边部分中的模板的大小小于中央部分的大小。此外，例如，当识别处理部35移动模板以检测高相似性位置时，识别处理部35可以调整模板的移动量，以便例如与中央部分相比，减少周边部分中的移动量。
<1-2.第一实施例的操作>
图3是例示第一实施例的操作的流程图。在步骤ST1中，图像处理部30-1获取与成像透镜对应的特性信息。图像处理部30-1的识别处理部35获取基于在成像部20-1中使用的成像透镜21的光学特性的特性图，并且进行到步骤ST2。
在步骤ST2中，图像处理部30-1在识别器之间进行切换。基于在步骤ST1中获取的特性信息，图像处理部30-1的识别处理部35切换到与在其中执行识别处理的处理区域的图像特性相对应的识别器，并且进行到步骤ST3。
在步骤ST3中，图像处理部30-1改变大小和移动量。当图像处理部30-1的识别处理部35使用在步骤ST2中切换的识别器执行被摄体识别时，图像处理部30-1根据处理区域的图像特性改变匹配处理中的模板大小和移动量，并且进行到步骤ST4。
图像处理部30-1在步骤ST4中执行识别处理。通过使用由成像部20-1产生的图像信号，图像处理部30-1的识别处理部35使用在步骤ST2中切换的识别器执行识别处理。
要注意的是，第一实施例的操作并不局限于图3所示的操作。例如，可以在不执行步骤ST3中的处理的情况下执行识别处理。
图4是用于描述第一实施例的操作的图。图4(a)示出了标准透镜的分辨率图。此外，作为二值特性图，例如，图4的(b)例示了广角透镜的分辨率图，并且图4的(c)例示了柱面透镜的分辨率图。要注意的是，在图4中，图区域ARh是具有高分辨率的区域，而图区域ARl是具有低分辨率的区域。
例如，识别处理部35包括识别器352-1和识别器352-2。识别器352-1使用已经利用具有高分辨率的教师图像学习的高分辨率的字典来执行识别处理。识别器352-2使用已经利用具有低分辨率的教师图像学习的低分辨率的字典来执行识别处理。
识别处理部35的识别器切换部351判定其中执行识别处理的处理区域是属于具有高分辨率的图区域ARh还是属于具有低分辨率的图区域ARl。在处理区域包括图区域ARh和图区域ARl的情况下，识别器切换部351基于统计等判定处理区域属于图区域ARh还是图区域ARl。例如，识别器切换部351判定处理区域的每个像素属于图区域ARh还是图区域ARl，并且将更多像素所属的图区域判定为处理区域所属的图区域。此外，识别器切换部351可以为处理区域的每个像素设置权重，其中中央部分的权重大于周边部分。然后，识别器切换部351可以将图区域ARh的权重的累积值与图区域ARl的权重的累积值进行比较，并且将具有较大累积值的区域判定为处理区域所属的图区域。此外，识别器切换部351可以通过使用另一方法，例如通过将具有较高分辨率的图区域设置为处理区域所属的图区域，来判定处理区域所属的图区域。在识别器切换部351判定处理区域属于图区域ARh的情况下，识别器切换部351切换到识别器352-1。因此，在处理区域是高分辨率区域的情况下，可以使用由成像部20-1生成的图像信号，基于高分辨率词典来精确地识别处理区域中的被摄体。此外，在识别器切换部351判定处理区域属于图区域ARl的情况下，识别器切换部351切换到识别器352-2。因此，在处理区域是低分辨率区域的情况下，可以使用由成像部20-1生成的图像信号，基于低分辨率词典来精确地识别处理区域中的被摄体。
此外，识别处理部35的识别器切换部351可以判定执行识别处理的处理区域是属于具有低偏斜度的图区域还是属于具有高偏斜度的图区域，并且可以基于判定结果在识别器之间进行切换。例如，识别器切换部351判定处理区域的每个像素是属于具有低偏斜度的图区域还是属于具有高偏斜度的图区域，并且将更多像素所属的图区域判定为处理区域所属的图区域。在识别器切换部351判定处理区域属于具有低偏斜度的图区域的情况下，识别器切换部351切换到使用已经利用具有低偏斜度的教师图像学习的低偏斜度字典来执行识别处理的识别器。因此，在处理区域是低偏斜度区域的情况下，可以使用由成像部20-1生成的图像信号基于低偏斜度字典来精确地识别处理区域中的被摄体。此外，在识别器切换部351判定处理区域属于具有高偏斜度的图区域的情况下，识别器切换部351切换到使用已经利用具有高偏斜度的教师图像学习的高偏斜度字典来执行识别处理的识别器。因此，在处理区域是高偏斜度区域的情况下，可以使用由成像部20-1生成的图像信号，基于高偏斜度词典来精确地识别处理区域中的被摄体。
以这种方式，根据第一实施例，由于使用与由成像部20-1获得的图像中的处理区域的图像特性、即成像部20-1中使用的成像透镜21的光学特性对应的识别器进行识别处理。因此，即使使用比标准透镜视场角大的广角透镜或柱面透镜作为成像透镜导致由于成像透镜的光学特性而在图像中产生分辨率或偏斜度的差异，也可以使用与处理区域对应的识别器进行被摄体识别。在不在识别器之间进行切换的情况下，与使用例如与标准透镜对应的识别器的情况相比，这能够进行更精确的被摄体识别。
<2.第二实施例>
在执行被摄体识别的情况下，例如，存在足以识别前方的被摄体的情况，以及期望不仅能够识别前方的被摄体而且能够识别宽范围的被摄体的情况。通过在成像透镜之间进行切换并获取图像，可以处理每种情况。因此，根据第二实施例，在可以在成像透镜之间进行切换的情况下，精确地执行被摄体识别。
<2-1.第二实施例的配置>
图5例示了第二实施例的配置。成像系统10包括成像部20-2和图像处理部30-2。
成像部20-2使得能够在具有不同视角的多个成像透镜(例如，成像透镜21a和成像透镜21b)之间进行切换。成像透镜21a(21b)在成像部20-2的图像传感器22的成像面上形成被摄体光学图像。
图像传感器22包括例如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像。图像传感器22生成与被摄体光学图像对应的图像信号，并将该图像信号输出到图像处理部30-2。
透镜切换部23基于从稍后描述的图像处理部30-2的透镜选择部32提供的透镜选择信号，将用于成像的透镜切换到成像透镜21a或成像透镜21b。
图像处理部30-2基于由成像部20-2生成的图像信号进行被摄体识别。图像处理部30-2包括透镜选择部32、特性信息存储部33、透镜选择部32和识别处理部35。
透镜选择部32进行场景判定，并且生成用于选择具有适合于成像时的场景的视角的成像透镜的透镜选择信号。透镜选择部32基于图像信息(例如由成像部20-2获得的图像)，执行场景判定。此外，透镜选择部32还可以基于包含成像系统10的装备的操作信息和环境信息，执行场景判定。透镜选择部32将生成的透镜选择信号输出到成像部20-2的透镜切换部23和图像处理部30-2的特性信息存储部33。
特性信息存储部33存储基于与成像部20-2中可以使用的每个成像透镜相关的光学特性的特性图作为特性信息。例如，在成像透镜21a和成像透镜21b在成像部20-2中可切换的情况下，特性信息存储部33存储基于成像透镜21a的光学特性的特性图和基于成像透镜21b的光学特性的特性图。例如，分辨率图、偏斜度图等被用作特性信息(特性图)。基于从透镜选择部32提供的透镜选择信号，特性信息存储部33将与用于在成像部20-2中成像的成像透镜相对应的特性信息输出到识别处理部35。
识别处理部35包括识别器切换部351和多个识别器352-1至352-n。对于成像部20-2中使用的每个成像透镜，根据成像透镜的光学特性的差异提供识别器352-1至352-n。本文提供了适于分辨率不同的图像的多个识别器，例如适于分辨率高的图像的识别器和适于分辨率低的图像的识别器。识别器切换部351基于由成像部20-2生成的图像信号检测处理区域。此外，识别器切换部351基于图像上的处理区域的位置和分辨率图检测处理区域的分辨率，并且将用于被摄体识别处理的识别器切换到与检测到的分辨率相对应的识别器。识别器切换部351将图像信号提供给切换的识别器352-x，以识别处理区域中的被摄体，并从图像处理部30-2输出识别结果。
此外，可以根据成像透镜21的偏斜度来提供识别器352-1至352-n。本发明提供适合于偏斜度不同的图像的多个识别器，例如适合于偏斜度小的图像的识别器和适合于偏斜度大的图像的识别器。识别器切换部351基于由成像部20-2生成的图像信号来检测处理区域，并且将用于被摄体识别处理的识别器切换到与检测到的偏斜度相对应的识别器。识别器切换部351将图像信号提供给切换的识别器352-x，以识别处理区域中的被摄体，并从图像处理部30-2输出识别结果。
此外，例如，在识别处理部35在被摄体识别中执行与学习的字典(例如，模板)的匹配的情况下，识别处理部35可以调整模板的大小和移动量，以便能够获得等同的识别精度，而不管分辨率和偏斜度的差异如何。
<2-2.第二实施例的操作>
图6是例示第二实施例的操作的流程图。在步骤ST11中，图像处理部30-2执行场景判定。图像处理部30-2的透镜选择部32执行场景判定。透镜选择部32基于由成像部20-2获得的图像以及包括成像系统10的装备的操作状态和使用状态判定成像场景，并且进行到步骤ST12。
在步骤ST12中，图像处理部30-2在透镜之间进行切换。图像处理部30-2的透镜选择部32生成透镜选择信号，以便在成像部20-2中使用在步骤ST12中判定的具有适合于成像场景的视角的成像透镜。透镜选择部32将生成的透镜选择信号输出到成像部20-2，并且进入步骤ST13。
在步骤ST13中，图像处理部30-2获取与成像透镜对应的特性信息。图像处理部30-2的透镜选择部32将在步骤ST12中生成的透镜选择信号输出到特性信息存储部33，并使特性信息存储部33将基于在成像部20-2中用于成像的成像透镜的光学特性的特性信息(特性图)输出到识别处理部35。识别处理部35获取从特性信息存储部33提供的特性信息，并进入步骤ST14。
在步骤ST14中，图像处理部30-2在识别器之间进行切换。基于在步骤ST13中获取的特性信息，图像处理部30-2的识别处理部35切换到与执行识别处理的处理区域的图像特性相对应的识别器，并且进行到步骤ST15。
在步骤ST15中，图像处理部30-2改变大小和移动量。当图像处理部30-2的识别处理部35使用在步骤ST14中切换的识别器执行被摄体识别时，识别处理部35根据处理区域的图像特性改变匹配处理中的模板大小和移动量，并且进行到步骤ST16。
图像处理部30-2在步骤ST16中执行识别处理。通过使用由成像部20-2产生的图像信号，图像处理部30-2的识别处理部35使用在步骤ST14中切换的识别器执行识别处理。
要注意的是，第二实施例的操作并不限于图6所示的操作。例如，可以在不执行步骤ST15中的处理的情况下执行识别处理。
图7是用于描述第二实施例的操作的图。注意，成像透镜21b是具有比成像透镜21a更宽的视角的成像透镜。
在透镜选择部32基于图像信息选择成像透镜的情况下，透镜选择部32判定场景是例如在远前方存在需要注意的物体的场景或者在周围存在需要注意的物体的场景。在远前方存在需要注意的物体的场景中，由于需要视角重视前方，因此透镜选择部32选择成像透镜21a。此外，在周围存在需要注意的物体的场景中，由于需要包括周围的视角，透镜选择部32选择成像透镜21b。
在透镜选择部32基于操作信息(例如，表示包括成像系统的车辆的移动的信息)选择成像透镜的情况下，透镜选择部32判定场景是例如发生高速向前移动的场景还是进行转向的场景。在发生高速向前移动的场景中，由于需要视角重视前方，因此透镜选择部32选择成像透镜21a。此外，在进行转向的场景中，由于需要包括周围的视角，透镜选择部32选择成像透镜21b。
在透镜选择部32基于环境信息(例如，地图信息)选择成像透镜的情况下，透镜选择部32判定场景是例如在远前方需要注意的高速公路等中、在周围需要注意的市区等中、还是在左右需要注意的十字路口等中。在远前方需要注意的场景中，由于需要视角重视前方，因此透镜选择部32选择成像透镜21a。此外，在周围需要注意的场景中，由于需要包括周围的视角，透镜选择部32选择成像透镜21b。此外，在左右需要注意的场景中，由于需要包括周围的视角，透镜选择部32选择成像透镜21b。
注意，图7中所示的场景判定是示例，并且可以基于图7中未示出的场景判定结果来选择成像透镜。此外，尽管图7示出了存在可以切换的两种类型的成像透镜的情况，但是可以基于场景判定结果来切换三种或更多种类型的成像透镜。此外，可以基于多个场景判断结果来选择成像透镜。在这种情况下，在必要的视角不同的情况下，根据场景判断结果的可靠性来切换成像透镜。例如，在操作信息的场景判断结果和环境信息的场景判断结果之间必要视角不同并且由于车辆缓慢移动或转向角小而导致场景判断结果的可靠性低的情况下，使用环境信息的场景判断结果来选择成像透镜。
以这种方式，根据第二实施例，即使在根据由成像部20-2获得的图像(即成像场景)中的处理区域的图像特性切换使用视角不同的成像透镜的情况下，也能够使用与基于在成像部20-2中成像所使用的成像透镜的光学特性的特性图中的处理区域的图像特性对应的识别器进行识别处理。因此，即使根据成像场景在标准透镜和广角透镜或广角柱面透镜之间进行切换，且由于在成像时使用的成像透镜的光学特性而导致在图像中产生分辨率或偏斜度的差异，也能够使用与处理区域对应的识别器进行被摄体识别。这使得能够比不在识别器之间进行切换的情况更精确地进行被摄体识别。
<3.第三实施例>
顺便提及，在一些情况下，由成像部获得的图像的分辨率根据图像传感器的配置生成具有高分辨率的区域和具有低分辨率的区域。例如，在图像传感器中不使用彩色滤波器的情况下，可以获取具有比使用彩色滤波器的情况高的分辨率的图像。因此，在图像传感器被配置为不在需要具有高分辨率的图像的区域中布置彩色滤波器的情况下，可以获取包括具有高分辨率的黑白图像区域和具有低分辨率的彩色图像区域的图像。因此，根据第三实施例，即使在使用能够获取其特性根据区域而不同的图像的图像传感器的情况下，也精确地执行被摄体识别。
<3-1.第三实施例的配置>
图8例示了第三实施例的配置。成像系统10包括成像部20-3和图像处理部30-3。
成像部20-3的成像透镜21在成像部20-3的图像传感器24的成像面上形成被摄体光学图像。
图像传感器24包括例如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像。此外，图像传感器24使用彩色滤波器，并且成像面的部分包括其中没有布置彩色滤波器的区域。例如，图9例示了图像传感器的成像面。位于中央的矩形图区域ARnf是没有布置彩色滤波器的区域，而由交叉影线表示的其他图区域ARcf是布置有彩色滤波器的区域。图像传感器24生成与被摄体光学图像对应的图像信号，并将该图像信号输出到图像处理部30-3。
图像处理部30-3基于由成像部20-3生成的图像信号进行被摄体识别。图像处理部30-3包括特性信息存储部34和识别处理部35。
特性信息存储部34存储基于成像部20-3的图像传感器24中的滤波器布置的特性图作为特性信息。例如，其中彩色像素和非彩色像素可以彼此区分的彩色像素图被用作特性图。特性信息存储部34将存储的特性信息输出到识别处理部35。
识别处理部35包括识别器切换部351和多个识别器352-1至352-n。识别器352-1至352-n根据成像部20-3的图像传感器24中的滤波器布置来提供。本公开提供了适于具有不同分辨率的图像的多个识别器，例如适于具有高分辨率的图像的识别器和适于具有低分辨率的图像的识别器。识别器切换部351基于由成像部20-3产生的图像信号检测处理区域。此外，识别器切换部351基于图像上的处理区域的位置和特性信息在用于被摄体识别处理的识别器之间进行切换。识别器切换部351将图像信号提供给切换的识别器352-x，以识别处理区域中的被摄体，并从图像处理部30-3输出识别结果。
此外，例如，在识别处理部35在被摄体识别中执行与学习的字典(例如，模板)的匹配的情况下，识别处理部35可以调整模板的大小和移动量，以便能够获得等同的识别精度，而不管分辨率和偏斜度的差异如何。
<3-2.第三实施例的操作>
图10是例示第三实施例的操作的流程图。在步骤ST21中，图像处理部30-3获取与滤波器布置对应的特性信息。图像处理部30-3的识别处理部35获取基于在成像部20-3中使用的图像传感器22的滤波器布置状态的特性信息(特性图)，并且进行到步骤ST22。
在步骤ST22中，图像处理部30-3在识别器之间进行切换。基于在步骤ST21中获取的特性信息，图像处理部30-3的识别处理部35切换到与执行识别处理的处理区域的图像特性相对应的识别器，并且进行到步骤ST23。
在步骤ST23中，图像处理部30-3改变大小和移动量。当图像处理部30-3的识别处理部35使用在步骤ST22中切换的识别器执行被摄体识别时，图像处理部30-3根据处理区域的图像特性改变匹配处理中的模板大小和移动量，并且进行到步骤ST24。
图像处理部30-3在步骤ST24中执行识别处理。通过使用由成像部20-3产生的图像信号，图像处理部30-3的识别处理部35使用在步骤ST22中切换的识别器执行识别处理。
要注意的是，第三实施例的操作并不限于图10所示的操作。例如，可以在不执行步骤ST23中的处理的情况下执行识别处理。
接下来，将描述第三实施例的操作的示例。例如，识别处理部35包括识别器352-1和识别器352-2。识别器352-1使用利用不使用彩色滤波器而捕获的教师图像学习的高分辨率词典来执行识别处理。识别器352-2使用已经使用利用彩色滤波器捕获的教师图像学习的低分辨率词典来执行识别处理。
识别处理部35的识别器切换部351执行与上述第一实施例类似的处理，以判定执行识别处理的处理区域属于图区域ARnf还是图区域ARcf。图区域ARnf是其中没有布置彩色滤波器的区域。图区域ARcf是其中布置彩色滤波器的区域。在识别器切换部351判定处理区域属于图区域ARh的情况下，识别器切换部351切换到识别器352-1。因此，在处理区域是高分辨率区域的情况下，可以使用由成像部20-3生成的图像信号，基于高分辨率词典来精确地识别处理区域中的被摄体。此外，在识别器切换部351判定处理区域属于图区域ARcf的情况下，识别器切换部351切换到识别器352-2。因此，在处理区域是低分辨率区域的情况下，可以使用由成像部20-3生成的图像信号，基于低分辨率词典来精确地识别处理区域中的被摄体。
此外，尽管上述操作假定了设置了其中布置了彩色滤波器的区域和其中没有布置彩色滤波器的区域的情况，但是可以设置其中布置了去除红外线的IR滤波器的区域和其中没有布置IR滤波器的区域。图11例示了图像传感器的成像面。位于中央并由对角线表示的矩形图区域ARir是其中布置IR滤波器的区域，而其他图区域ARnr是其中没有布置IR滤波器的区域。在以这种方式配置图像传感器24的情况下，其中没有布置IR滤波器的图区域ARnr变得比其中布置IR滤波器的图区域ARir更敏感。因此，识别处理部35的识别器切换部351判定执行识别处理的处理区域是属于没有布置IR滤波器的图区域ARnr，还是属于布置IR滤波器的图区域ARir。
在识别器切换部351判定处理区域属于图区域ARnr的情况下，识别器切换部351切换到使用针对高敏感度的字典执行识别处理的识别器。因此，在处理区域位于图区域ARnr中的情况下，可以使用由成像部20-3生成的图像信号，基于针对高敏感度的字典来精确地识别处理区域中的被摄体。此外，在识别器切换部351判定处理区域属于图区域ARir的情况下，识别器切换部351切换到使用针对低敏感度的字典来执行识别处理的识别器。因此，在处理区域位于图区域ir中的情况下，可以使用由成像部20-3生成的图像信号，基于针对低敏感度的字典来精确地识别处理区域中的被摄体。
以这种方式，根据第三实施例，使用与由成像部20-3获得的图像中的处理区域的图像特性(即，在成像部20-3中使用的图像传感器24的滤波器布置状态)相对应的识别器来执行识别处理。因此，即使在滤波器布置导致图像中的分辨率差异的情况下，也可以使用与处理区域相对应的识别器来执行被摄体识别。这使得能够比不在识别器之间进行切换的情况更精确地进行被摄体识别。
<4.修改>
在本技术中，可以组合上述实施例。例如，将第一实施例和第三实施例组合可以加宽其中布置了彩色滤波器的视角范围或者其中没有布置IR滤波器的视角范围。此外，第二实施例和第三实施例也可以组合。注意，在组合实施例的情况下，可以通过切换到与光学特性和滤波器布置的组合相对应的识别器执行识别处理，来更精确地识别被摄体。
此外，特性图可以存储在成像部中，或者图像处理部可以通过从成像部获取指示成像透镜的光学特性或图像传感器的滤波器布置的信息来生成特性图。这种配置可以适应成像部、成像透镜或图像传感器的变化。
<5.应用示例>
根据本公开的技术可以应用于各种类型的产品。例如，根据本公开的技术可以被实现为要被安装在诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船、机器人、建筑机械或农业机械(拖拉机)的任何类型的移动体中的装置。
图12是示出作为本技术可以应用到的移动体控制系统的示例的车辆控制系统100的示意性功能配置的示例的框图。
注意，在下文中，在包括车辆控制系统100的车辆与其他车辆相区别的情况下，车辆将被称为主汽车或主车辆。
车辆控制系统100包括输入部101、数据获取部102、通信部103、车内装备104、输出控制部105、输出部106、驱动控制部107、驱动系统108、车体控制部109、车体系统110、存储部111和自动驾驶控制部112。输入部101、数据获取部102、通信部103、输出控制部105、驱动控制部107、车体控制部109、存储部111和自动驾驶控制部112通过通信网络121互连。例如，通信网络121包括符合诸如CAN(控制器区域网络)、LIN(局域互连网络)、LAN(局域网)或FlexRay(注册商标)的可选标准的车载通信网络、总线等。注意，在一些情况下，车辆控制系统100的各部可以在没有通信网络121的情况下直接连接。
注意，在下文中，在车辆控制系统100的各部通过通信网络121进行通信的情况下，省略对通信网络121的描述。例如，在输入部101和自动驾驶控制部112通过通信网络121彼此通信的情况下，将简单地描述输入部101和自动驾驶控制部112彼此通信。
输入部101包括由乘员使用以输入各种类型的数据、指令等的装置。例如，输入部101包括诸如触摸面板、按钮、麦克风、开关和操纵杆的操作设备、可以通过除了手动操作之外的语音、手势等执行输入的操作设备等。此外，例如，输入部101可以是使用红外线或其他无线电波的远程控制装置，或者可以是支持车辆控制系统100的操作的外部连接装置，诸如移动装备或可穿戴装备。输入部101基于由乘员输入的数据、指令等生成输入信号，并将输入信号提供给车辆控制系统100的各部。
数据获取部102包括获取要用于车辆控制系统100中的处理的数据的各种类型的传感器等，并将所获取的数据提供给车辆控制系统100的各部。
例如，数据获取部102包括用于检测主汽车的状态等的各种类型的传感器。具体地，数据获取部102包括例如陀螺仪传感器、加速度传感器、惯性测量单元(IMU)和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、电动机速度、车轮的旋转速度等的传感器。
此外，例如，数据获取部102包括用于检测关于主汽车外部的信息的各种类型的传感器。具体地，数据获取部102包括例如成像装置，诸如ToF(飞行时间)相机、立体相机、单目相机、红外相机和其他相机。此外，数据获取部102包括例如用于检测天气、气象现象等的环境传感器，以及用于检测主汽车周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等。
此外，例如，数据获取部102包括用于检测主汽车的当前位置的各种类型的传感器。具体地，数据获取部102包括例如GNSS(全球导航卫星系统)接收器等。GNSS接收器接收来自GNSS卫星的GNSS信号。
此外，例如，数据获取部102包括用于检测车内信息的各种类型的传感器。具体地，数据获取部102包括例如捕获驾驶员的成像装置、检测关于驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等中，并且检测关于坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。
通信部103与车内装备104、各种类型的车外装备、服务器、基站等通信，以发送从车辆控制系统100的各部提供的数据，并将接收到的数据提供给车辆控制系统100的各部。注意，对通信部103所支持的通信协议没有特别限制，并且通信部103可以支持多种类型的通信协议。
例如，通信部103使用无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与车载装备104进行无线通信。此外，例如，通信部103通过未示出的连接端子(以及必要时的电缆)使用USB(通用串行总线)、HDMI(注册商标)(高清晰多媒体接口)、MHL(移动高清晰链路)等与车内装备104执行有线通信。
此外，例如，通信部103通过基站或接入点与存在于外部网络(例如，因特网、云网络或运营商专用网络)上的装备(例如，应用服务器或控制服务器)通信。此外，例如，通信部103使用P2P(对等(Peer To Peer))技术与在主汽车附近存在的终端(例如，行人或商店的终端，或MTC(机器型通信)终端)通信。此外，例如，通信部103执行V2X通信，诸如车辆和车辆之间的通信(车辆与车辆间)、车辆和基础设施之间的通信(车辆与基础设施间)、主汽车和住宅之间的通信(车辆与住宅间)、以及车辆和行人之间的通信(车辆与行人间)。此外，例如，通信部103包括信标接收部，以接收从安装在道路上的无线站等发送的无线电波或电磁波，并获取关于当前位置、交通堵塞、交通管制、必要时间等的信息。
车内装备104包括例如由乘员拥有的移动装备或可穿戴装备、携带到或附接到主汽车的信息装备、搜索到期望目的地的路线的导航装置等。
输出控制部105控制向本车的乘员或外部输出各种类型的信息。例如，输出控制部105产生包括视觉信息(例如，图像数据)或听觉信息(例如，声音数据)中的至少一个的输出信号，并将输出信号提供给输出部106，以控制从输出部106的视觉信息和听觉信息的输出。具体地，例如，输出控制部105组合由数据获取部102的不同成像装置捕获的图像数据，以生成鸟瞰视图图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出部106。此外，例如，输出控制部105生成包括关于诸如碰撞、接触、进入危险区等的危险的警告声音、警告消息等的声音数据，并且将包括所生成的声音数据的输出信号提供给输出部106。
输出部106包括能够向本车的乘员或外部输出视觉信息或听觉信息的装置。输出部106包括例如显示装置、仪表板、音频扬声器、耳机、诸如由乘员穿戴的眼镜型显示器的可穿戴设备、投影仪、灯等。除了具有一般显示器的装置之外，输出部106中包括的显示装置可以是例如在驾驶员的视野中显示视觉信息的装置，诸如平视型显示器、透射型显示器或具有AR(增强现实)显示功能的装置。
驱动控制部107通过产生各种类型的控制信号并将控制信号提供给驱动系统108来控制驱动系统108。此外，驱动控制部107根据需要向除了驱动系统108之外的每个部提供控制信号，以例如向各部通知驱动系统108的控制状态。
驱动系统108包括与主汽车的驱动系统相关的各种类型的装置。驱动系统108包括例如驱动力产生装置、驱动力传递机构、转向机构、制动装置、ABS(防抱死制动系统)、ESC(电子稳定控制)、电动转向装置等。驱动力产生装置产生内燃机、驱动电动机等的驱动力。驱动力传递机构将驱动力传递到车轮。转向机构调节转向角。制动装置产生制动力。
主体控制部109通过生成各种类型的控制信号，并将其提供给车体系统110来控制车体系统110。此外，车体控制部109根据需要向除了车体系统110之外的各部提供控制信号，以例如向各部通知车体系统110的控制状态。
车体系统110包括安装在车体中的车体系统的各种类型的装置。例如，车体系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调装置、各种类型的灯(例如，头灯、尾灯、制动灯、转向灯、雾灯等)等。
存储部111包括例如ROM(只读存储器)、RAM(随机存取存储器)、诸如HDD(硬盘驱动器)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储部111存储由车辆控制系统100的各部使用的各种类型的程序、数据等。例如，存储部111存储地图数据，例如，诸如动态地图的三维高精度地图、精度比高精度地图低并且覆盖宽区域的全局地图、以及包括关于主汽车的周围的信息的局部地图。
自动驾驶控制部112执行与自动驾驶相关的控制，诸如自主行驶或驾驶支持。具体地，例如，自动驾驶控制部112执行旨在实现ADAS(高级驾驶员辅助系统)的功能的协同控制，所述功能包括对主汽车的碰撞避免或冲击减轻、基于跟随距离的跟随行驶、车速维持行驶、主汽车的碰撞警告、主汽车偏离车道警告等。此外，例如，自动驾驶控制部112执行旨在用于自动驾驶的协作控制等，其允许自主行驶而不依赖于驾驶员的操作。自动驾驶控制部112包括检测部131、自身位置估计部132、状况分析部133、计划部134和操作控制部135。
检测部131检测控制自动驾驶所需的各种类型的信息。检测部131包括车外信息检测部141、车内信息检测部142和车辆状态检测部143。
车外信息检测部141基于来自车辆控制系统100的各部的数据或信号，进行检测与本车外部有关的信息的处理。例如，车外信息检测部141进行对本车周围的物体进行检测、识别和追踪的处理，以及检测与物体之间的距离的处理。要检测的物体包括例如车辆、人、障碍物、结构、道路、交通灯、交通标志、路标等。此外，例如，车外信息检测部141进行检测本车的周围环境的处理。要检测的周围环境例如包括天气、温度、湿度、亮度、路面状况等。车外信息检测部141将表示检测处理结果的数据提供给自身位置估计部132、状况分析部133的地图分析部151、交通规则识别部152和状况识别部153、操作控制部135的紧急情况回避部171等。
车内信息检测部142进行基于来自车辆控制系统100的各部的数据或信号，检测车内信息的处理。例如，车内信息检测部142执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测乘员的处理、检测车内环境的处理等。要检测的驾驶员的状态例如包括身体状况、觉醒度、集中度、疲劳度、视线方向等。要检测的车内环境例如包括温度、湿度、亮度、气味等。车内信息检测部142将表示检测处理结果的数据提供给状况分析部133的状况识别部153、操作控制部135的紧急情况回避部171等。
车辆状态检测部143进行基于来自车辆控制系统100的各部的数据或信号，检测本车的状态的处理。要检测的本车的状态例如包括速度、加速度、转向角、异常的有无及内容、驾驶操作的状态、电动座椅的位置及倾斜、门锁的状态、其他车载装备的状态等。车辆状态检测部143将表示检测处理结果的数据提供给状况分析部133的状况识别部153、操作控制部135的紧急情况回避部171等。
自身位置估计部132进行基于来自车辆控制系统100的诸如车外信息检测部141和状况分析部133的状况识别部153的各部的数据或信号，估计本车的位置、姿势等的处理。此外，自身位置估计部132根据需要生成用于估计自身位置的局部地图(以下称为自身位置估计地图)。例如，自身位置估计地图是使用诸如SLAM(同时定位和地图绘制(SimultaneousLocalization and Mapping))的技术的高精度地图。自身位置估计部132将指示估计处理结果的数据提供给状况分析部133的地图分析部151、交通规则识别部152和状况识别部153等。此外，自身位置估计部132使存储部111存储自身位置估计地图。
状况分析部133进行对本车及其周围的状况进行分析的处理。状况分析部133包括地图分析部151、交通规则识别部152、状况识别部153和状况预测部154。
地图分析部151进行根据需要使用来自车辆控制系统100的诸如自身位置估计部132和车外信息检测部141的各部的数据或信号分析存储在存储部111中的各种类型的地图的处理，并制作包含自动驾驶处理所需的信息的地图。地图分析部151将所创建的地图提供给交通规则识别部152、状况识别部153、状况预测部154、计划部134的路线计划部161、行动计划部162和操作计划部163等。
交通规则识别部152执行基于来自车辆控制系统100的诸如自身位置估计部132、车外信息检测部141和地图分析部151的各部的数据或信号，识别本车周围的交通规则的处理。通过该识别处理，例如，识别本车周围的交通灯的位置和状态、本车周围的交通管制的内容、可行驶车道等。交通规则识别部152将指示识别处理结果的数据提供给状况预测部154等。
状况识别部153进行基于来自车辆控制系统100的诸如自身位置估计部132、车外信息检测部141、车内信息检测部142、车辆状态检测部143和地图分析部151的各部的数据或信号，识别与本车相关的状况的处理。例如，状况识别部153进行识别本车的状况、本车周围的状况、本车的驾驶员的状况等的处理。此外，状况识别部153根据需要生成用于识别本车周围的状况的局部地图(以下称为状况识别地图)。状况识别地图是例如占有率栅格地图。
要识别的本车的状况例如包括本车的位置、姿势、移动(例如速度、加速度、移动方向等)、异常的有无和内容等。要识别的本车周围的状况例如包括周围的静止物的类型和位置、周围的移动体的类型、位置和移动(例如，速度、加速度、移动方向等)、周围的道路结构和路面状况、周围的天气、温度、湿度、亮度等。要识别的驾驶员的状态例如包括身体状况、觉醒度、集中度、疲劳度、视线的移动、驾驶操作等。
状况识别部153将表示识别处理结果的数据(根据需要，包括状况识别地图)提供给自身位置估计部132、状况预测部154等。此外，状况识别部分153使存储部111存储状况识别地图。
状况预测部154进行基于来自车辆控制系统100的诸如地图分析部151、交通规则识别部152、状况识别部153的各部的数据或信号，预测与本车相关的状况的处理。例如，状况预测部154进行预测本车的状况、本车周围的状况、驾驶员的状况等的处理。
要预测的本车的状况例如包括本车的举动、异常的发生、行驶距离等。要预测的本车周围的状况例如包括本车周围的移动体的举动、交通灯的状态变化、诸如天气的环境变化等。要预测的驾驶员的状况例如包括驾驶员的行为、身体状况等。
状况预测部154将表示预测处理结果的数据与来自交通规则识别部152和状况识别部153的数据一起提供给计划部134的路线计划部161、行动计划部162和操作计划部163等。
路线计划部161基于来自车辆控制系统100的诸如地图分析部151和状况预测部154的各部的数据或信号计划到目的地的路线。例如，路线计划部161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划部161基于交通堵塞、事故、交通管制、建筑等的状况、驾驶员的身体状况等来适当地改变路线。路线计划部161将表示所计划的路线的数据提供给行动计划部162等。
行动计划部162基于来自车辆控制系统100的诸如地图分析部151和状况预测部154的各部的数据或信号，计划本车在计划的时间段内安全地行驶由路线计划部161计划的路线的行动。例如，行动计划部162进行开始、停止、行进方向(例如，前进、后退、左转、右转、方向改变等)、行进车道、行进速度、超车等的计划。行动计划部162将表示所计划的本车的行动的数据提供给操作计划部163等。
操作计划部163基于来自车辆控制系统100的诸如地图分析部151和状况预测部154的各部的数据或信号，计划本车进行由行动计划部162计划的行动的操作。例如，操作计划部163进行加速、减速、行驶轨迹等的计划。操作计划部163将表示所计划的本车的操作的数据提供给操作控制部135的加减速控制部172和方向控制部173。
操作控制部135控制本车的操作。操作控制部135包括紧急情况回避部171、加减速控制部172和方向控制部173。
紧急情况回避部171进行基于车外信息检测部141、车内信息检测部142以及车辆状态检测部143的检测结果，进行检测诸如碰撞、接触、进入危险区、驾驶员的异常、车辆的异常等的紧急情况的处理。紧急情况回避部171在检测到紧急情况的发生的情况下，计划本车的诸如紧急停止或急转弯的操作，以回避紧急情况。紧急情况回避部171将表示所计划的本车的操作的数据提供给加减速控制部172、方向控制部173等。
加减速控制部172进行用于进行由操作计划部163或紧急情况回避部171计划的本车的操作的加减速控制。例如，加减速控制部172计算驱动力产生装置或制动装置用于进行计划的加速、减速或紧急停止的控制目标值，并将表示所计算的控制目标值的控制命令提供给驱动控制部107。
方向控制部173进行用于进行由操作计划部163或紧急情况回避部171计划的本车的操作的方向控制。例如，方向控制部173计算转向机构的用于进行由操作计划部163或紧急情况回避部171计划的行驶轨迹或急转弯的控制目标值，并将表示所计算的控制目标值的控制命令提供给驱动控制部107。
在上述车辆控制系统100中，本实施例中描述的成像部20-1(20-2、20-3)对应于数据获取部102，并且图像处理部30-1(30-2、30-3)对应于车外信息检测部141。在车辆控制系统100中设置成像部20-1和图像处理部30-1并且使用具有比标准透镜更宽的视角的广角透镜或柱面透镜作为成像透镜的情况下，可以使用与成像透镜的光学特性相对应的识别器来执行被摄体识别。因此，不仅可以精确地识别车辆前方的被摄体，而且可以精确地识别周围的被摄体。
另外，在车辆控制系统100中设置成像部20-2和图像处理部30-2的情况下，能够根据基于车辆的操作信息或周围信息或者由成像部取得的图像信息的成像场景，切换视角不同的成像透镜，并使用与成像中使用的成像透镜的光学特性对应的识别器进行被摄体识别。因此，可以精确地识别在适合于车辆的行驶状态的视角内的被摄体。
此外，在车辆控制系统100中设置成像部20-3和图像处理部30-3的情况下，可以使用与图像传感器的配置相对应的识别器来执行被摄体识别。例如，即使在图像传感器中的成像面的中央部分中存在没有布置彩色滤波器以便执行重视远前方的被摄体处理的区域的情况下，也可以通过在适合于布置彩色滤波器的区域的识别器和适合于没有布置彩色滤波器的区域的识别器之间进行切换来执行识别处理。因此，即使在图像传感器被配置为获得适合于车辆的行驶控制的图像的情况下，也可以使用与图像传感器的配置相对应的识别器来精确地执行识别处理。此外，在图像传感器被配置为能够检测中央部分的红色被摄体以识别例如交通灯或标志的情况下，可以通过使用适合于识别中央部分的红色被摄体的识别器来精确地执行被摄体识别。
此外，在车辆在前灯打开的情况下行驶的情况下，车辆周围的区域是暗的，因为前灯不照亮该区域。因此，在图像传感器中，IR滤波器不布置在成像面的除中央部分之外的周边区域中。以这种方式配置图像传感器可以提高周边区域的敏感度。在以这种方式配置图像传感器的情况下，通过在适合于布置有IR滤波器的区域的识别器和适合于没有布置IR滤波器的区域的识别器之间进行切换进行识别处理，能够精确地识别被摄体。
说明书中描述的一系列处理可以由硬件、软件或其组合来执行。在通过软件进行处理的情况下，将记录处理序列的程序安装在并入专用硬件的计算机的存储器中，并执行该程序。或者，程序可以在能够执行各种处理的通用计算机中安装和执行。
例如，可以将程序预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。或者，程序可以临时或永久地存储(记录)在诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(蓝光盘)(注册商标)、磁盘或半导体存储卡的可移除记录介质中。这种可移除记录介质可以作为所谓的软件包被设置。
此外，程序可以从可移除记录介质安装到计算机中，或者可以经由诸如LAN(局域网)或因特网的网络从下载站点无线地或有线地传送到计算机。计算机可以接收以这种方式传送的程序，并将该程序安装到诸如内置硬盘的记录介质中。
要注意的是，本说明书中描述的效果仅仅是示例，而不限于这些示例。可以表现出未描述的附加效果。此外，本技术不应被解释为限于上述技术的实施例。本技术的实施例以示例的形式公开了本技术，并且显然，本领域技术人员可以在不脱离本技术的主旨的情况下对实施例进行修改或替换。也就是说，应该考虑权利要求来判定本技术的主旨。
此外，根据本技术的图像处理装置还可以具有以下配置。
(1)一种图像处理装置，包括：
识别处理部，被配置为通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器，执行所述处理区域中的被摄体识别。
(2)根据(2)所述的图像处理装置，其中，所述识别处理部基于指示由所述成像部获得的图像的特性的特性图，判定所述处理区域的图像特性。
(3)根据(2)所述的图像处理装置，
其中，所述特性图包括基于在所述成像部中使用的成像透镜的光学特性的图，以及
所述识别处理部基于所述处理区域的图像特性，在被配置为执行被摄体识别的识别器之间进行切换。
(4)根据(3)所述的图像处理装置，
其中，所述图像特性包括分辨率，以及
所述识别处理部使用与所述处理区域的分辨率相对应的识别器来执行被摄体识别。
(5)根据(3)或(4)所述的图像处理装置，
其中，所述图像特性包括偏斜度，以及
所述识别处理部使用与所述处理区域的偏斜度相对应的识别器来执行被摄体识别。
(6)根据(3)至(5)中任一项所述的图像处理装置，其中，所述识别处理部根据所述成像透镜的光学特性来调整识别器的模板尺寸或模板的移动量。
(7)根据(3)至(6)中任一项所述的图像处理装置，还包括：
透镜选择部，被配置为选择与成像场景对应的成像透镜；以及
特性信息存储部，被配置为向所述识别处理部输出与由所述透镜选择部选择的成像透镜相对应的特性图，
其中，所述识别处理部基于从所述特性信息存储部提供的特性图，判定由所述成像部使用由所述透镜选择部选择的成像透镜获得的图像中的所述处理区域的图像特性。
(8)根据(7)所述的图像处理装置，其中，所述透镜选择部基于由所述成像部获取的图像信息、包括所述成像部的移动体的操作信息和指示使用所述成像部的环境的环境信息中的至少任一项，判定所述成像场景。
(9)根据(3)至(8)中任一项所述的图像处理装置，其中，所述成像透镜在所有方向上或在预定方向上具有广视角，并且所述成像透镜的光学特性根据透镜上的位置而不同。
(10)根据(2)至(9)中任一项所述的图像处理装置，
其中，所述特性图包括基于在所述成像部中使用的图像传感器的滤波器布置状态的图，以及
所述识别处理部基于所述处理区域的图像特性，在被配置为执行被摄体识别的识别器之间进行切换。
(11)根据(10)所述的图像处理装置，
其中，所述滤波器布置状态包括彩色滤波器的布置状态，以及
所述识别处理部根据处理区域中的彩色滤波器的布置，在被配置为执行被摄体识别的识别器之间进行切换。
(12)根据(11)所述的图像处理装置，其中，所述彩色滤波器的布置状态包括在所述图像传感器中的成像区域的中央部分未布置所述彩色滤波器或者布置被配置为仅透过特定颜色的滤波器的状态。
(13)根据(10)至(12)中任一项所述的图像处理装置，
其中，所述滤波器布置状态指示红外截止滤波器的布置状态，以及
所述识别处理部根据所述处理区域中的红外截止滤波器的布置，在被配置为执行被摄体识别的识别器之间进行切换。
(14)根据(13)所述的图像处理装置，其中，所述红外截止滤波器的布置状态包括所述红外截止滤波器仅布置在所述图像传感器中的成像区域的中央部分的状态。
(15)根据(1)至(14)中任一项所述的图像处理装置，还包括：
所述成像部。
工业适用性
根据本技术的图像处理装置、图像处理方法和程序通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器执行该处理区域中的被摄体识别。因此，由于可以精确地执行被摄体识别，因此根据本技术的图像处理装置、图像处理方法和程序例如适用于移动体执行自动驾驶的情况。
附图标记列表
10......成像系统
20-1、20-2、20-3......成像部
21、21a，21b......成像透镜
22、24......图像传感器
23......透镜切换部
30-1、30-2、30-3......图像处理部
31、33、34......特性信息存储部
32......透镜选择部
35......识别处理部
351......识别器切换部
352-1至352-n......识别器

Claims (17)

1.一种图像处理装置，包括：
识别处理部，被配置为通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器，执行所述处理区域中的被摄体识别。
2.根据权利要求1所述的图像处理装置，其中，所述识别处理部基于指示由所述成像部获得的图像的特性的特性图，判定所述处理区域的图像特性。
3.根据权利要求2所述的图像处理装置，
其中，所述特性图包括基于在所述成像部中使用的成像透镜的光学特性的图，以及
所述识别处理部基于所述处理区域的图像特性，在被配置为执行被摄体识别的识别器之间进行切换。
4.根据权利要求3所述的图像处理装置，
其中，所述图像特性包括分辨率，以及
所述识别处理部使用与所述处理区域的分辨率相对应的识别器来执行被摄体识别。
5.根据权利要求3所述的图像处理装置，
其中，所述图像特性包括偏斜度，以及
所述识别处理部使用与所述处理区域的偏斜度相对应的识别器来执行被摄体识别。
6.根据权利要求3所述的图像处理装置，其中，所述识别处理部根据所述成像透镜的光学特性来调整识别器的模板尺寸或模板的移动量。
7.根据权利要求3所述的图像处理装置，还包括：
透镜选择部，被配置为选择与成像场景对应的成像透镜；以及
特性信息存储部，被配置为向所述识别处理部输出与由所述透镜选择部选择的成像透镜相对应的特性图，
其中，所述识别处理部基于从所述特性信息存储部提供的特性图，判定由所述成像部使用由所述透镜选择部选择的成像透镜获得的图像中的所述处理区域的图像特性。
8.根据权利要求7所述的图像处理装置，其中，所述透镜选择部基于由所述成像部获取的图像信息、包括所述成像部的移动体的操作信息和指示使用所述成像部的环境的环境信息中的至少任一项，判定所述成像场景。
9.根据权利要求3所述的图像处理装置，其中，所述成像透镜在所有方向上或在预定方向上具有广视角，并且所述成像透镜的光学特性根据透镜上的位置而不同。
10.根据权利要求2所述的图像处理装置，
其中，所述特性图包括基于在所述成像部中使用的图像传感器的滤波器布置状态的图，以及
所述识别处理部基于所述处理区域的图像特性，在被配置为执行被摄体识别的识别器之间进行切换。
11.根据权利要求10所述的图像处理装置，
其中，所述滤波器布置状态包括彩色滤波器的布置状态，以及
所述识别处理部根据处理区域中的彩色滤波器的布置，在被配置为执行被摄体识别的识别器之间进行切换。
12.根据权利要求11所述的图像处理装置，其中，所述彩色滤波器的布置状态包括在所述图像传感器中的成像区域的中央部分未布置所述彩色滤波器或者布置被配置为仅透过特定颜色的滤波器的状态。
13.根据权利要求10所述的图像处理装置，
其中，所述滤波器布置状态指示红外截止滤波器的布置状态，以及
所述识别处理部根据所述处理区域中的红外截止滤波器的布置，在被配置为执行被摄体识别的识别器之间进行切换。
14.根据权利要求13所述的图像处理装置，其中，所述红外截止滤波器的布置状态包括所述红外截止滤波器仅布置在所述图像传感器中的成像区域的中央部分的状态。
15.根据权利要求1所述的图像处理装置，还包括：
所述成像部。
16.一种图像处理方法，包括：
由识别处理部通过使用与由成像部获得的图像中的处理区域的图像特性相对应的识别器，执行所述处理区域中的被摄体识别。
17.一种用于使计算机执行识别处理的程序，所述程序使所述计算机执行：
检测由成像部获得的图像中的处理区域的图像特性的处理；以及
使得使用与检测到的图像特性相对应的识别器执行处理区域中的被摄体识别的处理。
CN201980053006.6A 2018-08-16 2019-07-23 图像处理装置、图像处理方法和程序 Active CN112567427B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-153172 2018-08-16
JP2018153172 2018-08-16
PCT/JP2019/028785 WO2020036044A1 (ja) 2018-08-16 2019-07-23 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN112567427A true CN112567427A (zh) 2021-03-26
CN112567427B CN112567427B (zh) 2024-08-13

Family

ID=69525450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053006.6A Active CN112567427B (zh) 2018-08-16 2019-07-23 图像处理装置、图像处理方法和程序

Country Status (4)

Country Link
US (1) US20210295563A1 (zh)
CN (1) CN112567427B (zh)
DE (1) DE112019004125T5 (zh)
WO (1) WO2020036044A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875299A (zh) * 2003-10-28 2006-12-06 日本发条株式会社 识别媒体、识别媒体的识别方法、识别对象物品以及识别装置
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
CN102884802A (zh) * 2010-03-24 2013-01-16 富士胶片株式会社 三维成像装置和视点图像恢复方法
CN102959475A (zh) * 2010-07-02 2013-03-06 日本发条株式会社 识别介质、数据读取方法、识别装置、识别介质的制造方法及识别介质的制造装置
CN103842235A (zh) * 2011-09-30 2014-06-04 西门子有限公司 为被导引交通工具确定道路可用性的方法和系统
US20150062371A1 (en) * 2013-09-02 2015-03-05 Canon Kabushiki Kaisha Encoding apparatus and method
US20160311443A1 (en) * 2013-12-12 2016-10-27 Lg Electronics Inc. Stereo camera, vehicle driving auxiliary device having same, and vehicle
WO2017163606A1 (ja) * 2016-03-23 2017-09-28 日立オートモティブシステムズ株式会社 物体認識装置
US20180165828A1 (en) * 2015-06-10 2018-06-14 Hitachi, Ltd. Object Recognition Device and Object Recognition System
US20180180783A1 (en) * 2016-12-28 2018-06-28 Axis Ab Ir-filter arrangement

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875299A (zh) * 2003-10-28 2006-12-06 日本发条株式会社 识别媒体、识别媒体的识别方法、识别对象物品以及识别装置
CN102884802A (zh) * 2010-03-24 2013-01-16 富士胶片株式会社 三维成像装置和视点图像恢复方法
CN102959475A (zh) * 2010-07-02 2013-03-06 日本发条株式会社 识别介质、数据读取方法、识别装置、识别介质的制造方法及识别介质的制造装置
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
CN103842235A (zh) * 2011-09-30 2014-06-04 西门子有限公司 为被导引交通工具确定道路可用性的方法和系统
US20150062371A1 (en) * 2013-09-02 2015-03-05 Canon Kabushiki Kaisha Encoding apparatus and method
US20160311443A1 (en) * 2013-12-12 2016-10-27 Lg Electronics Inc. Stereo camera, vehicle driving auxiliary device having same, and vehicle
US20180165828A1 (en) * 2015-06-10 2018-06-14 Hitachi, Ltd. Object Recognition Device and Object Recognition System
WO2017163606A1 (ja) * 2016-03-23 2017-09-28 日立オートモティブシステムズ株式会社 物体認識装置
US20180180783A1 (en) * 2016-12-28 2018-06-28 Axis Ab Ir-filter arrangement

Also Published As

Publication number Publication date
CN112567427B (zh) 2024-08-13
US20210295563A1 (en) 2021-09-23
WO2020036044A1 (ja) 2020-02-20
DE112019004125T5 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
US11641492B2 (en) Image processing apparatus and image processing method
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
CN112313537A (zh) 信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备
US11501461B2 (en) Controller, control method, and program
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
US11978261B2 (en) Information processing apparatus and information processing method
CN113168692A (zh) 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体
CN113167883B (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
CN114026436B (zh) 图像处理装置、图像处理方法和程序
EP3669358A1 (en) Server, method, non-transitory computer-readable medium, and system
CN113170092B (zh) 图像处理装置、图像处理方法以及图像处理系统
CN112567427B (zh) 图像处理装置、图像处理方法和程序
US11763675B2 (en) Information processing apparatus and information processing method
US20240241227A1 (en) Distance measuring device and distance measuring method
EP3863282B1 (en) Image processing device, and image processing method and program
WO2025057565A1 (ja) 光検出装置、光検出方法およびデノイズプログラム
EP3751512A1 (en) Recognition device, recognition method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant