[go: up one dir, main page]

JP6638851B1 - 撮像装置、撮像システム、撮像方法および撮像プログラム - Google Patents

撮像装置、撮像システム、撮像方法および撮像プログラム Download PDF

Info

Publication number
JP6638851B1
JP6638851B1 JP2019159150A JP2019159150A JP6638851B1 JP 6638851 B1 JP6638851 B1 JP 6638851B1 JP 2019159150 A JP2019159150 A JP 2019159150A JP 2019159150 A JP2019159150 A JP 2019159150A JP 6638851 B1 JP6638851 B1 JP 6638851B1
Authority
JP
Japan
Prior art keywords
unit
output
recognition
line
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019159150A
Other languages
English (en)
Other versions
JP2020039125A (ja
Inventor
竜太 佐藤
竜太 佐藤
卓 青木
卓 青木
啓太郎 山本
啓太郎 山本
良仁 浴
良仁 浴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to BR112021003084-0A priority Critical patent/BR112021003084A2/pt
Priority to US17/267,502 priority patent/US11741700B2/en
Priority to EP19855709.2A priority patent/EP3846446A4/en
Priority to CN201980054531.XA priority patent/CN112585943B/zh
Priority to KR1020217004985A priority patent/KR20210053884A/ko
Priority to PCT/JP2019/034496 priority patent/WO2020045682A1/ja
Priority to JP2019229783A priority patent/JP7380180B2/ja
Application granted granted Critical
Publication of JP6638851B1 publication Critical patent/JP6638851B1/ja
Publication of JP2020039125A publication Critical patent/JP2020039125A/ja
Priority to US18/353,893 priority patent/US12183069B2/en
Priority to US18/953,360 priority patent/US20250078498A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供する。【解決手段】撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識部と、読出単位毎に認識部により認識した認識結果を出力する第１の出力部と、画素信号を後段に出力する第２の出力部と、第１の出力部が認識結果を出力する第１のタイミングと、第２の出力部が画素信号を出力する第２のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、を備える。【選択図】図４４

Description

本開示は、撮像装置、撮像システム、撮像方法および撮像プログラムに関する。
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
特開２０１７−１１２４０９号公報
一般的に、画像認識機能において認識処理に適した画像は、人による視認に適した画像とは異なる。そのため、画像認識機能を搭載する撮像装置において認識の精度を高めようとする場合、認識処理のために撮像された画像が、視認用の画像としての情報を十分に提供することが困難になるおそれがある。
本開示は、認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供することを目的とする。
本開示に係る撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識部と、読出単位毎に認識部により認識した認識結果を出力する第１の出力部と、画素信号を処理された画像データとして出力する第２の出力部と、第１の出力部が認識結果を出力する第１のタイミングを制御するための第１のトリガ信号と、第２の出力部が画像データを出力する第２のタイミングを制御するための第２のトリガ信号と、を含むトリガ信号を生成するトリガ生成部と、を備える。
本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用可能なセンサ部の一例の構成を示すブロック図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 ＣＮＮによる画像認識処理を概略的に説明するための図である。 認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。 時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。 時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。 第１の実施形態に係る認識処理部による認識処理を示す一例のフローチャートである。 １フレーム分の画像データの一例を示す図である。 第１の実施形態に係る認識処理部が実行する機械学習処理の流れを説明するための図である。 第１の実施形態の応用例について説明するための模式図である。 第１の実施形態の応用例について説明するための模式図である。 第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第２の実施形態に係る認識処理部における処理の例についてより詳細に示す模式図である。 第２の実施形態に係る機能を説明するための一例の機能ブロック図である。 第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態に係る認識処理を概略的に示す模式図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 第２の実施形態に係る認識処理を示す一例のフローチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。 第３の実施形態に係る制御を示す一例のフローチャートである。 第３の実施形態に係る出力制御処理の例を模式的に示す模式図である。 第３の実施形態に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。 第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。 第３の実施形態の第１の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第１の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。 第３の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。 第３の実施形態の第２の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第２の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第２の変形例に係る処理を示す一例のフローチャートである。 第３の実施形態の第３の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第３の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第３の実施形態の第３の変形例に係る処理を示す一例のフローチャートである。 第４の実施形態に係る出力制御処理の例を模式的に示す模式図である。 第４の実施形態に係る撮像装置の一例の機能を示す機能ブロック図である。 第４の実施形態に係る処理を示す一例のフローチャートである。 第４の実施形態の第１の変形例に係る撮像装置の一例の機能を示す機能ブロック図である。 第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。 第４の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。 第４の実施形態の第２の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。 第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。 第５の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。 第５の実施形態に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。 第５の実施形態に係る調停処理を説明するための模式図である。 第５の実施形態に係る調停処理を示す一例のフローチャートである。 第５の実施形態の第１の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。 第５の実施形態の第１の変形例に係る調停処理の第１の例を説明するための模式図である。 第５の実施形態の第１の変形例に係る調停処理の第２の例を説明するための模式図である。 第５の実施形態の第１の変形例に係る調停処理を示す一例のフローチャートである。 第５の実施形態の第２の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。 第５の実施形態の第２の変形例に係る調停処理を説明するための模式図である。 第５の実施形態の第２の変形例に係る調停処理を示す一例のフローチャートである。 第５の実施形態の第３の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。 第５の実施形態の第３の変形例に係る調停処理を示す一例のフローチャートである。 本開示の技術を適用した撮像装置の使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の各実施形態に係る構成例
２．本開示に適用可能な既存技術の例
２−１．ローリングシャッタの概要
２−２．グローバルシャッタの概要
２−３．ＤＮＮ(Deep Neural Network)について
２−３−１．ＣＮＮ(Convolutional Neural Network)の概要
２−３−２．ＲＮＮ(Recurrent Neural Network)の概要
２−４．駆動速度について
３．本開示の概要
４．第１の実施形態
４−１．認識処理部による動作例
４−２．認識処理部による動作の具体例
４−３．第１の実施形態の応用例
５．第２の実施形態
５−０−１．第２の実施形態に係る構成例
５−０−２．第２の実施形態に係る認識処理部における処理の例
５−０−３．第２の実施形態に係る認識処理の詳細
５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例
６．第３の実施形態
６−０．第３の実施形態の概要
６−０−１．時間によるトリガ信号出力の例
６−１．第３の実施形態の第１の変形例
６−２．第３の実施形態の第２の変形例
６−３．第３の実施形態の第３の変形例
７．第４の実施形態
７−１．第４の実施形態の第１の変形例
７−２．第４の実施形態の第２の変形例
８．第５の実施形態
８−０−１．調停処理の具体例
８−１．第５の実施形態の第１の変形例
８−２．第５の実施形態の第２の変形例
８−３．第５の実施形態の第３の変形例
９．第６の実施形態
［１．本開示の各実施形態に係る構成例］
本開示に係る撮像装置の構成について、概略的に説明する。図１は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図１において、撮像装置１は、センサ部１０と、センサ制御部１１と、認識処理部１２と、メモリ１３と、視認処理部１４と、出力制御部１５と、を含み、これら各部がＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、撮像装置１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
センサ部１０は、光学部３０を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部１０は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部１０は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部１０は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
以下、センサ部１０が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部１０の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部１０は、後述するセンサ制御部１１から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）を制御される。
センサ制御部１１は、例えばマイクロプロセッサにより構成され、センサ部１０からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１１から出力された画素データは、認識処理部１２および視認処理部１４に渡される。
また、センサ制御部１１は、センサ部１０における撮像を制御するための撮像制御信号を生成する。センサ制御部１１は、例えば、後述する認識処理部１２および視認処理部１４からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部１０における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部１０が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１１は、生成した撮像制御信号をセンサ部１０に供給する。
光学部３０は、被写体からの光をセンサ部１０の受光面に照射させるためのもので、例えばセンサ部１０に対応する位置に配置される。光学部３０は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部３０は、受光面に光が照射される時間を調整するシャッタ機構（メカニカルシャッタ）をさらに含んでもよい。光学部３０が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部１１により制御するようにできる。これに限らず、光学部３０における絞りやフォーカスは、撮像装置１の外部から制御するようにもできる。また、光学部３０を撮像装置１と一体的に構成することも可能である。
認識処理部１２は、センサ制御部１１から渡された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、ＤＳＰ(Digital Signal Processor)が、教師データにより予め学習されメモリ１３に学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ(Deep Neural Network)を用いた認識処理を行う、機械学習部としての認識処理部１２が構成される。認識処理部１２は、認識処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。認識処理部１２による認識結果は、出力制御部１５に渡される。
視認処理部１４は、センサ制御部１１から渡された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ＩＳＰ(Image Signal Processor)が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部１４が構成される。
例えば、視認処理部１４は、センサ部１０に含まれる各画素にカラーフィルタが設けられ、画素データがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部１４は、視認処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。視認処理部１４により画素データが画像処理された画像データは、出力制御部１５に渡される。
出力制御部１５は、例えばマイクロプロセッサにより構成され、認識処理部１２から渡された認識結果と、視認処理部１４から視認処理結果として渡された画像データと、のうち一方または両方を、撮像装置１の外部に出力する。出力制御部１５は、画像データを、例えば表示デバイスを有する表示部３１に出力することができる。これにより、ユーザは、表示部３１により表示された画像データを視認することができる。なお、表示部３１は、撮像装置１に内蔵されるものでもよいし、撮像装置１の外部の構成であってもよい。
図２Ａおよび図２Ｂは、各実施形態に係る撮像装置１のハードウェア構成の例を示す模式図である。図２Ａは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される例である。なお、図２Ａにおいて、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
図２Ａに示す構成では、認識処理部１２による認識結果は、図示されない出力制御部１５を介してチップ２の外部に出力される。また、図２Ａの構成においては、認識処理部１２は、認識に用いるための画素データを、センサ制御部１１から、チップ２の内部のインタフェースを介して取得できる。
図２Ｂは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、視認処理部１４および出力制御部１５が搭載され、認識処理部１２およびメモリ１３（図示しない）がチップ２の外部に置かれた例である。図２Ｂにおいても、上述した図２Ａと同様に、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
この図２Ｂの構成においては、認識処理部１２は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図２Ｂでは、認識処理部１２による認識結果が、認識処理部１２から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図２Ｂの構成において、認識処理部１２は、認識結果をチップ２に戻し、チップ２に搭載される不図示の出力制御部１５から出力させるようにしてもよい。
図２Ａに示す構成は、認識処理部１２がセンサ制御部１１と共にチップ２に搭載され、認識処理部１２とセンサ制御部１１との間の通信を、チップ２の内部のインタフェースにより高速に実行できる。その一方で、図２Ａに示す構成では認識処理部１２の差し替えができず、認識処理の変更が難しい。これに対して、図２Ｂに示す構成は、認識処理部１２がチップ２の外部に設けられるため、認識処理部１２とセンサ制御部１１との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部１２とセンサ制御部１１との間の通信は、図２Ａの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部１２の差し替えが容易であり、多様な認識処理の実現が可能である。
以下、特に記載の無い限り、撮像装置１は、図２Ａの、１つのチップ２にセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される構成を採用するものとする。
上述した図２Ａに示す構成において、撮像装置１は、１つの基板上に形成することができる。これに限らず、撮像装置１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。
一例として、撮像装置１を半導体チップを２層に積層した２層構造により形成することができる。図３Ａは、各実施形態に係る撮像装置１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ａの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０ｂを形成している。画素部２０ａは、少なくともセンサ部１０における画素アレイを含む。メモリ＋ロジック部２０ｂは、例えば、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。メモリ＋ロジック部２０ｂは、さらに、センサ部１０における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ＋ロジック部２０ｂは、例えば視認処理部１４が画像データの処理のために用いるメモリをさらに含むことができる。
図３Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
別の例として、撮像装置１を、半導体チップを３層に積層した３層構造により形成することができる。図３Ｂは、各実施形態に係る撮像装置１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ｂの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ部２０ｃを形成し、第３層の半導体チップにロジック部２０ｂ’を形成している。この場合、ロジック部２０ｂ’は、例えば、センサ制御部１１、認識処理部１２、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。また、メモリ部２０ｃは、メモリ１３と、例えば視認処理部１４が画像データの処理のために用いるメモリを含むことができる。メモリ１３は、ロジック部２０ｂ’に含めてもよい。
図３Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
図４は、各実施形態に適用可能なセンサ部１０の一例の構成を示すブロック図である。図４において、センサ部１０は、画素アレイ部１０１と、垂直走査部１０２と、ＡＤ(Analog to Digital)変換部１０３と、画素信号線１０６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図４において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１１に含まれるものとすることもできる。
画素アレイ部１０１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１００を含む。画素アレイ部１０１において、複数の画素回路１００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１０１において、画素回路１００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１０１は、少なくとも１９２０個の画素回路１００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。
以下、センサ部１０においてフレームに含まれる各画素回路１００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１００から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
また、画素アレイ部１０１には、各画素回路１００の行および列に対し、行毎に画素信号線１０６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１０６の画素アレイ部１０１と接続されない端部は、垂直走査部１０２に接続される。垂直走査部１０２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０６を介して画素アレイ部１０１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１０１と接続されない端部は、ＡＤ変換部１０３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１０３に伝送される。
画素回路１００からの画素信号の読み出し制御について、概略的に説明する。画素回路１００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
より具体的には、画素回路１００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１０６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１０６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１０６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。
ＡＤ変換部１０３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１０７と、参照信号生成部１０４と、水平走査部１０５と、を含む。ＡＤ変換器１０７は、画素アレイ部１０１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１０７は、垂直信号線ＶＳＬを介して画素回路１００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ部１０の外部に出力される。
参照信号生成部１０４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１０７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０４は、生成したランプ信号を、各ＡＤ変換器１０７に供給する。参照信号生成部１０４は、例えばＤＡＣ(Digital to Analog Converter)などを用いて構成される。
参照信号生成部１０４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１０７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたディジタル信号による画素信号は、センサ部１０の外部に出力される。
水平走査部１０５は、制御部１１００の制御の下、各ＡＤ変換器１０７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１０７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１０５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５などの駆動制御を行う。制御部１１００は、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０２が画素信号線１０６を介して各画素回路１００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１０２に供給する。
また、制御部１１００は、例えば、センサ制御部１１から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１０３に渡す。ＡＤ変換部１０３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１０３に含まれる各ＡＤ変換器１０７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。
垂直走査部１０２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１０１の選択された画素行の画素信号線１０６に駆動パルスを含む各種信号を、ライン毎に各画素回路１００に供給し、各画素回路１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１０２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１０２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１００における露出を制御する。
このように構成されたセンサ部１０は、ＡＤ変換器１０７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサである。
［２．本開示に適用可能な既存技術の例］
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
（２−１．ローリングシャッタの概要）
画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図５Ａ、図５Ｂおよび図５Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図５Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。
なお、上述では、「撮像」を、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部１１に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部１０１において、画素信号を生成するために有効な画素回路１００が配置される領域を指す。
例えば、図４の構成において、１つのラインに含まれる各画素回路１００において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路１００において一斉に、各画素回路１００に対応する各垂直信号線ＶＳＬを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
図５Ｂは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図５Ｂにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図５Ｂに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合、図５Ｃに例示されるように、撮像されたフレーム２００の画像に歪みが生じる。図５Ｃの例では、フレーム２００に対応する画像２０２が、撮像装置１と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図６Ａ、図６Ｂおよび図６Ｃは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図６Ａに示されるように、上述した図５Ａの例と同様に、フレーム２００の上端のライン２０１からフレーム２００の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
ここでは、説明のため、１ライン間引きにより１ラインおきに撮像を行うものとする。すなわち、第ｎラインの撮像の次は第（ｎ＋２）ラインの撮像を行う。このとき、第ｎラインの撮像から第（ｎ＋２）ラインの撮像までの時間が、間引きを行わない場合の、第ｎラインの撮像から第（ｎ＋１）ラインの撮像までの時間と等しいものとする。
図６Ｂは、ローリングシャッタ方式において１ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図６Ｂにおいて、縦軸はライン位置、横軸は時間を示す。図６Ｂにおいて、露出Ａは、間引きを行わない図５Ｂの露出と対応し、露出Ｂは、１ライン間引きを行った場合の露出を示している。露出Ｂに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図６Ｃに画像２０３として例示されるように、撮像されたフレーム２００の画像に生ずる傾き方向の歪が、図５Ｃに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
上述では、ローリングシャッタ方式においてフレーム２００の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図７Ａおよび図７Ｂは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図７Ａに示されるように、ローリングシャッタ方式において、フレーム２００の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム２００の上端から下端に向けてライン順次に撮像した場合に比べ、画像２０２の歪の水平方向の向きが逆となる。
また、例えば画素信号を転送する垂直信号線ＶＳＬの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線ＶＳＬと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム２００の上端および下端以外とすることも可能である。図７Ｂは、幅および高さがフレーム２００の幅および高さにそれぞれ満たない矩形の領域２０５を撮像の範囲とした例を模式的に示している。図７Ｂの例では、領域２０５の上端のライン２０４からライン順次で領域２０５の下端に向けて撮像を行っている。
（２−２．グローバルシャッタの概要）
次に、画素アレイ部１０１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図８Ａ、図８Ｂおよび図８Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図８Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。
図４の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路１００において光電変換素子とＦＤとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第１のスイッチを、当該キャパシタと浮遊拡散層との間に第２のスイッチをそれぞれ設け、これら第１および第２のスイッチそれぞれの開閉を、画素信号線１０６を介して供給されるパルスにより制御する構成とする。
このような構成において、露出期間中は、フレーム２００に含まれる全画素回路１００において、第１および第２のスイッチをそれぞれ開、露出終了で第１のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム２００に含まれる全画素回路１００において同時の露出が可能となる。
図８Ｂは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図８Ｂにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００において同時に露出が行われるため、図８Ｂに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合であっても、図８Ｃに例示されるように、撮像されたフレーム２００の画像２０６には、当該変化に応じた歪が生じない。
グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線１０６により供給する各パルスのタイミングと、各垂直信号線ＶＳＬによる転送のタイミングとを制御することで、様々なパターンでのサンプリング（画素信号の読み出し）を実現できる。
図９Ａおよび図９Ｂは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図９Ａは、フレーム２００に含まれる、行列状に配列された各画素回路１００から、画素信号を読み出すサンプル２０８を市松模様状に抽出する例である。また、図９Ｂは、当該各画素回路１００から、画素信号を読み出すサンプル２０８を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
（２−３．ＤＮＮについて）
次に、各実施形態に適用可能なＤＮＮ(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、ＤＮＮのうち、ＣＮＮ(Convolutional Neural Network)と、ＲＮＮ(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
（２−３−１．ＣＮＮの概要）
先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図１０は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。
これに対して、ライン毎の画像に基づきＣＮＮによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図１１は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図１１において、画像５０’は、認識対象のオブジェクトである数字の「８」を、ライン単位で部分的に取得したものである。この画像５０’の画素情報５１’を形成する例えばライン毎の画素情報５４ａ、５４ｂおよび５４ｃに対して順次、所定に学習されたＣＮＮ５２’による処理を施す。
例えば、第１ライン目の画素情報５４ａに対するＣＮＮ５２’による認識処理で得られた認識結果５３ａは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。ＣＮＮ５２’は、この認識結果５３ａに基づき内部状態の更新５５を行う。次に、第２ライン目の画素情報５４ｂに対して、前回の認識結果５３ａにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が「８」または「９」の何れかであることを示す認識結果５３ｂが得られている。さらに、この認識結果５３ｂに基づき、ＣＮＮ５２’の内部情報の更新５５を行う。次に、第３ライン目の画素情報５４ｃに対して、前回の認識結果５３ｂにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が、「８」または「９」のうち「８」に絞り込まれる。
ここで、この図１１に示した認識処理は、前回の認識処理の結果を用いてＣＮＮの内部状態を更新し、この内部状態が更新されたＣＮＮにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図１１に示した認識処理は、画像に対してライン順次に、ＣＮＮの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図１１に示す認識処理は、ライン順次に再帰的に実行される処理であり、ＲＮＮに相当する構造を有していると考えることができる。
（２−３−２．ＲＮＮの概要）
次に、ＲＮＮについて、概略的に説明する。図１２Ａおよび図１２Ｂは、時系列の情報を用いない場合の、ＤＮＮによる識別処理（認識処理）の例を概略的に示す図である。この場合、図１２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
図１２Ｂは、図１２Ａの処理をより詳細に説明するための図である。図１２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、識別処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、ＤＮＮにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。
図１３Ａおよび図１３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。この図１３Ａおよび図１３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図１３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ−１の画像［Ｔ−１］と、時間Ｔ−１より前の時間Ｔ−２の画像［Ｔ−２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
図１３Ｂは、図１３Ａの処理をより詳細に説明するための図である。図１３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ−１］および［Ｔ−２］それぞれに対して、上述の図１２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ−１］および［Ｔ−２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
この図１３Ａおよび図１３Ｂの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、ＤＮＮの構成が大規模になってしまうおそれがある。
図１４Ａおよび図１４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。図１４Ａの例では、内部状態が時間Ｔ−１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける識別結果［Ｔ］を得ている。
図１４Ｂは、図１４Ａの処理をより詳細に説明するための図である。図１４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図１２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。
この図１４Ａおよび図１４Ｂに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ(Recurrent Neural Network)と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。
本開示では、ＲＮＮをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、ＲＮＮに適用させる。これにより、ＣＮＮを用いた場合（図１３Ｂ参照）と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、ＲＮＮをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。
（２−４．駆動速度について）
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１５Ａおよび図１５Ｂを用いて説明する。図１５Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ(frame per second)］での出力が可能となる。
次に、ラインを間引いて撮像を行うことを考える。例えば、図１５Ｂに示すように、１ラインずつ読み飛ばして撮像を行う、１／２間引き読み出しにて撮像を行うものとする。１／２間引きの第１の例として、上述と同様に１４４００［ライン／秒］の駆動速度で駆動する場合、画像から読み出すライン数が１／２になるため、解像度は低下するが、間引きを行わない場合の倍の速度の６０［ｆｐｓ］での出力が可能となり、フレームレートを向上できる。１／２間引きの第２の例として、駆動速度を第１の例の半分の７２００［ｆｐｓ］として駆動する場合、フレームレートは間引かない場合と同様に３０［ｆｐｓ］となるが、省電力化が可能となる。
画像のラインを読み出す際に、間引きを行わないか、間引きを行い駆動速度を上げるか、間引きを行い駆動速度を間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
［３．本開示の概要］
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図１６は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図１６において、ステップＳ１で、各実施形態に係る撮像装置１（図１参照）により、認識対象となる対象画像の撮像を開始する。
なお、対象画像は、例えば手書きで数字の「８」を描画した画像であるものとする。また、メモリ１３には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、撮像装置１は、ローリングシャッタ方式により撮像を行うものとする。なお、撮像装置１がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。
撮像が開始されると、撮像装置１は、ステップＳ２で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。例えば、数字「８」および「９」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「８」および「９」の何れかであると識別できる。
ここで、ステップＳ４ａに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップＳ２で数字の「８」または「９」の何れかとして識別されたオブジェクトが数字の「８」であることが確定される。
一方、ステップＳ４ｂおよびステップＳ４ｃは、本開示に関連する処理となる。
ステップＳ４ｂに示されるように、ステップＳ３で読み出しを行ったライン位置からさらにラインを読み進め、数字「８」の下端に達する途中でも、認識されたオブジェクトが数字の「８」であると識別することが可能である。例えば、数字「８」の下半分と、数字「９」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップＳ３で認識されたオブジェクトが数字の「８」および「９」の何れであるかが識別可能となる。図１６の例では、ステップＳ４ｂにおいて、当該オブジェクトが数字の「８」であると確定されている。
また、ステップＳ４ｃに示されるように、ステップＳ３のライン位置から、ステップＳ３の状態においてさらに読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。
ここで、上述したステップＳ４ｂまたはステップＳ４ｃでオブジェクトが確定された場合、撮像装置１は、認識処理を終了させることができる。これにより、撮像装置１における認識処理の短時間化および省電力化を実現することが可能となる。
なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として物体クラス（人体／車両／非物体）や物体の座標（ｘ，ｙ，ｈ，ｗ）などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。
［４．第１の実施形態］
次に、本開示の第１の実施形態について説明する。
（４−１．認識処理部による動作例）
第１の実施形態に係る撮像装置１において、認識処理部１２は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ１３に記憶されるプログラムを読み出して実行することで、ＤＮＮを利用した認識器として機能する。
図１７は、第１の実施形態に係る認識処理部１２による認識処理を示す一例のフローチャートである。図１７において、ステップＳ１２１で、撮像装置１において、認識処理部１２を構成するＤＳＰは、メモリ１３から学習モデルを読み出して実行する。これにより、当該ＤＳＰが認識処理部１２として機能する。
次に、ステップＳ１２２で、撮像装置１において認識処理部１２は、センサ制御部１１に対してセンサ部１０からのフレーム読み出しを開始するように指示する。このフレーム読出しでは、例えば、１フレーム分の画像データがライン単位（行単位ともいう）で順次読み出される。認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたか否かを判定する。
認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたと判定すると（ステップＳ１２３、「ＹＥＳ」）、処理をステップＳ１２４に移行させる。ステップＳ１２４で、認識処理部１２は、読み出された所定ライン数分の画像データに対して、ＣＮＮを利用した機械学習処理としての認識処理を実行する。すなわち、認識処理部１２は、所定ライン数の画像データを単位領域として、学習モデルを用いた機械学習処理を実行する。また、ＣＮＮを利用した機械学習処理では、例えば、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き（動物体）検出、ペット検出、シーン認識、状態検出、回避対象物認識、などの認識処理や検出処理が実行される。
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き（動物体）検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン（海や山等）を認識する処理である。状態検出とは、画像データに含まれる人物等の状態（通常の状態か異常の状態か等）を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。認識処理部１２により実行される機械学習処理は、これらの例に限定されない。
ステップＳ１２５で、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理が成功したか否かを判定する。認識処理部１２は、ＣＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２５、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。一方、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２５、「ＮＯ」）、処理をステップＳ１２６に移行させる。ステップＳ１２６で、認識処理部１２は、センサ制御部１１から次の所定ライン数の画像データが読み出されるのを待機する（ステップＳ１２６、「ＮＯ」）。
なお、本説明において、機械学習処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、機械学習処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
次に、ステップＳ１２６において、次の所定ライン数の画像データ（単位領域）が読み出されると（ステップＳ１２６、「ＹＥＳ」）、認識処理部１２は、ステップＳ１２７で、読み出された所定ライン数の画像データに対して、ＲＮＮを利用した機械学習処理を実行する。ＲＮＮを利用した機械学習処理では、例えば、同一フレームの画像データに対してこれまでに実行したＣＮＮまたはＲＮＮを利用した機械学習処理の結果も利用される。
ステップＳ１２８で、認識処理部１２は、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２８、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。
ステップＳ１２９で、認識処理部１２は、ステップＳ１２４またはステップＳ１２７で成功した機械学習結果が、例えば、認識処理部１２から出力制御部１５に供給される。このステップＳ１２９で出力される機械学習結果は、例えば認識処理部１２による有効な認識結果である。認識処理部１２は、当該機械学習結果をメモリ１３に格納してもよい。
また、認識処理部１２は、ステップＳ１２８で、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２８、「ＮＯ」）、処理をステップＳ１３０に移行させる。ステップＳ１３０で、認識処理部１２は、１フレーム分の画像データの読出しが完了したか否かを判定する。認識処理部１２は、１フレーム分の画像データの読出しが完了していないと判定した場合（ステップＳ１３０、「ＮＯ」）、処理をステップＳ１２６に戻し、次の所定ライン数の画像データに対する処理が実行される。
一方、認識処理部１２は、ステップＳ１３０で１フレーム分の画像データの読出しが完了していると判定した場合（ステップＳ１３０、「ＹＥＳ」）、例えば、認識処理部１２は、ステップＳ１３１で、この図１７のフローチャートによる一連の処理を終了するか否かを判定する。認識処理部１２は、終了しないと判定した場合（ステップＳ１３１、「ＮＯ」）、処理をステップＳ１２２に戻し、次のフレームに対して同様の動作を実行する。また、認識処理部１２は、終了すると判定した場合（ステップＳ１３１、「ＹＥＳ」）、この図１７のフローチャートによる一連の処理を終了させる。
なお、ステップＳ１３１による次のフレームへ移行するか否かの判定は、例えば、撮像装置１の外部から終了の指示が入力されたか否かに基づいて行ってもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて行ってもよい。
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やシーン認識や状態検出等の機械学習処理を連続して行なう場合、直前の機械学習処理に失敗している場合には、次の機械学習処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
（４−２．認識処理部による動作の具体例）
次に、図１７を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、ＤＮＮを利用して顔検出を実行する場合を例示する。
図１８は、１フレーム分の画像データの一例を示す図である。図１９は、第１の実施形態に係る認識処理部１２が実行する機械学習処理の流れを説明するための図である。
図１８に示すような画像データに対して機械学習により顔検出を実行する場合、図１９のセクション（ａ）に示すように、認識処理部１２には、まず、所定ライン数分の画像データが入力される（図１７のステップＳ１２３に相当）。認識処理部１２は、入力された所定ライン数分の画像データに対してＣＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２４に相当）。ただし、図１９のセクション（ａ）の段階では、未だ顔全体の画像データが入力されていないため、認識処理部１２は、顔検出に失敗する（図１７のステップＳ１２５の「ＮＯ」に相当）。
つづいて、図１９のセクション（ｂ）に示すように、認識処理部１２には、次の所定ライン数分の画像データが入力される（図１７のステップＳ１２６に相当）。認識処理部１２は、図１９のセクション（ａ）で入力された所定ライン数分の画像データに対して実行したＣＮＮを利用した機械学習処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してＲＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２７に相当）。
図１９のセクション（ｂ）の段階では、図１９のセクション（ａ）の段階で入力された所定ライン数分の画素データと合せて、顔全体の画像データが入力されている。したがって、図１９のセクション（ｂ）の段階において、認識処理部１２は、顔検出に成功する（図１７のステップＳ１２８の「ＹＥＳ」に相当）。すると、本動作では、次以降の画像データ（図１９セクション（ｃ）〜（ｆ）の画像データ）が読み出されることなく、顔検出の結果が出力される（図１７のステップＳ１２９に相当）。
このように、所定ライン数ずつの画像データに対してＤＮＮを利用した機械学習処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや機械学習処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮および消費電力の低減を実現することが可能となる。
なお、所定ライン数は、学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は１ラインである。
また、センサ制御部１１によりセンサ部１０から読み出される画像データは、列方向および行方向のうち少なくとも一方に間引かれた画像データであってもよい。その場合、例えば、列方向に１行置きに画像データを読み出す場合には、２（Ｎ−１）（Ｎは１以上の整数）ライン目の画像データが読み出される。
また、学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、１×１画素や５×５画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、認識処理部１２が機械学習処理を実行する単位領域の画像データとして、認識処理部１２に入力されてもよい。
さらに、上述では、ＤＮＮの例としてＣＮＮとＲＮＮとを例示したが、これらに限定されず、他の学習モデルを利用することも可能である。
（４−３．第１の実施形態の応用例）
次に、第１の実施形態の応用例について説明する。ここでは、第１の実施形態の応用例として、例えば図１７のフローチャートのステップＳ１２４でのＣＮＮによる機械学習処理の結果や、ステップＳ１２７でのＲＮＮによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図２０Ａおよび図２０Ｂは、第１の実施形態の応用例について説明するための模式図である。
図２０Ａのセクション（ａ）は、露出オーバーの画像６０ａの例を示す模式図である。画像６０ａは、露出オーバーのため、画像６０ａが全体的に白っぽくなり、例えば画像６０ａに含まれるオブジェクトとしてのモニタ６２は、画面内が所謂白飛びしており人の目には細部の判別が困難となっている。一方、画像６０ａに含まれるオブジェクトとしての人６１は、露出オーバーのため若干白っぽくなっているが、モニタ６２と比較すると、人の目には識別が容易に見える。
図２０Ａのセクション（ｂ）は、露出アンダーの画像６０ｂの例を示す模式図である。画像６０ｂは、露出アンダーのため、画像６０ｂが全体的に黒っぽくなり、例えば画像６０ａでは見えていた人６１が人の目に識別困難となってしまっている。一方、画像６０ｂに含まれるモニタ６２は、画像６０ａと比較して、人の目には細部まで詳細に識別可能となっている。
図２０Ｂは、第１の実施形態の応用例に係る読み出し方法を説明するための模式図である。図２０Ｂのセクション（ａ）および（ｂ）では、上述した図１７のフローチャートのステップＳ１２２において、フレーム読み出しを露出アンダーの状態で開始する場合について示されている。
図２０Ｂのセクション（ａ）は、第１の実施形態の応用例における第１の例による読み出し方法を示している。図２０Ｂのセクション（ａ）の画像６０ｃにおいて、例えばフレームの先頭のラインＬ＃１のステップＳ１２４によるＣＮＮを利用した認識処理が失敗、あるいは、認識結果の信頼度を示すスコアが所定以下であったものとする。この場合、認識処理部１２は、ステップＳ１２６で読み出すラインＬ＃２の露出を、認識処理に適した露出に設定（この場合、露出量を多く設定）するように、センサ制御部１１に指示する。なお、図２０Ｂにおいて、ラインＬ＃１、Ｌ＃２、…は、それぞれ１本のラインであってもよいし、互いに隣接する複数ラインであってもよい。
図２０Ｂのセクション（ａ）の例では、ラインＬ＃２の露出量をラインＬ＃１の露出量より多くしている。その結果、ラインＬ＃２が露出オーバーになり、例えばステップＳ１２７によるＲＮＮを利用した認識処理が失敗あるいはスコアが所定以下であったものとする。認識処理部１２は、ステップＳ１３０からステップＳ１２６に処理が戻されて読み出されるラインＬ＃３の露出量をラインＬ＃２の露出量よりも少なく設定するように、センサ制御部１１に指示する。ラインＬ＃４、…、Ｌ＃ｍ、…についても、同様に、認識処理の結果に応じて次のラインの露出量を順次に設定していく。
このように、あるラインの認識結果に基づき次に読み出しを行うラインの露出量を調整することで、より高精度に認識処理を実行することが可能となる。
また、上述の応用例のさらなる応用として、図２０Ｂのセクション（ｂ）に示されるように、所定のラインまで読み出した時点で露出を再設定し、再びフレームの先頭のラインから読み出しを実行する方法も考えられる。図２０Ｂのセクション（ｂ）に示されるように、認識処理部１２は、上述したセクション（ａ）と同様にして、フレームの先頭のラインＬ＃１から例えばラインＬ＃ｍまで読み出しを行い（１ｓｔ）、その認識結果に基づき露出を再設定する。認識処理部１２は、再設定された露出に基づき再びフレームの各ラインＬ＃１、Ｌ＃２、…の読み出しを行う（２ｎｄ）。
このように、所定数のラインの読み出しを行った結果に基づき露出を再設定し、再設定された露出に基づき再びフレームの先頭からラインＬ＃１、Ｌ＃２、…を読み直すことで、さらに高精度に認識処理を実行することが可能となる。
［５．第２の実施形態］
（５−０−１．第２の実施形態に係る構成例）
次に、本開示の第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態による認識処理を拡張したものである。図２１は、第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図２１において、図１に示される光学部３０、センサ部１０、メモリ１３および表示部３１は、省略されている。また、図２１において、図１の構成に対してトリガ生成部１６が追加されている。
図２１において、センサ制御部１１は、読出部１１０と読出制御部１１１とを含む。認識処理部１２は、特徴量計算部１２０と、特徴量蓄積制御部１２１と、読出決定部１２３と、認識処理実行部１２４と、を含み、特徴量蓄積制御部１２１は、特徴量蓄積部１２２を含む。また、視認処理部１４は、画像データ蓄積制御部１４０と、読出決定部１４２と、画像処理部１４３と、を含み、画像データ蓄積制御部１４０は、画像データ蓄積部１４１を含む。
センサ制御部１１において、読出制御部１１１は、認識処理部１２に含まれる読出決定部１２３から、認識処理部１２において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、１または複数のラインのライン番号である。これに限らず、読出領域情報は、１つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、１以上のライン番号と、ライン内の１以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。
同様に、読出制御部１１１は、視認処理部１４に含まれる読出決定部１４２から、視認処理部１４において読み出しを行う読出領域を示す読出領域情報を受け取る。
読出制御部１１１は、これら読出決定部１２３および１４２に基づき、実際に読み出しを行う読出領域を示す読出領域情報を読出部１１０に渡す。例えば、読出制御部１１１は、読出決定部１２３から受け取った読出領域情報と、読出決定部１４２から受け取った読出領域情報と、にコンフリクトが生じている場合、調停を行い読出部１１０に渡す読出領域情報を調整することができる。
また、読出制御部１１１は、読出決定部１２３、あるいは、読出決定部１４２から露出やアナログゲインを示す情報を受け取ることができる。読出制御部１１１は、受け取った露出やアナログゲインを示す情報を、読出部１１０に渡す。
読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。例えば、読出部１１０は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部１０に渡す。読出部１１０は、センサ部１０から取得した各画素データを、読出領域情報と共に、認識処理部１２および視認処理部１４に渡す。
また、読出部１１０は、読出制御部１１１から受け取った露出やアナログゲインを示す情報に従い、センサ部１０に対して露出やアナログゲイン（ＡＧ）を設定する。さらに、読出部１１０は、垂直同期信号および水平同期信号を生成し、センサ部１０に供給することができる。
認識処理部１２において、読出決定部１２３は、特徴量蓄積制御部１２１から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１２３は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
ここで、読出決定部１２３は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、１つ以上の画素の集合であり、認識処理部１２や視認処理部１４による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号［Ｌ＃ｘ］が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、当該矩形領域の画素アレイ部１０１における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出決定部１２３は、適用される読出単位が予め指定される。これに限らず、読出決定部１２３は、例えば読出決定部１２３の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出決定部１２３は、読出単位を制御する読出単位制御部として機能する。
なお、読出決定部１２３は、後述する認識処理実行部１２４から渡される認識情報に基づき次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。
同様に、視認処理部１４において、読出決定部１４２は、例えば画像データ蓄積制御部１４０から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１４２は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
認識処理部１２において、特徴量計算部１２０は、読出部１１０から渡された画素データおよび読出領域情報に基づき、当該読出領域情報に示される領域における特徴量を算出する。特徴量計算部１２０は、算出した特徴量を、特徴量蓄積制御部１２１に渡す。
特徴量計算部１２０は、後述するように、読出部１１０から渡された画素データと、特徴量蓄積制御部１２１から渡された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部１２０は、例えば読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。
認識処理部１２において、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量を、特徴量蓄積部１２２に蓄積する。また、特徴量蓄積制御部１２１は、特徴量計算部１２０から特徴量が渡されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１２３に渡す。
ここで、特徴量蓄積制御部１２１は、既に蓄積された特徴量と、新たに渡された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部１２１は、特徴量蓄積部１２２に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部１２１は、必要に応じて特徴量蓄積部１２２に蓄積された全ての特徴量を削除して初期化することもできる。
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量と、特徴量蓄積部１２２に蓄積される特徴量と、に基づき認識処理実行部１２４が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部１２１は、生成した特徴量を認識処理実行部１２４に渡す。
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量に基づき認識処理を実行する。認識処理実行部１２４は、認識処理により物体検出、顔検出などを行う。認識処理実行部１２４は、認識処理により得られた認識結果を出力制御部１５に渡す。認識処理実行部１２４は、認識処理により生成される認識結果を含む認識情報を読出決定部１２３に渡すこともできる。なお、認識処理実行部１２４は、例えばトリガ生成部１６により生成されたトリガを切掛に特徴量蓄積制御部１２１から特徴量を受け取って認識処理を実行することができる。
一方、視認処理部１４において、画像データ蓄積制御部１４０は、読出部１１０から、読出領域から読み出された画素データと、当該画像データに対応する読出領域情報と、を受けとる。画像データ蓄積制御部１４０は、これら画素データおよび読出領域情報と、を関連付けて画像データ蓄積部１４１に蓄積する。
画像データ蓄積制御部１４０は、読出部１１０から渡された画素データと、画像データ蓄積部１４１に蓄積された画像データと、に基づき、画像処理部１４３が画像処理を行うための画像データを生成する。画像データ蓄積制御部１４０は、生成した画像データを画像処理部１４３に渡す。これに限らず、画像データ蓄積制御部１４０は、読出部１１０から渡された画素データを、そのまま画像処理部１４３に渡すこともできる。
また、画像データ蓄積制御部１４０は、読出部１１０から渡された読出領域情報に基づき、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１４２に渡す。
ここで、画像データ蓄積制御部１４０は、既に蓄積された画像データと、新たに渡された画素データとを、例えば加算平均などにより統合して蓄積することができる。また、画像データ蓄積制御部１４０は、画像データ蓄積部１４１に蓄積された画像データのうち、不要になった画像データを削除することができる。不要になった画像データは、例えば前フレームに係る画像データや、新たな画像データが算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された画像データなどが考えられる。また、画像データ蓄積制御部１４０は、必要に応じて画像データ蓄積部１４１に蓄積された全ての画像データを削除して初期化することもできる。
さらに、画像データ蓄積制御部１４０は、読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報を用いて補正した画像データを、画像データ蓄積部１４１に蓄積することもできる。
画像処理部１４３は、画像データ蓄積制御部１４０から渡された画像データに対して所定の画像処理を施す。例えば、画像処理部１４３は、当該画像データに対して所定の高画質化処理を施すことができる。また、渡された画像データがライン間引きなどにより空間的にデータが削減された画像データである場合、補間処理により間引きされた部分に画像情報を補填することも可能である。画像処理部１４３は、画像処理を施した画像データを出力制御部１５に渡す。
なお、画像処理部１４３は、例えばトリガ生成部１６により生成されたトリガを切掛に画像データ蓄積制御部１４０から画像データを受け取って画像処理を実行することができる。
出力制御部１５は、認識処理実行部１２４から渡された認識結果と、画像処理部１４３から渡された画像データと、のうち一方または両方を出力する。出力制御部１５は、例えばトリガ生成部１６により生成されたトリガに応じて、認識結果および画像データのうち一方または両方を出力する。
トリガ生成部１６は、認識処理部１２から渡される認識処理に係る情報と、視認処理部１４から渡される画像処理に係る情報とに基づき、認識処理実行部１２４に渡すトリガと、画像処理部１４３に渡すトリガと、出力制御部１５に渡すトリガと、を生成する。トリガ生成部１６は、生成した各トリガを、それぞれ所定のタイミングで認識処理実行部１２４と、画像処理部１４３と、出力制御部１５と、に渡す。
（５−０−２．第２の実施形態に係る認識処理部における処理の例）
図２２は、第２の実施形態に係る認識処理部１２における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部１１０が、画像６０のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部１１０にライン単位で読み出されたラインＬ＃ｘのライン画像データ（ラインデータ）が特徴量計算部１２０に入力される。
特徴量計算部１２０では、特徴量抽出処理１２００と、統合処理１２０２とが実行される。特徴量計算部１２０は、入力されたラインデータに対して特徴量抽出処理１２００を施して、ラインデータから特徴量１２０１を抽出する。ここで、特徴量抽出処理１２００は、予め学習により求めたパラメータに基づき、ラインデータから特徴量１２０１を抽出する。特徴量抽出処理１２００により抽出された特徴量１２０１は、統合処理１２０２により、特徴量蓄積制御部１２１により処理された特徴量１２１２と統合される。統合された特徴量１２１０は、特徴量蓄積制御部１２１に渡される。
特徴量蓄積制御部１２１では、内部状態更新処理１２１１が実行される。特徴量蓄積制御部１２１に渡された特徴量１２１０は、認識処理実行部１２４に渡される共に、内部状態更新処理１２１１を施される。内部状態更新処理１２１１は、予め学習されたパラメータに基づき特徴量１２１０を削減してＤＮＮの内部状態を更新し、更新された内部状態に係る特徴量１２１２を生成する。この特徴量１２１２が統合処理１２０２により特徴量１２０１と統合される。この特徴量蓄積制御部１２１による処理が、ＲＮＮを利用した処理に相当する。
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量１２１０に対して、例えば所定の教師データを用いて予め学習されたパラメータに基づき認識処理１２４０を実行し、認識結果を出力する。
上述したように、第２の実施形態に係る認識処理部１２では、特徴量抽出処理１２００と、統合処理１２０２と、内部状態更新処理１２１１と、認識処理１２４０と、において、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される認識対象に基づく教師データを用いて行われる。
なお、上述した特徴量計算部１２０、特徴量蓄積制御部１２１、読出決定部１２３および認識処理実行部１２４の機能は、例えば、撮像装置１が備えるＤＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。同様に、上述した画像データ蓄積制御部１４０、読出決定部１４２および画像処理部１４３の機能は、例えば、撮像装置１が備えるＩＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。これらのプログラムは、予めメモリ１３に記憶されていてもよいし、外部から撮像装置１に供給してメモリ１３に書き込んでもよい。
（５−０−３．第２の実施形態に係る認識処理の詳細）
次に、第２の実施形態についてより詳細に説明する。図２３は、第２の実施形態に係る機能を説明するための一例の機能ブロック図である。第２の実施形態では、認識処理部１２による認識処理が主となるので、図２３では、上述した図２１の構成に対して、視認処理部１４、出力制御部１５およびトリガ生成部１６を省略している。また、図２３では、センサ制御部１１において、読出制御部１１１が省略されている。
図２４は、第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。第２の実施形態では、読出単位がラインとされ、フレームＦｒ（ｘ）に対してライン順次で画素データの読み出しが行われる。図２４の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の上端のラインＬ＃１からライン順次でラインＬ＃２、Ｌ＃３、…とラインの読み出しが行われる。フレームＦｒ（ｍ）におけるライン読み出しが完了すると、次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）において、同様にして上端のラインＬ＃１からライン順次でラインの読み出しが行われる。
図２５は、第２の実施形態に係る認識処理を概略的に示す模式図である。図２５に示されるように、認識処理は、ＣＮＮ５２’による処理および内部情報の更新５５を、各ラインＬ＃１、Ｌ＃２、Ｌ＃３…の画素情報５４それぞれに対して順次に実行することで行われる。そのため、ＣＮＮ５２’には１ライン分の画素情報５４を入力すればよく、認識器５６を極めて小規模に構成することが可能である。なお、認識器５６は、順次に入力される情報に対してＣＮＮ５２’による処理を実行し内部情報の更新５５を行うことから、ＲＮＮとしての構成を有する。
ライン順次の認識処理を、ＲＮＮを用いて行うことで、フレームに含まれる全てのラインを読み出さなくても、有効な認識結果が得られる場合がある。この場合、認識処理部１２は、有効な認識結果が得られた時点で、認識処理を終了させることができる。図２６および図２７を用いて、フレーム読み出しの途中で認識処理を終了させる例について説明する。
図２６は、認識対象が数字の「８」である場合の例を示す図である。図２６の例では、フレーム７０において、垂直方向の３／４程度の範囲７１が読み出された時点で数字「８」が認識されている。したがって、認識処理部１２は、この範囲７１が読み出された時点で数字の「８」が認識された旨を示す有効な認識結果を出力し、フレーム７０に対するライン読み出しおよび認識処理を終了させることができる。
図２７は、認識対象が人である場合の例を示す図である。図２７の例では、フレーム７２において、垂直方向の１／２程度の範囲７３が読み出された時点で、人７４が認識されている。したがって、認識処理部１２は、この範囲７３が読み出された時点で人７４が認識された旨を示す有効な認識結果を出力し、フレーム７２に対するライン読み出しおよび認識処理を終了させることができる。
このように、第２の実施形態では、フレームに対するライン読み出しの途中で有効な認識結果が得られた場合に、ライン読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
上述では、ライン読み出しをフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、ライン読み出しをフレームの下端側から上端側へ向けて行ってもよい。すなわち、撮像装置１に対して遠方にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの上端側から下端側に向けて行うことで、より早期に認識することが可能である。一方、撮像装置１に対して手前側にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの下端側から上端側に向けて行うことで、より早期に認識することが可能である。
例えば、当該撮像装置１を車載用として前方を撮像するように設置することを考える。この場合、手前の物体（例えば自車の前方の車両や歩行者）は、撮像される画面の下の部分に存在するため、ライン読み出しをフレームの下端側から上端側に向けて行うと、より効果的である。また、ＡＤＡＳ(Advanced driver-assistance systems)において即時停止が必要な場合は、該当する物体が少なくとも１つ認識されればよく、１つの物体が認識された場合に、再びフレームの下端側からライン読み出しを実行することが、より効果的であると考えられる。さらに、例えば高速道路などでは、遠方の物体が優先される場合がある。この場合には、フレームの上端側から下端側に向けてライン読み出しを実行することが好ましい。
さらに、読出単位を、画素アレイ部１０１における行列方向のうち列方向としてもよい。例えば、画素アレイ部１０１において１列に並ぶ複数の画素を、読出単位とすることが考えられる。撮像方式としてグローバルシャッタ方式を適用することで、列を読出単位とする列読み出しが可能である。グローバルシャッタ方式では、列読み出しとライン読み出しとを切り替えて実行することが可能である。読み出しを列読み出しに固定的とする場合、例えば画素アレイ部１０１を９０°回転させ、ローリングシャッタ方式を用いることが考えられる。
例えば、撮像装置１に対して左側にある物体のオブジェクトは、列読み出しによりフレームの左端側から順次に読み出しを行うことで、より早期に認識することが可能である。同様に、撮像装置１に対して右側にある物体のオブジェクトは、列読み出しによりフレームの右端側から順次に読み出しを行うことで、より早期に認識することが可能である。
当該撮像装置１を車載用として用いる例では、例えば車両が旋回している際には、旋回側にある物体のオブジェクトが優先される場合がある。このような場合、旋回側の端から列読み出しにより読み出しを行うことが好ましい。旋回方向は、例えば車両のステアリング情報に基づき取得することができる。これに限らず、例えば撮像装置１に対して３方向の角速度を検知可能なセンサを設け、このセンサの検知結果に基づき旋回方向を取得することが可能である。
図２８は、第２の実施形態に係る認識処理を示す一例のフローチャートである。この図２８のフローチャートによる処理は、例えばフレームからの読出単位（例えば１ライン）の画素データの読み出しに対応する処理である。ここでは、読出単位がラインであるものとして説明を行う。例えば、読出領域情報は、読出を行うラインを示すライン番号を用いることができる。
ステップＳ１００で、認識処理部１２は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。より具体的には、認識処理部１２において読出決定部１２３は、次に読み出しを行うラインのライン番号をセンサ制御部１１に渡す。センサ制御部１１において、読出部１１０は、渡されたライン番号に従い、センサ部１０から、当該ライン番号に示されるラインの画素データをラインデータとして読み出す。読出部１１０は、センサ部１０から読み出したラインデータを特徴量計算部１２０に渡す。また、読出部１１０は、画素データの読み出しを行った領域を示す読出領域情報（例えばライン番号）を、特徴量計算部１２０に渡す。
次のステップＳ１０１で、特徴量計算部１２０は、読出部１１０から渡された画素データに基づき、ラインデータに基づく特徴量を計算し、ラインの特徴量を算出する。次のステップＳ１０２で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ１０３で、特徴量計算部１２０は、ステップＳ１０１で算出された特徴量と、ステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量と、を統合する。統合された特徴量は、特徴量蓄積制御部１２１に渡される。特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、特徴量蓄積部１２２に蓄積する（ステップＳ１０４）。
なお、ステップＳ１００からの一連の処理がフレームの先頭のラインに対する処理であり、且つ、特徴量蓄積部１２２が例えば初期化されている場合には、ステップＳ１０２およびステップＳ１０３による処理を省略することができる。またこのとき、ステップＳ１０４による処理は、当該先頭のラインに基づき計算されたライン特徴量を特徴量蓄積部１２２に蓄積する処理となる。
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、認識処理実行部１２４にも渡す。ステップＳ１０５で、認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された、統合された特徴量を用いて認識処理を実行する。次のステップＳ１０６で、認識処理実行部１２４は、ステップＳ１０５の認識処理による認識結果を出力する。
ステップＳ１０７で、認識処理部１２において読出決定部１２３は、特徴量蓄積制御部１２１から渡された読出情報に従い次の読み出しを行う読出ラインを決定する。例えば、特徴量蓄積制御部１２１は、特徴量計算部１２０から、特徴量と共に、読出領域情報を受けとる。特徴量蓄積制御部１２１は、この読出領域情報に基づき、例えば予め指定された読出パターン（この例ではライン順次）に従い、次に読み出しを行う読出ラインを決定する。この決定された読出ラインに対して、ステップＳ１００からの処理が再び実行される。
（５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例）
次に、第２の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図２９Ａおよび図２９Ｂは、第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図２９Ａおよび図２９Ｂの例では、１撮像周期（１フレーム周期）内に撮像動作を行わないブランク期間ｂｌｋを設ける例である。図２９Ａおよび図２９Ｂにおいて、右方向に時間が進行することを示している。
図２９Ａは、撮像周期の例えば１／２の期間を連続的にブランク期間ｂｌｋに割り当てる例である。図２９Ａにおいて、撮像周期は、フレーム周期であって、例えば１／３０［ｓｅｃ］である。センサ部１０からのフレームの読み出しは、このフレーム周期で行われる。撮像時間は、フレームに含まれる全てのラインの撮像を行うために要する時間である。図２９Ａの例では、フレームがｎ本のラインを含むものとし、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像を、１／３０［ｓｅｃ］のフレーム周期に対して１／２の期間の１／６０［ｓｅｃ］で完了している。１ラインの撮像に割り当てられる時間は、１／（６０×ｎ）［ｓｅｃ］となる。フレームにおいて最後のラインＬ＃ｎを撮像したタイミングから、次のフレームの先頭のラインＬ＃１を撮像するタイミングまでの１／３０［ｓｅｃ］の期間は、ブランク期間ｂｌｋとされている。
例えばラインＬ＃１の撮像が終了したタイミングで、次のラインＬ＃２の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃１に対するライン認識処理、すなわち、ラインＬ＃１に含まれる画素データに対する認識処理が実行される。認識処理部１２は、ラインＬ＃１に対するライン認識処理を、次のラインＬ＃２の撮像が開始される前に終了させる。認識処理部１２は、ラインＬ＃１に対するライン認識処理が終了されると、当該認識処理の認識結果を出力する。
次のラインＬ＃２についても同様に、ラインＬ＃２の撮像が終了したタイミングで次のラインＬ＃３の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃２に対するライン認識処理が実行され、実行されたライン認識処理が次のラインＬ＃３の撮像の開始前に終了される。図２９Ａの例では、このように、ラインＬ＃１、Ｌ＃２、＃３、…、Ｌ＃ｍ、…の撮像が順次に実行される。そして、各ラインＬ＃１、Ｌ＃２、Ｌ＃３、…、Ｌ＃ｍ、…それぞれにおいて、撮像の終了のタイミングで、撮像が終了されたラインの次のラインの撮像が開始されると共に、撮像が終了したラインに対するライン認識処理が実行される。
このように、読み出し単位（この例ではライン）毎に、逐次に認識処理を実行することで、認識器（認識処理部１２）にフレームの画像データを全て入力しなくても、認識結果を逐次に得ることができ、認識結果が得られるまでの遅延を低減させることが可能となる。また、あるラインで有効な認識結果が得られた場合、その時点で、認識処理を終了させることができ、認識処理の時間の短縮や、省電力化が可能となる。また、各ラインの認識結果などに対し、時間軸で情報伝播を行い統合することで、認識精度を徐々に向上させていくことが可能となる。
なお、図２９Ａの例では、フレーム周期内のブランク期間ｂｌｋにおいて、フレーム周期内に実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。
図２９Ｂは、１ラインの撮像毎にブランク期間ｂｌｋを設ける例である。図２９Ｂの例では、フレーム周期（撮像周期）が図２９Ａの例と同様の１／３０［ｓｅｃ］とされている。一方、撮像時間は、撮像周期と同一の１／３０［ｓｅｃ］とされている。また、図２９Ｂの例では、１フレーム周期において、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像が１／（３０×ｎ）［ｓｅｃ］の時間間隔で実行され、１ライン分の撮像時間が１／（６０×ｎ）［ｓｅｃ］であるものとする。
この場合、各ラインＬ＃１〜Ｌ＃ｎの撮像毎に、１／（６０×ｎ）［ｓｅｃ］のブランク期間ｂｌｋを設けることが可能となる。この各ラインＬ＃１〜Ｌ＃ｎのブランク期間ｂｌｋそれぞれにおいて、対応するラインの撮像画像に対して実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。このとき、この他の処理に対して、対象のラインの次のラインの撮像が終了する直前までの時間（この例では略１／（３０×ｎ）［ｓｅｃ］）を、割り当てることができる。この図２９Ｂの例では、この他の処理の処理結果をライン毎に出力することができ、他の処理による処理結果をより迅速に取得することが可能となる。
図３０は、第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。上述した図２９の例では、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像を、フレーム周期の１／２の期間で完了させ、フレーム周期の残りの１／２の期間をブランク期間としていた。これに対して、図３０に示す例では、フレーム周期内にブランク期間を設けずに、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像をフレーム周期の全期間を用いて行う。
ここで、１ラインの撮像時間を図２９Ａおよび図２９Ｂと同一の１／（６０×ｎ）［ｓｅｃ］とし、フレームに含まれるライン数を、図２９Ａおよび図２９Ｂと同一のｎ本とした場合、フレーム周期すなわち撮像周期は、１／６０［ｓｅｃ］となる。したがって、図３０に示すブランク期間ｂｌｋを設けない例では、上述した図２９Ａおよび図２９Ｂの例に対して、フレームレートを高速化することができる。
［６．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、認識処理部１２による認識結果と、視認処理部１４による視認用の画像データと、の出力のタイミングを制御する例である。第３の実施形態では、図２１を参照し、トリガ生成部１６で生成されたトリガ信号に基づき、認識処理実行部１２４からの認識結果の出力と、画像処理部１４３からの画像データの出力と、を制御する。
（６−０．第３の実施形態の概要）
図３１は、第３の実施形態に係る出力制御処理の概要を説明するための一例のフローチャートである。図３１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部１１は、センサ部１０からライン単位で画素データを読み出すものとする。
ステップＳ２００で、読出部１１０は、センサ部１０からライン単位の画素データ（以下、適宜、ラインデータと呼ぶ）を読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、例えば、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
一方、認識処理部１２は、ステップＳ２０１で、読出部１１０から渡されたラインデータに基づく特徴量計算部１２０による特徴量の計算、計算された特徴量の特徴量蓄積部１２２への蓄積、特徴量蓄積部１２２に蓄積された、統合された特徴量に基づく認識処理実行部１２４による認識処理、などを実行する。次のステップＳ２０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ２０３で、認識処理部１２において、読出決定部１２３は、次の読出ラインを示す読出領域情報を生成してセンサ制御部１１に渡す。
次のステップＳ２０４で、トリガ生成部１６は、例えばステップＳ２０２での認識結果の出力に応じて、画像処理部１４３から視認用画像の出力を行うか否かを判定する。トリガ生成部１６は、視認用画像の出力を行わないと判定した場合（ステップＳ２０４、「Ｎｏ」）、処理をステップＳ２０６に移行させる。一方、トリガ生成部１６は、視認用画像の出力を行うと判定した場合（ステップＳ２０４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。
ステップＳ２０５で、トリガ生成部１６は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部１２４および画像処理部１４３と、出力制御部１５と、に渡される。認識処理実行部１２４および画像処理部１４３は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部１２４および画像処理部１４３から出力された認識結果および画像データは、それぞれ出力制御部１５に渡される。
次のステップＳ２０６で、出力制御部１５は、ステップＳ２０５でトリガ生成部１６から渡されたトリガ信号に応じて出力制御処理を行い、認識結果および画像データを後段に出力する。
このように、トリガ生成部１６により生成されたトリガ信号に応じて認識処理実行部１２４および画像処理部１４３と、出力制御部１５とを制御することで、認識結果および画像データを適切なタイミングで出力することが可能となる。
（６−０−１．時間によるトリガ信号出力の例）
図３２は、第３の実施形態に係る出力制御処理の例を模式的に示す模式図である。ここでは、トリガ生成部１６が時間に基づきトリガ信号を出力する場合について説明する。
図３２において、撮像装置１（図１参照）により、認識対象となる対象画像（手書きの数字の「８」）の撮像を開始し、ステップＳ１０で、センサ制御部１１は、認識処理部１２から渡される読出領域情報に従い、時間ｔ0において、フレームのライン単位での読み出しが開始される。センサ制御部１１は、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ１１）。認識処理部１２において、読出決定部１２３は、特徴量蓄積制御部１２１から渡された統合された特徴量に基づき、ステップＳ１１で識別されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測されるラインを指定する読出領域情報を生成し、読出部１１０に渡す。そして、認識処理部１２は、読出部１１０により指定されたラインを読み出した画素データに基づき認識処理を実行する（ステップＳ１２）。
トリガ生成部１６は、読み出し開始の時間ｔ0から所定時間が経過した時間ｔTRGにおいて、トリガ信号を出力する。例えば、フレームのライン単位での読み出しがフレーム周期で行われる場合、トリガ生成部１６は、フレーム周期に対応する一定時間毎にトリガ信号を出力することになる。この図３２の例では、ステップＳ１２の処理の時点で時間ｔTRGが経過し、トリガ生成部１６がトリガ信号を出力している。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
なお、認識処理部１２は、視認処理部１４やトリガ生成部１６などとは異なるタイミングで処理を実行する。そのため、認識処理部１２は、時間ｔTRGより時間的に前に認識処理が完了している場合がある。その場合には、認識処理部１２は、トリガ生成部１６から時間ｔTRGにトリガ信号が出力されるまで、次の処理を待機する。
またこの場合、視認処理部１４は、認識処理部１２における認識処理が完了した時点でフレームから読み出されていない未処理のラインが存在する場合には、その未処理のラインをさらに読み出すことができる。出力制御部１５は、視認処理部１４に読み出された未処理のラインのラインデータを、認識処理部１２による認識処理のために読み出したラインデータと合わせて出力することができる。
一方、認識処理部１２は、時間ｔTRGの時点で認識処理が完了していない場合もある。その場合には、認識処理部１２は、トリガ信号に応じて、時間ｔTRGの時点での認識結果を出力する。
図３３Ａおよび図３３Ｂは、それぞれ、第３の実施形態に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３３Ａおよび図３３Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
図３３Ａに示されるように、トリガ生成部１６ａは、一定時間毎にトリガ信号を認識処理実行部１２４に対して出力する。また、図３３Ｂに示されるように、トリガ生成部１６ａは、一定時間毎にトリガ信号を画像処理部１４３に対して出力する。
図３４は、第３の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。図３４において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３１のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様である。
すなわち、ステップＳ２００で、読出部１１０は、センサ部１０からラインデータを読み出して、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、例えば、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
認識処理部１２は、ステップＳ２０１で、読出部１１０から渡されたラインデータに基づく特徴量の計算、計算された特徴量の蓄積、蓄積された、統合された特徴量に基づく認識処理、などを実行する。次のステップＳ２０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ２０３で、認識処理部１２において、読出決定部１２３は、次の読出ラインを示す読出領域情報を生成してセンサ制御部１１に渡す。
次のステップＳ２０４０で、トリガ生成部１６は、ステップＳ２００のライン読み出し開始から一定時間が経過したか否かを判定する。経過していないと判定した場合（ステップＳ２０４０、「Ｎｏ」）、この図３４のフローチャートによる一連の処理が終了される。一方、トリガ生成部１６は、一定時間が経過したと判定した場合（ステップＳ２０４０、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。
ステップＳ２０５で、トリガ生成部１６は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部１２４および画像処理部１４３と、出力制御部１５と、に渡される。認識処理実行部１２４および画像処理部１４３は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部１２４および画像処理部１４３から出力された認識結果および画像データは、それぞれ出力制御部１５を介して後段に出力される。
このように、第３の実施形態では、トリガ生成部１６により一定周期でトリガ信号が出力されるため、認識結果および視認用の画像データを、一定周期、例えばフレーム周期で出力することができる。
［６−１．第３の実施形態の第１の変形例］
次に、第３の実施形態の第１の変形例について説明する。第３の実施形態の第１の変形例は、トリガ信号を、センサ制御部１１によりフレームから読み出された領域に応じて生成する例である。
図３５は、第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。図３５において、セクション（ａ）は、センサ制御部１１がフレームから読み出した領域の、フレーム全体に対する割合（読出領域の割合）の時間変化を示している。また、セクション（ｂ）は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
図３５のセクション（ａ）において、読出領域の割合は、ステップＳ１１まで一定の速度で変化し、ステップＳ１１からは、ステップＳ１１よりも小さい速度で変化している。ここで、トリガ生成部１６は、読出領域の割合が閾値Ｒthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
図３６Ａおよび図３６Ｂは、それぞれ、第３の実施形態の第１の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３６Ａおよび図３６Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
図３６Ａおよび図３６Ｂにそれぞれに示されるように、トリガ生成部１６ｂは、センサ制御部１１の読出制御部１１１から読出領域情報を受け取り、受け取った読出領域情報に基づき読出領域の割合を求める。トリガ生成部１６ｂは、求めた読出領域の割合が閾値Ｒthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図３６Ａ参照）、画像処理部１４３と（図３６Ｂ参照）と、に対してそれぞれ出力する。
図３７は、第３の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図３７において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４１に移行される。
ステップＳ２０４１で、トリガ生成部１６ｂは、センサ制御部１１から受け取った読出領域情報に基づき、読出領域の割合が閾値Ｒthを超えているか否かを判定する。超えていないと判定した場合（ステップＳ２０４１、「Ｎｏ」）、この図３７のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
一方、トリガ生成部１６ｂは、読出領域の割合が閾値Ｒthを超えていると判定した場合（ステップＳ２０４１、「Ｙｅｓ」）、処理をステップＳ２０５に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
このように、第３の実施形態の第１の変形例では、トリガ生成部１６ｂにより読出領域の割合に応じてトリガ信号が出力されるため、フレームにおける一定以上の領域の画像データを、視認用の画像データとして出力することができる。
［６−２．第３の実施形態の第２の変形例］
次に、第３の実施形態の第２の変形例について説明する。第３の実施形態の第２の変形例は、トリガ信号を、認識処理実行部１２４による認識処理の結果の確からしさを示す認識確信度に応じて生成する例である。
図３８は、第３の実施形態の第１の変形例に係る出力制御処理の例を模式的に示す模式図である。図３８において、セクション（ａ）は、センサ制御部１１がフレームから読み出したラインデータに対する認識処理実行部１２４による認識処理の認識確信度を示す認識確信度スコアの時間変化を示している。また、セクション（ｂ）は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
図３８のセクション（ａ）において、認識確信度スコアは、ステップＳ１１まで一定の速度で変化し、ステップＳ１１で「８」または「９」の数字が識別されてからは、ステップＳ１１よりも大きな速度で変化している。ここで、トリガ生成部１６は、認識確信度スコアが閾値Ｃthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から認識結果が出力されると共に、画像処理部１４３から画像データが出力される。また、出力制御部１５は、このトリガ信号に応じて、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された画像データと、を後段に出力する。
図３９Ａおよび図３９Ｂは、それぞれ、第３の実施形態の第２の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図３９Ａは、上述した図２１の構成から、認識処理部１２側の一例の機能を抜き出して示している。
図３９Ａおよび図３９Ｂにそれぞれに示されるように、認識処理実行部１２４は、認識確信度スコアを含む認識結果を随時、出力する。トリガ生成部１６ｃは、認識処理実行部１２４から認識結果を受け取り、受け取った認識結果に含まれる認識確信度スコアを取得する。トリガ生成部１６ｃは、取得した認識確信度スコアが閾値Ｃthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図３９Ａ参照）、画像処理部１４３と（図３９Ｂ参照）と、に対してそれぞれ出力する。
図４０は、第３の実施形態の第２の変形例に係る処理を示す一例のフローチャートである。図４０において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４１に移行される。
ステップＳ２０４２で、トリガ生成部１６ｃは、認識処理実行部１２４から受け取った認識結果に含まれる認識確信度スコアが閾値Ｃthを超えているか否か判定する。超えていないと判定した場合（ステップＳ２０４２、「Ｎｏ」）、この図４０のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
一方、トリガ生成部１６ｃは、認識確信度スコアが閾値Ｃthを超えていると判定した場合（ステップＳ２０４２、「Ｙｅｓ」）、処理をステップＳ２０５に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
このように、第３の実施形態の第２の変形例では、トリガ生成部１６により認識確信度スコアに応じてトリガ信号が出力されるため、視認用の画像データに含まれるオブジェクトに関するより高精度な認識情報を取得できる。
［６−３．第３の実施形態の第３の変形例］
次に、第３の実施形態の第３の変形例について説明する。第３の実施形態の第３の変形例は、トリガ信号を、当該撮像装置１の外部から取得される外部情報に応じて生成する例である。
図４１Ａおよび図４１Ｂは、それぞれ、第３の実施形態の第３の変形例に係る撮像装置１の、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ示す機能ブロック図である。図４１Ａおよび図４１Ｂは、それぞれ、上述した図２１の構成から、認識処理部１２側の一例の機能と、視認処理部１４側の一例の機能と、をそれぞれ抜き出して示している。
図４１Ａおよび図４１Ｂ２それぞれ示されるように、第３の実施形態の第３の変形例に係る撮像装置１は、外部からの情報を取得する外部情報取得部１７を備えている。外部情報取得部１７は、外部から取得された外部情報をトリガ生成部１６ｄに渡す。トリガ生成部１６ｄは、外部情報取得部１７から渡された外部情報に応じてトリガ信号を生成し、生成したトリガ信号を、認識処理実行部１２４と（図４１Ａ参照）、画像処理部１４３と（図４１Ｂ参照）と、に対してそれぞれ出力する。
ここで、外部情報取得部１７が取得する外部情報としては、外部からのトリガ信号、外部の認識装置による認識結果など、当該撮像装置１の外部から取得可能な様々な情報を適用できる。このような外部情報を出力する外部装置としては、他の撮像装置、ＬｉＤＡＲ(Laser Imaging Detection and Ranging)方式のセンサ（ＬｉＤＡＲセンサと呼ぶ）、レーダ装置などが考えられる。例えば当該撮像装置１が車載の用途に用いられる場合、同じ車両に搭載される他の撮像装置、ＬｉＤＡＲセンサ、レーダ装置などから出力される認識情報、トリガ信号、車両情報などの外部情報を当該撮像装置１に入力できるようにする。
一例として、外部情報が、他の撮像装置による認識結果や、ＬｉＤＡＲセンサあるいはレーダ装置による認識結果である場合、トリガ生成部１６ｄは、外部情報取得部１７により外部情報として取得された認識結果の認識確信度スコアに応じて、トリガ信号の生成を行うことが考えられる。
なお、これら外部装置から出力される外部情報を用いる場合には、当該撮像装置１の撮像画像に対する位置および時間に関するキャリブレーションを実行することが好ましい。また、上述では、外部装置をマスタとして、当該撮像装置１は、外部装置から出力される外部情報に応じてトリガ信号を出力するように説明したが、これはこの例に限定されない。例えば、撮像装置１をマスタとし、トリガ生成部１６ｄは、他の方法（時間、読出領域の割合、認識確信度スコアなど）により生成したトリガ信号を、外部装置に対して出力することも可能である。
上述の例に限らず、ＧＮＳＳ(Global Navigation Satellite System)を利用して取得した時間情報を外部情報として用いることもできる。さらに、当該撮像装置１が車載用途の場合、外部情報取得部１７は、当該撮像装置１が搭載される車両の車両情報（ステアリング情報、速度情報、ブレーキ情報、方向指示情報など）を外部情報として取得することもできる。
図４２は、第３の実施形態の第３の変形例に係る処理を示す一例のフローチャートである。図４２において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４３に移行される。
ステップＳ２０４３で、トリガ生成部１６ｄは、外部情報取得部１７により所定の外部情報が取得されたか否かを判定する。取得されていないと判定した場合（ステップＳ２０４３、「Ｎｏ」）、この図４２のフローチャートによる一連の処理が終了される。その後、例えばステップＳ２００から、次のラインデータの読み出しが行われる。
一方、トリガ生成部１６ｄは、外部情報取得部１７により所定の外部情報が取得されたと判定した場合（ステップＳ２０４３、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。トリガ生成部１６ｄは、外部装置から外部情報取得部１７に入力された所定の外部情報を外部情報取得部１７から取得する。トリガ生成部１６ｄは、取得した所定の外部情報に応じて出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部１２４および画像処理部１４３により、それぞれ認識結果および画像データが出力される。
このように、第３の実施形態の第３の変形例では、外部から入力された外部情報に応じてトリガ信号が出力されることにより、複数のセンサ装置による認識結果を利用可能である。そのため、第３の実施形態の第３の変形例に係る撮像装置１は、外部装置との連携が可能となる。
［７．第４の実施形態］
次に、第４の実施形態について説明する。第４の実施形態は、認識処理部１２による認識結果の出力と、視認処理部１４による視認用の画像データの出力と、のズレに対応する例である。
図４３は、第４の実施形態に係る出力制御処理の例を模式的に示す模式図である。第４の実施形態では、認識処理実行部１２４に対するトリガ信号と、画像処理部１４３に対するそれぞれトリガ信号と、をそれぞれ独立して出力する。また、以下の例では、認識処理実行部１２４および画像処理部１４３それぞれに対するトリガ信号は、第３の実施形態の第２の変形例で説明した、それぞれの処理において読み出された読出領域のフレームに対する割合に応じて、出力される。認識処理実行部１２４に対する読出領域の割合の閾値を閾値Ｒth1とし、画像処理部１４３に対する読出領域の割合の閾値を閾値Ｒth2とする。
図４３において、フレーム読み出しが時間ｔ0で開始され（ステップＳ１０）、ステップＳ１１でフレームがライン順次で読み出される。この例では、ステップＳ１１の後、ステップＳ２０でオブジェクトを識別可能であると予測されるラインにジャンプして、読み出しが行われる。ここで、ステップＳ２０の処理において、認識処理実行部１２４による処理に対する読出領域の割合が時間ｔTRG1で閾値Ｒth1に達したものとする。この場合、時間ｔTRG1において認識処理実行部１２４に対してトリガ信号が出力される。認識処理実行部１２４は、このトリガ信号に応じて認識結果を出力する。認識処理実行部１２４により時間ｔTRG1に出力された認識結果は、所定の記憶領域（キャッシュメモリと呼ぶ）にキャッシュされる（ステップＳ２１）。認識処理部１２は、認識結果が出力されキャッシュされると、認識処理を終了させる。
ここで、時間ｔTRG1の時点では、フレーム読み出しが開始された時間ｔ0から所定時間、例えばフレーム周期が経過してないものとする。
視認処理部１４は、ステップＳ２１において認識処理部１２による認識処理が終了した後、読出開始の時間ｔ０から所定時間、例えばフレーム周期が経過するまで、フレーム読み出しを実行する。ここで、画像処理部１４３よる処理に対する読出領域の割合が時間ｔTRG2で閾値Ｒth2に達したものとする。この時間ｔTRG2において、画像処理部１４３に対してトリガ信号が出力される。
画像処理部１４３は、この時間ｔTRG2でのトリガ信号に応じて視認用の画像データを出力する。また、ステップＳ２１でキャッシュされた認識結果が、この時間ｔTRG2でのトリガ信号に応じて、キャッシュメモリから読み出されて出力される。これにより、視認用の画像データと、認識結果との同時出力が可能となる。
なお、上述では、ステップＳ２１において、認識結果のみをキャッシュしているが、これはこの例に限定されず、視認用の画像データをさらにキャッシュしてもよい。
図４４は、第４の実施形態に係る撮像装置１の一例の機能を示す機能ブロック図である。図４４において、撮像装置１に対し、認識処理実行部１２４に対するトリガ信号を生成するトリガ生成部１６e1と、画像処理部１４３に対するトリガ信号を生成するトリガ生成部１６e2と、の２つのトリガ生成部が設けられている。
トリガ生成部１６e1は、認識処理実行部１２４における読出領域の割合に対する閾値Ｒth1が設定される。同様に、トリガ生成部１６e2は、画像処理部１４３における読出領域の割合に対する閾値Ｒth2が設定される。これら閾値Ｒth1およびＲth2は、トリガ生成部１６e1および１６e2に対して予め設定されていてもよいし、例えばフレーム読み出しの状態に応じて適応的に設定してもよい。
また、出力制御部１５ａは、認識結果をキャッシュするキャッシュメモリ１５０と、視認用の画像データをキャッシュするキャッシュメモリ１５１と、を含む。
読出制御部１１１は、次に読み出す読み出しラインを示す読出領域情報をトリガ生成部１６e1および１６e2にそれぞれ渡す。トリガ生成部１６e1および１６e2は、渡された読出領域情報に基づき現在の読出領域の割合を求める。トリガ生成部１６e1は、求めた現在の読出領域の割合が閾値Ｒth1に達した場合に、認識処理実行部１２４に対してトリガ信号を出力する。同様に、トリガ生成部１６e2は、求めた現在の読出領域の割合が閾値Ｒth2に達した場合に、画像処理部１４３に対してトリガ信号を出力する。
トリガ信号に応じて認識処理実行部１２４から出力された認識結果は、出力制御部１５ａに渡され、キャッシュメモリ１５０に格納される。同様に、トリガ信号に応じて画像処理部１４３から出力された視認用の画像データは、出力制御部１５ａに渡され、キャッシュメモリ１５１に格納される。出力制御部１５ａは、キャッシュメモリ１５０および１５１にそれぞれ格納した認識結果および視認用の画像データを、所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
図４５は、第４の実施形態に係る処理を示す一例のフローチャートである。図４５において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。ステップＳ２０３で、認識処理部１２において、読出決定部１２３により、次の読出ラインを示す読出領域情報がセンサ制御部１１に渡されると、処理がステップＳ２０４４に移行される。
ステップＳ２０４４、および、ステップＳ２０４４の次のステップＳ２０５の処理は、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを判定する。より具体的には、ステップＳ２０４４で、トリガ生成部１６e1は、ステップＳ２０３において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Ｒth1に達した場合に、認識処理実行部１２４に対して認識結果を出力させると判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
一方、トリガ生成部１６ｅ１は、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
トリガ生成部１６e2における処理も、トリガ生成部１６e1の処理と同様である。すなわち、トリガ生成部１６e2においては、ステップＳ２０４４で、画像処理部１４３に対して視認用の画像データの出力をさせるか否かを判定する。より具体的には、ステップＳ２０４４で、トリガ生成部１６e2は、ステップＳ２０３において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Ｒth2に達した場合に、画像処理部１４３に対して視認用の画像データを出力させると判定する。トリガ生成部１６e2は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
一方、トリガ生成部１５ｆは、ステップＳ２０４４で認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e2は、画像処理部１４３に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
ステップＳ２０６０、および、ステップＳ２０６０の次のステップＳ２０６１の処理は、出力制御部１５ａによる処理となる。出力制御部１５ａは、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
出力制御部１５ａは、認識処理実行部１２４から出力された認識結果に対しては、ステップＳ２０６０で、キャッシュメモリ１５０に格納し、出力蓄積処理を行う。出力制御部１５ａは、認識結果をキャッシュメモリ１５０に格納すると、処理をステップＳ２０６１に移行させる。ステップＳ２０６１で、出力制御部１５ａは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果を出力する、出力制御処理を実行する。
同様に、出力制御部１５ａは、画像処理部１４３から出力された視認用の画像データに対しては、ステップＳ２０６０で、キャッシュメモリ１５１に格納し、出力蓄積処理を行う。出力制御部１５ａは、視認用の画像データをキャッシュメモリ１５０に格納すると、処理をステップＳ２０６１に移行させる。ステップＳ２０６１で、出力制御部１５ａは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５１に格納された視認用の画像データを出力する、出力制御処理を実行する。
ここで、出力制御部１５ａは、ステップＳ２０６１における認識結果の出力と、視認用の画像データの出力とを同期させて実行する。これにより、認識結果と、視認用の画像データとが、時間的なズレが無く出力される。
ステップＳ２０６１で認識結果および視認用の画像データに対する出力処理が実行されると、例えばステップＳ２００から、次の読出ラインのラインデータの読み出しが行われる。
このように、第４の実施形態では、認識結果と視認用の画像データとをそれぞれキャッシュし、キャッシュされた認識結果と視認用の画像データとを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
［７−１．第４の実施形態の第１の変形例］
次に、第４の実施形態の第１の変形例について説明する。上述した第４の実施形態では、認識結果と視認用の画像データとの時間的なズレを抑制しているが、この第４の実施形態の第１の変形例では、認識結果と視認用の画像データとの空間的なズレを抑制する。例えば、車載の用途などにより、撮像装置１が撮像中に高速に移動している場合、認識結果と視認用の画像データとの間に、空間的なズレ（例えばオブジェクトの２次元面内の位置ズレ）が発生する場合がある。また、高速で移動する動物体を撮像装置１で撮像した場合も、この動物体の画像データ内におけるオブジェクトにおいて、空間的なズレが発生する場合がある。第４の実施形態の第１の変形例では、このようなズレを、外部センサから取得する情報に基づき抑制する。
図４６は、第４の実施形態の第１の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。この図４６に示す構成は、撮像装置１が高速に移動する場合に発生する空間的なズレを抑制する場合の例である。
図４６に示す構成では、上述した図４４で示した構成に対して、出力制御部１５ｂに対して外部センサ１８の出力が供給されている。外部センサ１８は、例えば当該撮像装置１の動きを検知可能な装置であって、当該撮像装置１に搭載される角速度センサを適用できる。例えば、３軸のジャイロセンサを用いて各方向の角速度を計測し、撮像装置１の動き情報を取得し、取得した動き情報を、出力制御部１５ｂに入力する。また、外部センサ１８として、動き検出を用いて動画圧縮あるいは手ブレ補正などを行う他の撮像装置を用いることもできる。この他の撮像装置を、当該撮像装置１と一体的あるいは同期して移動可能に設置し、この他の撮像装置における動き検出の検出結果を、撮像装置１の動き情報として出力制御部１５ｂに入力する。
出力制御部１５ｂは、外部センサ１８から入力された動き情報と、トリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングと、に基づき、認識結果と視認用の画像データと、の空間的なズレ量を推測する。例えば、出力制御部１５ｂは、トリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングの差分を求める。
なお、出力制御部１５ｂに対する、認識処理実行部１２４からの認識結果の入力タイミングと、画像処理部１４３からの視認用の画像データの入力タイミングと、をそれぞれトリガ生成部１６e1および１６e2により出力された各トリガ信号の出力タイミングと見做すことができる。
また、出力制御部１５ｂは、外部センサ１８から入力された動き情報に基づき、当該撮像装置１の動き方向と速度とを求める。出力制御部１５ｂは、これら、各トリガ信号の出力タイミングの差分と、当該撮像装置１の動き方向および速度と、に基づき、認識結果と視認用の画像データとの空間的なズレ量を算出する。出力制御部１５ｂは、算出した空間的なズレ量に基づき、キャッシュメモリ１５１に格納された視認用の画像データを補正する。補正は、例えば視認用の画像データに対するトリミングや、傾き補正などが考えられる。出力制御部１５ｂは、補正した視認用の画像データを、キャッシュメモリ１５１に格納する。
出力制御部１５ｂは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された、補正した視認用の画像データと、を出力する。
上述では、出力制御部１５ｂは、算出した空間的なズレ量に基づきキャッシュメモリ１５１に格納された視認用の画像データを補正するように説明したが、これはこの例に限定されない。すなわち、出力制御部１５ｂは、算出した空間的なズレ量に基づき、キャッシュメモリ１５０に格納された認識結果を補正することもできる。出力制御部１５ｂは、算出した空間的なズレ量に基づき、例えば認識結果に含まれる認識されたオブジェクトなどの座標情報を補正することが考えられる。また、出力制御部１５ｂは、認識結果および視認用の画像データをそれぞれ補正してもよい。
図４７は、第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図４７において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。また、図４７のステップＳ２０４およびステップＳ２０５の処理は、上述した図４５のステップＳ２０４４およびステップＳ２０５の処理と同様の処理であって、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。これらステップＳ２０４４およびステップＳ２０５の処理については、ここでの詳細な説明を省略する。
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを、上述した図４５のフローチャートのステップＳ２０４４と同様にして判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。
一方、トリガ生成部１５ｆは、ステップＳ２０４４で認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
トリガ生成部１６e2における処理も、トリガ生成部１６e1の処理と同様である。すなわち、トリガ生成部１６e2においては、ステップＳ２０４４で、画像処理部１４３に対して視認用の画像データの出力をさせるか否かを判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６０に移行させる。一方、トリガ生成部１５ｆは、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e2は、画像処理部１４３に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０６０に移行される。
ステップＳ２０６０、および、ステップＳ２０６０の次のステップＳ２０６２の処理は、出力制御部１５ｂによる処理となる。出力制御部１５ｂは、認識処理実行部１２４から出力された認識結果と、画像処理部１４３から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
出力制御部１５ｂは、認識処理実行部１２４から出力された認識結果に対しては、ステップＳ２０６０で、キャッシュメモリ１５０に格納し、出力蓄積処理を行う。出力制御部１５ａは、認識結果をキャッシュメモリ１５０に格納すると、処理をステップＳ２０６２に移行させる。
ステップＳ２０６２で、出力制御部１５ｂは、外部センサ１８から入力された動き情報を用いて、ステップＳ２０６０でキャッシュメモリ１５１に格納された視認用の画像データの補正処理を行い、補正された視認用の画像データをキャッシュメモリ１５１に格納する。これに限らず、ステップＳ２０６２で、出力制御部１５ｂは、ステップＳ２０６０でキャッシュメモリ１５０に格納された認識結果に対して補正処理を行ってもよい。出力制御部１５ｂは、補正された認識結果をキャッシュメモリ１５０に格納する。
出力制御部１５ｂは、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された補正された視認用の画像データと、を所定のタイミングで出力する。
このように、第４の実施形態の第１の変形例では、認識結果と視認用の画像データとをそれぞれキャッシュし、外部センサ１８から入力された動き情報を用いて、認識結果または視認用の画像データを補正している。そのため、認識結果と視認用の画像データとの空間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
［７−２．第４の実施形態の第２の変形例］
次に、第４の実施形態の第２の変形例について説明する。第４の実施形態の第２の変形例は、認識処理部１２による認識処理の後に視認処理部１４において行われる画素データの読み出しを高速に行い、認識結果の出力タイミングと、視認用の画像データの出力タイミングと、の差分を抑制する例である。
図４８は、第４の実施形態の第２の変形例に係る出力制御処理の例を模式的に示す模式図である。図４８において、ステップＳ１０〜ステップＳ１２は、上述した図３２に対応する図であって、センサ制御部１１によるフレーム読み出しの様子を模式的に示している。すなわち、ステップＳ１０でフレームがライン順次で読み出され、ステップＳ１１でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップＳ１２で認識結果が出力される。
図４８において、ステップＳ１２でフレームの全てのラインデータを読み出していない状態で認識結果が出力されているので、次のステップＳ２０で、視認処理部１４は、フレームにおける、ステップＳ１２までの処理で読み出されていないラインの読み出しを行う。このとき、視認処理部１４は、ステップＳ１２までの処理で認識処理部１２により行われていた読み出しの読み出し速度よりも高速の読み出し速度で、フレーム読み出しを実行する。視認処理部１４は、所定のタイミングで読み出しを終了させ、視認用の画像データを出力する。
第４の実施形態の第２の変形例は、これにより、認識結果の出力タイミングと、視認用の画像データの出力タイミングとの時間差が抑制可能である。
図４９は、第４の実施形態の第２の変形例に係る撮像装置１の一例の機能を示す機能ブロック図である。図４９において、トリガ生成部１６ｆは、認識処理実行部１２４から認識結果が随時、供給され、トリガ信号を、第３の実施形態の第２の変形例で説明（図３８〜図４０参照）した、認識処理実行部１２４から認識結果に含まれて渡される、認識確信度スコアに応じて生成する。
トリガ生成部１６ｆは、認識処理実行部１２４から渡された認識結果に含まれる認識確信度スコアが閾値Ｃthに達した時間ｔTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部１２４から出力制御部１５ｃに対して認識結果が渡される。出力制御部１５ｃは、渡された認識結果をキャッシュメモリ１５０に格納する。
一方、トリガ生成部１６ｆは、認識処理実行部１２４に対してトリガ信号を出力すると共に、センサ部１０から画素データをより高速に読み出すように指示する高速読出指示を生成し、生成した高速読出指示を、読出決定部１４２に渡す。
読出決定部１４２は、出力制御部１５ｂから渡された高速読出指示を含んだ読出領域情報を生成し、生成した読出領域情報をセンサ制御部１１に渡す。センサ制御部１１において、高速読出指示を含んだ読出領域情報は、読出制御部１１１から読出部１１０に渡される。読出部１１０は、読出領域情報に含まれる高速読出指示に応じて、センサ部１０をトリガ信号以前の駆動速度よりも高速の駆動速度で駆動するための撮像制御信号を生成する。センサ部１０は、この撮像制御信号に従いセンサ部１０を高速に駆動し、トリガ信号以前より高速に画素データを読み出す。
読出部１１０に読み出された画素データは、画像データ蓄積制御部１４０を介して視認用の画像データとして画像処理部１４３に渡される。画像処理部１４３は、渡された画像データに対して処理の画像処理を施して出力制御部１５ｃに渡す。出力制御部１５ｃは、画像処理部１４３から渡された画像データをキャッシュメモリ１５１に格納する。出力制御部１５ｃは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された視認用の画像データと、を読み出し、それぞれ出力する。
図５０は、第４の実施形態の第１の変形例に係る処理を示す一例のフローチャートである。図５０において、ステップＳ２００〜ステップＳ２０３の処理は、上述した図３４のフローチャートによるステップＳ２００〜ステップＳ２０３の処理と同様であるので、ここでの説明を省略する。また、図５０のステップＳ２０４およびステップＳ２０５の処理は、上述した図５０のステップＳ２０４４およびステップＳ２０５の処理と同様の処理であって、トリガ生成部１６e1および１６e2それぞれにおいて例えば並列的に実行される。これらステップＳ２０４４およびステップＳ２０５の処理については、ここでの詳細な説明を省略する。
トリガ生成部１６e1においては、ステップＳ２０４４で、認識処理実行部１２４に対して認識結果の出力をさせるか否かを、上述した図４５のフローチャートのステップＳ２０４４と同様にして判定する。トリガ生成部１６e1は、現時点では認識結果を出力させないと判定した場合（ステップＳ２０４４、「Ｎｏ」）、処理をステップＳ２０６３に移行させる。一方、トリガ生成部１６ｆは、認識結果を出力させると判定した場合（ステップＳ２０４４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、トリガ生成部１６e1は、認識処理実行部１２４に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップＳ２０５１に移行される。
ステップＳ２０５１では、高速読出処理が行われる。すなわち、ステップＳ２０５１で、トリガ生成部１６ｆは、高速読出指示を生成して読出決定部１４２に渡す。この高速読出指示は、読出決定部１４２により生成される読出領域情報に含められてセンサ制御部１１に渡される。センサ制御部１１は、渡された読出領域情報を読出部１１０に渡す。読出部１１０は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部１０をより高速に駆動する。このとき、読出部１１０は、センサ部１０に対して間引き読み出しを行って読み出し速度を高速化してもよいし、読み出す画像データのビット数を削減して読み出し速度を高速化してもよい。
読出部１１０は、高速に駆動されるセンサ部１０から画素データを読み出して視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０を介して画像処理部１４３に渡す。画像処理部１４３は、渡された画像データに対して処理の画像処理を施して、視認用の画像データとして出力する。画像処理部１４３から出力された視認用の画像データは、出力制御部１５ｃに渡され、キャッシュメモリ１５１に格納される。
次のステップＳ２０６３で、出力制御部１５ｃは、キャッシュメモリ１５０に格納された認識結果と、キャッシュメモリ１５１に格納された補正された視認用の画像データと、を所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
このように、第４の実施形態の第２の変形例では、認識結果が出力された後に高速読み出しにより視認用の画像データを取得し、取得した視認用の画像データと認識結果とを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
なお、上述では、認識結果の出力後に、視認用の画像データのための高速読み出しを行っているが、これはこの例に限定されない。すなわち、視認用の画像データの読み出し終了後に、認識処理のための高速読み出しを行ってもよい。
この場合、トリガ生成部１６ｆは、画像処理部１４３に対するトリガ信号の出力に応じて高速読出指示を生成し、生成した高速読出指示を、図４９において点線で示される経路により読出決定部１２３に渡す。この高速読出指示は、読出決定部１４２により生成される読出領域情報に含められてセンサ制御部１１に渡される。センサ制御部１１は、渡された読出領域情報を読出部１１０に渡す。読出部１１０は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部１０をより高速に駆動する。読出部１１０は、高速に駆動されるセンサ部１０から画素データを読み出して認識処理部１２に渡す。
［８．第５の実施形態］
次に、第５の実施形態について説明する。第５の実施形態は、認識処理部１２が読み出しを行う読出領域と、視認処理部１４が読み出しを行う読出領域と、で調停を行う例である。例えば、認識処理部１２と視認処理部１４とのうち一方がライン間引きによりライン読み出しを行い、他方がライン順次で読み出しを行う場合、あるタイミングで認識処理部１２と視認処理部１４とで読み出しの対象とするラインが異なるものとなる。このような場合、認識処理部１２と視認処理部１４と間で読出領域の調停を行い、読出対象のラインを決定する。
図５１は、第５の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。図５１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部１１は、センサ部１０からライン単位で画素データを読み出すものとする。
図２１を参照しながら、図５１のフローチャートによる処理について説明する。ステップＳ３００で、読出部１１０は、センサ部１０からライン単位の画素データ（ラインデータ）を読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。視認処理部１４は、読出部１１０から渡された画素データを画像データ蓄積制御部１４０に渡す。画像データ蓄積制御部１４０は、渡された画素データを例えば画像データ蓄積部１４１に蓄積すると共に、画像処理部１４３に渡す。
ステップＳ３００の処理が終了すると、処理がステップＳ３０１およびステップＳ３１１に移行される。ステップＳ３０１〜ステップＳ３０３の処理は、認識処理部１２における処理である。一方、ステップＳ３１１〜ステップＳ３１３の処理は、視認処理部１４における処理である。これら認識処理部１２における処理と、視認処理部１４における処理とは、並列して実行することが可能である。
先ず、ステップＳ３０１からの認識処理部１２による処理について説明する。認識処理部１２は、ステップＳ３０１で、読出部１１０から渡されたラインデータに基づく特徴量計算部１２０による特徴量の計算、計算された特徴量の特徴量蓄積部１２２への蓄積、特徴量蓄積部１２２に蓄積された、統合された特徴量に基づく認識処理実行部１２４による認識処理、などを実行する。次のステップＳ３０２で、認識処理部１２は、認識処理実行部１２４から認識処理による認識結果を出力する。次のステップＳ３０３で、認識処理部１２において、読出決定部１２３は、統合された特徴量を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。ステップＳ３０３の処理が終了すると、処理がステップＳ３２０ａに移行される。
次に、ステップＳ３１１からの視認処理部１４による処理について説明する。視認処理部１４は、ステップＳ３１１で、読出部１１０から渡されたラインデータの画像データ蓄積部１４１への蓄積、画像データ蓄積部１４１に蓄積された画像データに対する画像処理部１４３による画像処理、などを実行する。次のステップＳ３１２で、視認処理部１４において画像処理部１４３は、ステップＳ３１１で画像処理を行った画像データを出力する。次のステップＳ３１２で、視認処理部１４において読出決定部１４２は、ステップＳ３００で読み出されたラインのライン情報と、ステップＳ３０２で認識処理部１２により出力された認識結果と、を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。ステップＳ３１３の処理が終了すると、処理がステップＳ３２０ａに移行される。
ステップＳ３２０ａで、センサ制御部１１は、後述する調停制御部により、読出領域の調停に用いるための調停情報を取得する。調停情報の具体例については、後述する。
次のステップＳ３２１で、調停制御部は、ステップＳ３２０ａで取得した調停情報を用いて、ステップＳ３０３で認識処理部１２から渡された読出ライン情報が示す読出ラインと、ステップＳ３１３で視認処理部１４から渡された読出ライン情報が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第５の実施形態では、調停制御部により、所定に取得された調停情報に基づき、認識処理部１２と視認処理部１４との間で、次に読み出しを行う読出ラインの調停を行っている。そのため、例えば認識処理部１２と視認処理部１４とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
（８−０−１．調停処理の具体例）
次に、第５の実施形態に係る調停処理について、より具体的に説明する。図５２は、第５の実施形態に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
図５２に示される構成は、図２１に示した構成に対し、センサ制御部１１における読出制御部１１１ａが、調停制御部１１１０と、読出処理制御部１１１１と、を含む。調停制御部１１１０は、認識処理部１２の読出決定部１２３と、視認処理部１４の読出決定部１４２と、からそれぞれ１または複数の読出領域情報が、それぞれ調停処理を制御するための制御信号として入力される。換言すれば、この例における調停制御部１１１０は、この制御信号を、調停制御を行うための調停情報として用いる。
ここで、１つの読出領域情報は、１本のラインを示しているものとする。すなわち、調停制御部１１１０は、読出決定部１２３および１４２それぞれから、１または複数のライン情報が入力される。
第５の実施形態では、調停制御部１１１０は、読出決定部１２３から入力された制御信号と、視認処理部１４から入力された制御信号と、に対して論理積を取って、次に読み出しを行う１本の読出ラインを決定する。
読出処理制御部１１１１は、調停制御部１１１０は、調停処理により決定された読出ラインを示す制御信号を、読出処理制御部１１１１に渡す。読出処理制御部１１１１は、渡された制御信号を、読出ラインを示す読出領域情報として、読出部１１０に渡す。
なお、図５２の構成において、出力制御部１５は、認識処理実行部１２４から出力される認識結果と、画像処理部１４３から出力される視認用の画像データと、を後段の装置に出力する。ここで、後段の装置は、認識処理を行う他のセンサ装置を適用することができ、この場合、当該撮像装置１から出力される認識結果や視認用の画像データを、当該他のセンサ装置における認識処理に適用することも可能である。
図５３は、第５の実施形態に係る調停処理を説明するための模式図である。図５３は、調停制御部１１１０が制御信号に基づき調停処理を行う例である。ここで、制御信号として、読出領域情報を用いる。
図５３において、右方向に時間の経過を示している。また、縦方向は、上から認識処理部１２による認識制御、視認処理部１４による視認制御、センサ部１０から読み出される読出画像、調停制御部１１１０による調停結果、についてそれぞれ示している。上述したように、調停制御部１１１０は、認識処理部１２が出力する制御信号（読出領域情報）と、視認処理部１４が出力する制御信号と、の論理積を取ることで、調停を行う。
ステップＳ４０では、認識処理部１２および視認処理部１４により、第ｉ行目（第ｉライン）を読み出す読出領域情報が生成される。認識処理部１２は、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの３ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部１４も同様に、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの３ラインを読み出すための制御信号をそれぞれ出力している。認識処理部１２から出力された各読出領域情報と、視認処理部１４から出力された各読出領域情報とは、それぞれ、調停制御部１１１０が調停制御を行うための制御信号として、調停制御部１１１０に入力される。
調停制御部１１１０は、これら認識処理部１２からの第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの各制御信号と、視認処理部１４からの、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインの各制御信号に対して論理積を取る。ここでは、認識処理部１２からの各制御信号と、視認処理部１４からの各制御信号とが一致しているため、各制御信号が示す全てのラインを読み出すことができる。調停制御部１１１０は、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部１１１０は、例えば、最初に、第（ｉ＋１）ライン、第（ｉ＋２）ライン、第（ｉ＋３）ラインのうちフレーム上端に最も近い第（ｉ＋１）ラインを示す制御信号を、調停結果として選択する。調停制御部１１１０は、以降、第（ｉ＋２）ラインを示す制御信号、第（ｉ＋３）ラインを示す制御信号、と、ライン順次で１つずつ制御信号を選択する。
調停制御部１１１０は、調停結果として選択した制御信号を読出処理制御部１１１１に渡す。読出処理制御部１１１１は、調停制御部１１１０から渡された制御信号を、読出領域情報として読出部１１０に渡す。読出部１１０は、この読出領域情報に示されるライン（第（ｉ＋１）ライン）のラインデータを、センサ部１０から読み出す。読出部１１０は、センサ部１０から読み出された第（ｉ＋１）ラインのラインデータを、認識処理部１２および視認処理部１４に渡す。
これにより、ステップＳ４０では、図５３の読出画像として示されるように、例えばフレームの上端側のラインＬ＃ｉからフレームの下端側に向けて、ライン順次でラインデータが読み出される。
ライン順次でフレームを読み出しを行い、フレームの例えば中央付近の第ｊ行目（第ｊライン）まで読み出した時点で、認識処理部１２により、読み出されたラインデータに基づき例えば数字の「８」または「９」が認識されたものとする（ステップＳ４１）。
認識処理部１２は、ステップＳ４１で認識されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測されるラインまでラインを飛ばして読み出すことができる。この例では、認識処理部１２は、１ラインずつ間引いて読み出しを行うように、第（ｊ＋３）ライン、第（ｊ＋５）ライン、第（ｊ＋７）ラインの３ラインを読み出すための読出領域情報をそれぞれ出力している。認識処理部１２から出力された各読出領域情報は、調停制御部１１１０が調停制御を行うための各制御情報として、調停制御部１１１０に入力される。
一方、視認用の画像は、認識比で密である必要があるため、視認処理部１４は、第（ｊ＋１）ライン、第（ｊ＋２）ライン、第（ｊ＋３）ラインの、ライン順次で３ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部１４から出力された各読出領域情報は、調停制御部１１１０が調停制御を行うための各制御情報として、調停制御部１１１０に入力される。
調停制御部１１１０は、認識処理部１２から渡された各制御信号と、視認処理部１４から渡された各制御信号と、の論理積を取る。この場合、認識処理部１２から渡された各制御信号が第（ｊ＋３）ライン、第（ｊ＋５）ライン、第（ｊ＋７）ラインを示し、視認処理部１４から渡された各制御信号が第（ｊ＋１）ライン、第（ｊ＋２）ライン、第（ｊ＋３）ラインである。そのため、調停制御部１１１０により論理積を取ることで、第（ｊ＋３）ラインを示す制御信号が、調停結果として調停制御部１１１０から出力される。
次に、ステップＳ４２で、上述の第ｊラインよりフレームの下端側の第ｋラインを読み出した時点で、ステップＳ４１において数字の「８」または「９」の何れかとして識別されたオブジェクトが、数字の「８」であることが確定したとする。この場合、認識処理部１２は、認識処理を終了させることができる。認識処理が終了した場合、認識処理部１２から調停制御部１１１０に入力される制御信号は、任意で良い。
一方、視認用の画像としては、さらにラインを読み出す必要がある。この例では、視認処理部１４は、第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインの、ライン順次で３ラインを読み出すための読出領域情報をそれぞれ出力している。
調停制御部１１１０は、例えば認識処理部１２による認識処理が終了した場合、認識処理部１２から入力される制御信号を無視する。そのため、調停制御部１１１０は、例えば、視認処理部１４から入力された制御信号に示される第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部１１１０は、例えば、最初に、第（ｋ＋１）ライン、第（ｋ＋２）ライン、第（ｋ＋３）ラインのうちフレーム上端に近い第（ｋ＋１）ラインを示す制御信号を、調停結果として選択する。
このように、第５の実施形態では、調停制御部１１１０により、認識処理部１２から入力された各制御信号と、視認処理部１４から入力された各制御信号と、の論理積を取ることで調停を行い、次に読み出しを行う読出ラインを決定している。そのため、そのため、例えば認識処理部１２と視認処理部１４とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
なお、認識処理部１２から入力される制御信号が示すラインと、視認処理部１４から入力される制御信号が示すラインと、に重複が無い場合が有り得る。例えば、認識処理部１２から調停制御部１１１０に入力される各制御信号が第（ｉ＋１）ライン、第（ｉ＋３）ライン、第（ｉ＋５）ラインであり、視認処理部１４から調停制御部１１１０に入力される各制御信号が第（ｉ＋２）ライン、第（ｉ＋４）ライン、第（ｉ＋６）ラインであれば、両者の間に重複が無い。
調停制御部１１１０において両者の論理積を取ると、出力が空集合となり、次に読み出しを行う読出ラインが決定されないことになる。これを回避するための第１の例として、認識処理部１２から入力される制御信号と、視認処理部１４から入力される制御信号と、のうち優先的に用いる制御信号を予め決めておくことが考えられる。一例として、認識処理部１２から入力される制御信号を、視認処理部１４から入力される制御信号に対して優先的に選択する。このとき、優先とされた認識処理部１２から入力される各制御信号の中で、視認処理部１４から入力される制御信号に近い制御信号を採用することが考えられる。
第２の例として、認識処理部１２および視認処理部１４において、出力が可能な読出領域情報の数に予め制限を設けることが考えられる。例えば、認識処理部１２および視認処理部１４それぞれにおいて、順次に隣接する５ラインから３ラインを候補として選択する。
図５４は、第５の実施形態に係る調停処理を示す一例のフローチャートである。図５４のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図５４のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
図５４において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０に入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０に入力される。
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０に制御信号が入力されると、処理がステップＳ３２１に移行される。ステップＳ３２１で、調停制御部は、認識処理部１２および視認処理部１４から入力された各制御信号を調停情報として用いて、各制御信号の調停を行う。この調停により、ステップＳ３０３で認識処理部１２から渡された制御信号が示す読出ラインと、ステップＳ３１３で視認処理部１４から渡された制御信号が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
［８−１．第５の実施形態の第１の変形例］
次に、第５の実施形態の第１の変形例について説明する。第５の実施形態の第１の変形例は、調停制御部１１１０ａが調停処理に用いる調停情報として、認識処理部１２による認識結果を適用する例である。図５５は、第５の実施形態の第１の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
図５５に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ａｂに対して認識処理実行部１２４から出力される認識結果が入力されている。第５の実施形態の第１の変形例に係る調停制御部１１１０ａｂは、この認識結果を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
図５６は、第５の実施形態の第１の変形例に係る調停処理の第１の例を説明するための模式図である。図５６において、右方向に時間の経過を示している。また、縦方向に、上から、読出制御および認識結果、センサ制御部１１により読み出された読出画像、調停制御部１１１０ａによる調停結果をそれぞれ示している。また、図５６の例では、当該撮像装置１が車載の用途とされ、フレームを下端側から上端側に向けてライン単位で読み出すものとしている。
この図５６の例では、認識処理において動物体が認識された場合に、視認処理部１４の制御を優先させる。
フレームの下端側において（ステップＳ５０）、ラインデータに基づき、認識処理部１２において認識処理実行部１２４により、路面が認識されている。この場合、認識対象が路面であるため、ある程度ラインをスキップして読み出すことができる。また、調停制御部１１１０ａは、認識結果に基づき認識処理に従い調停を行う。例えば、調停制御部１１１０ａは、路面が認識された認識結果に応じて、認識処理部１２から入力される読出領域情報を、視認処理部１４から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。例えば、認識処理部１２がラインを間引きして読む制御を行う場合、ラインを所定の間隔で間引いて生成された読出領域情報が調停制御部１１１０ａに入力される。調停制御部１１１０ａは、この間引きを示す読出領域情報を、読出処理制御部１１１１に渡す。
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部１２により、動物体が認識されたものとする。図５６の例では、ステップＳ５１で、認識処理実行部１２４により、フレームの１／２のライン位置の少し手前で物体が検出されたことを示す物体検出結果が取得され、またその検出された物体が動物体（人体）であることが検出される。認識処理部１２において、認識処理実行部１２４は、この人体が認識されたことを示す認識結果を、調停制御部１１１０ａに渡す。
動物体は、時間による位置変化などが大きいため、例えばラインをスキップして読み出すライン読み出しでは、認識されたオブジェクトの、読み出したライン毎における位置のズレが大きくなり、ズレの補正が必要になる。そのため、調停制御部１１１０ａは、人体が認識されたことを示す認識結果に基づき視認用の制御を優先させ、視認処理部１４から入力される読出領域情報を、認識処理部１２から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。この場合、視認処理部１４は、例えばライン順次で読み出しを行う読出領域情報を生成し、調停制御部１１１０ａに入力する。
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部１２において認識処理実行部１２４により路面外を示す認識結果が得られたものとする。路面外では、ステップＳ５０で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部１２は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部１１１０ａに入力する。調停制御部１１１０ａは、認識処理実行部１２４から出力された、路面外を示す認識結果に応じて、認識処理部１２から入力される読出領域情報を、視認処理部１４から入力される読出領域情報に対して優先して選択して、読出処理制御部１１１１に渡す。
図５６において、ステップＳ５２は、この読出領域情報に従いフレーム上端側における路面外の領域が、フレーム下端側の路面の領域に対してさらに疎らに読み出されている様子が示されている。また、ステップＳ５２において、フレームにおいて人体が検出されている中央部分は、視認用に密に読み出されている様子が示されている。
図５７は、第５の実施形態の第１の変形例に係る調停処理の第２の例を説明するための模式図である。図５７における各部の意味は、上述の図５６と同様であるので、ここでの説明を省略する。また、図５７に例示される各画像は、全体的に輝度が低く暗めの画像となっており、手前側（フレームの下端側）が若干輝度が高く明るい画像となっている。
この第２の例では、調停制御部１１１０ａは、認識結果の確からしさを示す確信度を調停情報として用いて、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、の調停を行う。
フレームの下端側からライン読み出しが開始され、ラインデータに基づき、認識処理部１２において認識処理実行部１２４により、路面が所定以上の確信度（高確信度）で認識されたものとする（ステップＳ６０）。この場合、撮像対象が路面であるため、ある程度ラインをスキップして読み出すことができる。認識処理部１２は、認識結果に応じて、ラインを所定の間隔で間引いた読出領域情報を生成し、調停制御部１１１０ａに入力する。
調停制御部１１１０ａは、認識処理実行部１２４から出力された認識結果が高確信度であるため、認識結果を信頼し、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち認識処理部１２から入力された、この間引きを示す読出領域情報を選択する。調停制御部１１１０ａは、この間引きを示す読出領域情報を、読出処理制御部１１１１に渡す。
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部１２により、動物体が認識されたものとする。図５７の例では、ステップＳ５１で、認識処理実行部１２４により、フレームの１／２のライン位置の少し手前で動物体（人体）が認識されている。ここで、図５７の例では、人体が認識された部分の輝度が低く、認識処理実行部１２４は、この人体の検出を、所定未満の確信度（低確信度）で認識したものとする。認識処理実行部１２４は、認識処理実行部１２４は、この人体が低確信度で認識されたことを示す認識結果を、調停制御部１１１０ａに渡す。
この場合、人体が低確信度で認識されているので、人が視認で確認する必要があると考えられる。そのため、調停制御部１１１０ａは、視認処理部１４から出力される読出領域情報を、認識処理部１２から出力される読出領域情報に対して優先する。
ここで、調停制御部１１１０ａは、認識処理実行部１２４から出力された確信度に応じて読出処理制御部１１１１に対して視認が容易となるような読み出し指示を与えることができる。例えば、低確信度で人体が認識されたライン範囲のラインを複数回読み出させる制御が考えられる。この場合、視認処理部１４において画像処理部１４３などにより、読み出したラインデータを位置が対応するライン同士で合成し、さらに画像処理（例えば高解像度化処理、コントラストの調整）などを施して、低確信度で認識された人物の画像を明確化させることが考えられる。
また、当該撮像装置１が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）に応じて、読出回数、画像処理の内容などを設定することも考えられる。
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部１２において認識処理実行部１２４により路面外を示す認識結果が高確信度で得られたものとする（ステップＳ６２）。路面外では、ステップＳ６０で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部１２は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部１１１０ａに入力する。
なお、視認用の画像において、路面外の画像に対しては高画質が要求されないと考えられる。そのため、視認処理部１４は、認識処理実行部１２４により路面外の認識がなれた場合に、デフォルトの画質設定で視認用の画像データを出力することが考えられる。
図５８は、第５の実施形態の第１の変形例に係る調停処理を示す一例のフローチャートである。図５８のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図５８のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
図５８において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ａに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ａに入力される。
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ａに制御信号が入力されると、処理がステップＳ３２０ｂに移行される。ステップＳ３２０ｂで、調停制御部１１１０ａは、認識処理実行部１２４から出力される認識結果を、調停情報として取得する。
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｂで取得した認識結果に示される確信度に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第５の実施形態の第１の変形例では、ラインデータに基づく認識結果に応じて、認識処理部１２から出力された読出領域情報と、視認処理部１４から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像対象の様々なシーンに応じて適切な視認用画像を得ることが可能である。
［８−２．第５の実施形態の第２の変形例］
次に、第５の実施形態の第２の変形例について説明する。第５の実施形態の第２の変形例は、調停制御部１１１０が調停処理に用いる調停情報として、視認処理部１４から出力される視認用画像を適用する例である。図５９は、第５の実施形態の第２の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
図５９に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ｂに対して画像処理部１４３が画像処理を行った信号処理結果が入力されている。この信号処理結果は、画像処理部１４３から出力される視認用の画像データそのものであってもよいし、調停制御部１１１０による判定が容易なように加工した画像データであってもよい。第５の実施形態の第２の変形例に係る調停制御部１１１０ｂは、この信号処理結果を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
図６０は、第５の実施形態の第２の変形例に係る調停処理を説明するための模式図である。図６０における各部の意味は、上述の図６０と同様であるので、ここでの説明を省略する。また、図６０に例示される各画像は、上述した図５７で用いた各画像と対応するものであって、全体的に輝度が低く暗めの画像となっており、手前側（フレームの下端側）が若干輝度が高く明るい画像となっている。
ステップＳ７０に示すように、フレームの下端側からライン読み出しが開始され、画像処理部１４３は、読み出されたラインデータの輝度値（例えばラインに含まれる各画素データの輝度値の平均値）を求め、求めた輝度値を含む信号処理結果を調停制御部１１１０ｂに渡す。調停制御部１１１０ｂは、画像処理部１４３から渡された信号処理結果に含まれる輝度値が第１の閾値以上である場合、読み出された領域が明るく視認に適しているとして、視認優先の制御を行う。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち視認処理部１４から出力された読出領域情報を選択する。調停制御部１１１０ｂは、選択した視認処理部１４から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する。
なお、図６０の例では、視認処理部１４に対して、ラインの輝度値が所定以上の場合に、ライン間引きを行うように要求されているものとする。このフレームの下端部において、視認処理部１４は、ライン間引きを行うような読出領域情報を生成し、調停制御部１１１０に渡す。
続けてライン読み出しを行ったラインデータに基づき、画像処理部１４３より、ラインデータの輝度値を含む信号処理結果が調停制御部１１１０ｂに渡される。調停制御部１１１０ｂは、渡された信号処理結果に含まれる輝度値が第１の閾値未満である場合、読み出された領域が暗く視認に適していないとして、認識優先の制御を行う。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち認識処理部１２から入力された読出領域情報を選択する（ステップＳ７１）。
さらにフレームの上端側に向けてライン読み出しを行い、画像処理部１４３より、ラインデータの輝度値を含む信号処理結果が調停制御部１１１０ｂに渡される。調停制御部１１１０ｂは、画像処理部１４３から渡された信号処理結果に含まれる輝度値が第１の閾値以上である場合、読み出された領域が明るく視認に適しているとして、制御を視認優先の制御に戻す。具体的には、調停制御部１１１０ｂは、認識処理部１２から入力された読出領域情報と、視認処理部１４から入力された読出領域情報と、のうち視認処理部１４から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する（ステップＳ７２）。
なお、上述では、輝度値の判定を第１の閾値のみで行っているが、これはこの例に限定されない。例えば、第１の閾値よりも輝度値が高い第２の輝度値を設け、この第２の閾値を、視認優先の制御の際に適用することができる。この第２の閾値を用いることで、視認優先の制御において、輝度値が飽和した所謂「白飛び」の状態を回避することが可能である。
図６１は、第５の実施形態の第２の変形例に係る調停処理を示す一例のフローチャートである。図６１のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図６１のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
図６１において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｂに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｂに入力される。
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ｂに制御信号が入力されると、処理がステップＳ３２０ｃに移行される。ステップＳ３２０ｃで、調停制御部１１１０ｂは、画像処理部１４３から出力される信号処理結果を、調停情報として取得する。
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｃで取得した信号処理結果に含まれる輝度値に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第５の実施形態の第２の変形例では、ラインデータに基づく輝度値に応じて、認識処理部１２から出力された読出領域情報と、視認処理部１４から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像環境の明るさに応じて適切な視認用画像を得ることが可能である。
［８−３．第５の実施形態の第３の変形例］
次に、第５の実施形態の第３の変形例について説明する。この第５の実施形態の第３の変形例は、調停制御部１１１０が調停処理に用いる調停情報として、外部から供給される外部制御情報を適用する例である。図６２は、第５の実施形態の第３の変形例に適用可能な撮像装置１の機能を説明するための一例の機能ブロック図である。
図６２に示される構成は、上述した図５１に示した構成に対して、調停制御部１１１０ｃに対して外部制御情報を入力可能としたものである。外部制御情報としては、当該撮像装置１が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）を示す情報が適用できる。これに限らず、外部制御情報として、他のセンサの出力信号を適用することもできる。この場合、他のセンサとしては、他の撮像装置、ＬｉＤＡＲセンサ、レーダ装置などが適用できる。さらに、カメラとディスプレイとを用いて車両の周囲の状況を確認する電子ミラーのカメラによる出力を、外部制御情報として用いることも可能である。
第５の実施形態の第３の変形例に係る調停制御部１１１０ｃは、この外部制御情報を調停情報として用いて、認識処理部１２から入力される読出領域情報と、視認処理部１４から入力される読出領域情報と、の調停処理を行う。
図６３は、第５の実施形態の第３の変形例に係る調停処理を示す一例のフローチャートである。図６３のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップＳ３００で、読出部１１０は、センサ部１０からラインデータを読み出す。読出部１１０は、センサ部１０から読み出されたラインデータを、認識処理部１２および視認処理部１４に渡す。以降、図６３のステップＳ３０１〜ステップＳ３０３の認識処理部１２側の処理と、ステップＳ３１１〜ステップＳ３１３の視認処理部１４側の処理は、上述した図５１の対応する処理と同一であるので、ここでの説明を省略する。
図６３において、ステップＳ３０３で、上述したようにして、認識処理部１２は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｃに入力される。同様に、ステップＳ３１３で、視認処理部１４は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部１１に渡す。センサ制御部１１に渡された読出領域情報は、制御情報として調停制御部１１１０ｃに入力される。
ステップＳ３０３およびステップＳ３１３で認識処理部１２および視認処理部１４から調停制御部１１１０ｂに制御信号が入力されると、処理がステップＳ３２０ｄに移行される。ステップＳ３２０ｄで、調停制御部１１１０ｃは、外部装置から入力される外部制御情報を、調停情報として取得する。
次のステップＳ３２１で、調停制御部１１１０ｂは、ステップＳ３２０ｃで取得した外部制御情報に応じて、ステップＳ３０３で認識処理部１２から渡された読出領域情報と、ステップＳ３１３で視認処理部１４から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。
このとき、調停制御部１１１０ｃは、外部制御情報として、他のセンサから入力される例えば認識情報を用いる際に、当該認識情報の信頼度が低い場合には、ステップＳ３０３で認識処理部１２から渡された読出領域情報を選択しないようにする。また、外部制御情報として、当該撮像装置１が自動運転可能な車両に搭載され、当該車両が対応可能な自動運転のレベル（例えばレベル２〜４）を示す情報を用いる場合に、ステップＳ３０３で認識処理部１２から渡された読出領域情報を優先的に用いるようにすることが考えられる。
次のステップＳ３２２で、センサ制御部１１は、ステップＳ３２１で調停制御部１１１０ｂにより決定された読出領域情報を読出処理制御部１１１１に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第５の実施形態の第３の変形例では、外部装置から出力される外部制御情報を調停情報として用いて、調停制御部１１１０ｃによる調停を行っている。そのため、多様な場面における活用が可能となり、また、外部装置が視認用の画像データの出力を持たない外部センサである場合に、当該外部センサに対して視認用の画像データによる画像を提供可能となる。
［９．第６の実施形態］
次に、第６の実施形態として、本開示に係る、第１〜第５の実施形態および各変形例による撮像装置１の適用例について説明する。図６４は、上述の第１〜第５の実施形態および各変形例による撮像装置１を使用する使用例を示す図である。
上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
［本開示に係る技術のさらなる適用例］
本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図６５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図６５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図６５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図６６は、撮像部１２０３１の設置位置の例を示す図である。図６６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図６６には、撮像部１２１０１〜１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１〜１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１〜１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１〜１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を基に、撮像範囲１２１１１〜１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１〜１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１〜１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。本開示に係る撮像装置１を撮像部１２０３１に適用することで、認識処理用の撮像と視認用の撮像とが両立可能となり、認識処理および人による視認それぞれに対して十分な情報を提供することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
また、本技術は以下のような構成も取ることができる。
（１）
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識部と、
前記読出単位毎に前記認識部により認識した認識結果を出力する第１の出力部と、
前記画素信号を後段に出力する第２の出力部と、
前記第１の出力部が前記認識結果を出力する第１のタイミングと、前記第２の出力部が前記画素信号を出力する第２のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置。
（２）
前記トリガ生成部は、
前記第１のタイミングと前記第２のタイミングとを同期させる前記トリガ信号を生成する、
前記（１）に記載の撮像装置。
（３）
前記トリガ生成部は、前記トリガ信号を一定周期で出力する、
前記（１）または（２）に記載の撮像装置。
（４）
前記トリガ生成部は、
当該撮像装置の外部からの制御に応じて前記トリガ信号を生成する、
前記（１）乃至（３）の何れかに記載の撮像装置。
（５）
前記トリガ生成部は、
前記認識結果の確からしさを示す認識確信度に応じて前記トリガ信号を生成する、
前記（１）乃至（４）の何れかに記載の撮像装置。
（６）
前記第１の出力部による前記認識結果の出力と、前記第２の出力部による前記画素信号の出力と、を制御する出力制御部、
をさらに備え、
前記出力制御部は、
前記第１の出力部により出力される前記認識結果と、前記第２の出力部により出力される前記画素信号と、の間のズレを補正する、
前記（１）乃至（５）の何れかに記載の撮像装置。
（７）
前記出力制御部は、
前記第１の出力部に出力された前記認識結果を保持する保持部を含み、前記保持部に保持される前記認識結果を、前記第２の出力部による前記画素信号の出力に同期して出力する、
前記（６）に記載の撮像装置。
（８）
前記保持部は、
前記第２の出力部に出力された前記画素信号をさらに保持し、
前記出力制御部は、
前記保持部に保持される前記認識結果と前記画素信号との空間上のズレ量を推測し、推測された該ズレ量に基づき、前記保持部に保持される前記画素信号および前記認識結果のうち少なくとも一方を補正し、前記保持部に保持される前記認識結果と、前記保持部に保持される補正された該画素信号と、を同期して出力する、
前記（６）に記載の撮像装置。
（９）
前記トリガ生成部は、
前記第１の出力部に対する前記トリガ信号の出力に応じて、前記第２の出力部が出力するための前記画素信号の前記撮像部からの読み出しを、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
前記（１）乃至（８）の何れかに記載の撮像装置。
（１０）
前記トリガ生成部は、
前記第２の出力部に対する前記トリガ信号の出力に応じて、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを、前記第２の出力部が出力するための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように、前記撮像部に指示する、
前記（１）乃至（８）の何れかに記載の撮像装置。
（１１）
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎に認識部により認識した認識結果を出力する第１の出力部と、
前記画素信号を後段に出力する第２の出力部と、
前記第１の出力部が前記認識結果を出力する第１のタイミングと、前記第２の出力部が前記画素信号を出力する第２のタイミングと、を制御するためのトリガ信号を生成するトリガ生成部と、
を備える撮像装置と、
前記読出単位毎の教師データを学習した前記認識部、
を備える情報処理装置と、
を含む撮像システム。
（１２）
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第１の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第２の出力ステップと、
前記第１の出力ステップにより前記認識結果を出力する第１のタイミングと、前記第２の出力部ステップにより前記画素信号を出力する第２のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
を含む撮像方法。
（１３）
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第１の出力ステップと、
前記画素領域に含まれる画素から読み出される画素信号を後段に出力する第２の出力ステップと、
前記第１の出力ステップにより前記認識結果を出力する第１のタイミングと、前記第２の出力部ステップにより前記画素信号を出力する第２のタイミングと、を制御するためのトリガ信号を生成するトリガ生成ステップと、
をプロセッサに実行させるための撮像プログラム。
さらに、本技術は以下のような構成も取ることができる。
（１４）
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
（１５）
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してＣＮＮ（Convolution Neural Network）を利用した機械学習処理を実行する前記（１４）に記載の電子機器。
（１６）
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記ＣＮＮを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してＲＮＮ（Recurrent Neural Network）を利用した機械学習処理を実行する前記（１５）に記載の電子機器。
（１７）
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記（１４）乃至（１６）の何れかに記載の電子機器。
（１８）
前記単位領域の画像データは、所定ライン数の画像データである前記（１４）〜（１７）の何れかに記載の電子機器。
（１９）
前記単位領域の画像データは、矩形領域の画像データである前記（１４）〜（１７）の何れかに記載の電子機器。
（２０）
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記（１４）乃至（１９）の何れかに記載の電子機器。
１ 撮像装置
１０ センサ部
１１ センサ制御部
１２ 認識処理部
１４ 視認処理部
１１０ 読出部
１１１ 読出制御部
１２０ 特徴量計算部
１２１ 特徴量蓄積制御部
１２２ 特徴量蓄積部
１２３ 読出決定部
１２４ 認識処理実行部
１４０ 画像データ蓄積制御部
１４１ 画像データ蓄積部
１４３ 画像処理部

Claims (13)

  1. 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
    前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
    前記読出単位毎の教師データを学習した認識部と、
    前記読出単位毎に前記認識部により認識した認識結果を出力する第１の出力部と、
    前記画素信号を処理された画像データとして出力する第２の出力部と、
    前記第１の出力部が前記認識結果を出力する第１のタイミングを制御するための第１のトリガ信号と、前記第２の出力部が前記画像データを出力する第２のタイミングを制御するための第２のトリガ信号と、を含むトリガ信号を生成するトリガ生成部と、
    を備える撮像装置。
  2. 前記トリガ生成部は、
    前記第１のタイミングと前記第２のタイミングとを同期させる第３のトリガ信号をさらに生成する、
    請求項１に記載の撮像装置。
  3. 前記トリガ生成部は、前記トリガ信号を一定周期で出力する、
    請求項１に記載の撮像装置。
  4. 前記トリガ生成部は、
    当該撮像装置の外部からの制御に応じて前記トリガ信号を生成する、
    請求項１に記載の撮像装置。
  5. 前記トリガ生成部は、
    前記認識結果の確からしさを示す認識確信度に応じて、前記第１のトリガ信号および前記第２のトリガ信号のうち少なくとも一方を生成する、
    請求項１に記載の撮像装置。
  6. 前記第１の出力部による前記認識結果の出力と、前記第２の出力部による前記画像データの出力と、を制御する出力制御部、
    をさらに備え、
    前記出力制御部は、
    前記第１の出力部により出力される前記認識結果と、前記第２の出力部により出力される前記画像データと、の間のズレを補正する、
    請求項１に記載の撮像装置。
  7. 前記出力制御部は、
    前記第１の出力部に出力された前記認識結果を保持する保持部を含み、前記保持部に保持される前記認識結果を、前記第２の出力部による前記画像データの出力に同期して出力する、
    請求項６に記載の撮像装置。
  8. 前記保持部は、
    前記第２の出力部に出力された前記画像データをさらに保持し、
    前記出力制御部は、
    前記保持部に保持される前記認識結果と前記画像データとの空間上のズレ量を推測し、推測された該ズレ量に基づき、前記保持部に保持される前記画像データおよび前記認識結果のうち少なくとも一方を補正し、前記保持部に保持される前記認識結果と、前記保持部に保持される補正された該画像データと、を同期して出力する、
    請求項７に記載の撮像装置。
  9. 前記トリガ生成部は、
    前記第１の出力部に対する前記第１のトリガ信号の出力に応じて、前記第２の出力部が前記画像データを出力するための前記画素信号の前記撮像部からの読み出しを、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように指示する、
    請求項１に記載の撮像装置。
  10. 前記トリガ生成部は、
    前記第２の出力部に対する前記第２のトリガ信号の出力に応じて、前記認識部が認識を行うための前記画素信号の前記撮像部からの読み出しを、前記第２の出力部が前記画像データを出力するための前記画素信号の前記撮像部からの読み出しを行う速度よりも高速に行うように指示する、
    請求項１に記載の撮像装置。
  11. 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
    前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
    前記読出単位毎に認識部により認識した認識結果を出力する第１の出力部と、
    前記画素信号を処理された画像データとして出力する第２の出力部と、
    前記第１の出力部が前記認識結果を出力する第１のタイミングを制御するための第１のトリガ信号と、前記第２の出力部が前記画像データを出力する第２のタイミングを制御するための第２のトリガ信号と、を含むトリガ信号を生成するトリガ生成部と、
    を備える撮像装置と、
    前記読出単位毎の教師データを学習した前記認識部、
    を備える情報処理装置と、
    を含む撮像システム。
  12. プロセッサにより実行される、
    撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
    前記読出単位毎の教師データを学習した認識ステップと、
    前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第１の出力ステップと、
    前記画素領域に含まれる画素から読み出される画素信号を処理された画像データとして出力する第２の出力ステップと、
    前記第１の出力ステップにより前記認識結果を出力する第１のタイミングを制御するための第１のトリガ信号と、前記第２の出力ステップにより前記画像データを出力する第２のタイミングを制御するための第２のトリガ信号と、を含むトリガ信号を生成するトリガ生成ステップと、
    を含む撮像方法。
  13. 撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
    前記読出単位毎の教師データを学習した認識ステップと、
    前記読出単位毎に前記認識ステップにより認識した認識結果を出力する第１の出力ステップと、
    前記画素領域に含まれる画素から読み出される画素信号を処理された画像データとして出力する第２の出力ステップと、
    前記第１の出力ステップにより前記認識結果を出力する第１のタイミングを制御するための第１のトリガ信号と、前記第２の出力ステップにより前記画像データを出力する第２のタイミングを制御するための第２のトリガ信号と、を含むトリガ信号を生成するトリガ生成ステップと、
    をプロセッサに実行させるための撮像プログラム。
JP2019159150A 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム Active JP6638851B1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
PCT/JP2019/034496 WO2020045682A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム
EP19855709.2A EP3846446A4 (en) 2018-08-31 2019-09-02 IMAGE CAPTURE DEVICE, IMAGE CAPTURE SYSTEM, IMAGE CAPTURE PROCESS AND IMAGE CAPTURE PROGRAM
CN201980054531.XA CN112585943B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和存储介质
KR1020217004985A KR20210053884A (ko) 2018-08-31 2019-09-02 촬상 장치, 촬상 시스템, 촬상 방법 및 촬상 프로그램
BR112021003084-0A BR112021003084A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador.
US17/267,502 US11741700B2 (en) 2018-08-31 2019-09-02 Imaging apparatus, imaging system, imaging method, and imaging program
JP2019229783A JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
US18/353,893 US12183069B2 (en) 2018-08-31 2023-07-18 Imaging apparatus, imaging system, imaging method, and imaging program
US18/953,360 US20250078498A1 (en) 2018-08-31 2024-11-20 Imaging apparatus, imaging system, imaging method, and imaging program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018163700 2018-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019229783A Division JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム

Publications (2)

Publication Number Publication Date
JP6638851B1 true JP6638851B1 (ja) 2020-01-29
JP2020039125A JP2020039125A (ja) 2020-03-12

Family

ID=69166772

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159150A Active JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019229256A Active JP7424034B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019237377A Active JP7424051B2 (ja) 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム

Family Applications After (7)

Application Number Title Priority Date Filing Date
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019229256A Active JP7424034B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019237377A Active JP7424051B2 (ja) 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Country Status (7)

Country Link
US (8) US11595608B2 (ja)
EP (4) EP3846446A4 (ja)
JP (9) JP6638852B1 (ja)
KR (4) KR20210052444A (ja)
CN (4) CN112585943B (ja)
BR (4) BR112021003115A2 (ja)
WO (4) WO2020045686A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
US12141888B1 (en) 2019-12-18 2024-11-12 Meta Platforms Technologies, Llc Dynamic and hierarchical image sensing and processing
EP4099684A4 (en) * 2020-01-31 2023-07-05 Sony Semiconductor Solutions Corporation IMAGING DEVICE AND IMAGING METHOD
JP7492345B2 (ja) * 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2021192714A1 (ja) * 2020-03-24 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 レンダリングシステム及び自動運転検証システム
US20230162468A1 (en) * 2020-03-31 2023-05-25 Sony Group Corporation Information processing device, information processing method, and information processing program
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
WO2022019025A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
US12075175B1 (en) * 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
JPWO2022163130A1 (ja) * 2021-01-29 2022-08-04
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
CN118044216A (zh) * 2021-09-27 2024-05-14 富士胶片株式会社 图像生成方法、处理器及程序
JP2023059464A (ja) * 2021-10-15 2023-04-27 キヤノン株式会社 撮像システム、制御方法、プログラム及び記憶媒体
US12119989B2 (en) * 2021-10-29 2024-10-15 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
JPWO2023127654A1 (ja) 2021-12-28 2023-07-06
WO2023127614A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JPWO2023127612A1 (ja) * 2021-12-28 2023-07-06
JPWO2023127653A1 (ja) * 2021-12-28 2023-07-06
CN116783450A (zh) * 2022-01-18 2023-09-19 雅马哈智能机器控股株式会社 三维数字显微镜
US12200386B2 (en) 2022-01-21 2025-01-14 Samsung Electronics Co., Ltd Image sensor and electronic device comprising the same
US12244936B2 (en) 2022-01-26 2025-03-04 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data
EP4475073A1 (en) 2022-02-02 2024-12-11 Sony Group Corporation Signal processing device, method, and program
CN118872284A (zh) 2022-02-21 2024-10-29 索尼半导体解决方案公司 固态成像元件、成像装置和用于控制固态成像元件的方法
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US12135909B1 (en) * 2022-10-10 2024-11-05 Meta Platforms Technologies, Llc Synchronization of disparity camera
JP2024090345A (ja) * 2022-12-23 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
EP1717728B1 (en) 2001-01-22 2010-09-01 Hand Held Products, Inc. Optical reader having partial frame operating mode
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) * 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007201660A (ja) * 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
WO2007119818A1 (ja) 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
JP4730553B2 (ja) 2006-07-25 2011-07-20 富士フイルム株式会社 撮影装置及び露出制御方法
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP5677934B2 (ja) * 2008-03-27 2015-02-25 プレスライン サービシズ， インク 印刷機、折り機、及び動作方法
JP5288915B2 (ja) * 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP4702418B2 (ja) 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) * 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5839872B2 (ja) * 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP5987306B2 (ja) 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
RU2018109081A (ru) * 2012-05-02 2019-02-26 Никон Корпорейшн Устройство формирования изображений
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
JP2014139732A (ja) * 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) * 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
WO2014114741A1 (en) 2013-01-25 2014-07-31 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) * 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10602084B2 (en) 2015-07-16 2020-03-24 Sony Corporation Imaging apparatus which performs compressive sensing reading data for a partitioned block output from an image sensor
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP4064679A1 (en) 2016-09-16 2022-09-28 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
TWI754696B (zh) * 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
EP3848839A4 (en) * 2018-09-06 2021-10-20 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS, TERMINAL DEVICE, AND INFORMATION PROCESSING DEVICE
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Also Published As

Publication number Publication date
CN112585943B (zh) 2022-12-27
JP6635222B1 (ja) 2020-01-22
JP2020048225A (ja) 2020-03-26
CN112585531B (zh) 2023-05-30
US20210329164A1 (en) 2021-10-21
WO2020045685A1 (ja) 2020-03-05
BR112021003115A2 (pt) 2021-05-11
CN112585948B (zh) 2024-09-13
US20210329163A1 (en) 2021-10-21
JP7424034B2 (ja) 2024-01-30
CN112585531A (zh) 2021-03-30
US20230394813A1 (en) 2023-12-07
BR112021003119A2 (pt) 2021-05-11
US11704904B2 (en) 2023-07-18
WO2020045684A1 (ja) 2020-03-05
EP3846444A4 (en) 2021-10-06
EP3846444A1 (en) 2021-07-07
JP2020043614A (ja) 2020-03-19
KR20210052446A (ko) 2021-05-10
US11595608B2 (en) 2023-02-28
US20250078498A1 (en) 2025-03-06
US20210321054A1 (en) 2021-10-14
CN112567728B (zh) 2023-06-09
US12080061B2 (en) 2024-09-03
EP3846441A4 (en) 2021-10-13
JP7500962B2 (ja) 2024-06-18
JP2020039124A (ja) 2020-03-12
US20240029424A1 (en) 2024-01-25
KR20210052444A (ko) 2021-05-10
CN112585943A (zh) 2021-03-30
US11763554B2 (en) 2023-09-19
KR20210053884A (ko) 2021-05-12
JP2020039123A (ja) 2020-03-12
JP6635221B1 (ja) 2020-01-22
EP3846443A1 (en) 2021-07-07
JP2020039126A (ja) 2020-03-12
JP6638852B1 (ja) 2020-01-29
KR20210053883A (ko) 2021-05-12
JP2020043615A (ja) 2020-03-19
BR112021003183A2 (pt) 2021-05-11
JP2024028531A (ja) 2024-03-04
JP7380180B2 (ja) 2023-11-15
US12159455B2 (en) 2024-12-03
BR112021003084A2 (pt) 2021-05-11
JP2020054007A (ja) 2020-04-02
CN112585948A (zh) 2021-03-30
JP7424051B2 (ja) 2024-01-30
US20210306586A1 (en) 2021-09-30
US20230334848A1 (en) 2023-10-19
WO2020045686A1 (ja) 2020-03-05
WO2020045682A1 (ja) 2020-03-05
EP3846443A4 (en) 2021-09-22
CN112567728A (zh) 2021-03-26
EP3846446A1 (en) 2021-07-07
EP3846446A4 (en) 2021-10-20
US11741700B2 (en) 2023-08-29
US12183069B2 (en) 2024-12-31
EP3846441A1 (en) 2021-07-07
JP2020039125A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
JP6638851B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R151 Written notification of patent or utility model registration

Ref document number: 6638851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151