[go: up one dir, main page]

JP7646358B2 - 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム - Google Patents

情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム Download PDF

Info

Publication number
JP7646358B2
JP7646358B2 JP2020546744A JP2020546744A JP7646358B2 JP 7646358 B2 JP7646358 B2 JP 7646358B2 JP 2020546744 A JP2020546744 A JP 2020546744A JP 2020546744 A JP2020546744 A JP 2020546744A JP 7646358 B2 JP7646358 B2 JP 7646358B2
Authority
JP
Japan
Prior art keywords
unit
detection
recognition
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546744A
Other languages
English (en)
Other versions
JPWO2020054240A1 (ja
Inventor
仁 齋藤
慶光 高木
俊樹 小野
雅章 座間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020054240A1 publication Critical patent/JPWO2020054240A1/ja
Application granted granted Critical
Publication of JP7646358B2 publication Critical patent/JP7646358B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本明細書で開示する技術は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムに関する。
自動運転やADAS(Advanced Driver Assistance System)の実現のために、他の車両や人、レーンなど、さまざまな物体を検出する必要があり、また、晴天時の昼間に限らず、雨天時や夜間などさまざまな環境で物体を検出する必要がある。このため、カメラ、ミリ波レーダー、レーザーレーダーなど、さまざまな外界認識センサが車両に搭載され始めている。
例えば、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、時間差をもって測定された明るさを比較することで明るさの変化を検出し、明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う露出制御装置について提案がなされている(特許文献1を参照のこと)。
また、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法について提案がなされている(特許文献2を参照のこと)。
また、所定の基準露出値でオートブラケティング撮影を行なった後、得られた複数個の画像データから適正露出又は適正露出に最も近い画像データを選択して新たな基準露出値とする、オートブラケティング撮影の機能を有する車載監視カメラの露出制御方法について提案がなされている(特許文献3を参照のこと)。
特開2012-134845号公報 特開2012-138688号公報 特開2012-138688号公報
本明細書で開示する技術の目的は、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することにある。
本明細書で開示する技術の第1の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置である。
前記イメージセンサは車両に搭載して用いられ、前記認識部は、少なくとも周辺車両又は路面を画像認識する。そして、前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する。
また、本明細書で開示する技術の第2の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法である。
また、本明細書で開示する技術の第3の側面は、
イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置である。
また、本明細書で開示する技術の第4の側面は、
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置である。
また、本明細書で開示する技術の第5の側面は、
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
第5の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第5の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第1の側面に係る情報処理装置と同様の作用効果を得ることができる。
本明細書で開示する技術によれば、車載カメラの露光を制御するための処理を実施する情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラムを提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、車両制御システム100の概略的な機能の構成例を示すブロック図である。 図2は、第1の実施例に係る撮像装置200の機能的構成例を模式的に示した図である。 図3は、撮像装置における一般的な露光制御ループを模式的に示した図である。 図4は、本明細書で開示する技術を適用した露光制御ループを模式的に示した図である。 図5は、撮像装置200の基本的な動作手順を示したフローチャートである。 図6は、第2の実施例に係る撮像装置600の機能的構成例を模式的に示した図である。 図7は、撮像装置600の基本的な動作手順を示したフローチャートである。 図8は、撮像装置600で撮像する風景を例示した図である。 図9は、図8に示した風景を俯瞰した様子を示した図である。 図10は、図8に示した撮像画像に検波枠を配置した様子を示した図である。 図11は、消失点及び消失点検波枠を算出する方法を説明するための図である。 図12は、検波値に基づいて画像のコントラスト度合いを算出する方法を説明するための図である。 図13は、検波値に基づいて画像のコントラスト度合いを算出する方法(マルチ枠機能を想定した場合)を説明するための示した図である。 図14は、画像全体に検波枠を配置した様子を示した図である。 図15は、図14に示した画像全体に検波枠を配置して取得したヒストグラムを例示した図である。 図16は、トンネル入り口の消失点検波枠を配置した様子を示した図である。 図17は、トンネル出口の消失点検波枠を配置した様子を示した図である。 図18は、消失点検波値と自動露光制御の収束速度の関係を示した図である。 図19は、撮像装置600で撮像する風景を例示した図である。 図20は、図19に示した撮像画像に写った各車両の距離及び相対速度を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
自動運転やADASの実現に向けて、より高精度な外界認識を行うために、カメラ、ミリ波レーダー、レーザーレーダーなどさまざまな外界認識センサが車両に搭載され始めている。各センサは、検出原理にも依拠して、得手不得手がある。例えば、可視光を撮影するカメラは暗所を苦手とし、電波の反射を検出するレーダーは人や動物などの電波を反射し難い物体を苦手とする。レーダー(ミリ波レーダー)、カメラ、及びレーザーレーダー(LiDAR)の得手不得手を以下の表1にまとめておく。同表中で、◎は大得意(高い認識精度を持つ)、○は得意(良好な認識精度を持つ)、△は苦手(認識精度が十分でない)を意味する。また、2以上のセンサを組み合わせるフュージョン技術を利用することによって、各センサの特徴を生かして、より高精度な外界認識を実現することができる。
Figure 0007646358000001
一般的なデジタルカメラが撮影した画像のビューイング若しくは観賞を目的とするのに対し、車載カメラは衝突回避やレーン制御といった自車両の自動運転やADASの実現を目的とするものである。したがって、車載カメラで撮影した画像は、撮影した風景を忠実に再現して人が見て違和感がないものとするよりも、むしろ車両や歩行者を始めとする障害物や路面など特定の物体を高い精度で画像認識できる画像であることが好ましい、と本出願人は考えている。
画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。例えば、特許文献2には、ターゲットを撮像範囲に配置した状態での車載カメラによる撮像画像からターゲットを検出し、検出した撮像画像におけるターゲットの輝度を測定し、測定した輝度をターゲットの認識に適した目標値とするための露出制御値を算出する車載カメラの露出制御値の決定方法が開示されている。しかしながら、撮影画像中のターゲットが存在し得る範囲からターゲットが有するターゲットパターンを走査して、ターゲットパターンを有しない物体に合わせて露出制御を行うことができない。また、所定の範囲から外れた物体に合わせて露光制御を行うこともできない。
そこで、本明細書では、カメラで撮影した画像の認識結果に基づいて、認識対象とする物体毎に適した自動露光制御を実施することによって、物体毎に認識精度が高い画像を得る技術について、以下で提案する。
図2には、本明細書で開示する技術の第1の実施例に係る撮像装置200の機能的構成例を模式的に示している。撮像装置200は主に車両に搭載して用いられることを想定している。撮像装置200は、車両制御システム100内のデータ取得部102が備える撮像装置の1つに相当する。図示の撮像装置200は、レンズ201と、イメージセンサ202と、信号処理部203と、認識部204と、制御部205を備えている。
イメージセンサ202は、例えばCMOS(Complementary Metal Oxyde Semiconductor)やCCD(Charge Couopled Device)などの素子を用いて構成され、レンズ201によって撮像面に結像された画像を撮像する。
信号処理部203は、イメージセンサ202から出力されるRAWデータに対する「現像」とも呼ばれる処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、YC変換などが現像処理に該当する。
認識部204は、信号処理部203による処理後の撮像画像に含まれる物体を認識する。認識部204は、周辺車両や路面といった、自動運転やADASを実現するためには認識若しくは検出することが必須となる物体を認識対象とする。もちろん、認識部204は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。ドライバなど自車両の搭乗者のマニュアル操作に応じて、認識対象となる物体を追加、削除、変更できるようにしてもよい。また、撮像装置200が車載カメラ以外に用いられる場合には、用途に応じて認識対象となる物体を追加、削除、変更できるようにしてもよい。
制御部205は、イメージセンサ202の撮像画像のうち、認識部204が認識した物体毎の領域の状態に基づいて、イメージセンサ202における撮像動作や、信号処理部203における信号処理を制御する。
制御部205では、車両や路面といった、自動運転やADASの実現のために認識若しくは検出が必須となる物体を高精度で認識できるようにするために、イメージセンサ202や信号処理部203に対する制御を行う。したがって、制御部205による制御下においてイメージセンサ202で撮影され且つ信号処理部203で現像処理された画像は、後段の車両制御システム100内で行われる認識処理において、車両や路面などの特定の物体を認識し易くなるように画質調整された画像となる。このため、撮像装置200から車両制御システム100に出力される画像は、元の風景を忠実に再現したものとは限らず、人がビューイング若しくは観賞した際には違和感を覚えさせることもある。
後段の車両制御システム100では、制御部205による制御下においてイメージセンサ202で撮影され且つ信号処理部203で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両や路面を認識することができる。そして、車両制御システム100は、このような画像認識結果に基づいて、例えば、自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又はADASのための車両制御を実施し、さらにはアクティブコーナリングライト(ACL)、ブレーキアクチュエータ(BRK)、操舵装置(STR)など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
図3には、撮像装置200における一般的な露光制御ループを模式的に示している。
イメージセンサ202は、シャッター301と、素子部302と、アナログゲイン処理部303を含んでいる。レンズ201によって集光された光は、シャッター301を通過して素子部302の撮像面に到達する。素子部302は、2次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部303によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部203に出力される。
信号処理部203は、現像処理部304と、検波部305と、比較部306を含んでいる。現像処理部304は、イメージセンサ202から出力されるデジタル画素信号に対し、デジタルゲイン処理やガンマ処理を含む現像処理を施す。また、検波部305は、イメージセンサ202で撮像した画面全体をOPD(Optical Detection)検波して、画面の明るさ(輝度)を検出する。そして、比較部306は、検波部305で検出した画面全体の明るさを所定の基準値(Ref)と比較する。
制御部205は、比較部306から出力される画面の明るさと基準値の差分に基づいて、シャッター301の開閉タイミング(すなわち露光時間)を制御したり、アナログゲイン処理部303のアナログゲインを調整したり、現像処理部304におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ202の撮像画像が適当な明るさとなるように制御する。
図3に示すような一般的な露光制御ループによれば、画面全体として明るさを調整することができるが、周辺車両や路面といった必要な被写体が必ずしも適切な明るさ(若しくは、画像認識に適した明るさ)で撮影されているとは限らない。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、日陰の部分の車両や路面を高い精度では画像認識できないような撮像画像になってしまうことが懸念される。
図4には、撮像装置200において、本明細書で開示する技術を適用した露光制御ループを模式的に示している。図4に示す制御ループは、認識部204が撮像画像から認識した物体毎に最適な画作りを実施するように構成されている。ここでは、認識部204は、自動運転やADASの実現のために認識若しくは検出が必須となる物体として、車両(直近の先行車両)と路面をそれぞれ検出することを想定している。
イメージセンサ202は、シャッター401と、素子部402と、アナログゲイン処理部403を含んでいる。レンズ201によって集光された光は、シャッター401を通過して素子部402の撮像面に到達する。素子部402は、2次元画素アレイからなり、各画素から受光量に応じた画素信号が出力される。各画素信号は、アナログゲイン処理部403によりアナログ領域で増幅処理が行われた後、デジタル変換して、信号処理部203に出力される。
なお、以下ではイメージセンサ202は単一露光(すなわち、1フレーム期間内に単一の露光タイミングを持つ)を行うものとして説明する。
信号処理部203は、現像処理部404と、検波部405と、比較部406を含んでいる。但し、検波部405は、認識部204が撮像画像から認識した物体毎にOPD検波を行うことができるように、撮像画像中の車両部分の明るさを検波する車両用検波部405-1と、撮像画像中の路面部分の明るさを検波する路面用検波部405-2を備えている。また、検波部405は、イメージセンサ202で撮像した画面全体をOPD検波する画面全体検波部405-3も備えている。また、認識部204が車両及び路面以外の物体を追加して検出する場合には、追加した物体の明るさを検波する検波部をさらに備えていてもよい。
また、現像処理部404は、認識部204が撮像画像から認識した物体毎に適した現像処理を個々に行うことができるように、車両用現像処理部404-1並びに路面用現像処理部404-2を備えている。また、現像処理部は、画面全体に適した現像処理を行う画面全体現像処理部404-3も備えている。また、認識部204が車両及び路面以外の物体を追加して検出する場合には、追加した物体用の現像処理部をさらに備えていてもよい。
図4中、参照番号410で示す範囲内では、通常の自動露光制御が実施される。すなわち、画面全体検波部405-3は、イメージセンサ202で撮像した画面全体をOPD検波して、画面の明るさを検出する。そして、比較部406は、画面全体検波部405-3で検出した画面全体の明るさを所定の基準値(Ref)と比較する。制御部205は、比較部406から出力される画面の明るさと基準値の差分に基づいて、シャッター401の開閉タイミング(すなわち露光時間)を制御したり、アナログゲイン処理部403のアナログゲインを調整したり、画面全体現像処理部404-3におけるデジタルゲインやその他の現像パラメータを調整したりして、イメージセンサ202の撮像画像が最適な明るさとなるように制御する。
一方、認識部204は、信号処理部403による処理後の撮像画像420に含まれる物体を認識する。ここでは、撮像装置200が車載カメラ(若しくは、車両制御システム100内のデータ取得部102)として用いられることを想定して、認識部204は、自動運転やADASの実現のために認識若しくは検出が必須となる物体として、車両421及び路面422を認識する。もちろん、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもできる。
車両用検波部405-1は、認識部204による車両421の認識結果に基づいて、撮像画像420中に車両421の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部405-3で検波した画面全体の明るさと、車両421の検波枠内の明るさの差分を算出する。そして、車両用現像処理部404-1内では、その差分に基づいてデジタルゲインやガンマ値を調整して、車両421の枠内の明るさを調整する。すなわち、車両用現像処理部404-1は、撮像画像から車両421を物体認識するのに最適となる現像処理を行う(画面全体に対して車両421の検波枠が暗過ぎれば、車両421がもっと明るくなるように現像処理し、画面全体に対して車両421の検波枠が明る過ぎれば、車両421が暗くなるように現像処理する)。車両用現像処理部404-1によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、車両421を高精度に認識できる画像である。
また、路面用検波部405-2は、認識部204による路面422の認識結果に基づいて、撮像画像420中の路面422の検波枠を設定し、その検波枠内の明るさを検波して、画面全体検波部405-3で検波した画面全体の明るさと、路面422の検波枠内の明るさの差分を算出する。そして、路面用現像処理部404-2内では、その差分に基づいてデジタルゲインやガンマ値を調整して、路面422の枠内の明るさを調整する(画面全体に対して路面422の検波枠が暗過ぎれば、路面422がもっと明るくなるように現像処理し、画面全体に対して路面422の検波枠が明る過ぎれば、車両421が暗くなるように現像処理する)。すなわち、路面用現像処理部404-2は、撮像画像から路面422を物体認識するのに最適となる現像処理を行う。路面用現像処理部404-2によって現像処理された撮像画像は、元の風景を必ずしも忠実に再現したものではなく、人がビューイング若しくは観賞した際には違和感を覚えさせることもあるが、路面422を高精度に認識できる画像である。
図4に示した撮像装置200は、認識部204を備えるとともに、この認識部204が認識する物体毎に複数の現像処理部及び検波部を搭載することにより、通常の自動露光制御を安定して実施すると同時に、各物体の画像認識に最適な現像を行うことが可能である。
自動運転やADASの実現のためには、車両並びに路面の画像認識が最重要である。この観点から、図4に示した撮像装置200では、認識部204は車両及び路面の2種類の物体を認識し、車両用及び路面用の複数の検波部及び現像処理部を搭載するという構成である。もちろん、認識部204は、バイクや自転車、歩行者、道路標識、信号機、レーン、中央分離帯、ガードレール、街路樹や街灯など他の物体をさらに認識対象に取り入れることもでき、これに対応して、追加した認識物体毎の複数の検波部及び現像処理部を増設することによって、多種類の物体の画像認識に最適な現像を行うことが可能となる。
また、上記では、イメージセンサ202が単一露光を行うものとして説明してきたが、もちろん、複数同時露光(すなわち、1フレーム期間内に複数の露光タイミングを持ち、1フレーム期間内に複数の画像を撮像する)を実施可能であってもよい。撮像装置200は、複数同時露光を利用して、低輝度側自動露光並びに高輝度側自動露光といった輝度グループ毎の自動露光制御と、LED(Light Emitting Diode)フリッカ対策用など、用途に分けて画像を出力するようにしてもよい。
図5には、図4に示した撮像装置200において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。但し、ここではイメージセンサ202が複数同時露光可能であり、車両用、路面用、及び画面全体用の3回露光を行うものとする。
画面全体検波部405-3は、イメージセンサ202による撮影画像の画面全体の明るさを検波する(ステップS501)。
次いで、比較部406は、画面全体検波部405-3で検出した画面全体の明るさを所定の基準値(Ref)と比較して、エラー量を算出する(ステップS502)。
そして、制御部205は、ステップS502で算出したエラー量に基づいて、シャッター401の開閉タイミング(すなわち露光時間)や、アナログゲイン処理部403のアナログゲイン調整といったデバイス制御を実施する(ステップS503)。
ここでは、イメージセンサ202が複数同時露光を行うことを想定している。したがって、ステップS503では、低輝度用、高輝度用、画面全体用に、各々のデバイス制御(ステップS503-1、S503-2、S503-3)を実施するようにしてもよい。また、各デバイス制御は同様の内容であってもよい。
なお、ステップS501~S503で実施される処理は、通常の自動露光制御に相当する処理である。
認識部204は、ステップS503-1並びにS503-2のデバイス制御に基づいて処理された各撮像画像に対して画像認識処理を実施する(ステップS504)。
認識部204が撮像画像から対象とする物体(車両、路面)を認識できなかった場合には(ステップS504のNo)、本処理を終了する。
一方、認識部204が撮像画像から対象とする物体(車両、路面)を認識できた場合には(ステップS504のYes)、信号処理部203は、認識部204から、対象とする物体(車両、路面)に関する画像認識情報を取得する(ステップS505)。
車両用検波部405-1は、認識部204から取得した画像認識情報に基づいて車両の検波枠を設定して、車両の検波枠の明るさを検波する(ステップS506)。ここで、認識部204が撮像画像からN台(但し、Nは2以上の整数)の車両を認識できた場合には、車両用検波部405-1は、N台分の検波枠を設定してすべての車両の明るさを個別に検波してもよいし、すべての検波枠の明るさの平均を検波してもよいし、優先順位が上位の所定台数までの明るさを検波するようにしてもよい。車両の優先順位は、自車両からの距離など自車両と衝突する可能性に基づいて割り振ってもよい。
次いで、車両用検波部405-1は、車両の検波枠の明るさを、画面全体検波部405-3で検出した画面全体の明るさと比較して、エラー量を算出する(ステップS507)。そして、車両用現像処理部404-1は、複数同時露光によって車両用に撮像した画像に対して、ステップS507で算出したエラー量に基づいて現像処理する(ステップS508)。
また、路面用検波部405-2は、認識部204から取得した画像認識情報に基づいて路面の検波枠を設定して、車両の検波枠の明るさを検波する(ステップS509)。次いで、路面用検波部405-2は、車両の検波枠の明るさを、画面全体検波部405-3で検出した画面全体の明るさと比較して、エラー量を算出する(ステップS510)。そして、路面用現像処理部404-2は、複数同時露光によって路面用に撮像した画像に対して、ステップS510で算出したエラー量に基づいて現像処理する(ステップS511)。
他方、現像処理部404-3は、LEDフリッカ対策用の現像処理を実施する(ステップS512)。
最後に、実施例1についてまとめておく。撮像装置200は、図4にも示したように、複数同時露光機能、複数検波機能、及び複数現像機能を装備している。かかる構成により、撮像装置200は、LEDフリッカを抑制しつつ、急激な被写体変化にも安定した露出を維持することができる。これによって、撮像装置200は、複数の被写体に対して、お互いの露光に依存せずに最適な現像処理が可能であるとともに、現像時のエラー量を即時に反映することができるという特徴がある。また、撮像装置200は、被写体検知機能を維持できるという特徴がある。
画像認識の精度を向上するには、認識対象となる物体を認識し易くなる露光条件で撮影を行う必要がある。しかしながら、逆光や暗闇では、認識不能なシーンを撮影することになる。例えば、日差しの強い炎天下のドライブで、街路樹の下を走行していると、陽が当たる部分と日陰の部分でコントラストが強過ぎて、自動露光制御が明暗の変化に追い付かない。通常のカメラの制御では、適正な露光条件になるまでに時間がかかり過ぎて、追従できない。その結果として、露光オーバー又は露光アンダーが長く続き、この間、画像認識ができない状態が続くため、車両制御システム100による自動運転やADASが十分に機能しない。画像認識ができない状態の他の例として、トンネルの出入り口や、対向車のヘッドライトを浴びている状態を挙げることができる。
そこで、第2の実施例では、周辺車両の画像認識ができない状態となる問題シーンを画像認識結果に基づいて判定し、かかる問題シーンにおいて自動露光を適応的に制御する撮像装置について説明する。
ここで、画像認識ができない状態となる問題シーンとして、上述したように、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を挙げることができる。このような問題シーンは、撮像画像中の消失点及びコントラスト度合いの計算結果に基づいて判定することができる。また、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を挙げることができる。問題シーンの判定方法並びに自動露光の適応制御の詳細については後述に譲る。
図6には、第2の実施例に係る撮像装置600の機能的構成例を模式的に示している。撮像装置600は主に車両に搭載して用いられることを想定している。図示の撮像装置600は、レンズ601と、イメージセンサ602と、信号処理部603と、認識部604と、判定部605と、制御部605を備えている。
イメージセンサ602は、例えばCMOSやCCDなどの素子を用いて構成され、レンズ601によって撮像面に結像された画像を撮像する。信号処理部603は、イメージセンサ602から出力されるRAWデータに対する現像処理を実施する。例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正、YC変換などが現像処理に該当する。
認識部604は、信号処理部603による処理後の撮像画像に含まれる物体を認識する。本実施例では、認識部604は、基本的には、後段の判定部605で問題シーンの判定に用いる物体として、周辺車両と斜線(レーン)を画像認識する。もちろん、認識部604は、バイクや自転車、歩行者、道路標識、信号機、ガードレール、街路樹や街灯など、他の物体をさらに認識対象に取り入れることもできる。
判定部605は、周辺車両の画像認識ができない状態となる問題シーンを、認識部604における画像認識結果に基づいて判定する。具体的には、判定部605は、日差しの強い逆光状態や、トンネルの出入り口、対向車のヘッドライトを浴びている状態を判定する。判定部605は、認識部604による画像認識結果に基づいて消失点を算出し、また、撮像画像のコントラスト度合いを算出して、これらの計算結果に基づいてシーン判定を行う。
消失点は、透視変換によって3次元空間中の複数の平行線を画像上に投影した場合に、それら平行線に対応する画像上の直線が収束する点のことであり、理論的には無限遠点である。消失点の計算方法はさまざまである。本実施例では、判定部605は、認識部604によるレーンの検出結果や、画像認識された所領の位置やサイズに基づいて消失点を算出するものとする。
また、判定部605は、OPD検波に基づいて、画像のコントラスト度合いを算出する。本実施例では、判定部605は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較する方法と、ヒストグラム(画像の輝度分布)の形状に基づいて判定する方法の2通りによってコントラスト度合いを算出するものとする。
制御部606は、判定部605が周辺車両の画像認識ができない状態であると判定する問題シーンにおいて、イメージセンサ602における撮像動作や、信号処理部603における現像処理を制御して、自動露光を適応的に制御する。具体的には、制御部606は、問題シーンにおける自動露光の適応制御として、自動露光の収束速度の可変制御や自動露光検波領域の可変制御を実施する。
後段の車両制御システム100では、制御部606による制御下においてイメージセンサ602で撮影され且つ信号処理部603で現像処理された画像を認識処理することにより、高精度若しくは高い認識率で周辺車両を認識することができる。そして、車両制御システム100は、このような画像認識結果に基づいて、例えば、自動車間制御(ACC)、車線逸脱警報(LDW)、レーンキープアシスト(LKA)、自動緊急ブレーキ(AEB)、死角検知(BSD)といった、自動運転又はADASのための車両制御を実施し、さらにはアクティブコーナリングライト(ACL)、ブレーキアクチュエータ(BRK)、操舵装置(STR)など各駆動部の駆動を制御する。これによって、自車両の安全運転に寄与することができる。
第2の実施例に係る撮像装置600は、第1の実施例(すなわち、図4に示した撮像装置200)とは相違し、イメージセンサ606は単一露光でよく、且つ、信号処理部603及び検波部604は1系統でよく、物体毎の系統は不要である。すなわち、撮像装置600は、図3に示したような装置構成でもよい。
図7には、図6に示した撮像装置600において自動露光制御するための基本的な動作手順をフローチャートの形式で示している。
判定部605は、認識部604による画像認識情報を取得する(ステップS701)。認識部604は、イメージセンサ602による撮像画像から、路面、路面上の車線や車両など物体を認識することができる。そして、認識部604による画像認識結果に基づいて、撮像画像に対して、地面(路面)、空、車両、消失点などに検波枠を配置することができる。
判定部605は、認識部604による画像認識情報に基づいて、消失点を算出し(ステップS702)、さらに消失点領域の検波値を取得する(ステップS703)。
また、判定部605は、OPD検波に基づいて、画像のコントラスト度合いを算出する。具体的には、判定部605は、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによってコントラスト度合いを算出するとともに(ステップS704)、ヒストグラム(画像の輝度分布)の形状に基づいてコントラスト度合いを算出する(ステップS705)。
次いで、判定部605は、ステップS703で取得した消失点領域の検波値が下限閾値THlow以上で且つ上限閾値THHigh未満であるかどうかをチェックする(ステップS706)。
消失点領域の検波値が下限閾値THlow以上で且つ上限閾値THHigh未満である場合には(ステップS706のYes)、判定部605は、認識部604が車両を安定して認識できているかどうかをさらにチェックする(ステップS707)。ここで、「安定」して認識することとは、認識の尤度が高いことや、認識結果が急峻に変化せず安定していることなどを意味する。
認識部604が車両を安定して認識できている場合には(ステップS707のYes)、制御部606は、撮像画像のうち車両領域の検波値を取得して(ステップS708)、車両領域の検波値のみを使ってイメージセンサ602の自動露光制御並びに信号処理部603における現像処理の制御を行う(ステップS709)。
一方、認識部604が車両を安定して認識できていない場合には(ステップS707のNo)、判定部605は、ステップS704及びステップS705で算出したコントラスト度合いが所定の閾値THc以上であるかどうかをさらにチェックする(ステップS710)。
そして、撮像画像のコントラスト度合いが所定の閾値THc以上である場合には(ステップS710のYes)、検波領域を路面領域のみにしてOPD検波を行い、制御部606は、路面領域の検波結果に基づいて、イメージセンサ602の自動露光制御並びに信号処理部603における現像処理の制御を行う(ステップS711)。あるいは、路面領域の重みをそれ以外の領域よりも大きくしてOPD検波を行うようにしてもよい。
また、撮像画像のコントラスト度合いが所定の閾値THc以上である場合には(ステップS710のYes)、日差しの強い逆光状態や、対向車のヘッドライトを浴びている状態であると推定されるので、測光領域を路面領域のみにして自動露光制御を実施する。一方、撮像画像のコントラスト度合いが所定の閾値THc未満である場合には(ステップS710のNo)、逆光状態では無く、前方に車両がいないだけの状態であると推定されるので、自動露光制御を実施せずに本処理を終了する。
また、消失点領域の検波値が下限閾値THlow未満、又は上限閾値THHighを超える場合(ステップS706のNo)、自車両がトンネルの出口付近又は入り口付近のいずれかに達していると推定される。そこで、検波枠を(トンネルの出入り口に相当する)消失点領域のみに設定してOPD検波を行い、制御部606は、消失点領域の検波結果に基づいて、イメージセンサ602の自動露光制御並びに信号処理部603における現像処理の制御を行う(ステップS712)。また、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、制御部606は、自動露光制御の収束速度を速める(ステップS713)。
続いて、図8に示すような風景を撮像装置600で撮影する場合を例にとって、図7に示した動作手順について具体的に説明する。
検波枠の配置について:
図8は、自車両が片側3車線の道路を走行中に、車載の撮像装置600で自車両の前方を撮影した様子である。図8に示す例では、自車両の前方の路面800を、自車両から距離が近い順に、先行車両801、802、及び803が走行している。また、図9には、自車両の前方を俯瞰した様子を示している。自車両から先行車両801、802、及び803までの距離は、それぞれd1、d2、d3である。また、先行車両801、802、及び803の相対速度及び向きは、それぞれv1、v2、v3である。先行車両801、802、及び803の距離及び相対速度は、例えば、車両制御システム100がデータ取得部102として装備するレーダーを用いて計測することができる。
認識部604は、図8に示した撮像画像に対して画像認識処理を行うことにより、路面(地面)800や、先行車両801~803、車線804、805などの物体を認識する。そして、判定部605は、認識部604による画像認識情報に基づいて、図10に示すように、路面800、空、消失点、先行車両801~803の各々に対して検波枠を配置することができる。
・路面、空(Wg、Ws)
・消失点(Wvp)
・先行車両(Wv1、Wv2、Wv3)
もちろん、認識部604は、上述した以外に、バイクや自転車、歩行者、道路標識、信号機などの物体も必要に応じて認識することができる。また、判定部605は、これらの認識物体に対しても検波枠を同様に配置することができる。
制御部606は、路面検波枠Wg及び空検波枠Wsからなる全体枠をベースに、各先行車両801、802、803までの距離d1、d2、d3や相対速度v1、v2、v3から、先行車両801、802、803の重み付けを制御する。例えば自車両から距離が近い車両や、速い速度で自車両に接近している車両の重みを大きくする。
消失点の算出について:
判定部605は、図7に示したフローチャート中のステップS702において、認識部604による画像認識情報に基づいて消失点を算出し、続くステップS703において消失点検波枠を算出する。図11には、消失点を算出する様子を示している。対象とする3次元空間中の平行線として、車線を挙げることができる。そこで、判定部605は、車線804と車線805の交点を、消失点検波枠の中心位置に決定する。そして、各車両801~803の位置とサイズに基づいて、消失点検波枠Wvpを算出する。
コントラスト度合いの算出方法1:
判定部605は、図7に示したフローチャート中のステップS704において、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによって、コントラスト度合いを算出する。図12には、コントラスト度合いを算出する様子を示している。判定部605は、認識部604が画像認識した先行車両801~803、並びに車線804及び805の情報から、路面検波枠Wgを求め、それ以外を空検波枠Wsと仮定することができる。そして、判定部605は、路面検波枠Wgの検波値と空検波枠Wsの検波値の差分の絶対値ABS(Wg-Ws)をコントラスト度合いとして算出する。その後、判定部605は、ステップS710において、コントラスト度合いとして算出した差分の絶対値ABS(Wg-Ws)が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定することができる。
図13には、マルチ枠機能を想定した場合の、コントラスト度合いを算出する様子を示している。判定部605は、認識部604が画像認識した先行車両801~803、並びに車線804及び805の情報から、路面検波枠Wgを求め、それ以外を空検波枠Wsと仮定する。図13中、路面検波楽Wgを淡いグレーで塗り潰し、それ以外の空検波枠Wsを濃いグレーで塗り潰している。そして、判定部605は、路面検波枠Wgの検波値と空検波枠Wsの検波値の差分の絶対値ABS(Wg-Ws)をコントラスト度合いとして算出する。その後、判定部605は、ステップS710において、コントラスト度合いとして算出した差分の絶対値ABS(Wg-Ws)が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定する。
コントラスト度合いの算出方法2:
判定部605は、図7に示したフローチャート中のステップS705において、ヒストグラム(画像の輝度分布)の形状に基づいて、コントラスト度合いを算出する。判定部605は、2値化手法の1つである判別分析法を用いて、ヒストグラムの分離度を算出し、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。
例えば、図14に示すように、画像全体に検波枠を配置して、ヒストグラムを取得する。図15には、図14に示した画像全体に検波枠を配置して取得したヒストグラムを例示している。図15に示した例では、画像の輝度レベルは0~255の256階調からなり、輝度レベル毎の画素数分布が取得されている。
ここで、図14に示した画像全体の画素数がωt、輝度レベルの平均値がmt、分散がσtであったとする。また、図15に示したヒストグラムにおいて、輝度レベルの閾値THlを設定して、画素を輝度レベルが閾値THl以上の白クラスと閾値THl未満の黒クラスの2値に分離する。そして、黒クラスの画素数がω1、輝度レベルの平均値がm1、分散がσ1であり、白クラスの画素数がω2、輝度レベルの平均値がm2、分散がσ2であったとする。下式(1)に従ってクラス内分散σw 2を算出するとともに、下式(2)に従ってクラス間分散σb 2を算出し、クラス内分散σw 2及びクラス間分散σb 2に基づいて下式(3)に従って全分散σt 2を算出する。そして、下式(4)に示す、クラス間分散σb 2とクラス内分散σw 2の比が最大となる閾値THlを求めることによって、分離度を算出する。そして、判定部605は、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。
Figure 0007646358000002
Figure 0007646358000003
Figure 0007646358000004
Figure 0007646358000005
自動露光制御の収束速度の制御について:
図16には、自車両がトンネルの入り口付近に到達したときに、撮像装置600で自車両前方を撮影した様子を示している。この場合、トンネルの入り口が消失点領域となり、且つ、消失点領域の検波値が下限閾値THlow未満となる。また、図17には、自車両がトンネルの出口付近に到達したときに、撮像装置600で自車両前方を撮影した様子を示している。この場合、トンネルの出口が消失点領域となり、且つ、消失点領域の検波値が上限閾値THHighを超える。
判定部605は、図7に示したフローチャート中のステップS706において、消失点領域の検波値が下限閾値THlow未満、又は上限閾値THHighを超える場合に、自車両がトンネルの出入り口付近に達していると推定する。そして、判定部605は、図16並びに図17にそれぞれ示すように、検波枠をトンネルの入り口又は出口に相当する消失点領域のみに設定する(ステップS712)。また、制御部606は、適正な露光条件になるまでに時間がかかり過ぎて追従できなくなるという事態を回避するために、ステップS713において、自動露光制御の収束速度を速める。
図18には、消失点検波値と自動露光制御の収束速度の関係を示している。同図に示すように、判定部605は、消失点領域の検波値が下限閾値THlow未満となった場合に、自動露光制御の収束速度を速める。また、判定部605は、消失点領域の検波値が上限閾値THHighを超える場合に、自動露光制御の収束速度を速める。判定部605は、消失点領域の検波値を時系列で監視することで、連続的な収束速度の可変制御を実現することができる。
また、判定部605は、消失点領域の検波値が下限閾値THlow以上で且つ上限閾値THHigh未満の範囲内である期間中も、認識部604による車両認識情報に基づいて自車両の前方を常時監視する。例えば、過去の数フレーム分の画像認識結果を蓄積しておき、先行車両を認識できなくなった状態が所定数のフレーム以上継続した場合にも、自動露光制御の収束速度を速めるようにしてもよい。
車両枠の重み付け制御について:
判定部605は、図7に示したフローチャート中のステップS701で認識部604による画像認識情報を取得すると、空、消失点、及び先行車両の各々に対して検波枠を配置する。このとき、判定部605は、各先行車両の距離や相対速度に基づいて、各車両枠の重み付けを制御する。
例えば、図19に示すようなイメージセンサ602の撮像画像1900から、認識部604による画像認識情報に基づいて、車両枠Wv1、Wv2、Wv3が配置されたとする。また、図20に示すように、自車両から各先行車両までの距離がそれぞれd1、d2、d3であり、各先行車両の相対速度がそれぞれv1、v2、v3であるとする。
先行車両との距離が短ければ、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。また、先行車両の相対速度が速いほど、自車両と衝突する可能性が高いので、大きな重みを与えるべきである。そこで、下式(5)に示すように、先行車両との距離と相対速度に基づいて、各車両枠Wv1、Wv2、Wv3の重みWev1、Wev2、Wev3を制御するようにしてもよい。
Figure 0007646358000006
また、認識部604により画像認識された全車両の車両枠Wvと、それ以外の領域とで重みを変えるようにしてもよい。例えば、全車両の車両枠の重みWevを、下式(6)のように定義することができる(但し、図19に示す例ではn=3)。
Figure 0007646358000007
最後に、実施例2についてまとめておく。撮像装置600は、単一露光、単一検波、単一現像として構成することもできるが、急激な被写体変化にも安定した露出を維持することができ、複数の被写体変化にも対応することができ、且つ、被写体検知機能を維持できるという特徴がある。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、車載カメラに関する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は車両に限定されない。例えば、ドローンなどの無人航空機、所定の作業空間(家庭、オフィス、工場など)を自律的に移動するロボット、船舶、航空機など、さまざまなタイプの移動体装置に対して、同様に本明細書で開示する技術を適用することができる。もちろん、移動体装置に設置される情報端末や、移動型でないさまざまな装置に対しても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置。
(1-1)前記処理部をさらに備える、
上記(1)に記載の情報処理装置。
(2)前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
上記(1)に記載の情報処理装置。
(3)前記イメージセンサは車両に搭載して用いられ、
前記認識部は、少なくとも周辺車両又は路面を画像認識し、
前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
上記(1)又は(2)のいずれかに記載の情報処理装置。
(4)前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)に記載の情報処理装置。
(5)前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
上記(1)に記載の情報処理装置。
(6)前記制御部は、前記認識部が認識した2以上の車線の交点に基づいて前記消失点を算出する、
上記(5)に記載の情報処理装置。
(7)前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(6)のいずれかに記載の情報処理装置。
(8)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(7)のいずれかに記載の情報処理装置。
(9)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(8)のいずれかに記載の情報処理装置。
(10)前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
上記(9)に記載の情報処理装置。
(11)前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
上記(9)に記載の情報処理装置。
(12)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)前記制御部は、車両領域とそれ以外の領域の重みを制御する、
上記(12)に記載の情報処理装置。
(14)イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法。
(15)イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置。
(16)移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置。
(17)イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
100…車両制御システム
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
200…撮像装置、201…レンズ、202…イメージセンサ
203…信号処理部、204…認識部、205…制御部
301…シャッター、302…素子部、303…アナログゲイン処理部
304…現像処理部、305…検波部、306…比較部
401…シャッター、402…素子部、403…アナログゲイン処理部
404-1…車両用現像処理部、404-2…路面用現像処理部
404-3…画面全体現像処理部、405-1…車両用検波部
405-2…路面用検波部、405-3…画面全体検波部
406…比較部
600…撮像装置、601…レンズ、602…イメージセンサ
603…信号処理部、604…認識部、605…判定部
606…制御部

Claims (16)

  1. イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
    前記処理部で処理された後の画像を認識する認識部と、
    前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    を具備し、
    前記認識部は2以上の物体を認識対象とし、
    前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
    前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
    前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
    情報処理装置。
  2. 前記イメージセンサは車両に搭載して用いられ、
    前記認識部は、少なくとも周辺車両及び路面を前記認識対象に含み、
    前記制御部は、前記画像中の前記周辺車両及び前記路面の各領域をそれぞれ個別に検波又は現像処理するように制御する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
    請求項1に記載の情報処理装置。
  5. 前記制御部は、前記認識部が認識した2以上の車線の交点に基づいて前記消失点を算出する、
    請求項4に記載の情報処理装置。
  6. 前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項1に記載の情報処理装置。
  7. 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
    前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項1に記載の情報処理装置。
  8. 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
    前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
    請求項1に記載の情報処理装置。
  9. 前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
    請求項8に記載の情報処理装置。
  11. 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
    前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
    請求項1に記載の情報処理装置。
  12. 前記制御部は、車両領域とそれ以外の領域の重みを制御する、
    請求項11に記載の情報処理装置。
  13. イメージセンサの出力信号に対して検波及び現像処理を行う処理ステップと、
    前記処理ステップで処理した後の画像を認識する認識ステップと、
    前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理ステップにおける処理動作のうち少なくとも一方を制御する制御ステップと、
    を有し、
    前記認識ステップでは2以上の物体を認識対象とし、
    前記処理ステップでは、画像全体に対して検波を行う画面全体検波及び画像全体に対して現像処理を行う画面全体現像処理、前記認識対象の物体毎の検波を行う物体毎の検波及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理をそれぞれ行い、
    前記物体毎の検波では、前記認識ステップにおける物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波で検波した明るさとの差分を算出し、
    前記物体毎の現像処理では、前記物体毎の検波で算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
    情報処理方法。
  14. イメージセンサと、
    前記イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
    前記処理部による処理後の画像を認識する認識部と、
    前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    を具備し、
    前記認識部は2以上の物体を認識対象とし、
    前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
    前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
    前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
    撮像装置。
  15. 移動体と、
    前記移動体に搭載されたイメージセンサと、
    前記イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
    前記処理部による処理後の画像を認識する認識部と、
    前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
    前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
    を具備し、
    前記認識部は2以上の物体を認識対象とし、
    前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
    前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
    前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
    移動体装置。
  16. イメージセンサの出力信号に対して検波及び現像処理を行う処理部、
    前記処理部で処理した後の画像を認識する認識部、
    前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
    としてコンピュータを機能させ、
    前記認識部は2以上の物体を認識対象とし、
    前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部として機能し、
    前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
    前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
    ようにコンピュータ可読形式で記述されたコンピュータプログラム。
JP2020546744A 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム Active JP7646358B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018171382 2018-09-13
JP2018171382 2018-09-13
PCT/JP2019/030046 WO2020054240A1 (ja) 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2020054240A1 JPWO2020054240A1 (ja) 2021-09-30
JP7646358B2 true JP7646358B2 (ja) 2025-03-17

Family

ID=69777778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546744A Active JP7646358B2 (ja) 2018-09-13 2019-07-31 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム

Country Status (8)

Country Link
US (1) US11815799B2 (ja)
EP (1) EP3852355A4 (ja)
JP (1) JP7646358B2 (ja)
KR (1) KR20210056336A (ja)
CN (1) CN112703724A (ja)
BR (1) BR112021004210A2 (ja)
MX (1) MX2021002613A (ja)
WO (1) WO2020054240A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
WO2022014361A1 (ja) * 2020-07-15 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US11562572B2 (en) 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
FR3127355B1 (fr) * 2021-09-20 2023-09-29 Renault Sas procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale
US20230140584A1 (en) * 2021-11-02 2023-05-04 Here Global B.V. Apparatus and methods for detecting light-based attributes of road segments and monitoring the light-based attributes for adverse road conditions
CN114220285A (zh) * 2021-12-14 2022-03-22 中国电信股份有限公司 超速车辆的定位与示警方法、装置、电子设备及可读介质
KR20240098615A (ko) * 2022-12-21 2024-06-28 주식회사 세미콘네트웍스 한대의 카메라로 차량의 거리 및 속도를 측정한 자율 주행 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010215029A (ja) 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
WO2015050118A1 (ja) 2013-10-01 2015-04-09 株式会社ニコン 電子機器
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
EP1699231A1 (en) * 2003-12-25 2006-09-06 Niles Co., Ltd. Imaging system
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP2011254340A (ja) * 2010-06-03 2011-12-15 Hitachi Ltd 撮像装置
JP5375814B2 (ja) 2010-12-22 2013-12-25 株式会社デンソー 露出制御装置
JP5246254B2 (ja) 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
CN103369289B (zh) * 2012-03-29 2016-05-04 深圳市腾讯计算机系统有限公司 一种视频模拟形象的通信方法和装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6289681B2 (ja) * 2015-01-22 2018-03-07 三菱電機株式会社 撮像装置及び方法、並びにプログラム及び記録媒体
EP3252707A4 (en) * 2015-01-28 2018-09-19 Kyocera Corporation Image processing apparatus, image processing system, vehicle, imaging apparatus, and image processing method
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
WO2016194296A1 (en) * 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
DE102015118474A1 (de) * 2015-10-29 2017-05-04 Connaught Electronics Ltd. Verfahren zum Anpassen eines Kameraparameters und/oder eines Bilds,Computerprogrammprodukt, Kamerasystem, Fahrerassistenzsystem und Kraftfahrzeug
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Jvcケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
JP6738957B2 (ja) * 2017-03-01 2020-08-12 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
JP6889005B2 (ja) * 2017-04-05 2021-06-18 株式会社Soken 道路パラメータ推定装置
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010215029A (ja) 2009-03-13 2010-09-30 Toyota Industries Corp 駐車支援装置
WO2015050118A1 (ja) 2013-10-01 2015-04-09 株式会社ニコン 電子機器
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP3852355A4 (en) 2021-11-10
KR20210056336A (ko) 2021-05-18
WO2020054240A1 (ja) 2020-03-19
CN112703724A (zh) 2021-04-23
BR112021004210A2 (pt) 2021-05-25
JPWO2020054240A1 (ja) 2021-09-30
US20210218875A1 (en) 2021-07-15
US11815799B2 (en) 2023-11-14
MX2021002613A (es) 2021-05-12
EP3852355A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP7646358B2 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
JP7530830B2 (ja) 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US20220180483A1 (en) Image processing device, image processing method, and program
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
KR102749769B1 (ko) 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체
US20220027643A1 (en) Information processing apparatus, information processing method, and program
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
EP3863282B1 (en) Image processing device, and image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250305

R150 Certificate of patent or registration of utility model

Ref document number: 7646358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150