JP7646358B2 - 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム - Google Patents
情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP7646358B2 JP7646358B2 JP2020546744A JP2020546744A JP7646358B2 JP 7646358 B2 JP7646358 B2 JP 7646358B2 JP 2020546744 A JP2020546744 A JP 2020546744A JP 2020546744 A JP2020546744 A JP 2020546744A JP 7646358 B2 JP7646358 B2 JP 7646358B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- detection
- recognition
- processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/28—Circuitry to measure or to take account of the object contrast
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置である。
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法である。
イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置である。
移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置である。
イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラムである。
図8は、自車両が片側3車線の道路を走行中に、車載の撮像装置600で自車両の前方を撮影した様子である。図8に示す例では、自車両の前方の路面800を、自車両から距離が近い順に、先行車両801、802、及び803が走行している。また、図9には、自車両の前方を俯瞰した様子を示している。自車両から先行車両801、802、及び803までの距離は、それぞれd1、d2、d3である。また、先行車両801、802、及び803の相対速度及び向きは、それぞれv1、v2、v3である。先行車両801、802、及び803の距離及び相対速度は、例えば、車両制御システム100がデータ取得部102として装備するレーダーを用いて計測することができる。
・消失点(Wvp)
・先行車両(Wv1、Wv2、Wv3)
判定部605は、図7に示したフローチャート中のステップS702において、認識部604による画像認識情報に基づいて消失点を算出し、続くステップS703において消失点検波枠を算出する。図11には、消失点を算出する様子を示している。対象とする3次元空間中の平行線として、車線を挙げることができる。そこで、判定部605は、車線804と車線805の交点を、消失点検波枠の中心位置に決定する。そして、各車両801~803の位置とサイズに基づいて、消失点検波枠Wvpを算出する。
判定部605は、図7に示したフローチャート中のステップS704において、撮像画像中の路面領域の検波値とそれ以外の領域の検波値を比較することによって、コントラスト度合いを算出する。図12には、コントラスト度合いを算出する様子を示している。判定部605は、認識部604が画像認識した先行車両801~803、並びに車線804及び805の情報から、路面検波枠Wgを求め、それ以外を空検波枠Wsと仮定することができる。そして、判定部605は、路面検波枠Wgの検波値と空検波枠Wsの検波値の差分の絶対値ABS(Wg-Ws)をコントラスト度合いとして算出する。その後、判定部605は、ステップS710において、コントラスト度合いとして算出した差分の絶対値ABS(Wg-Ws)が所定の閾値よりも大きければ、その撮像画像のコントラストが強いと判定することができる。
判定部605は、図7に示したフローチャート中のステップS705において、ヒストグラム(画像の輝度分布)の形状に基づいて、コントラスト度合いを算出する。判定部605は、2値化手法の1つである判別分析法を用いて、ヒストグラムの分離度を算出し、分離度が高ければ画像のコントラスト度合いが強いと判定することができる。
図16には、自車両がトンネルの入り口付近に到達したときに、撮像装置600で自車両前方を撮影した様子を示している。この場合、トンネルの入り口が消失点領域となり、且つ、消失点領域の検波値が下限閾値THlow未満となる。また、図17には、自車両がトンネルの出口付近に到達したときに、撮像装置600で自車両前方を撮影した様子を示している。この場合、トンネルの出口が消失点領域となり、且つ、消失点領域の検波値が上限閾値THHighを超える。
判定部605は、図7に示したフローチャート中のステップS701で認識部604による画像認識情報を取得すると、空、消失点、及び先行車両の各々に対して検波枠を配置する。このとき、判定部605は、各先行車両の距離や相対速度に基づいて、各車両枠の重み付けを制御する。
(1)イメージセンサの出力信号を処理部で処理された後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する情報処理装置。
(1-1)前記処理部をさらに備える、
上記(1)に記載の情報処理装置。
(2)前記制御部は、前記認識部が認識した物体の領域の検波又は現像処理を制御する、
上記(1)に記載の情報処理装置。
(3)前記イメージセンサは車両に搭載して用いられ、
前記認識部は、少なくとも周辺車両又は路面を画像認識し、
前記制御部は、前記画像中の前記周辺車両又は前記路面の領域の検波又は現像処理を制御する、
上記(1)又は(2)のいずれかに記載の情報処理装置。
(4)前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)に記載の情報処理装置。
(5)前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
上記(1)に記載の情報処理装置。
(6)前記制御部は、前記認識部が認識した2以上の車線の交点に基づいて前記消失点を算出する、
上記(5)に記載の情報処理装置。
(7)前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(6)のいずれかに記載の情報処理装置。
(8)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(7)のいずれかに記載の情報処理装置。
(9)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
上記(1)、(4)乃至(8)のいずれかに記載の情報処理装置。
(10)前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
上記(9)に記載の情報処理装置。
(11)前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
上記(9)に記載の情報処理装置。
(12)前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)前記制御部は、車両領域とそれ以外の領域の重みを制御する、
上記(12)に記載の情報処理装置。
(14)イメージセンサの出力信号を処理部で処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御ステップと、
を有する情報処理方法。
(15)イメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備する撮像装置。
(16)移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号を処理する処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備する移動体装置。
(17)イメージセンサの出力信号を処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
101…入力部、102…データ取得部、103…通信部
104…車内機器、105…出力制御部、106…出力部
107…駆動系制御部、108…駆動系システム
109…ボディ系制御部、110…ボディ系システム、111記憶部
112…自動運転制御部、121…通信ネットワーク
131…検出部、132…自己位置推定部、133…状況分析部
134…計画部、135…動作制御部
141…車外情報検出部、142…車内情報検出部
143…車両状態検出部
151…マップ解析部、152…交通ルール認識部
153…状況認識部、154…状況予測部
161…ルート計画部、162…行動計画部、163…動作計画部
171…緊急事態回避部、172…加減速制御部、173…方向制御部
200…撮像装置、201…レンズ、202…イメージセンサ
203…信号処理部、204…認識部、205…制御部
301…シャッター、302…素子部、303…アナログゲイン処理部
304…現像処理部、305…検波部、306…比較部
401…シャッター、402…素子部、403…アナログゲイン処理部
404-1…車両用現像処理部、404-2…路面用現像処理部
404-3…画面全体現像処理部、405-1…車両用検波部
405-2…路面用検波部、405-3…画面全体検波部
406…比較部
600…撮像装置、601…レンズ、602…イメージセンサ
603…信号処理部、604…認識部、605…判定部
606…制御部
Claims (16)
- イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
前記処理部で処理された後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備し、
前記認識部は2以上の物体を認識対象とし、
前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
情報処理装置。 - 前記イメージセンサは車両に搭載して用いられ、
前記認識部は、少なくとも周辺車両及び路面を前記認識対象に含み、
前記制御部は、前記画像中の前記周辺車両及び前記路面の各領域をそれぞれ個別に検波又は現像処理するように制御する、
請求項1に記載の情報処理装置。 - 前記制御部は、前記認識部による認識結果に基づいてシーンを判定して、シーンに対応して前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項1に記載の情報処理装置。 - 前記制御部は、前記認識部による認識結果に基づいて前記画像の消失点を算出し、前記消失点を含む領域の輝度が所定の閾値範囲を逸脱する場合に、前記消失点を含む領域のみを測光領域にするとともに、前記イメージセンサの自動露光制御の収束速度を速める、
請求項1に記載の情報処理装置。 - 前記制御部は、前記認識部が認識した2以上の車線の交点に基づいて前記消失点を算出する、
請求項4に記載の情報処理装置。 - 前記認識部が所定の物体を安定して認識しているときには、前記制御部は、前記所定の物体を含む領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項1に記載の情報処理装置。 - 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、前記認識部が車両を安定して認識できているときには、前記認識した車両領域を検波して、前記車両領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項1に記載の情報処理装置。 - 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも路面を画像認識し、
前記制御部は、前記画像のコントラスト度合いを算出し、前記コントラスト度合いが所定の閾値以上となるときには、前記認識した路面領域を検波して、前記路面領域のみで前記イメージセンサの撮像動作又は前記処理部における処理動作を制御する、
請求項1に記載の情報処理装置。 - 前記制御部は、前記認識した路面領域とそれ以外の領域との輝度の差分に基づいて前記画像のコントラスト度合いを算出する、
請求項8に記載の情報処理装置。 - 前記制御部は、前記画像のヒストグラムに基づいて前記画像のコントラスト度合いを算出する、
請求項8に記載の情報処理装置。 - 前記イメージセンサは車両に搭載して用いられ、前記認識部は少なくとも周辺車両を画像認識し、
前記制御部は、各周辺車両の距離と相対速度に基づいて重みを制御する、
請求項1に記載の情報処理装置。 - 前記制御部は、車両領域とそれ以外の領域の重みを制御する、
請求項11に記載の情報処理装置。 - イメージセンサの出力信号に対して検波及び現像処理を行う処理ステップと、
前記処理ステップで処理した後の画像を認識する認識ステップと、
前記認識ステップにおける認識結果に基づいて前記イメージセンサの撮像動作又は前記処理ステップにおける処理動作のうち少なくとも一方を制御する制御ステップと、
を有し、
前記認識ステップでは2以上の物体を認識対象とし、
前記処理ステップでは、画像全体に対して検波を行う画面全体検波及び画像全体に対して現像処理を行う画面全体現像処理、前記認識対象の物体毎の検波を行う物体毎の検波及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理をそれぞれ行い、
前記物体毎の検波では、前記認識ステップにおける物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波で検波した明るさとの差分を算出し、
前記物体毎の現像処理では、前記物体毎の検波で算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
情報処理方法。 - イメージセンサと、
前記イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
を具備し、
前記認識部は2以上の物体を認識対象とし、
前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
撮像装置。 - 移動体と、
前記移動体に搭載されたイメージセンサと、
前記イメージセンサの出力信号に対して検波及び現像処理を行う処理部と、
前記処理部による処理後の画像を認識する認識部と、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部と、
前記制御部による制御下における前記イメージセンサの撮像画像を認識した結果に基づいて前記移動体における動作を制御する動作制御部と、
を具備し、
前記認識部は2以上の物体を認識対象とし、
前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部を備え、
前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
移動体装置。 - イメージセンサの出力信号に対して検波及び現像処理を行う処理部、
前記処理部で処理した後の画像を認識する認識部、
前記認識部の認識結果に基づいて前記イメージセンサの撮像動作又は前記処理部における処理動作のうち少なくとも一方を制御する制御部、
としてコンピュータを機能させ、
前記認識部は2以上の物体を認識対象とし、
前記処理部は、画像全体に対して検波を行う画面全体検波部及び画像全体に対して現像処理を行う画面全体現像処理部と、前記認識対象の物体毎の検波を行う物体毎の検波部及び前記認識対象の物体毎の現像処理を行う物体毎の現像処理部として機能し、
前記物体毎の検波部は、前記認識部による物体の認識結果に基づいて設定した物体毎の検波枠内の明るさを検波して、前記画面全体検波部が検波した明るさとの差分を算出し、
前記物体毎の現像処理部は、前記物体毎の検波部が算出した差分に基づいて、前記物体毎の検波枠の現像パラメータを調整して、前記物体毎の検波枠の現像処理を行う、
ようにコンピュータ可読形式で記述されたコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171382 | 2018-09-13 | ||
JP2018171382 | 2018-09-13 | ||
PCT/JP2019/030046 WO2020054240A1 (ja) | 2018-09-13 | 2019-07-31 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054240A1 JPWO2020054240A1 (ja) | 2021-09-30 |
JP7646358B2 true JP7646358B2 (ja) | 2025-03-17 |
Family
ID=69777778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546744A Active JP7646358B2 (ja) | 2018-09-13 | 2019-07-31 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US11815799B2 (ja) |
EP (1) | EP3852355A4 (ja) |
JP (1) | JP7646358B2 (ja) |
KR (1) | KR20210056336A (ja) |
CN (1) | CN112703724A (ja) |
BR (1) | BR112021004210A2 (ja) |
MX (1) | MX2021002613A (ja) |
WO (1) | WO2020054240A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584501B1 (ko) * | 2018-10-05 | 2023-10-04 | 삼성전자주식회사 | 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치 |
US10380440B1 (en) | 2018-10-23 | 2019-08-13 | Capital One Services, Llc | Method for determining correct scanning distance using augmented reality and machine learning models |
WO2022014361A1 (ja) * | 2020-07-15 | 2022-01-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US20230171510A1 (en) * | 2020-07-15 | 2023-06-01 | Arriver Software Ab | Vision system for a motor vehicle |
US11562572B2 (en) | 2020-12-11 | 2023-01-24 | Argo AI, LLC | Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps |
FR3127355B1 (fr) * | 2021-09-20 | 2023-09-29 | Renault Sas | procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale |
US20230140584A1 (en) * | 2021-11-02 | 2023-05-04 | Here Global B.V. | Apparatus and methods for detecting light-based attributes of road segments and monitoring the light-based attributes for adverse road conditions |
CN114220285A (zh) * | 2021-12-14 | 2022-03-22 | 中国电信股份有限公司 | 超速车辆的定位与示警方法、装置、电子设备及可读介质 |
KR20240098615A (ko) * | 2022-12-21 | 2024-06-28 | 주식회사 세미콘네트웍스 | 한대의 카메라로 차량의 거리 및 속도를 측정한 자율 주행 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010215029A (ja) | 2009-03-13 | 2010-09-30 | Toyota Industries Corp | 駐車支援装置 |
WO2015050118A1 (ja) | 2013-10-01 | 2015-04-09 | 株式会社ニコン | 電子機器 |
JP2017220892A (ja) | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005167842A (ja) * | 2003-12-04 | 2005-06-23 | Denso Corp | 車載監視カメラの露出制御装置 |
EP1699231A1 (en) * | 2003-12-25 | 2006-09-06 | Niles Co., Ltd. | Imaging system |
JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
US8204278B2 (en) * | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
JP4987573B2 (ja) * | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
JP5441549B2 (ja) * | 2009-07-29 | 2014-03-12 | 日立オートモティブシステムズ株式会社 | 道路形状認識装置 |
JP2011254340A (ja) * | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
JP5375814B2 (ja) | 2010-12-22 | 2013-12-25 | 株式会社デンソー | 露出制御装置 |
JP5246254B2 (ja) | 2010-12-24 | 2013-07-24 | 株式会社デンソー | 車載カメラの露出制御値の決定方法 |
CN103369289B (zh) * | 2012-03-29 | 2016-05-04 | 深圳市腾讯计算机系统有限公司 | 一种视频模拟形象的通信方法和装置 |
JP5737306B2 (ja) * | 2013-01-23 | 2015-06-17 | 株式会社デンソー | 露出制御装置 |
US10044849B2 (en) | 2013-03-15 | 2018-08-07 | Intel Corporation | Scalable avatar messaging |
JP5929870B2 (ja) * | 2013-10-17 | 2016-06-08 | 株式会社デンソー | 物標検出装置 |
JP6547292B2 (ja) * | 2014-02-05 | 2019-07-24 | 株式会社リコー | 画像処理装置、機器制御システム、および画像処理プログラム |
JP6289681B2 (ja) * | 2015-01-22 | 2018-03-07 | 三菱電機株式会社 | 撮像装置及び方法、並びにプログラム及び記録媒体 |
EP3252707A4 (en) * | 2015-01-28 | 2018-09-19 | Kyocera Corporation | Image processing apparatus, image processing system, vehicle, imaging apparatus, and image processing method |
JP6657925B2 (ja) * | 2015-06-04 | 2020-03-04 | ソニー株式会社 | 車載カメラ・システム並びに画像処理装置 |
WO2016194296A1 (en) * | 2015-06-04 | 2016-12-08 | Sony Corporation | In-vehicle camera system and image processing apparatus |
DE102015118474A1 (de) * | 2015-10-29 | 2017-05-04 | Connaught Electronics Ltd. | Verfahren zum Anpassen eines Kameraparameters und/oder eines Bilds,Computerprogrammprodukt, Kamerasystem, Fahrerassistenzsystem und Kraftfahrzeug |
JP6750519B2 (ja) * | 2016-05-24 | 2020-09-02 | 株式会社Jvcケンウッド | 撮像装置、撮像表示方法および撮像表示プログラム |
KR20180097966A (ko) * | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 자율 주행을 위한 영상 처리 방법 및 장치 |
JP6738957B2 (ja) * | 2017-03-01 | 2020-08-12 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2018173834A (ja) * | 2017-03-31 | 2018-11-08 | 本田技研工業株式会社 | 車両制御装置 |
JP6889005B2 (ja) * | 2017-04-05 | 2021-06-18 | 株式会社Soken | 道路パラメータ推定装置 |
DE102017215347A1 (de) * | 2017-09-01 | 2019-03-07 | Conti Temic Microelectronic Gmbh | Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera |
-
2019
- 2019-07-31 MX MX2021002613A patent/MX2021002613A/es unknown
- 2019-07-31 KR KR1020217005768A patent/KR20210056336A/ko active Pending
- 2019-07-31 WO PCT/JP2019/030046 patent/WO2020054240A1/ja unknown
- 2019-07-31 JP JP2020546744A patent/JP7646358B2/ja active Active
- 2019-07-31 US US17/274,094 patent/US11815799B2/en active Active
- 2019-07-31 CN CN201980058017.3A patent/CN112703724A/zh active Pending
- 2019-07-31 EP EP19858980.6A patent/EP3852355A4/en active Pending
- 2019-07-31 BR BR112021004210-5A patent/BR112021004210A2/pt unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010215029A (ja) | 2009-03-13 | 2010-09-30 | Toyota Industries Corp | 駐車支援装置 |
WO2015050118A1 (ja) | 2013-10-01 | 2015-04-09 | 株式会社ニコン | 電子機器 |
JP2017220892A (ja) | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3852355A4 (en) | 2021-11-10 |
KR20210056336A (ko) | 2021-05-18 |
WO2020054240A1 (ja) | 2020-03-19 |
CN112703724A (zh) | 2021-04-23 |
BR112021004210A2 (pt) | 2021-05-25 |
JPWO2020054240A1 (ja) | 2021-09-30 |
US20210218875A1 (en) | 2021-07-15 |
US11815799B2 (en) | 2023-11-14 |
MX2021002613A (es) | 2021-05-12 |
EP3852355A1 (en) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7646358B2 (ja) | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム | |
JP7530830B2 (ja) | 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置 | |
WO2019130945A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び移動体 | |
KR102685934B1 (ko) | 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램 | |
JP7143857B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
JPWO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
US20220180483A1 (en) | Image processing device, image processing method, and program | |
US11272115B2 (en) | Control apparatus for controlling multiple camera, and associated control method | |
KR102749769B1 (ko) | 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체 | |
US20220027643A1 (en) | Information processing apparatus, information processing method, and program | |
JP2022017612A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2022038981A1 (ja) | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム | |
EP3863282B1 (en) | Image processing device, and image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240730 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7646358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |