JP2018092596A - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】オブジェクトの認識精度を向上させる。【解決手段】情報処理装置は画像解析ユニット１０８を備える。画像解析ユニット１０８は、所定の撮像範囲の画像情報において、撮像範囲内に存在するオブジェクトに対応するオブジェクト領域を設定するオブジェクト領域設定部５５と、撮像範囲内の輝度を示す輝度情報を取得する輝度情報取得部５２と、オブジェクト領域の下部に設定された輝度検出領域内の輝度情報に基づいてオブジェクト領域を補正する補正部５６と、を備える。【選択図】図４

Description

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。車両の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。

ステレオカメラで測距する場合、左右のカメラで撮影された局所領域のズレ量（視差）に基づいて視差画像（距離画像）を生成し、衝突回避等の対象となるオブジェクトと自車との距離を測定することができる。このとき、同程度の距離を示す（同程度の視差値を有する）一群の画素を１つのオブジェクトとして検出するクラスタリング処理により、オブジェクトの位置、大きさ等を認識することができる。すなわち、視差または視差と同義に扱うことができる情報（例えばミリ波レーダ、レーザレーダ等を利用して取得される、距離に関する情報）に基づくクラスタリング処理により、距離画像（視差画像）または輝度画像においてオブジェクトに相当する領域が設定される。

例えば、自車両等から対象物体を検出する物体検出装置、および物体検出装置での検出結果に基づいて自車両と対象物体との衝突回避支援を行う運転支援装置において、対象物体の移動情報を高精度に得ることを目的として、所定の搭載位置から対象物体の位置を取得し、対象物体の位置周辺の路面上の特徴量に基づいて路面上に基準点を設定し、基準点を基準として対象物体の位置から対象物体の移動情報を算出する構成が開示されている（特許文献１）。

また、路面推定装置において、迅速性および精度を向上させることを目的として、カメラにより撮影された画像から自車両の前方の立体物を検出する立体物検出手段と、検出された立体物の下端位置を検出する下端位置検出手段と、検出された立体物の下端位置と自車両の基準位置とにより仮路面を算出する仮路面算出手段と、仮路面をもとに実路面を推定する実路面推定手段とを備え、立体物検出手段は、カメラにより撮影された画像において所定値以上の長さで上下方向に伸びる縦長エッジから立体物の縦長エッジを抽出し、下端位置検出手段は、抽出された立体物の縦長エッジの下端位置を検出し、仮路面算出手段は、検出された下端位置、自車両の基準位置、カメラから立体物までの距離、およびカメラの光軸から自車両のピッチ角を算出することにより仮路面を算出し、実路面推定手段は、算出されたピッチ角をもとに実路面を推定する構成が開示されている（特許文献２）。

上記のように、視差等の距離情報に基づいてオブジェクトを認識するシステムにおいて、オブジェクトの位置、大きさ等を示すオブジェクト領域を設定する際に、オブジェクトが存在する位置よりも低い位置に視差が検出されると、実際にはオブジェクトが存在しない領域を含むオブジェクト領域が設定される場合がある。例えば、自車両の前方を走行する車両（オブジェクト）が、路面に描かれた標識上を通過する際に、標識部分に視差が検出されると、車両の下方に存在する標識部分を含むようにオブジェクト領域が設定される場合がある。このような場合、実際のオブジェクト（車両）とシステム内でオブジェクトとして扱われるもの（車両および標識を含むもの）との間に誤差が生じ、測距、回避行動等の精度が低下する場合がある。例えば、オブジェクト領域内の視差の平均値に基づいて自車から前方の車両までの距離を算出する場合、オブジェクト領域が本来よりも広く設定されてしまうと、算出される距離は実際の距離より短くなる可能性がある。

本発明は、上記に鑑みてなされたものであって、オブジェクトの認識精度を向上させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一形態である情報処理装置は、所定の撮像範囲の画像情報において、前記撮像範囲内に存在するオブジェクトに対応するオブジェクト領域を設定する設定部と、前記撮像範囲内の輝度を示す輝度情報を取得する輝度情報取得部と、前記オブジェクト領域の下部に設定された輝度検出領域内の前記輝度情報に基づいて前記オブジェクト領域を補正する補正部と、を備えることを特徴とする。

本発明によれば、オブジェクトの認識精度を向上させることが可能となる。

図１は、実施形態に係る機器制御システムの概略構成を示す図である。 図２は、実施形態に係る撮像ユニットおよび画像解析ユニットの概略構成を示す模式図である。 図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。 図４は、実施形態に係る画像解析ユニットの機能的構成の例を示す図である。 図５は、輝度画像の例を示す図である。 図６は、図５に示す輝度画像に対応する視差画像の例を示す図である。 図７は、図６に示す視差画像に対応するＶマップの例を示す図である。 図８は、図７に示すＶマップを利用して路面の形状を検出する際の状態の例を示す図である。 図９は、図６に示す視差画像に対応するリアルＵマップの例を示す図である。 図１０は、図９に示すリアルＵマップを利用してオブジェクト領域の左右の端部を設定する際の状態の例を示す図である。 図１１は、図９に示すリアルＵマップを利用してオブジェクト領域の上下の端部を設定する際の状態の例を示す図である。 図１２は、輝度画像においてオブジェクト領域が仮に設定された状態の例を示す図である。 図１３は、オブジェクト領域内に輝度検出領域が設定された状態の例を示す図である。 図１４は、輝度検出領域内の輝度を検出し、オブジェクト領域の下端位置を補正する状態の例を示す図である。 図１５は、実施形態に係るオブジェクト領域の補正処理の第１の例を示すフローチャートである。 図１６は、実施形態に係るオブジェクト領域の補正処理の第２の例を示すフローチャートである。 図１７は、輝度ヒストグラムの例を示す図である。 図１８は、路面が本来の位置より低い位置にあると検出された場合のＶマップの例を示す図である。 図１９は、図１８に示す路面の推定形状が補正される際のＶマップの例を示す図である。

以下に、図面を参照しながら、本発明に係る情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラムの実施形態を詳細に説明する。以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

<機器制御システムの概略構成>
図１は、実施形態に係る機器制御システム１の概略構成を示す図である。機器制御システム１は、移動体の一例としての自動車などの自車両１００（機器）に搭載されており、撮像装置１０１、表示モニタ１０３、および走行制御ユニット１０４（機器制御部）を含む。機器制御システム１は、撮像装置１０１により撮像した自車両１００前方の撮像データに基づいて自車両１００前方の路面および検出対象となるオブジェクトを認識し、認識された情報の解析結果に基づいて走行制御ユニット１０４により自車両１００の走行状態等を制御する。ここでのオブジェクトとは、衝突回避等の対象となる物体であり、例えば、車両（自動車、オートバイ、自転車等）、人、動物、構造物（ガードレール、電柱、縁石、分岐ブロック、落下物等）等であり得る。なお、本実施形態の機器制御システム１は、自動車だけでなく、航空機やロボット等の移動体、その他機器にも適用可能である。

撮像装置１０１は、撮像ユニット１０７および画像解析ユニット１０８（情報処理装置）を含む。撮像ユニット１０７は、１つの被写体に対して複数の撮像データ（輝度情報）を取得するユニットであり、例えばステレオカメラ等である。撮像ユニット１０７は、例えば自車両１００のフロントガラス１０５の上部（例えばルームミラー付近）に設置される。撮像ユニット１０７の撮像によって得られる撮像データ等の各種データは、画像解析ユニット１０８に入力される。画像解析ユニット１０８は、撮像ユニット１０７から送信されてくるデータを解析し、自車両１００が走行している路面の３次元形状を示す情報、オブジェクトの位置、大きさ、形状等を示す情報等を含む解析結果を生成する。画像解析ユニット１０８の解析結果は、表示モニタ１０３および走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像装置１０１で得られた撮像データ、解析結果、およびこれらに関連する情報を表示する。走行制御ユニット１０４は、画像解析ユニット１０８による解析結果に基づいて、自車両１００の運転者へ警告を報知したり、自車両１００のブレーキ、アクセル、ハンドル等を自動制御する走行支援制御を行ったりする。なお、以下「画像」の語を用いるが、本実施形態における「画像」は、必ずしも表示を要するものではなく、モニタ等への表示を伴わない単なる情報の集合体を含む意とする。

〈撮像ユニットおよび画像解析ユニットの概略構成〉
図２は、実施形態に係る撮像ユニット１０７および画像解析ユニット１０８の概略構成を示す模式図である。

撮像ユニット１０７は、２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラであり、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂ、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂ、およびセンサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像データ（輝度情報）を生成して出力する信号処理部１１５ａ，１１５ｂを含む。

また、撮像ユニット１０７は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度情報から視差情報を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像（輝度画像）の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点（オブジェクトの局所領域）に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から撮像ユニット１０７（自車両１００）からオブジェクトの局所領域までの距離を算出することができる。

図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図３において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離であり、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点（局所領域）Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１およびΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。

図２の説明に戻る。画像解析ユニット１０８は、画像処理基板等を含み、撮像ユニット１０７から出力される輝度情報および視差情報を記憶するＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等で構成される記憶部１２２と、識別対象の認識処理、視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（Interface）１２４と、シリアルＩ／Ｆ１２５とを備えている。

処理ハードウェア部１２０を構成するＦＰＧＡは、輝度情報に対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算等を行って視差画像に関する情報を生成し、画像解析ユニット１０８のＲＡＭに書き出す処理等を行う。画像解析ユニット１０８のＣＰＵ１２３は、各撮像部１１０ａ，１１０ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担う。また、路面の３次元形状の検出処理、オブジェクトの検出処理等を実行する立体物検出プログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度情報や視差情報を入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４又はシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレート等の車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種制御（ブレーキ制御、車速制御、操舵制御、警告制御など）を行うための入力データとして使用される。

<画像解析ユニットの機能的構成>
図４は、実施形態に係る画像解析ユニット１０８の機能的構成の例を示す図である。画像解析ユニット１０８は、距離情報取得部５１、輝度情報取得部５２、距離画像生成部５３、路面形状検出部５４（検出部）、オブジェクト領域設定部５５（設定部）、補正部５６、解析部５７、および出力部５８を含む。

距離情報取得部５１は、撮像ユニット１０７を搭載する自車両１００と撮像ユニット１０７の撮像範囲内に存在するオブジェクトとの間の距離を示す距離情報を取得する機能部である。本例における距離情報は、ステレオカメラである撮像ユニット１０７により取得される視差情報であるが、距離情報はこれに限られるものではない。距離情報取得部５１は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

輝度情報取得部５２は、撮像ユニット１０７の撮像範囲内の輝度を示す輝度情報を取得する機能部である。輝度とは、広がりを持つ物体の表面の明るさであり、例えば路面上の明るさ、車両等のオブジェクトの表面の明るさ等である。輝度情報取得部５２は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

距離画像生成部５３は、距離情報（本例では視差情報）に基づいて、撮像範囲における距離の分布を示す距離画像（本例では視差画像）を示す距離画像データ（本例では視差画像データ）を生成する機能部である。距離画像生成部５３は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

図５は、輝度画像６１の例を示す図である。図６は、図５に示す輝度画像６１に対応する視差画像７１の例を示す図である。輝度画像６１は、撮像ユニット１０７により取得された輝度情報に基づいて生成される画像（撮像ユニット１０７による撮像画像）である。視差画像７１は、撮像ユニット１０７の視差演算部１２１により生成される視差情報に基づいて生成され、視差（距離）の分布を示す画像である。本例の輝度画像６１には、路面６２、車両６３、および横断歩道の路面標識６４が含まれている。これに伴い、視差画像７１には、路面６２に対応する路面対応領域７２、車両６３に対応する車両対応領域７３、および路面標識対応領域７４が含まれている。

路面形状検出部５４は、距離情報に基づいて、自車両１００が移動している路面６２の形状を検出する機能部である。路面形状検出部５４は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

路面６２の形状の検出方法は特に限定されるべきものではないが、例えばＶ−Ｄｉｓｐａｒｉｔｙマップ（Ｖマップ）を利用する方法がある。図７は、図６に示す視差画像７１に対応するＶマップ８１の例を示す図である。図８は、図７に示すＶマップ８１を利用して路面６２の形状を検出する際の状態の例を示す図である。なお、以下、本実施形態において「マップ」と表現するものは、単なる情報群を意味するものとする。

Ｖマップ８１は、ｙ軸に視差画像７１の縦軸の座標をとり、横軸に視差をとり、視差画像７１の各画素の値（ｘ，ｙ，ｄ）を、Ｖマップ８１上の対応する座標位置に投票することにより生成される。すなわち、視差画像を、物体の縦方向位置と横方向位置と奥行方向位置とを対応づけた情報であるとしたとき、Ｖマップは、物体の縦方向位置と奥行方向位置とを対応づけた情報であると説明することができる。このようなＶマップ８１を生成することにより、Ｖマップ８１内には路面６２に対応する路面視差領域８２および車両６３に対応する車両視差領域８３が現出する。これにより、Ｖマップ８１の各画素値は視差の頻度値となる。このようなＶマップ８１に対して、図８に示すように、下方から頻度値の検索を行い、列毎に候補点を選択する。選択した候補点群に対して最小二乗法等を用いて近似直線を求めることにより、路面６２の形状を検出することができる。例えば、近似直線Ｙ＝ａ＊Ｘ＋ｂという式が求められたとき、自車両１００からのある距離Ｄに対応する視差値がｄであるとすると、視差画像７１又は輝度画像６１における路面６２の高さＹ（ｙ軸上の値）は、Ｙ＝ａ＊ｄ＋ｂで求まる。このような作業を繰り返すことにより、路面６２の形状を検出することができる。

より詳細には、ある視差値ｄにおいてｙ軸位置がｙ’である地点に対応する輝度画像の部分に映し出されているオブジェクトの路面からの高さは、当該視差値ｄにおける近似直線上のｙ軸位置をｙ０としたとき、（ｙ’−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ’）に対応するオブジェクトについての路面からの高さＨは、下記式〔１〕より算出することができる。ただし、下記の式〔１〕において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ’−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠のオブジェクトを撮影したときの視差値である。
Ｈ＝ｚ＊（ｙ’−ｙ０）／ｆ …式〔１〕

オブジェクト領域設定部５５は、距離情報（視差情報）に基づいて、距離画像（視差画像７１）においてオブジェクト（車両６３）に対応するオブジェクト領域を設定する機能部である。オブジェクト領域設定部５５は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

オブジェクト領域の設定方法は特に限定されるべきものではないが、例えばリアルＵマップを利用する方法がある。ここでいうリアルＵマップとは、実空間を俯瞰的に表現したマップ（鳥瞰画像、俯瞰画像等）であり、俯瞰情報の一例である。俯瞰情報を生成する機能部は、オブジェクト領域設定部５５に含まれてもよいし、独立した機能部であってもよい。図９は、図６に示す視差画像７１に対応するリアルＵマップ９１の例を示す図である。図１０は、図９に示すリアルＵマップ９１を利用してオブジェクト領域７７の左右の端部を設定する際の状態の例を示す図である。図１１は、図９に示すリアルＵマップ９１を利用してオブジェクト領域７７の上下の端部を設定する際の状態の例を示す図である。

リアルＵマップ９１は、視差画像、頻度Ｕマップまたは高さＵマップから生成される。頻度Ｕマップとは、視差画像７１の各画素におけるｘ軸上の位置とｙ軸上の位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、ｘ軸にｘ、ｙ軸にｄ、ｚ軸に頻度を取るｘ−ｙの２次元ヒストグラムである。高さＵマップとは、視差画像７１の各画素におけるｘ軸上の位置とｙ軸上の位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、ｘ軸にｘ、ｙ軸にｄ、ｚ軸に路面からの高さを取るｘ−ｙの２次元ヒストグラムである。すなわち、視差画像を、物体の縦方向位置と横方向位置と奥行方向位置とを対応づけた情報であるとしたとき、頻度Ｕマップおよび高さＵマップは、物体の横方向位置と奥行方向位置とを対応づけた情報であると説明することができる。リアルＵマップ９１は、ｘ軸（横軸）に頻度Ｕマップまたは高さＵマップのｘ軸の値を実際の距離に変換した実距離を取り、ｙ軸（縦軸）に頻度Ｕマップまたは高さＵマップの視差を距離に応じて間引いた間引き視差値を取り、ｚ軸に頻度Ｕマップの頻度または高さＵマップの高さを取るｘ−ｙの２次元ヒストグラムである。図９に示すリアルＵマップ９１は、頻度Ｕマップから生成されたものであり、ｚ軸に頻度が取られているものとする。なお、リアルＵマップは、俯瞰的な画像であれば良く、生成方法は上記に限られない。

このようなリアルＵマップ９１によれば、リアルＵマップ９１を構成する画素のうち、車両６３等のオブジェクトが存在する位置に対応する画素群の頻度値が高くなる。これにより、リアルＵマップ９１内には、オブジェクト（車両６３）に対応する孤立領域９３が形成される。

図１０に示すように、リアルＵマップ９１内の孤立領域９３に基づいて輝度画像６１または視差画像７１におけるオブジェクト領域７７の左右の端部を設定することができる。本例のオブジェクト領域７７はオブジェクト（車両６３）の位置及び大きさを矩形で示すものである。すなわち、オブジェクト領域７７は、例えば、オブジェクトの中心位置、高さおよび幅を対応づけた情報である。リアルＵマップ９１上の孤立領域９３の左右の端部の位置を輝度画像６１または視差画像７１の座標に変換することにより、オブジェクト領域７７の左右の端部の位置を決定することができる。なお、輝度画像６１の座標と視差画像７１の座標とは一意に対応しているため、両画像６１，７１間でオブジェクト領域７７を自由に変換することができる。なお、孤立領域の検出は、公知のラベリング処理によって、同一のＩＤ（ラベル）が付された領域を検出することによって行うことができる。

図１１に示すように、リアルＵマップ９１内の孤立領域９３に基づいて視差画像７１におけるオブジェクト領域７７の上下の端部を設定することができる。リアルＵマップ９１上で検出した孤立領域９３の上端部は、視差が最も小さい部分であり、距離が最も大きい部分である。孤立領域９３の下端部は、視差が最も大きい部分であり、距離が最も小さい部分である。上端部の視差および下端部の視差からそれぞれ最大距離および最小距離を求めることができる。視差画像７１上でオブジェクト領域７７の上下の端部の位置を決定する際には、最大距離と最小距離との間の範囲内において視差が連続する部分を検出し、上部に位置する視差の連続部分を上端位置、下部に位置する視差の連続部分を下端位置と推定することができる。このとき、車両６３が路面標識６４上を通過している場合等には、路面標識６４が存在する部分にも視差が生じるため、オブジェクト領域７７の下端位置が路面標識６４（路面６２）を含むように設定される場合がある。

図１２は、輝度画像６１においてオブジェクト領域７７が仮に設定された状態の例を示す図である。上記のように、オブジェクト領域設定部５５は、視差が垂直方向に連続する部分をオブジェクト領域７７の端部であると認識する。そのため、路面標識６４上を通過している車両６３についてオブジェクト領域７７を設定する際に、車両６３の最下部（車輪と路面６２との接地点）を超えて、路面標識６４が描かれた路面６２の一部を含むように設定されてしまう場合がある。

なお、距離情報ではなく、輝度情報を用いてオブジェクト領域７７を設定することもできる。例えば、予め決定したオブジェクトのテンプレート画像を用いて、テンプレート画像の大きさを変えながら輝度画像内をサーチし、テンプレート画像との一致度が最も高い位置を検出して設定する方法がある。しかし、テンプレートと実際の検出対象が完全に一致する可能性は高くなく、検出対象の周辺も含めてオブジェクト領域７７として設定されてしまう場合がある。すなわち、輝度情報を用いてオブジェクト領域７７を設定する場合にも、車両６３の最下部（車輪と路面６２との接地点）を超えて、路面標識６４が描かれた路面６２の一部を含むように設定されてしまう場合がある。

上記のようなオブジェクト領域７７の下端位置についての問題は、リアルＵマップのような俯瞰画像を用いてオブジェクト領域７７を設定する際に、特に顕著である。俯瞰画像においては縦方向位置の情報が欠落することとなるため、オブジェクトの最下部（縦方向位置）の決定に誤差が生じやすいためである。俯瞰画像は距離画像等と比較して情報量が少ないため処理速度等の点において有利である一方で、上述の問題が生じやすい。このようなオブジェクト領域７７の下端位置についての問題は、下記補正部５６の機能により解消される。

補正部５６は、オブジェクト領域７７内の下部に設定された輝度検出領域内の輝度情報に基づいてオブジェクト領域７７を補正する機能部である。補正部５６は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

図１３は、オブジェクト領域７７内に輝度検出領域７８が設定された状態の例を示す図である。輝度検出領域７８は、上記のように、視差情報（視差情報から派生する情報（Ｖマップ８１、Ｕマップ、リアルＵマップ９１等）を含む）に基づいて仮に設定されたオブジェクト領域７７の下端位置から所定の距離Ｄだけ上方の位置までの領域である。距離Ｄは、例えば輝度画像６１において所定数の画素行が含まれる距離である。距離Ｄは固定値であっても、所定の条件に応じて変化する値であってもよい。補正部５６は、輝度検出領域７８内の輝度情報に基づいてオブジェクト領域７７の下端位置を補正する。

図１４は、輝度検出領域７８内の輝度を検出し、オブジェクト領域７７の下端位置を補正する状態の例を示す図である。本例の補正部５６は、輝度検出領域７８の最下部の画素行から上方へ向かって順に画素行毎の平均輝度（行平均輝度）を算出していく。例えば、図１４に示す第１の画素行８５の行平均輝度は、第２の画素行８６の行平均輝度より大きくなる。これは、車両６３の下部に形成される影８９の影響によるものである。これにより、行平均輝度は、画素行の位置が上方へ移動する程小さくなる。

補正部５６は、オブジェクト領域７７の下端位置を行平均輝度が所定値未満となった画素行の位置に補正する。当該所定値の設定方法は特に限定されるべきものではないが、例えば、輝度検出領域７８内全体の平均輝度（全体平均輝度）との比較に基づく方法であってもよい。例えば、行平均輝度の全体平均輝度に対する割合が所定値（例えば５０％）未満となった場合に、オブジェクト領域７７の下端位置を当該画素行の位置に補正するようにしてもよい。例えば、図１４に示す例において、第１の画素行８５の行平均輝度は所定値（例えば全体平均輝度の５０％）以上であるが、第２の画素行８６においてその行平均輝度が所定値未満となる場合、オブジェクト領域７７の下端位置は、第２の画素行８６の位置に補正される。

図１５は、実施形態に係るオブジェクト領域７７の補正処理の第１の例を示すフローチャートである。距離画像生成部５３は、距離情報取得部５１から取得した視差情報に基づいて、視差画像７１（距離画像の一例）を示す視差画像データを生成する（ステップＳ２０１）。その後、オブジェクト領域設定部５５は、視差情報に基づいて、視差画像７１および輝度画像６１上に仮のオブジェクト領域７７を設定する（ステップＳ２０２）。

その後、補正部５６は、仮のオブジェクト領域７７に輝度検出領域７８を設定する（ステップＳ２０３）。その後、補正部５６は、輝度検出領域７８内の全体平均輝度Ｌ１を算出する（ステップＳ２０４）。その後補正部５６は、輝度検出領域７８の最下部から順に画素行毎の行平均輝度Ｌ２を算出する（ステップＳ２０５）。その後、補正部５６は、Ｌ２＊Ｋ１＜Ｌ１が成り立つか否か、すなわち行平均輝度Ｌ２の全体平均輝度Ｌ１に対する割合が所定値（例えば５０％：Ｋ１＝０．５）未満であるか否かを判定する（ステップＳ２０６）。

Ｌ２＊Ｋ１＜Ｌ１が成り立つ場合（ステップＳ２０６：Ｙｅｓ）、オブジェクト領域７７の下端位置を現在の画素行の位置に補正する（ステップＳ２０７）。一方、Ｌ２＊Ｋ１＜Ｌ１が成り立たない場合（ステップＳ２０６：Ｎｏ）、輝度検出領域７８内の全ての画素行を走査したか否かを判定する（ステップＳ２０８）。全ての画素行を走査した場合（ステップＳ２０８：Ｙｅｓ）にはこのルーチンを終了し、全ての画素行を走査していない場合（ステップＳ２０８：Ｎｏ）にはステップＳ２０５に戻る。

上記補正処理によれば、オブジェクト（車両６３）の下部の輝度がオブジェクト自身により形成される影８９の影響により他の場所より小さくなることを利用して、オブジェクト領域７７を高精度で設定することが可能となる。

図１６は、実施形態に係るオブジェクト領域７７の補正処理の第２の例を示すフローチャートである。第２の例に係る補正処理においては、図１５に示す第１の例に係る補正処理におけるステップＳ２０４とステップＳ２０５との間に、ステップＳ３０１およびステップＳ３０２が実行される。

第２の例に係る補正部５６は、輝度検出領域７８内の全体平均輝度Ｌ１を算出した後（ステップＳ２０４）、輝度検出領域７８内の画素列毎に全体平均輝度Ｌ１を上回る輝度を有する画素数をカウントした輝度ヒストグラムを生成する（ステップＳ３０１）。

図１７は、輝度ヒストグラム９５の例を示す図である。この輝度ヒストグラム９５において、理論上取り得る最大値（理論最大値）から算出した閾値Ｔ１が示されている。第２の例に係る補正部５６は、輝度ヒストグラム９５の最大値が閾値Ｔ１より大きい場合に、オブジェクト領域７７の下端位置の補正を行う。

第２の例に係る補正部５６は、輝度ヒストグラム９５の最大値が閾値Ｔ１より大きいか否かを判定する（ステップＳ３０２）。輝度ヒストグラム９５の最大値が閾値Ｔ１より大きくない場合（ステップＳ３０２：Ｎｏ）、このルーチンを終了する。輝度ヒストグラム９５の最大値が閾値Ｔ１より大きい場合（ステップＳ３０２：Ｙｅｓ）、ステップＳ２０５以降の処理を実行する。

上記第２の例に係る補正処理においては、輝度ヒストグラム９５の最大値が閾値Ｔ１より大きい場合にのみオブジェクト領域７７の補正を行う。これは、高輝度の画素がオブジェクト領域７７の下部に多い程、オブジェクト領域７７の下端位置はより大きく下方へ延長されると考えられることによる。輝度ヒストグラム９５の最大値が小さい場合、オブジェクト領域７７の下端位置の下方への延長量は小さいと考えられるため、このような場合には補正処理を行わないようにする。これにより、不要な補正処理の実行を抑制することが可能となり、演算負荷の軽減等が達成される。

また、補正部５６は、上記のように補正されたオブジェクト領域７７の下端位置に基づいて、路面形状検出部５４により検出された路面６２の形状を補正してもよい。

図１８は、路面６２が本来の位置より低い位置にあると検出された場合のＶマップ８１の例を示す図である。図１８において、車両６３に対応する車両視差領域８３の下方に路面標識６４によるノイズ視差９７が検出され、推定された路面６２の形状を示す推定線８８が本来の位置より下方にずれている状態が示されている。

図１９は、図１８に示す路面６２の推定形状が補正される際のＶマップ８１の例を示す図である。路面形状の補正方法としては、例えば推定線８８を、切片を変えずに点（ｄ，Ｙ）を通るように補正する方法がある。視差値ｄおよびｙ座標位置Ｙは、補正後のオブジェクト領域７７の下端位置に対応する値である。

上記のように補正された路面形状は、様々な形態で利用され得る。例えば、補正されたオブジェクト領域７７の下端位置と検出された路面形状とのずれ量をフレーム毎に保存しておき、所定のフレーム数以上連続してオブジェクト領域７７の補正が行われた場合、次のフレームでの路面検出において、予め修正された路面形状を利用することができる。また、撮像領域内に複数のオブジェクトが存在する場合であって、１つのオブジェクトに対してオブジェクト領域７７および路面形状の補正が行われた場合、他のオブジェクトに対するオブジェクト領域７７の設定等において、既に補正が行われたオブジェクト領域７７の下端位置、路面形状等の情報を利用することができる。これにより、演算負荷の軽減等を図ることができる。

解析部５７は、上記のように設定されたオブジェクト領域７７、検出された路面形状等の情報に基づいて、オブジェクト領域７７内の画素値を解析し、解析結果を示す解析データを生成する機能部である。解析結果は様々であるが、例えば自車両１００からオブジェクト（車両６３等）までの距離、自車両１００とオブジェクトとの相対移動速度、オブジェクトの予測進行方向等であり得る。解析部５７は、記憶部１２２、ＣＰＵ１２３、記憶部１２２に記憶されたプログラム等の協働により構成される。

出力部５８は、解析部５７により生成された解析データを外部のシステム（表示モニタ１０３、走行制御ユニット１０４等）に出力する機能部である。出力部５８は、記憶部１２２、ＣＰＵ１２３、データＩ／Ｆ１２４、シリアルＩ／Ｆ１２５、記憶部１２２に記憶されたプログラム等の協働により構成される。

上記実施形態によれば、衝突回避等の対象となるオブジェクトの位置、大きさ等を示すオブジェクト領域７７の設定を高精度で行うことが可能となり、自車両１００の走行制御の精度を向上させることが可能となる。

以上、本発明の実施形態および変形例について具体的に説明してきたが、本発明は、これらの実施形態および変形例に限定されるものではなく、これらの実施形態および変形例を、本発明の主旨および範囲を逸脱することなく、変更又は変形することができる。

１…機器制御システム、５１…距離情報取得部、５２…輝度情報取得部、５３…距離画像生成部、５４…路面形状検出部、５５…オブジェクト領域設定部、５６…補正部、５７…解析部、５８…出力部、６１…輝度画像、６２…路面、６３…車両、６４…路面標識、７１…視差画像、７２…路面対応領域、７３…車両対応領域、７４…路面標識対応領域、８１…Ｖマップ、８２…路面視差領域、８３…車両視差領域、９１…リアルＵマップ、９３…孤立領域、７７…オブジェクト領域、７８…輝度検出領域、８５…第１の画素行、８６…第２の画素行、８８…推定線、９５…輝度ヒストグラム、９７…ノイズ視差、１００…自車両、１０１…撮像装置、１０３…表示モニタ、１０４…走行制御ユニット、１０５…フロントガラス、１０７…撮像ユニット、１０８…画像解析ユニット、１１０ａ，１１０ｂ…撮像部、１１１ａ，１１１ｂ…撮像レンズ、１１３ａ，１１３ｂ…画像センサ、１１４ａ，１１４ｂ…センサ基板、１１５ａ，１１５ｂ…信号処理部、１２０…処理ハードウェア部、３０１…被写体

特許第５９７１３４１号公報 特許第４７５４４３４号公報

Claims (13)

1. 所定の撮像範囲の画像情報において、前記撮像範囲内に存在するオブジェクトに対応するオブジェクト領域を設定する設定部と、
   前記撮像範囲内の輝度を示す輝度情報を取得する輝度情報取得部と、
   前記オブジェクト領域の下部に設定された輝度検出領域内の前記輝度情報に基づいて前記オブジェクト領域を補正する補正部と、
   を備える情報処理装置。
2. 前記画像情報を取得する撮像ユニットを搭載する機器と前記オブジェクトとの間の距離を示す距離情報を取得し、前記距離情報に基づいて俯瞰情報を生成する俯瞰情報生成部、
   を更に備え、
   前記設定部は、前記俯瞰情報に基づいて前記オブジェクト領域を設定する、
   請求項１に記載の情報処理装置。
3. 前記設定部は、前記輝度情報に基づいて前記オブジェクト領域を設定する、
   請求項１又は２に記載の情報処理装置。
4. 前記補正部は、前記輝度検出領域のうち前記輝度情報が示す輝度が所定値未満である領域に基づいて前記オブジェクト領域を補正する、
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記オブジェクトが車両であるか否かを判定する車両判定部、
   を更に備え、
   前記補正部は、前記オブジェクトが前記車両である場合に、前記輝度検出領域内の前記輝度情報に基づいて前記オブジェクト領域を補正する、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記距離情報に基づいて路面の形状を検出する検出部、
   を更に備え、
   前記補正部は、補正された前記オブジェクト領域の下端位置に基づいて前記路面の形状を補正する、
   請求項２に記載の情報処理装置。
7. 前記撮像ユニットは、ステレオカメラであり、
   前記距離情報は、視差情報であり、
   前記設定部は、前記視差情報に基づいて、前記撮像範囲における視差の分布を示す視差画像において前記オブジェクト領域を設定する、
   請求項２に記載の情報処理装置。
8. 前記視差情報に基づいて、前記視差画像における第１の軸方向位置と第２の軸方向位置と視差との組を２次元ヒストグラム情報に変換したＵマップを示すＵマップデータを生成するＵマップデータ生成部と、
   前記Ｕマップデータに基づいて、前記Ｕマップにおける第１の軸を画素単位から実際の前記距離に変換し、第２の軸の前記視差を、前記距離に応じた間引き率を有する間引き視差値に変換したリアルＵマップを示すリアルＵマップデータを生成するリアルＵマップデータ生成部と、
   を更に備え、
   前記設定部は、前記リアルＵマップにおいて前記オブジェクトに対応する孤立領域を検出し、前記孤立領域に基づいて前記オブジェクト領域を設定する、
   請求項７に記載の情報処理装置。
9. 請求項１〜８のいずれか１項に記載の情報処理装置を備える撮像装置。
10. 請求項１〜８のいずれか１項に記載の情報処理装置と、
    前記オブジェクト領域内の情報に基づいて機器の動作を制御する機器制御部と、
    を備える機器制御システム。
11. 請求項１０に記載の機器制御システムを備え、
    前記機器制御部により制御される移動体。
12. 所定の撮像範囲の画像情報において、前記撮像範囲内に存在するオブジェクトに対応するオブジェクト領域を設定するステップと、
    前記撮像範囲内の輝度を示す輝度情報を取得するステップと、
    前記オブジェクト領域の下部に設定された輝度検出領域内の前記輝度情報に基づいて前記オブジェクト領域を補正するステップと、
    を含む情報処理方法。
13. コンピュータに、
    所定の撮像範囲の画像情報において、前記撮像範囲内に存在するオブジェクトに対応するオブジェクト領域を設定する処理と、
    前記撮像範囲内の輝度を示す輝度情報を取得する処理と、
    前記オブジェクト領域の下部に設定された輝度検出領域内の前記輝度情報に基づいて前記オブジェクト領域を補正する処理と、
    を実行させるプログラム。