JP6805534B2 - 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム - Google Patents

Description

本発明は、視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システムに関する。

今日において、ミリ波レーダ、レーザレーダ、又は、ステレオカメラによる測距等により、人又は自動車等の物体を高速に検出する技術が知られている。例えば、ステレオカメラによる測距で、人又は先行車両等の物体の三次元的な位置及び大きさを検出する場合、物体の視差を補間した後、路面の位置を検出し、その路面に接している物体を検出する。このような物体の検出出力は、自動ブレーキ制御又は自動ハンドル制御等に用いられる。

ステレオカメラで人及び先行車両等の物体の三次元的な位置及び大きさを正確に検出するには、水平方向の視差を検出する必要がある。視差の検出方式としては、ブロックマッチング方式及びサブピクセル補間方式が知られている。

特許文献１（特開平１１−３５１８６２号公報）には、自車線内の前走車の検出と距離を求めることを目的として、路面と同じ高さの物体を除去した後の視差画像中に、左右に同じ視差を有する画素があるとき、左右画素間の画素に視差値を代入して補間視差画＋像を作成する技術が開示されている。

従来のブロックマッチング方式は、垂直に近いエッジ又はテクスチャがある部分の視差を高い精度で検出することができる。しかし、従来のブロックマッチング方式は、水平に近いエッジでは、視差の検出が困難となっていた。または、従来のブロックマッチング方式は、仮に視差の検出が行えた場合でも、多くのノイズが含まれる問題があった。

先行車両等の立体物は、箱状のオブジェクトであり、左右端の垂直線及び左右端の垂直線を繋ぐ水平線の集合とみなすことができる。このオブジェクトの視差は、両端の垂直線の部分以外は、視差の検出が困難となる。これは、縦のエッジが存在する部分に、有効な視差が存在することを意味している。

この場合、各垂直線が、一つの物体として認識されず、並走している２つのオブジェクトとして誤認識される。視差を補間して一つの物体として認識可能とする技術も提案されている。しかし、この技術の場合、自動車と並走している他の自動車、近辺の標識、及び、その他の立体物の間で視差が補間されることで、正しい物体認識が困難となる問題がある。

また、特許文献１に開示されている技術の場合、自動車とその他の立体物との視差を同じ値で補間することで、異なる大きさのオブジェクトとして認識する問題がある。また、特許文献１に開示されている技術の場合、視差は必ず誤差を含むため、同じ視差値同士を補間することでは補間できず、やはり、物体の認識が困難となる問題がある。

本発明は、上述の課題に鑑みてなされたものであり、物体の認識に適した視差画像を生成する視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像画像の各画素の特徴量に基づいて、有効画素を決定する有効画素決定部と、撮像画像に対応する視差画像における、有効画素に相当する有効視差の近傍の有効視差でない視差を有効化する有効化部と、撮像画像に対応する視差画像における、有効画素に相当する有効視差のうち、隣接する２つの有効視差である有効視差ペアを設定し、有効視差ペアの各有効視差の位置関係を算出する算出部とを有し、算出部は、有効画素の視差値である有効視差、及び、検出する物体の実際の幅を示すペア間隔情報に応じて、選択画素と同一ライン上で、有効視差とペアとなるペア視差の探索範囲を設定する探索範囲設定部と、探索範囲内において、ペア視差を設定するペア視差設定部と、有効視差とペア視差との差分を検出する差分検出部と、を備え、有効化部は、有効視差及びペア視差の差分が、所定の閾値以下の場合に、有効視差及びペア視差の間の視差を有効化することを特徴とする。

本発明によれば、物体の認識に適した視差画像を生成できるという効果を奏する。

図１は、第１の実施の形態の機器制御システムの概略構成を示す模式図である。 図２は、第１の実施の形態の機器制御システムに設けられている撮像ユニット及び解析ユニットの概略構成を示すブロック図である。 図３は、第１の実施の形態における解析ユニットの機能構成を示すブロック図である。 図４は、第１の実施の形態における視差演算部の要部の機能構成を示すブロック図である。 図５は、第１の実施の形態における視差演算部の処理を示すフローチャートである。 図６は、図５に示す視差演算部の処理の具体例を示す図である。 図７は、図５に示す処理における無効判断の結果が正しい場合について説明するための図である。 図８は、図５に示す処理における無効判断の結果に誤りがある場合について説明するための図である。 図９は、図５に示す処理における無効判断の誤りの発生を低減可能な閾値について説明するための図である。 図１０は、図５に示す処理における無効判断の誤りの発生を低減可能な閾値について説明するための別の図である。 図１１は、視差演算部が実行する最小値処理および例外処理について説明するための図である。 図１２は、第１の実施の形態における視差演算部の演算結果の一例を示す図である。 図１３は、第１の実施の形態における視差演算部の演算結果の他の例を示す図である。 図１４は、マッチング処理結果のグラフの一例を示す図である。 図１５は、マッチング処理結果のグラフの他の一例を示す図である。 図１６は、有効視差判定部の詳細な機能ブロック図である。 図１７は、有効視差判定部の、さらに詳細な機能ブロック図である。 図１８は、有効視差ペア設定部における有効視差ペアの設定動作を説明するための模式図である。 図１９は、第２の実施の形態の機器制御システムの有効視差判定部の機能ブロック図である。 図２０は、有効視差ペアの探索範囲を説明するための模式図である。 図２１は、第３の実施の形態の機器制御システムの有効視差判定部の機能ブロック図である。 図２２は、第４の実施の形態の機器制御システムの要部の機能ブロック図である。 図２３は、第４の実施の形態の機器制御システムの視差画像生成部における視差画像生成処理の流れを示すフローチャートである。 図２４は、誤マッチングが発生している画素を、有効画素として誤判定する従来の判定手法を説明するための図である。 図２５は、有効画素を正確に検出して出力する、第４の実施の形態の機器制御システムの視差画像生成部を説明するための図である。

以下、添付図面を参照して、実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態の機器制御システムの概略構成を示す模式図である。この図１に示すように、機器制御システムは、機器の一例である自動車等の車両１に設けられる。機器制御システムは、撮像ユニット２、解析ユニット３、制御ユニット４及び表示部５を有している。

撮像ユニット２は、車両１のフロントガラス６のルームミラー付近に設けられ、車両１の例えば進行方向等の画像を撮像する。撮像ユニット２の撮像動作で得られる画像データを含む各種データは、解析ユニット３に供給される。解析ユニット３は、撮像ユニット２から供給される各種データに基づいて、車両１が走行中の路面、車両１の前方車両、歩行者、障害物等の認識対象物を解析する。制御ユニット４は、解析ユニット３の解析結果に基づいて、表示部５を介して、車両１の運転者へ警告等を行う。また、制御ユニット４は、解析結果に基づいて、各種車載機器の制御、車両１のハンドル制御又はブレーキ制御等の走行支援を行う。

図２は、撮像ユニット２及び解析ユニット３の概略的なブロック図である。この図２に示すように、撮像ユニット２は、例えば２つの撮像部１０Ａ、１０Ｂを備えたステレオカメラ構成となっている。２つの撮像部１０Ａ、１０Ｂは、それぞれ同じ構成を有している。具体的には、撮像部１０Ａ、１０Ｂは、撮像レンズ１１Ａ、１１Ｂと、受光素子が２次元配置された画像センサ１２Ａ、１２Ｂと、各画像センサ１２Ａ、１２Ｂを撮像駆動するコントローラ１３Ａ、１３Ｂを有している。

解析ユニット３は、物体認識装置の一例であり、ＦＰＧＡ（Field-Programmable Gate Array）１４、ＲＡＭ（Random Access Memory）１５、及び、ＲＯＭ（Read Only Memory）１６を有している。また、解析ユニット３は、シリアルインタフェース（シリアルＩＦ）１８、及び、データＩＦ１９を有している。ＦＰＧＡ１４〜データＩＦ１９は、解析ユニット３のデータバスライン２１を介して相互に接続されている。また、撮像ユニット２及び解析ユニット３は、データバスライン２１及びシリアルバスライン２０を介して相互に接続されている。

ＲＡＭ１５には、撮像ユニット２から供給される輝度画像データに基づいて生成された視差画像データ等が記憶される。ＲＯＭ１６には、オペレーションシステム及び視差画像生成プログラムを含む物体検出プログラム等の各種プログラムが記憶されている。

また、ＦＰＧＡ１４は、物体検出プログラムに含まれる視差画像生成プログラムに従って動作する。後に詳しく説明するが、ＦＰＧＡ１４は、各撮像部１０Ａ、１０Ｂでそれぞれ撮像された撮像画像のうち、一方を基準画像とすると共に他方を比較画像とする。そして、ＦＰＧＡ１４は、撮像領域内の同一地点に対応する基準画像上の対応画像部分と比較画像上の対応画像部分との位置ズレ量を、対応画像部分の視差値（視差画像データ）として算出する。

具体的には、ＦＰＧＡ１４は、撮像ユニット２で撮像されたステレオ画像から視差を計算する際、エッジのある画素位置だけでなくその他の部分においても、ブロックマッチングによる多数の視差を先に計算する。その後、エッジのある画素の視差を有効化する。そして、有効化した有効化視差と、近辺に位置する有効化視差との差が所定以下の場合に、有効化した有効化視差と近辺に位置する有効化視差との間の視差を有効化する。なお、「有効化」とは、物体認識の処理に用いる情報として特定（又は抽出）することである。

これにより、第１の実施の形態の機器制御システムは、先行車両の視差情報を、車両エッジだけでなく、車両内部及びその他の空間においても適切に生成可能となっている。また、車両１を一つの物体として正しい大きさ及び距離で認識できると共に、その他の物体と結合して誤検出する不都合を防止可能となっている。

ＣＰＵ１７は、ＲＯＭ１６に記憶されているオペレーションシステムに基づいて動作し、各撮像部１０Ａ、１０Ｂの全体的な撮像制御を行う。また、ＣＰＵ１７は、ＲＯＭ１６から物体検出プログラムをロードし、ＲＡＭ１５に書き込まれた視差画像データを用いて各種処理を実行する。具体的には、ＣＰＵ１７は、物体検出プログラムに基づいて、車両１に設けられた各センサから、データＩＦ１９を介して取得した、車速、加速度、操舵角、ヨーレート等のＣＡＮ（Controller Area Network）情報を参照し、路面、ガードレール、車両、人間等の認識対象物の認識処理、視差計算、認識対象物との間の距離の計算等を行う。

ＣＰＵ１７は、処理結果を、シリアルＩＦ１８又はデータＩＦ１９を介して、図１に示す制御ユニット４に供給する。制御ユニット４は、制御装置の一例であり、処理結果となるデータに基づいて、例えばブレーキ制御、車速制御、ハンドル制御等を行う。また、制御ユニット４は、処理結果となるデータに基づいて、表示部５に警告表示等を行う。これにより、車両１の運転者の運転支援を行うことができる。

以下、このような第１の実施の形態の機器制御システムにおける視差画像生成動作及び認識対象物の認識動作を具体的に説明する。

まず、ステレオカメラを構成する撮像ユニット２の各撮像部１０Ａ、１０Ｂは、輝度画像データを生成する。具体的には、各撮像部１０Ａ、１０Ｂがカラー仕様の場合、各撮像部１０Ａ、１０Ｂは、「Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ」の演算を行う。これにより、ＲＧＢ（赤緑青）の各信号から輝度（Ｙ）信号を生成するカラー輝度変換処理を行う。

また、各撮像部１０Ａ、１０Ｂは、カラー輝度変換処理により生成した輝度画像データを、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像に変換処理する。具体的には、各撮像部１０Ａ、１０Ｂは、各画素の歪み量を、Δｘ＝ｆ（ｘ、ｙ）、Δｙ＝ｇ（ｘ、ｙ）という多項式を用いて計算した計算結果を用いて、輝度画像データの各画素を変換する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する５次多項式に基づく。これにより、撮像部１０Ａ、１０Ｂの光学系の歪みを補正した平行な輝度画像を得ることができる。このような輝度画像（右撮像画像及び左撮像画像）は、解析ユニット３のＦＰＧＡ１４に供給される。

次に、図３に、第１の実施の形態の機器制御システムにおいて、ＦＰＧＡ１４がＲＯＭ１６に記憶されている物体検出プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、ＦＰＧＡ１４は、物体検出プログラムを実行することで、撮影画像補正部３１、視差演算部３２、視差画像生成部３３及び認識処理部３４を実現している。

撮影画像補正部３１は、左撮影画像と右撮影画像に対して、ガンマ補正、ゆがみ補正（左右の撮影画像の平行化）などの補正を行う。視差演算部３２は、撮影画像補正部３１で補正された左右の撮影画像から視差値ｄを算出する。視差演算部３２の詳細については後述する。視差画像生成部３３は、視差演算部３２で算出された視差値ｄを用いて、視差画像を生成する。視差画像とは、基準画像上の各画素について算出された視差値ｄに応じた画素値をそれぞれの画素の画素値として表したものである。認識処理部３４は、視差画像生成部３３で生成された視差画像を用いて、車両の前方の物体を認識し、認識結果としての認識データを生成する。

なお、撮像画像補正部３１〜認識処理部３４は、一部又は全部をＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、物体検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、物体検出プログラムは、インターネット等のネットワーク経由でインストールする形態で提供してもよい。また、物体検出プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（視差演算部の概要）
視差演算部３２は、撮像部１０Ａの輝度画像データを基準画像データとし、撮像部１０Ｂの輝度画像データを比較画像データとし、基準画像データと比較画像データの視差を示す視差画像データを生成する。具体的には、視差演算部３２は、基準画像データの所定の「行」について、一つの注目視差（注目画素）を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ「行」において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらす。そして、視差演算部３２は、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。

また、視差演算部３２は、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得る。

マッチング処理に用いるブロックの特徴量としては、例えばブロック内の各画素の値（輝度値）を用いることができる。また、相関値としては、例えば基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが、最も相関があるブロックとして検出される。

〈視差演算部の構成〉
図４に、視差演算部３２の要部の機能構成を示すブロック図を示す。図示のように、視差演算部３２は、情報処理部４４０と、情報保持部４５０とを備えており、互いに通信可能に構成されている。

情報処理部４４０は、非類似度算出部４４１、傾き算出部４４２、極小値検出部４４３、閾値設定部４４４、フラグ制御部４４５、カウンタ制御部４４６、および有効性判断部４４７を備えている。また、情報保持部４５０は、非類似度レジスタ４５１、傾きレジスタ４５２、閾値レジスタ４５３、フラグレジスタ４５４、および極小値カウンタ４５５を備えている。有効性判断部４４７が、無効化部を含む動作を行う。

非類似度算出部４４１は、評価値算出部の一例であり、基準画像と比較画像との間の相関の評価値（マッチングの評価値）としての非類似度を、例えば参考文献（特開２０１３−４５２７８号）等に記載があるＺＳＳＤ（Zero-mean Sum of Squared Difference）などにより算出し、非類似度レジスタ４５１に書き込む。

なお、ＺＳＳＤ（Zero-mean Sum of Squared Difference）の代わりに、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、又は、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）等の手法を用いてもよい。また、マッチング処理において、１画素未満のサブピクセルレベルの視差値が必要な場合は、推定値を用いる。推定値の推定手法としては、例えば等角直線方式又は二次曲線方式等を用いることができる。ただし、推定したサブピクセルレベルの視差値には誤差が発生する。このため、推定誤差を減少させるＥＥＣ（推定誤差補正）等の手法を用いてもよい。

次に、傾き算出部４４２は、基準画像に対して比較画像をシフトしていったときの隣り合うシフト位置における非類似度の差分値から、非類似度の傾きを算出し、傾きレジスタ４５２に書き込む。極小値検出部４４３は、極値検出部の一例であり、傾き算出部４４２で算出された傾きの値が負から正に変化することに基づいて、相関の評価値の極値としての非類似度の極小値を検出する。

閾値設定部４４４は、更新部の一例である。閾値設定部４４４は、フラグレジスタ４５４に保持されている値が“０”のとき（フラグが落ちているとき）、極小値検出部４４３で検出された極小値に基づいて、その極小値の上、下に極小値の範囲の設定値として上閾値Ｕth、下閾値Ｌthを生成し、閾値レジスタ４５３に書き込む。このとき、フラグ制御部４４５は、上閾値Ｕth、下閾値Ｌthが新たに更新されたことを示す値“１”をフラグレジスタ４５４に書き込む。また、カウント部の一例であるカウンタ制御部４４６は、極小値カウンタ４５５の値をカウントアップする。極小値カウンタ４５５の値は、閾値レジスタ４５３で保持されている閾値の範囲内の非類似度の極小値の個数を表す。

カウンタ制御部４４６は、フラグレジスタ４５４に保持されている値が“１”のとき（フラグが立っているとき）、極小値検出部４４３で検出された極小値が閾値レジスタ４５３で保持されている閾値の範囲内であった場合、極小値カウンタ４５５の値をカウントアップする。

また、カウンタ制御部４４６は、リセット部を含んでいる。カウンタ制御部４４６は、フラグレジスタ４５４に保持されている値が“１”のとき、傾き算出部４４２で算出された傾きが負のまま、非類似度算出部４４１で算出された非類似度が閾値レジスタ４５３で保持されている下閾値Ｌthを下回ったとき、極小値カウンタ４５５の値をリセットする。このとき、フラグ制御部４４５は、フラグレジスタ４５４に“０”を書き込み、フラグを落とす。

〈視差演算部の処理〉
図５は、図４に示す視差演算部３２の処理を示すフローチャートであり、図６は、図５に示す処理の具体例を示す図である。図６の横軸は探索範囲、すなわち基準画像の画素位置に対する比較画像の画素位置のシフト量（偏差）であり、縦軸はマッチングの評価値としての非類似度である。これらの図を参照して視差演算部３２の動作について説明する。

図５に示すフローチャートは、基準画像の１画素毎に実行される。また、基準画像の各画素に対する比較画像の探索範囲は１〜６８画素である。このフローチャートのスタート時には、非類似度レジスタ４５１、傾きレジスタ４５２、閾値レジスタ４５３には、データが書き込まれていない。また、フラグレジスタ４５４には“０”が設定されており、極小値カウンタ４５５の初期値は“０”である。なお、このフローの説明ではフラグレジスタ４５４に保持されている値（フラグ）をＣで表し、極小値カウンタ４５５のカウント値をｃｎｔで表す。

非類似度算出部４４１により非類似度を表すマッチングデータ：data(t)が入力されると（ステップＳ３０１）、ｔの数値を判定する（ステップＳ３０２）。最初はｔ＝１であるから（ステップＳ３０２：ｔ＝１）、data(１)を非類似度レジスタ４５１に書き込んで保持させ（ステップＳ３０６）、ｔが最後の値か否か、すなわち探索範囲の最後か否かを判定する（ステップＳ３０７）。ｔ＝１は、探索範囲の最後の値ではないので（ステップＳ３０７：No）、ｔをインクリメントしてｔ＝２とし（ステップＳ３１２）、ステップＳ３０１に移行する。

今回はステップＳ３０１→ステップＳ３０２→ステップＳ３０３の順に進み、傾き算出部４４２がdata(１)とdata(２)との間の傾きを計算する（ステップＳ３０３）。傾きは２つのデータの差分「data(２)−data(１)」により計算する。次にｔの数値を判定する（ステップＳ３０４）。今回はｔ＝２であるから（ステップＳ３０４：ｔ＝２）、傾きの符号を傾きレジスタ４５２に書き込んで保持させる（ステップＳ３０５）。

次にdata(２)を非類似度レジスタ４５１に書き込んで保持させ（ステップＳ３０６）、ｔが最後の値か否かを判定し（ステップＳ３０７）、判定の結果を基に（ステップＳ３０７：No）、ｔを３にインクリメントして（ステップＳ３１２）、ステップＳ３０１に移行する。

今回もステップＳ３０１→ステップＳ３０２→ステップＳ３０３までは前回（ｔ＝２のとき）と同じである。ただし、今回はｔ＝３であるから、ステップＳ３０４→ステップＳ３１３へと進み、傾きが負から正に変化したか否かを判定する。この判定処理は極小値検出部４４３により実行される。

ここでは、「data(２)−data(１)」が負であり、かつ「data(３)−data(２)」が正の場合、傾きが負から正に変化したと判定される（ステップＳ３１３：Yes）。この場合、保持しているdata(t-1)、ここではdata(２)が極小値と判明する（ステップＳ３１７）。

ステップＳ３１７でdata(２)が極小値と判明した場合、新たに極小値が出てきたか否か、すなわちＣ＝０であるか否かを判定する（ステップＳ３１８）。そして、Ｃ＝０であった場合（ステップＳ３１８：Yes）、閾値設定部４４４は閾値レジスタ４５３で保持されている上閾値Ｕthと下閾値Ｌthを更新し、フラグ制御部４４５はＣ＝１とし、フラグを立てる（ステップＳ３２０）。

図６におけるdata(１)からdata(３)までがここまでの処理に対応する。すなわち、ステップＳ３１７でdata(２)が極小値と判明し、ステップＳ３２０でその上下に上閾値Ｕth1と下閾値Ｌth1が更新（今回は最初の設定）されている。上閾値Ｕth、下閾値Ｌthは、それぞれ「data(２)＋所定値」、「data(２)−所定値」とする。このとき、「所定値＝２^ｎ」とすることで回路構成を単純にすることが好適である。

ステップＳ３２０の後、カウンタ制御部４４６は極小値カウンタ４５５の値をカウントアップする（ステップＳ３２１）。ここでは、カウント値が“１”となる。このカウント値は、ステップＳ３２０で設定された閾値の範囲内（上閾値Ｕth1以下、下閾値Ｌth1以上）の極小値の個数を表している。

ステップＳ３２１の後、ステップＳ３０５→ステップＳ３０６→ステップＳ３０７と進み、傾きの符号（ここでは正）およびマッチングデータ（ここではdata(３)）の保持を行い、ｔが最後か否かを判定し（ここでは最後ではないため、Ｓ３０７：No ）、ｔを４にインクリメントして（ステップＳ３１２）、ステップＳ３０１に移行する。

ｔ＝４の今回（以後、探索範囲の最後のｔ＝６８まで同じ）もステップＳ３０１→ステップＳ３０２→ステップＳ３０３→ステップＳ３０４→ステップＳ３１３の順に進み、極小値を検出するために、傾きが負から正に変化したか否かを判定する（ステップＳ３１３）。傾きが負から正に変化した場合（ステップＳ３１３：Yes）については前回（ｔ＝３のとき）に説明したので、今回はそうでない場合（ステップＳ３１３：Noの場合）について説明する。

この場合、傾きが負のままであるか否かを判定する（ステップＳ３１４）。そして、負のままでないときは（ステップＳ３１４：No）、ステップＳ３０５→ステップＳ３０６→ステップＳ３０７へと進む。ステップＳ３０５→ステップＳ３０６→ステップＳ３０７およびその後のステップの内容はｔ＝３のときと同様である。

図６の場合、ｔ＝４のとき、ステップＳ３１３：No→ステップＳ３１４：No→ステップＳ３０５→ステップＳ３０６→ステップＳ３０７→ステップＳ３１２へと進むので、傾きの符号（ここでは負）およびdata(４)の保持と、ｔ＝５へのインクリメントの後、ステップＳ３０１に移行する。

今回もステップＳ３０１→ステップＳ３０２→ステップＳ３０３→ステップＳ３０４→ステップＳ３１３の順に進み、傾きが負から正に変化したか否かを判定する（ステップＳ３１３）。ステップＳ３１３：Yesの場合、およびステップＳ３１３：No→ステップＳ３１４：Noの場合については、それぞれｔ＝３、ｔ＝４のときに説明済みであるため、今回はステップＳ３１３：No→ステップＳ３１４：Yesの場合について説明する。

この場合は、以前に極小値が発生していて、かつdata(t)（ここではdata(５)）が下閾値を下回ったか否かを判定する（ステップＳ３１５）。ステップＳ３１５：No、すなわち、以前に極小値が発生していないか、または発生していても、data(ｔ)が下閾値を下回っていないときは、ステップＳ３０５に進む。

一方、ステップＳ３１５：Yes、すなわち、以前に極小値が発生していて、かつdata(ｔ)が下閾値を下回ったときは、ステップＳ３１６に進む。ステップＳ３１６では、フラグ制御部４４５がＣ＝０としてフラグを落とし、カウンタ制御部４４６が極小値カウンタ４５５を「０」にリセットする。

図６の場合、ｔ＝５のとき、傾きは負から負のままなので、ステップＳ３１３：No→ステップＳ３１４：Yes→ステップＳ３１５：Yes→ステップＳ３１６へと進み、さらにステップＳ３０５→ステップＳ３０６→ステップＳ３０７→ステップＳ３１２の順に進むことで、傾きの符号（ここでは負）およびマッチングデータ（ここではdata(５)）の保持を行い、ｔが最後か否かを判定し（ここでは最後ではないため、ステップＳ３０７：No）、ｔを６にインクリメントして（ステップＳ３１２）、ステップＳ３０１に移行する。

今回もステップＳ３０１→ステップＳ３０２→ステップＳ３０３→ステップＳ３０４→ステップＳ３１３の順に進み、傾きが負から正に変化したか否かを判定する。図６の場合、ｔ＝６のときは、ｔ＝５のときと同様、傾きは負から負のままなので、ステップＳ３１３以降に経由するステップもｔ＝５のときと同じである。

以後、ｔ＝７のときも、ｔ＝５のとき及びｔ＝６のときと同様に、傾きは負から負のままなので、ステップＳ３１３以降に経由するステップもｔ＝５のときと同じである。そして、ｔ＝８になると、ｔ＝３のときと同様、傾きが負から正に変化するため、ステップＳ３１７→ステップＳ３１８へと進む。ｔ＝５のとき、Ｃ＝０としたため、ステップＳ３１８：Yesと判定され、ステップＳ３２０→ステップＳ３２１→ステップＳ３０５の順に進む。

このとき、ステップＳ３２０では、図６に示すように、上閾値Ｕth1、下閾値Ｌth1がそれぞれ上閾値Ｕth2、下閾値Ｌth2に更新される。ここで、上閾値Ｕth2、下閾値Ｌth2は、「data(７)＋所定値」、「data(７)−所定値」である。また、ステップＳ３２１によりカントアップされたカウント値（＝１）は、ステップＳ３２０で更新された更新後の閾値の範囲内（上閾値Ｕth2以下、下閾値Ｌth2以上）の極小値の個数を表している。

図６の場合、次のｔ＝９では、傾きが正から負に変化するから、ステップＳ３１３：No→Ｓ３１４：No→Ｓ３０５の順に進む。また、次のｔ＝１０では、傾きが負から正に変化するため、ステップＳ３１７→Ｓ３１８へと進む。ｔ＝８のとき、Ｃ＝１としたため、ステップＳ３１８：Noと判定され、ステップＳ３１９へ進む。

ステップＳ３１９では、ステップＳ３１７で判明した極小値であるdata(９)が下閾値（Ｌth2）と上閾値（Ｕth2）の範囲内であるか否かを判定する。そして、範囲内であった場合は（ステップＳ３１９：Yes）、カウントアップした後（ステップＳ３２１）、ステップＳ３０５に進み、範囲外であった場合は（ステップＳ３１９：No）、そのままステップＳ３０５に進む。

図６の場合、data(９)は下閾値（Ｌth2）と上閾値（Ｕth2）の範囲内であるから、カウントアップされ、極小値カウンタ４５５の値は“２”となる。このカウント値の“２”は、最新の閾値（ここでは上閾値Ｕth2、下閾値Ｌth2）の範囲内の極小値が２個あることを意味する。

以下、探索範囲の最後のｔ（ここでは６８）になるまで、ステップＳ３０１→ステップＳ３０２→ステップＳ３０３→ステップＳ３０４→ステップＳ３１３の順に進む処理を繰り返し、最後のｔになったら（ステップＳ３０７：Yes）、カウンタ制御部４４６は極小値カウンタ４５５のカウント値を出力する（ステップＳ３０８）。

次に、有効性判断部４４７が、カウント値が所定値（例えば２）以上か否かを判定し（ステップＳ３０９）、所定値以上の場合は（ステップＳ３０９：Yes）、無効と判断し（ステップＳ３１０）、この基準画像の画素の視差値を認識処理部３４が使用しないようにするためのフラグを立てる（ステップＳ３１１）。

ここで、図１４に、マッチング処理結果の一例のグラフを示す。この図１４において、横軸は探索範囲、すなわち基準画像の画素位置に対する比較画像の画素位置のシフト量（偏差）であり、縦軸は相関の評価値である非類似度である。この図１４では、○で囲んだ７番目の探索画素で非類似度が最小となっているので、７が最も確からしい視差値となる。なお、横軸の負の数値はサブピクセル視差を求めるための探索範囲のものである。

しかし、同じデザインの窓が並ぶビルディング、同じ形状及び模様が並ぶタイルの壁、フェンス、トラック車両の荷台又はトレーラ車両の荷台等のように、外観に繰り返しパターンを持つ物体の視差を算出する過程では、図１５に示すようにマッチングがとれている箇所が２箇所以上（図１５の例は６箇所）出現する場合があり、最も確からしい視差値が誤って出力されるおそれがある。

このような事実があると、例えば実際には、距離が離れた位置に存在する上述の繰り返しパターンを持つ物体が近くに位置することを示す、誤った視差値が出力される（誤マッチング）。具体的には、同じ形状及び模様が並ぶ繰り返しパターンのタイルの壁と自車両との間の距離が５ｍである場合、この５ｍの距離の視差値と２ｍの距離の視差値が混合して出力される。これにより、後段の物体認識処理において、１枚の壁が、自車両との間の距離が２ｍの壁及び自車両との間の距離が５ｍの壁の２枚の壁として認識される。そして、タイルの壁と自車両との間の距離が５ｍであるにもかかわらず、ブレーキを作動させる「誤踏み」を生ずる。

しかし、視差演算部３２によれば、探索範囲の非類似度の算出が終了した後で、近い値を有する非類似度の個数や最も確からしい視差値を探すのではなく、非類似度の極小値の個数のカウントを視差探索と同時に行い、非類似度の極小値が所定の範囲外になったとき、その所定の範囲を更新し、更新された範囲内の非類似度の極小値の個数をカウントする。これにより、処理時間を増やすことなく、繰り返しパターンが現れた場合に物体認識処理に用いるか用いないか判断するまでの時間を短縮することができる。従って、この視差演算部３２を有する第１の実施の形態の機器制御システムによれば、「誤踏み」を低減することができる。

なお、図５に示すフローチャートでは、ｔの小さい方から順に探索しているが、その反対に、大きい方から順に探索するように構成してもよい。また、図５に示すフローチャートでは、最初に極小値が検出されたとき、その極小値に応じて上閾値および下閾値を設定しているが、フローの開始時に任意の上閾値および下閾値を初期設定するように構成してもよい。また、図５に示すフローチャートでは、相関の評価値として、相関が高い程、値が小さくなる非類似度を用いたが、その反対に、相関が高い程、値が大きくなる類似度を用いるように構成してもよい。

〈上閾値および下閾値の詳細について〉
以上説明した図５および図６では、上閾値Ｕth1、下閾値Ｌth1を「data(２)＋所定値」、「data(２)−所定値」とし、上閾値Ｕth2、下閾値Ｌth2を「data(７)＋所定値」、「data(７)−所定値」、すなわち、上閾値Ｕth、下閾値Ｌthをそれぞれ「新たに出てきた極小値＋所定値」、「新たに出てきた極小値−所定値」の計算式を用いて算出し、設定している。以下、この計算式により算出される上閾値、下閾値をそれぞれ第１の上閾値、第１の下閾値と言う。

次に、図５に示す処理における無効判断（ステップＳ３１０）の結果が正しい場合と、誤りがある場合について説明し、さらにその誤りの発生を低減可能な上閾値、下閾値である第２の上閾値、第２の下閾値について説明する。

（無効判断の結果が正しい場合）
図７は、図５に示す処理における無効判断の結果が正しい場合について説明するための図である。この図７および後述する図８乃至図１３の横軸、縦軸は、図６と同様であり、それぞれ探索範囲、非類似度である。

この図７は、探索範囲内の画像がテクスチャの多い繰り返しパターンの場合のマッチング処理結果を表している。テクスチャが多いため、非類似度（例えばＺＳＳＤ）の振幅が大きくなっている。この図７の場合、極小値であるdata(ta)に対して、Ｕth（第１の上閾値）、Ｌth（第１の下閾値）がそれぞれ「data(ta)＋ｋ(所定値)」、「data(ta)−k(所定値)」に設定され、閾値の範囲内の３個の極小値がカウントされる。そして、この正しいカウント値に基づいて、誤りのない判断結果（無効）が得られる。

（無効判断の結果に誤りがある場合）
図８は、図５に示す処理における無効判断の結果に誤りがある場合について説明するための図である。

この図８は、探索範囲内の画像が繰り返しパターンではなく、テクスチャが少ない場合のマッチング処理結果を表している。テクスチャが少ないため、非類似度の振幅が小さくなっている。この図８の場合、最小値＝data(tc)が１箇所だけであるため、正しい視差値tcが得られるにもかかわらず、最小値ではない極小値であるdata(tb)の上下に設定されたＵth（第１の上閾値）、Ｌth（第１の下閾値）の範囲内で５個の極小値がカウントされてしまう。そして、このカウント値に基づいて無効と判断されてしまう。

（第２の上閾値、第２の下閾値について）
図９および図１０は、図５に示す処理における無効判断の誤りの発生を低減可能な第２の閾値について説明するための図の例である。ここで、図９、図１０は、それぞれ探索範囲内の画像が図７、図８と同じ場合のマッチング処理結果を表している。

第２の上閾値、第２の下閾値は、新たに出てきた極小値に応じた値に設定される。すなわち、例えば図９の場合、極小値であるdata(ta)に対して、Ｕth（第２の上閾値）、Ｌth（第２の下閾値）がそれぞれ「data(ta)×Ｕｍ」、「data(ta)×Ｌｍ」に設定される。ここで、Ｕｍ、Ｌｍは比率を表す係数である。ＵｍとＬｍの値は、「Ｕｍ＞１＞Ｌｍ」であり、かつ更新後の上閾値が更新前の下閾値より小さくなる値であれば、どのような値にしてもよい。この図９の場合、図７の場合と同様、閾値の範囲内の３個の極小値がカウントされる。

また、図１０の場合、最小の極小値であるdata(tc)に対して、Ｕth（第２の上閾値）、Ｌth（第２の下閾値）がそれぞれ「data(tc)×Ｕｍ」、「data(tc)×Ｌｍ」に設定される。この図１０の場合、図８の場合とは異なり、極小値のカウント値は“１”となるため、正しい視差値tcが採用されることになる。

このように、上閾値、下閾値を新たに出てきた極小値に応じた値に設定することにより、探索範囲内の画像が繰り返しパターンではなく、テクスチャが少ない場合に、１箇所だけある最小の極小値だけをカウントする確率を高くすることができる。つまり、図５に示す繰り返しパターン検出アルゴリズムにおける第１の上閾値、第１の下閾値をそれぞれ第２の上閾値、第２の下閾値に変更することにより、正しい視差値が得られているにもかかわらず、無効と判断される事態の発生を低減することができる。

なお、図９および図１０では、極小値に係数を掛けることで、極小値に応じた値の上閾値および下閾値を算出しているが、図７および図８におけるｋを所定値に固定する代わりに、極小値に応じて変化させるように構成してもよい。

〈最小値処理および例外処理〉
図１１は、視差演算部３２が実行する最小値処理および例外処理について説明するための図である。

視差値算出の基本として、ＺＳＳＤなどの非類似度が最小値となる視差値を算出することが前提なので、図５に示す最小レベルの上下の閾値の範囲内の極小値の個数をカウントするアルゴリズムだけでなく、純粋な最小値とそれに対応する視差値も逐次処理して探しておくことが必要である。

また非類似度の最小値が、図１１のＡの図に示すように、探索範囲の最後にある場合、又は、図１１のＢの図に示すように、探索範囲の最初にある場合に対処するため、純粋な最小値も逐次的に処理しておき、最終的に更新された下閾値Ｌthよりも最小値の方が小さい場合には、その最小値を与える視差を出力する。その場合には、６８個の非類似度のデータに対して、図５に示すアルゴリズムが終了した後、例外処理として、強制的に無効判定する。

すなわち、例えば図１１のＡの図の場合は、図１１に示すアルゴリズムが終了すると、最小値であるdata(６８)に基づいて、ステップＳ３１６で極小値カウンタ４５５が０にリセットされるが、強制的に無効判定する。なお、サブピクセル視差を求める場合は、図１１のＡの図の横軸の探索範囲ｔが−２〜６５となり、右端のdata（６５）が最小値となる。

また、例えば図１１のＢの図の場合、図５に示すアルゴリズムが終了すると、極小値カウンタ４５５のカウント値は“３”となるが、Ｌthより小さいdata(１)が存在するため、最終的に強制的に無効判定する。なお、サブピクセル視差を求める場合は、図１１のＢの図の横軸の探索範囲ｔが−２〜６５となり、左端のdata(−２)が最小値となる。

この最小値処理および例外処理をまとめると、下記(i)〜(iii)のようになる。

（i）探索範囲の端の非類似度が最小値となった場合、その最小値が検出された視差値（探索範囲ｔの値）が、負の場合、極小値カウンタ４５５のカウント値がいくつであっても強制的に無効とする。

（ii）探索範囲の端の非類似度が、最終的に決まった閾値の範囲内に含まれている場合には、極小値カウンタ４５５をカウントアップする。例えば、左端だけが最終的に決まった閾値の範囲内に含まれている場合には、出力されたカウント値を１アップする。例えば、右端だけが最終的に決まった閾値の範囲内に含まれている場合には、出力されたカウント値を１アップする。例えば、左端と右端が両方とも最終的に決まった閾値の範囲内に含まれている場合には、出力されたカウント値を２アップする。

（iii）単調増加、単調減少の場合には、極小値が検出されず、カウント値は０になるが、強制的に無効とする。

〈視差演算部の演算結果〉
図１２は、視差演算部３２の演算結果の第１の例を示す図であり、図１３は、その第２の例を示す図である。これらの図において、横軸は探索範囲であり、縦軸の非類似度は７画素×７画素のブロックを用いて算出したＺＳＳＤである。なお、探索範囲の負の部分は、サブピクセル視差を求めるためのものである。

図１２は、ビルの窓を撮像した画像の視差値を算出したものである。上閾値、下閾値は最終的に更新（ここでは探索範囲の８画素目の極小値に応じて設定）された値である。この閾値の範囲内の極小値の個数は４であり、有効性判断部４４７により無効と判断された。

図１３は、タイル壁を撮像した画像の視差値を算出したものである。上閾値、下閾値は最終的に更新（ここでは探索範囲の２３画素目の極小値に応じて設定）された値である。この閾値の範囲内の極小値の個数は２であり、有効性判断部４４７により無効と判断された。

なお、ＺＳＳＤ等による探索範囲の非類似度の最小値を検出する場合、例えば最初の非類似度、２番目の非類似度及び３番目の非類似度のうち、最小の非類似度を検出し、この最小の非類似度と、４番目以降の非類似度を比較する。そして、所定の閾値内となる非類似度の最小値を検出するように、１画素毎に検出処理を行って非類似度の最小値を検出する手法でもよい。この場合、ＦＰＧＡ１４に掛かる非類似度の演算処理の負荷を軽減できる。

または、例えば６４個等の探索範囲の非類似度を一旦メモリに記憶した後、最小値を示す非類似度を検出し、非類似度の最小値に基づいて決定した閾値内に含まれる非類似度の個数を検出して、非類似度の最小値を検出してもよい。

（視差画像生成部の動作）
次に、視差画像生成部３３の動作を説明する。視差画像生成部３３は、図１６に示すように、エッジ有効化部１０３、ペア位置算出部１０４、ペア内視差有効化部１０５を有している。エッジ有効化部１０３は、有効画素決定部の一例であり、上述の視差演算部３２で算出された視差値ｄ（視差画像）と共に、撮像画像補正部３１により生成された輝度画像が供給される。エッジ有効化部１０３は、輝度画像及び視差画像が入力されると、輝度画像におけるエッジ成分が所定の成分量以上の画素をエッジ画素と判定し、画素位置の視差値を有効化する。輝度画像におけるエッジ成分の成分量は、特徴量の一例である。また、エッジ画素が有効画素であり、視差画像上のエッジ画素に相当する視差が有効視差である。

ペア位置算出部１０４は、算出部の一例であり、視差画像の同一ライン上の隣接する二つの有効視差を、有効視差ペアとし、その視差の実空間での奥行き方向の距離差及び横方向の間隔（位置関係）を算出する。そして、有効視差ペアの視差値に応じて、距離差が所定の閾値範囲内であるか否か、及び、横方向の間隔が別の所定の閾値の範囲内であるか否かを判定する。

ペア内視差有効化部１０５は、有効化部の一例であり、ペア位置算出部１０４で判定された距離差及び横方向の間隔の両方が閾値の範囲内である際に、有効視差ペア内視差（有効視差ペア間の視差）を有効化する。なお、有効化するペア内視差は、有効視差ペアの２つの視差値の近傍となる。

図１７に、視差画像生成部３３の、さらに詳細な機能ブロック図を示す。この図１７において、有効視差判定部１０２は、上述のようにエッジ有効化部１０３、ペア位置算出部１０４及びペア内視差有効化部１０５を有している。

エッジ有効化部１０３は、エッジ量算出部１０６及び比較器１０７を有している。ペア位置算出部１０４は、有効視差ペア設定部１０８、ペア間隔算出部１０９、比較器１１０、ペア奥行差分算出部１１１、比較器１１２及びパラメータメモリ１１３を有している。ペア内視差有効化部１０５は、有効化判定部１１４及び有効視差決定部１１５を有している。有効視差ペア設定部１０８は、ペア設定部の一例である。ペア間隔算出部１０９及びペア奥行差分算出部１１１は、算出部の一例である。また、有効視差決定部１１５は、有効化部の一例である。

エッジ有効化部１０３のエッジ量算出部１０６には、入力画像中の所定の処理対象範囲内の輝度画像が入力される。エッジ量算出部１０６は、この輝度画像からエッジ量を算出する。エッジ量の算出手法としては、例えばＳｏｂｅｌフィルタ又は二次微分フィルタを用いることができる。ハードウェアの削減及びブロックマッチング処理の特徴を考慮すると、注目画素の同一ラインの両側画素の差分を用いてもよい。

エッジ有効化部１０３の比較器１０７は、エッジ量算出部１０６で算出されたエッジ量の絶対値と、予め定められたエッジ量閾値とを比較し、この比較出力を有効視差フラグとして、ペア位置算出部１０４の有効視差ペア設定部１０８に供給される。例えば、算出されたエッジ量の絶対値が、エッジ量閾値よりも大きい場合は、ハイレベルの比較出力が有効視差ペア設定部１０８に供給される（有効視差フラグが立つ）。また、算出されたエッジ量の絶対値が、エッジ量閾値よりも小さい場合は、ローレベルの比較出力が有効視差ペア設定部１０８に供給される（有効視差フラグが降りる）。

ペア位置算出部１０４の有効視差ペア設定部１０８には、上述の所定範囲内の視差画像及び有効視差フラグが供給される。一例ではあるが、有効視差ペア設定部１０８は、図１８に示すように、有効視差フラグが立っている同一ライン上において、隣接せず、かつ、最も近くに存在する画素位置の２つの視差を有効視差ペアと設定する。図１８の例の場合、第１の有効視差ペア、第２の有効視差ペア及び第３の有効視差ペアが設定された例を示している。

次に、このように設定された有効視差ペアの各ペア視差値を用いて、ペアの横方向の間隔及びペアの奥行き方向の差分を算出する。ペア間隔算出部１０９は、有効視差ペアの左側画素の視差値と、視差画像上のペアの間隔（画素単位）から、実空間におけるペアの横方向の間隔を算出する。また、ペア間隔算出部１０９は、有効視差ペアの二つの視差からそれぞれ奥行きを計算し、その差分の絶対値を算出する。

比較器１１０は、ペア間隔算出部１０９で算出されたペアの横方向の間隔と、ペア間隔閾値とを比較する。ペア間隔閾値は、検出する物体の実際の幅を参考にして予め定められている。例えば、人間だけを検出する場合、ペア間隔閾値は、人が占有する幅に設定される。また、例えば日本の場合、大型車の幅は最大２５００ｍｍに規定されている。このため、車両を検出する場合は、このような法規で定められた車両の最大幅に、ペア間隔閾値が設定される。比較器１１０は、このようなペア間隔閾値と、ペア間隔算出部１０９で算出されたペアの横方向の間隔とを比較し、ペア内視差有効化部１０５の有効化判定部１１４に比較出力を供給する。

ペア奥行差分算出部１１１は、上述の有効視差ペアの奥行差分を算出する。比較器１１２には、ペア視差値を用いてパラメータメモリ１１３から読み出された奥行差分閾値が供給されている。パラメータメモリ１１３から読み出される奥行差分閾値は、有効視差ペアの左側の画素の視差値から計算される距離に応じて決定される。距離に応じて奥行差分閾値を決定する理由は、撮像ユニット２のステレオ画像から得られる視差は、検出する物体までの距離が大きければ視差の分解能が低下し、検出距離の分散が大きくなるからである。従って、有効視差値又はそれから計算された距離に応じて、その距離の１０％、１５％、２０％等の奥行差分閾値がパラメータメモリ１１３に格納されている。比較器１１２は、この奥行差分閾値と、有効視差ペアの奥行差分とを比較し、ペア内視差有効化部１０５の有効化判定部１１４に比較出力を供給する。

次に、ペア内視差有効化部１０５の有効化判定部１１４は、ペア内領域有効化判定を行う。すなわち、有効化判定部１１４は、各比較器１１０、１１２から供給される各比較出力が、ペアの横方向間隔がペア間隔閾値以下で、かつ、ペア奥行差分が奥行差分閾値以下であることを示す場合に、ペア内領域を有効と判定する。有効とされたペア内領域に存在する視差（ペア内視差）は、有効視差決定部１１５に供給される。

有効視差決定部１１５は、供給されたペア内視差が、ペア視差の視差値に応じて決定される視差値範囲内の値であれば、供給されたペア内視差を有効視差と決定し、有効視差として出力する。ペア視差の視差値範囲は、ペア視差の２つの値をＤ１、Ｄ２（Ｄ１＞Ｄ２）とした場合において、αを定数とした「Ｄ２−α、Ｄ１＋α」の範囲を意味する。この定数αは、撮像ユニット２（ステレオカメラ）から得られる被写体の視差の分散値に基づいて決定する。

認識処理部３４は、このように視差画像生成部３３で生成された視差画像を用いて、例えば車両の前方の物体、人間、ガードレール等を認識し、認識結果となる認識データを出力する。

（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の機器制御システムは、撮像ユニット２で撮像されたステレオ画像から視差を計算するときに、エッジのある画素位置だけでなく、その他の部分においてもブロックマッチングによる視差を計算し、多数の視差を先に計算する。その後に、エッジのある画素の視差のみを有効化し、有効化した有効化視差と、近辺に位置する近辺有効化視差の差が所定以下の際に、有効化視差と近辺有効化視差との間に存在する、同様の値を有する視差を有効化する。

これにより、立体物の境界だけでなく、立体物の中及びその他の空間において、適切な視差を生成できる。すなわち、先行車両の視差情報を、車両エッジだけでなく、車両内部及びその他の空間においても適切に生成できる。このため、物体の認識に適した視差画像を生成することができ、車両を一つの物体として正しい大きさ及び距離で精度良く認識可能とすることができる。また、先行車両が他の物体と結合することで誤検出となる不都合も防止できる。

また、外観に繰り返しパターンを持つ物体の視差を算出する過程では、マッチングがとれている箇所が２箇所以上（図１５参照）出現する場合があり、最も確からしい視差値が誤って出力されるおそれがある。このような事実があると、例えば実際には、距離が離れた位置に存在する上述の繰り返しパターンを持つ物体が近くに位置することを示す、誤った視差値が出力される（誤マッチング）。これにより、後段の認識処理部３４において、１枚の壁が、自車両との間の距離が２ｍの壁及び自車両との間の距離が５ｍの壁の２枚の壁として認識される。そして、壁と自車両との間の距離が５ｍであるにもかかわらず、ブレーキを作動させる「誤踏み」を生ずる。

しかし、第１の実施の形態の機器制御システムは、視差演算部３２により、探索範囲の非類似度の算出が終了した後で、近い値を有する非類似度の個数や最も確からしい視差値を探すのではなく、非類似度の極小値の個数のカウントを視差探索と同時に行い、非類似度の極小値が所定の範囲外になったとき、その所定の範囲を更新し、更新された範囲内の非類似度の極小値の個数をカウントする。これにより、処理時間を増やすことなく、繰り返しパターンが現れた場合に認識処理部３４の物体認識処理に用いるか用いないかを判断するまでに要する時間を短縮化することができる。また、誤った視差値が出力される不都合を防止して、上述の「誤踏み」を低減することができる。

（第２の実施の形態）
次に、第２の実施の形態の機器制御システムを説明する。第２の実施の形態の機器制御システムは、視差画像生成部３３が、図１９に示す各機能を有している。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、視差画像生成部３３の動作のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。また、図１９において、上述の図１７と同じ動作を示す箇所には、同じ符号を付し、その詳細な説明は省略する。

すなわち、第２の実施の形態の機器制御システムの場合、視差画像生成部３３のペア位置算出部１０４が、有効視差設定部１２０、ペア視差探索範囲設定部１２１、ペア視差設定部１２２、ペア奥行差分算出部１２３、及び、パラメータメモリ１１３を有している。また、ペア内視差有効化部１０５が、比較器１２４及び有効視差決定部１１５を有している。ペア視差探索範囲設定部１２１は、探索範囲設定部の一例である。また、ペア奥行差分算出部１２３は、差分検出部の一例である。

ペア位置算出部１０４の有効視差設定部１２０は、所定の処理対象範囲内の視差画像が入力されると、エッジ有効化部１０３からの比較出力である有効視差フラグが立っている画素（有効画素）を選択する。ペア視差探索範囲設定部１２１は、選択された有効画素の視差値（有効視差）及びペア間隔最大値に基づいて、選択画素と同一ライン上で有効視差の画素の右側の方向に、有効視差とペアとなるペア視差を探索する範囲を計算して設定する。ペア間隔最大値は、ペア間隔情報の一例であり、検出する物体の実際の幅を示す上述のペア間隔閾値と同義である。図２０は、ペア視差探索範囲設定部１２１のペア視差探索動作を模式的に示す図である。この図２０において、黒塗りの画素が有効視差の画素ＳＧを示している。また、画素Ｐ１〜画素Ｐ４は、有効視差の画素ＳＧの視差値に応じて設定される探索範囲内のペア視差の画素を示している。ペア視差探索範囲設定部１２１は、ペア間隔最大値及び選択画素の視差値に基づいて、視差画像上でペア視差を探索するための最大幅（右方向）を計算する。

次に、ペア視差設定部１２２は、ペア視差探索範囲内において、有効視差に最も近い視差を検出してペア視差とする。ペア視差探索範囲内にペア視差が存在しない場合、ペア視差設定部１２２におけるペア視差設定処理以降の処理は実行されず、次に設定された有効視差に基づいてペア視差探索範囲の設定及びペア視差の設定が行われる。

ペア視差設定部１２２により設定されたペア視差は、有効視差と対でペア奥行差分算出部１２３に入力される。ペア奥行差分算出部１２３は、図１７に示すペア奥行差分算出部１１１と同様に、入力された有効視差及びペア視差から距離の差分の絶対値を計算する。

ペア内視差有効化部１０５の比較器１２４は、有効視差に基づいてパラメータメモリ１１３から読み出された奥行差分閾値と、ペア奥行差分算出部１２３で算出された奥行差分とを比較する。有効視差決定部１１５は、奥行差分が奥行差分閾値以下であることを示す比較出力が、比較器１２４から供給された場合、有効視差とペア視差の間の視差であるペア内視差を有効視差として決定して出力する。また、有効視差決定部１１５は、有効視差とペア視差の２つの視差値範囲内の値であることを示す比較出力が、比較器１２４から供給された場合、有効視差とペア視差の２つの視差値範囲内の視差を有効視差として決定し出力する。

有効視差とペア視差の２つの視差値範囲は、２つの視差値をＤ１，Ｄ２（Ｄ１＞Ｄ２）とした場合に、αを定数とした「Ｄ２−α、Ｄ１＋α」の範囲を意味する。このαは、撮像ユニット２から得られる所定の被写体の視差の分散値に基づいて決定することができる。

このような第２の実施の形態の機器制御システムは、視差ノイズを増やすことなく視差点数を制御できる他、上述の第１の実施の形態と同じ効果を得ることができる。

（第３の実施の形態）
次に、第３の実施の形態の機器制御システムを説明する。第３の実施の形態の機器制御システムは、視差画像生成部３３が、図２１に示す各機能を有している。なお、上述の第１の実施の形態と以下に説明する第３の実施の形態とでは、視差画像生成部３３の動作のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。また、図２１において、上述の図１７と同じ動作を示す箇所には、同じ符号を付し、その詳細な説明は省略する。

すなわち、第３の実施の形態の機器制御システムの場合、エッジ有効化部１０３が、エッジ量算出部１０６、比較器１３１及び比較器１３２を有する。そして、比較器１３１からの第１の有効視差フラグが、ペア位置算出部１０４の有効視差ペア設定部１０８に供給され、比較器１３２からの第２の有効視差フラグが、ペア内視差有効化部１０５の有効視差決定部１１５に供給される構成となっている。第１の有効視差フラグは、第１の有効視差情報の一例である。第２の有効視差フラグは、第２の有効視差情報の一例である。

すなわち、第３の実施の形態の機器制御システムの場合、エッジ画素の視差値の有効化を、例えば２つの閾値（３つ以上の閾値でもよい）等の複数の閾値で行うようになっている。具体的には、第１のエッジ量閾値は、第２のエッジ量閾値より大きい値となっている。第１のエッジ量閾値は、比較器１３１に供給され、第２のエッジ量閾値は、比較器１３２に供給される。比較器１３１は、エッジ量算出部１０６で算出されたエッジ量の絶対値と、第１のエッジ量閾値とを比較し、有効視差ペアを作る画素を有効化するための第１の有効視差フラグを、ペア位置算出部１０４の有効視差ペア設定部１０８に供給する。また、比較器１３２は、エッジ量算出部１０６で算出されたエッジ量の絶対値と、第２のエッジ量閾値とを比較し、ペア内視差の画素を最終的に有効化するための第２の有効視差フラグを、有効視差決定部１１５に供給する。

これにより、ペア内視差で有効となる視差の数を制御でき、後段の物体検出処理に最適な視差画像を生成できる他、上述の各実施の形態と同様の効果を得ることができる。なお、エッジ有効化部１０３における複数の閾値を用いたエッジ画素の有効化処理は、第２の実施の形態に適用してもよい。また、有効視差設定部１２０及びペア視差探索範囲設定部１２１は、視差画像の同一ライン内で処理を行うこととした。しかし、この他、例えば視差画像の同一ライン及び視差画像の同一ラインの上下のラインの計３ラインの範囲内で有効視差ペアの設定を行ってもよい。

（第４の実施の形態）
次に、第４の実施の形態の機器制御システムの説明をする。第４の実施の形態の機器制御システムは、図１４及び図１５を用いて説明した誤マッチングの視差値の数を減らして、有効な視差値を多く含む視差画像で物体認識処理を行うことで、一つの物体を一つの物体として正確に認識可能とする。これにより、正確な支援動作を可能とする。

図２２は、第４の実施の形態の機器制御システムに設けられている視差画像生成部３３の機能ブロック図である。この図２２に示すように、視差画像生成部３３は、マッチングコスト計算部５０１、エッジ検出部５０２、繰り返しパターン検出部５０３、全面視差画像生成部５０４、及び、生成部５０５を有している。

このような視差画像生成部３３は、ＲＯＭ１６に記憶されている上述の物体検出プログラムをＦＰＧＡ１４が実行することで実現される。なお、この例では、マッチングコスト計算部５０１〜生成部５０５は、ソフトウェアで実現することとした。しかし、マッチングコスト計算部５０１〜生成部５０５のうち、一部又は全部を、集積回路（ＩＣ）等のハードウェアで実現してもよい。

また、物体検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、物体検出プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、物体検出プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

図２３のフローチャートに、視差画像生成部３３における視差画像生成処理の流れを示す。まず、ステップＳ２０１では、マッチングコスト計算部５０１が、撮像ユニット２で撮像された基準画像及び比較画像のうち、同一のスキャンライン上に存在する基準画像及び比較画像の各画素の非類似度（マッチングコスト）を計算する。全面視差画像生成部５０４は、計算された非類似度に基づいて、全ての画素を視差値で示した全面視差画像を生成する。

ステップＳ２０２では、判別部及びパターン検出部の一例である繰り返しパターン検出部５０３が、上述のように探索範囲内で最終的に更新された範囲内における、非類似度の極小値の個数に基づいて、前記ステレオ画像の各画素の有効性を判別する。

具体的には、繰り返しパターン検出部５０３は、上述の第１の実施の形態で説明した繰り返しパターンの検出処理を画素毎に実行する。すなわち、繰り返しパターン検出部５０３は、第１の実施の形態で説明したように、非類似度の極小値の個数のカウントを視差探索と同時に行い、非類似度の極小値が所定の範囲外になった際に所定の範囲を更新し、更新された範囲内の非類似度の極小値の個数をカウントする繰り返しパターンの検出処理を画素毎に実行する。そして、繰り返しパターン検出部５０３は、繰り返しが起きていない画素に、繰り返しが起きていないことを示す有効情報を付加する（有効フラグを立てる）。

次に、ステップＳ２０３では、エッジ検出部５０２が、所定の閾値よりも大きな輝度の画素に、その画素はオブジェクトのエッジに相当する画素であることを示すエッジ情報を付加する（エッジフラグを立てる）。

次に、ステップＳ２０４では、抽出部の一例である生成部５０５が、全面視差画像のうち、上述の有効情報及びエッジ情報が共に付加されている画素を、有効視差の画素として抽出する。すなわち、生成部５０５は、全面視差画像のうち、上述の有効フラグが立っており、かつ、上述のエッジフラグが立っている画素に基づいて、上述の有効視差の抽出を行う。

図２４は、従来の有効視差の抽出手法を用いた抽出結果である。この図２４において、「４」の視差値が４つ続く領域は、正しい視差が出ている領域である。これに続く、「１０、１０、２２、２２、２２、２２、２２、２２」の視差値の領域は、遠い距離に位置する繰り返しパターンのオブジェクトにより誤マッチングが発生している領域である。さらに、これに続く、「４」の視差値が７つ続く領域は、正しい視差が出ている領域である。従来の有効視差の抽出手法の場合、図２４中、太線の枠で囲んで示すように、誤マッチングが発生しており、正しくない視差値であるにもかかわらず、有効画素として判定される誤判定が生じている。

第４の実施の形態の機器制御システムの生成部５０５は、図２５に示すように、上述の有効フラグが立っており、かつ、上述のエッジフラグが立っている画素を有効視差の画素として抽出する。すなわち、生成部５０５は、言わば有効フラグとエッジフラグをＡＮＤゲートに入力して出力を得る処理を行っている。これにより、図２５に示すように、有効フラグ及びエッジフラグが共に「１」である「４」の視差値の画素は、有効な画素として判定される。また、生成部５０５は、有効と判定された「４」の視差値の各画素の間の画素も、有効な画素として判定される。これに対して、誤マッチングが発生している領域の画素は、全て無効の画素として判定される。

最後に、生成部５０５は、このように誤マッチングの視差が低減され（ノイズが低減され）、かつ、多くの有効視差を含む視差画像を、後段の認識処理部３４に出力して（ステップＳ２０５）、図２３のフローチャートの処理を終了する。

このような誤マッチングの数を減らして、有効な視差値を増した視差画像を認識処理側で用いることで、一つの物体を正確に一つの物体として認識することができ、物体認識処理を行い、正確な運転支援を行うことができる。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、視差画像及び視差値の代わりに、距離画像、距離値を用いても、上述と同様の構成、処理及び効果を得ることができる。各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
２ 撮像ユニット
３ 解析ユニット
４ 制御ユニット
１４ ＦＰＧＡ
１７ ＣＰＵ
３１ 撮像画像補正部
３２ 視差演算部
３３ 視差画像生成部
３４ 認識処理部
１０３ エッジ有効化部
１０４ ペア位置算出部
１０５ ペア内視差有効化部
１０６ エッジ量算出部
１０７ 比較器
１０８ 有効視差ペア設定部
１０９ ペア間隔算出部
１１０ 比較器
１１１ ペア奥行差分算出部
１１２ 比較器
１１３ パラメータメモリ
１１４ 有効化判定部
１１５ 有効視差決定部
１２０ 有効視差設定部
１２１ ペア視差探索範囲設定部
１２２ ペア視差設定部
１２３ ペア奥行差分算出部
１２４ 比較器
１３１ 比較器
１３２ 比較器
４４０ 情報処理部
４４１ 非類似度算出部
４４２ 傾き算出部
４４３ 極小値検出部
４４４ 閾値設定部
４４５ フラグ制御部
４４６ カウンタ制御部
４４７ 有効性判断部
４５０ 情報保持部
４５１ 非類似度レジスタ
４５２ 傾きレジスタ
４５３ 閾値レジスタ
４５４ フラグレジスタ
４５５ 極小値カウンタ
５０１ マッチングコスト計算部
５０２ エッジ検出部
５０３ 繰り返しパターン検出部
５０４ 全面視差画像生成部
５０５ 生成部

特開平１１−３５１８６２号公報

Claims (14)

1. 撮像画像の各画素の特徴量に基づいて、有効画素を決定する有効画素決定部と、
   前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差の近傍の有効視差でない視差を有効化する有効化部と、
   前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差のうち、隣接する２つの有効視差である有効視差ペアを設定し、前記有効視差ペアの各有効視差の位置関係を算出する算出部とを有し、
   前記算出部は、
   前記有効画素の視差値である有効視差、及び、検出する物体の実際の幅を示すペア間隔情報に応じて、選択画素と同一ライン上で、前記有効視差とペアとなるペア視差の探索範囲を設定する探索範囲設定部と、
   前記探索範囲内において、前記ペア視差を設定するペア視差設定部と、
   前記有効視差とペア視差との差分を検出する差分検出部と、を備え、
   前記有効化部は、前記有効視差及びペア視差の差分が、所定の閾値以下の場合に、前記有効視差及びペア視差の間の視差を有効化すること
   を特徴とする視差画像生成装置。
2. 前記有効化部は、前記有効視差ペアの間の視差の視差値が、前記有効視差ペアの視差値に応じて決定される視差値範囲内である場合に、前記有効視差ペアの間の視差を有効化すること
   を特徴とする請求項１に記載の視差画像生成装置。
3. 前記算出部は、
   前記有効画素に相当する有効視差の中で注目する注目視差と、前記注目視差の同一ライン内で最近傍の有効視差とを、前記有効視差ペアとして設定するペア設定部と、
   前記有効視差ペアの位置関係を算出するペア位置算出部を備えること
   を特徴とする請求項１又は請求項２に記載の視差画像生成装置。
4. 前記有効画素決定部は、前記撮像画像から前記特徴量として得られるエッジ量が、第１のエッジ量閾値より大きい場合に、第１の有効視差情報を前記算出部に供給し、また、前記撮像画像から前記特徴量として得られるエッジ量が、前記第１のエッジ量閾値よりも小さな値の第２のエッジ量閾値よりも大きい場合に、第２の有効視差情報を前記有効化部に供給し、
   前記算出部は、前記第１の有効視差情報に基づいて、前記有効視差ペアを設定し、
   前記有効化部は、前記第２の有効視差情報に基づいて、前記有効視差ペア間の視差を有効化すること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の視差画像生成装置。
5. マッチング処理により、前記撮像画像の視差値を算出する視差演算部を、さらに備え、
   前記視差演算部は、所定の探索範囲内で相関の評価値を算出する評価値算出部と、前記評価値の極値を検出する極値検出部と、所定の範囲内の値を有する前記極値の個数をカウントするカウント部と、前記範囲内の値よりも高い相関を表す極値が検出されたとき、前記所定の範囲を更新する更新部とを有し、前記カウント部は、前記探索範囲内で最終的に更新された範囲内の極値の個数をカウントすること
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の視差画像生成装置。
6. 前記更新部は、前記高い相関を表す極値が更新後の前記所定の範囲の中心になるように前記所定の範囲を更新すること
   を特徴とする請求項５に記載の視差画像生成装置。
7. 前記視差演算部は、前記カウント部のカウント値が所定値以上の場合、前記最終的に更新された範囲内の極値に対応する視差値を無効とすること
   を特徴とする請求項５又は請求項６に記載の視差画像生成装置。
8. 前記視差演算部は、前記カウント部をリセットするリセット部を有すること
   を特徴とする請求項５から請求項７のうち、いずれか一項に記載の視差画像生成装置。
9. 前記撮像画像のエッジを検出するエッジ検出部と、
   前記探索範囲内で最終的に更新された範囲内の極値の個数に基づいて、前記撮像画像の各画素の有効性を判別する判別部と、
   前記撮像画像の各画素のうち、前記判別部により有効と判別され、かつ、前記エッジ検出部により前記エッジとして検出された画素の視差値を有効視差として抽出する抽出部と
   を有する請求項５から請求項８のうち、いずれか一項に記載の視差画像生成装置。
10. 前記判別部は、前記撮像画像を用いて繰り返しパターンを検出し、繰り返しパターンではない画素を有効な画素として判別するパターン検出部であり、
    前記抽出部は、前記視差画像の各画素のうち、前記繰り返しパターンではなく、かつ、前記エッジとして検出された画素の視差値を有効視差として抽出すること
    を特徴とする請求項９に記載の視差画像生成装置。
11. 有効画素決定部が、撮像画像の各画素の特徴量に基づいて、有効画素を決定する有効画素決定ステップと、
    有効化部が、前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差の近傍の有効視差でない視差を有効化する有効化ステップと、
    算出部が、前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差のうち、隣接する２つの有効視差である有効視差ペアを設定し、前記有効視差ペアの各有効視差の位置関係を算出する算出ステップとを有し、
    前記算出ステップでは、
    探索範囲設定部が、前記有効画素の視差値である有効視差、及び、検出する物体の実際の幅を示すペア間隔情報に応じて、選択画素と同一ライン上で、前記有効視差とペアとなるペア視差の探索範囲を設定する探索範囲設定ステップと、
    ペア視差設定部が、前記探索範囲内において、前記ペア視差を設定するペア視差設定ステップと、
    差分検出部が、前記有効視差とペア視差との差分を検出する差分検出ステップと、を実行し、
    前記有効化ステップでは、前記有効視差及びペア視差の差分が、所定の閾値以下の場合に、前記有効化部が、前記有効視差及びペア視差の間の視差を有効化すること
    を特徴とする視差画像生成方法。
12. コンピュータを、
    撮像画像の各画素の特徴量に基づいて、有効画素を決定する有効画素決定部と、
    前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差の近傍の有効視差でない視差を有効化する有効化部と、
    前記撮像画像に対応する視差画像における、前記有効画素に相当する有効視差のうち、隣接する２つの有効視差である有効視差ペアを設定し、前記有効視差ペアの各有効視差の位置関係を算出する算出部として機能させ、
    前記算出部は、
    前記有効画素の視差値である有効視差、及び、検出する物体の実際の幅を示すペア間隔情報に応じて、選択画素と同一ライン上で、前記有効視差とペアとなるペア視差の探索範囲を設定する探索範囲設定部と、
    前記探索範囲内において、前記ペア視差を設定するペア視差設定部と、
    前記有効視差とペア視差との差分を検出する差分検出部として機能し、
    前記有効化部は、前記有効視差及びペア視差の差分が、所定の閾値以下の場合に、前記有効視差及びペア視差の間の視差を有効化すること
    を特徴とする視差画像生成プログラム。
13. 請求項１から請求項１０のうち、いずれか一項に記載の視差画像生成装置と、
    前記視差画像生成装置で生成された視差画像を用いて物体認識を行う物体認識部と
    を有する物体認識装置。
14. 請求項１から請求項１０のうち、いずれか一項に記載の視差画像生成装置と、
    前記視差画像生成装置で生成された視差画像を用いて物体認識を行う物体認識装置と、
    前記物体認識装置の物体認識結果を用いて機器を制御する制御装置と
    を有する機器制御システム。

Images