JP2008067362A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】距離計測画像から照射光画像を除去して物体認識画像を生成することにより、距離計測の対象となる物体を、フレームレートの低下を伴うことのない物体認識画像に基づき精度良く認識することができる画像処理装置および画像処理方法を提供すること。
【解決手段】所定範囲による撮影画像を取得し（撮像部５）、撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する（光照射部３）。そして、取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出し（照射光画像抽出部６）、照射光が写り込んだ撮影画像から、照射光画像を除去して照射光除去画像を生成する（照射光除去画像生成部７）。そして、照射光除去画像を物体認識画像とし、撮像範囲に存在する物体を認識し（物体認識部８）、照射光が写り込んだ撮影画像を距離計測画像とし、認識された物体までの距離を計測する（距離計測部９）。
【選択図】図１

Description

本発明は、撮像手段からの撮影画像に基づいて、周辺に存在する物体の認識および物体までの距離を計測する画像処理装置および画像処理方法に関する。

従来、車両に設置したカメラで車両周辺を撮影し、このカメラで撮影した画像に基づいて、周辺に存在する物体を認識すると共に、物体までの距離を計測する技術が知られている（例えば、特許文献１参照）。

特許文献１に記載された技術では、カメラの撮像範囲に対して、物体までの距離計測のためのスリット光の照射と非照射とを繰り返して行い、非照射時に得られた画像に基づいて、周辺に存在する物体の認識を行い、照射時に得られた画像に基づいて、周辺に存在する物体までの距離を計測するようにしている。
特開２００３−１６９２５１号公報

しかしながら、従来技術にあっては、光の照射と非照射とを繰り返して行い、非照射時に得られた画像に基づいて、周辺に存在する物体の認識を行い、照射時に得られた画像に基づいて、周辺に存在する物体までの距離を計測するようにしているため、物体認識を行う画像と物体との距離計測を行う画像のそれぞれが特定の時間周期で交互に得られることになる。

したがって、物体認識を行う画像のフレームレート（１秒間に撮像される画像の枚数）が低下し、物体認識を連続的に行うことができない可能性があり、例えば、認識対象となる物体とカメラの少なくとも一方の移動により、カメラの撮像範囲内で物体に動きがある場合、同一物体であるにもかかわらず、異なる物体であると誤認識してしまう可能性がある、という問題があった。

本発明は、上記問題に着目してなされたもので、距離計測画像から照射光画像を除去して物体認識画像を生成することにより、距離計測の対象となる物体を、フレームレートの低下を伴うことのない物体認識画像に基づき精度良く認識することができる画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の画像処理装置および画像処理方法では、所定範囲による撮影画像を取得し、撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する。そして、光照射状態にて取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出し、照射光が写り込んだ撮影画像から、抽出した照射光画像を除去して照射光除去画像を生成する。そして、照射光除去画像を物体認識画像とし、この物体認識画像に基づき、撮像範囲に存在する物体を認識し、照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、認識された物体までの距離を計測する手段とした。

よって、本発明の画像処理装置および画像処理方法にあっては、光照射状態にて撮像手段により取得された照射光が写り込んだ撮影画像から、照射光による画像成分が照射光画像として抽出される。そして、照射光が写り込んだ撮影画像から、抽出した照射光画像を除去して照射光除去画像が生成される。このため、照射光除去画像は、物体認識を行う画像と物体との距離計測を行う画像のそれぞれを交互に取得する場合とは異なり、フレームレートの低下を伴うことなく、滑らかな動きのある画像となる。
そして、滑らかな動きのある照射光除去画像を物体認識画像とし、撮像範囲に存在する物体が認識される。そして、照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、認識された物体までの距離が計測される。
この結果、距離計測画像から照射光画像を除去して物体認識画像を生成することにより、距離計測の対象となる物体を、フレームレートの低下を伴うことのない物体認識画像に基づき精度良く認識することができる。

以下、本発明の画像処理装置および画像処理方法を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。

まず、構成を説明する。
図１は車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例１の画像処理装置１Ａを示すブロック図である。図２は実施例１の画像処理装置１Ａによる車載カメラシステムを適用した車両を示す模式図である。

実施例１の画像処理装置１Ａは、図１に示すように、画像処理部２と、光照射部３（光照射手段）と、照射光制御部４（照射光制御手段）と、撮像部５（撮像手段）と、照射光画像抽出部６（照射光画像抽出手段）と、照射光除去画像生成部７（照射光除去画像生成手段）と、物体認識部８（物体認識手段）と、距離計測部９（距離計測手段）と、表示部１０（表示手段）と、を備えている。

前記画像処理部２は、光照射部３、照射光制御部４、撮像部５、照射光画像抽出部６、照射光除去画像生成部７、物体認識部８、距離計測部９、表示部１０の各部を統括制御する。

前記光照射部３は、図２に示すように、車両前方の撮像範囲Ｈ内に光軸を向けた状態で車両Ｖの前部位置に設定され、前記撮像部５による撮像範囲Ｈの少なくとも一部の範囲に対して、撮像範囲Ｈに存在する物体までの距離を計測するための光を照射する光照射手段である。距離を計測するための光としては、縦と横に等間隔にて交差する格子状の照射光パターンＰを用いている（図３(a)参照）。ここで、照射される光の波長については、特に限定はなく、周囲の状況に応じて可視光や赤外光等が用いられる。

前記照射光制御部４は、前記光照射部３を所定の時間間隔でオン・オフ制御することで、照射光パターンＰの周期を制御する照射光制御手段である。この照射光制御部４には、周期信号を生成するタイミングジェネレータを有し、生成した周期信号に同期する所定の時間間隔で照射輝度をオン・オフ変更する制御指令を光照射部３に出力する。
ここで、タイミングジェネレータが生成する周期信号の周波数としては、商用交流電源（50Hzまたは60Hz）の整数倍や水銀灯等で用いられる高周波点灯装置の駆動周波数以外の周波数、つまり、走行環境下での使用頻度が高い外来光の持つ周波数成分以外の周波数が選択されている。

前記撮像部５は、図２に示すように、撮像素子により画像信号が得られる範囲を車両前方の撮像範囲Ｈとするように車両Ｖの前部位置に設定され、この撮像範囲Ｈによる撮影画像を取得する撮像手段である。この撮像部５としては、例えば、ＣＣＤやＣＭＯＳ等を撮像素子とするカメラが用いられる。

前記照射光画像抽出部６は、前記光照射部３による光照射状態にて前記撮像部５により取得された照射光パターンＰが写り込んだ撮影画像から、照射光パターンＰによる画像成分を照射光画像（図３(b)参照）として抽出する照射光画像抽出手段である。この照射光画像抽出部６としては、撮像部５から出力される画像信号を入力し、入力した画像信号から、照射光制御部４のタイミングジェネレータが生成した周期信号と等しい周波数を持つ信号のみを透過するバンドパスフィルタが用いられる。

前記照射光除去画像生成部７は、前記撮像部５により取得された照射光パターンＰが写り込んだ撮影画像（図３(a)参照）から、前記照射光画像抽出部６により抽出した照射光画像（図３(b)参照）を除去して照射光除去画像（図４参照）を生成する照射光除去画像生成手段である。この照射光除去画像生成部７としては、画像輝度値の差分演算処理プログラムが用いられる。

前記物体認識部８は、前記照射光除去画像（図４参照）を物体認識画像とし、この物体認識画像に基づき、前記撮像部５による撮像範囲Ｈに存在する物体を認識する物体認識手段である。この物体認識部８としては、時間差を持って取得された画像パターンの比較プログラムが用いられる。

前記距離計測部９は、照射光パターンＰが写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、前記物体認識部８により認識された物体までの距離を計測する距離計測手段である。この距離計測部９としては、既知のパラメータを用いて物体までの距離を演算により求める距離計測プログラムが用いられる。

前記表示部１０は、前記照射光除去画像生成部７からの照射光除去画像を表示画像とし、この表示画像をモニタ画面に表示する表示手段である。この表示部１０としては、例えば、車室内のインストルメントパネル位置に設定された液晶画面を持つ一般的なモニタ装置が用いられる。この表示部１０には、照射光除去画像生成部７からの照射光除去画像と、距離計測部９からの距離計測データを併せて画面表示する。

次に、作用を説明する。
以下、実施例１の画像処理装置Ａ１における画像処理作用を、「撮像及び光照射作用」、「照射光画像抽出作用」、「照射光除去画像生成作用」、「物体認識作用」、「距離計測作用」、「表示作用」に分けて説明する。

［撮像及び光照射作用］
車両Ｖの前部位置に設定された撮像部５においては、図２に示すように、ＣＣＤやＣＭＯＳ等の撮像素子により画像信号が得られる上下方向の範囲（Ｐ’〜Ｐ’）を車両前方の撮像範囲Ｈとし、この撮像範囲Ｈによる撮影画像が取得される。

車両Ｖの前部位置に設定された光照射部３においては、図２に示すように、車両前方の撮像範囲Ｈ内に光軸Ｐを向けた状態で、前記撮像部５による撮像範囲Ｈの少なくとも一部の範囲に対して、撮像範囲Ｈに存在する物体までの距離を計測するための照射光パターンＰが照射される。この照射光パターンＰは、照射光制御部４のタイミングジェネレータにより生成した周期信号に同期する所定の時間間隔で照射輝度がオン・オフと変更される。

したがって、照射光パターンＰの照射状態で撮像部５により取得される画像は、図３(a)に示すように、所定の時間間隔で照射輝度が変化する照射光パターンＰが写り込んだ撮影画像となり、この画像データは、照射光画像抽出部６と照射光除去画像生成部７と距離計測部９に出力される。

［照射光画像抽出作用］
撮像部５が取得した照射光パターンＰが写り込んだ撮影画像には、照射光パターンＰ以外にも外来光が含まれるため、様々な空間周波数を有する。ここで、光照射部３は、照射光制御部４によって所定の時間間隔でオン・オフ制御が行われているため、照射光パターンＰは所定の時間間隔（＝周期）を持つことになる。

そこで、照射光画像抽出部６においては、撮像部５から入力した所定の時間間隔で照射輝度が変化する照射光パターンＰが写り込んだ撮影画像から、図３(b)に示すように、照射光パターンＰによる画像成分が照射光画像として抽出される。

この照射光画像は、撮像部５から入力した画像信号に対し、バンドパスフィルタによるフィルタ処理を施すことで、照射光制御部４のタイミングジェネレータが生成した周期信号と等しい周波数を持つ信号のみが透過され、透過した画像信号により抽出される。

この照射光画像を抽出する際、タイミングジェネレータが生成する周期信号の周波数として、外来光が持つ可能性のある周波数以外の周波数を選択し、選択した周波数と等しい周波数を持つ信号のみを透過するバンドパスフィルタを用いることにより、外来光成分を抽出することなく、光照射部３からの光成分のみを照射光画像として抽出することができる。

［照射光除去画像生成作用］
照射光除去画像生成部７においては、撮像部５から入力した照射光パターンＰが写り込んだ撮影画像から、照射光画像抽出部６により抽出した照射光画像を除去した照射光除去画像が生成される。

具体的には、照射光パターンＰが写り込んだ距離計測画像の輝度値と、照射光パターンＰによる照射光画像の輝度値との差分をとることで、図４に示すように、照射光パターンＰが写り込んだ撮影画像から照射光画像を除去した照射光除去画像（背景画像）が生成される。そして、照射光除去画像生成部７にて生成された照射光除去画像を物体認識部８に入力する。

［物体認識作用］
物体認識部８においては、照射光除去画像生成部７から入力した照射光除去画像を物体認識画像とし、この物体認識画像に基づき、撮像部５による撮像範囲Ｈに存在する物体が認識される。

具体的には、物体認識画像及び距離計測画像は、車両前方の輝度分布または温度分布に基づき輝度値によって描かれる。このため、車両前方に存在する物体は、当該物体の輝度または温度に応じた態様（例えば、色彩）で描かれることになる。したがって、例えば、図４に示すように、前方の道路中央部分に車両Ｖが存在し、且つ、左右の側壁が存在する場合、最新の物体認識画像と予め記憶している物体認識画像を画像パターンの変化により比較し、画像パターンとして両側や上部に同じ変化パターンとして描かれる画像部分を背景画像として取り除くことで、道路中央部分に存在する車両Ｖによる画像を距離計測の対象物体として認識することができる。

［距離計測作用］
距離計測部９においては、撮像部５から入力した照射光パターンＰが写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、物体認識部８により認識された物体までの距離が計測される。以下、地点Ｐ１までの距離計測方法について述べる。
この距離計測では、図５(a)に示すように、距離計測画像中に照射光パターンＰが写り込んでいる地点Ｐ１までの距離ｄを、自車から、自車に先行する車両Ｖまでの車間距離として計測する。

この距離計測に際しては、図５(b)に示すように、路面から光照射部３までの設置高さをhc、路面から撮像部５までの設置高さをhl、撮像部５から路面方向に下ろした垂線と路面とが交わる地点Ｏから地点Ｐ１までの距離をｄ、光照射部３が地点Ｐ１に向けて照射している照射光角度（照射光方向）をθ１、撮像部５が地点Ｐ１を撮像する撮像角度（撮像方向）をθ２とする。

この場合、各パラメータの関係は、
ｔａｎ(θ１)＝hc／ｄ …(1)
ｔａｎ(θ２)＝hl／ｄ …(2)
となる。上記式(1)および式(2)により、距離ｄは、
ｄ＝（hc−hl）／（ｔａｎ(θ１)−ｔａｎ(θ２)） …(3)
の式により表される。

このように、地点Ｏから地点Ｐ１までの距離ｄは、上記既知のパラメータを用いて算出することができる。そして、物体までの距離ｄが算出されたら、表示部１０に画面表示される物体認識画像上に距離表示を行うために、表示部１０に距離測定データを出力する。

［表示作用］
表示部１０においては、照射光除去画像生成部７からの照射光除去画像を表示画像とし、この表示画像がモニタ画面に表示される。同時に、距離計測部９からの距離計測データが併せて画面表示される。

したがって、走行中や停車時に表示部１０の画面をドライバが見ることで、照射光が除去された車両前方画像に表示された先行車等の物体までの車間距離情報を、安全走行を支援する走行支援情報として得ることができる。

次に、効果を説明する。
実施例１の画像処理装置１Ａおよび画像処理方法にあっては、下記に列挙する効果を得ることができる。

(1) 所定範囲による撮影画像を取得する撮像部５と、前記撮像部５による撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する光照射部３と、前記光照射部３による光照射状態にて前記撮像部５により取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出する照射光画像抽出部６と、前記照射光が写り込んだ撮影画像から、前記照射光画像抽出部６により抽出した照射光画像を除去して照射光除去画像を生成する照射光除去画像生成部７と、前記照射光除去画像を物体認識画像とし、この物体認識画像に基づき、前記撮像部５による撮像範囲に存在する物体を認識する物体認識部８と、前記照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、前記物体認識部８により認識された物体までの距離を計測する距離計測部９と、を備えたため、距離計測画像から照射光画像を除去して物体認識画像を生成することにより、距離計測の対象となる物体を、フレームレートの低下を伴うことのない物体認識画像に基づき精度良く認識する画像処理装置を提供することができる。

(2) 前記照射光除去画像生成部７からの照射光除去画像を表示画像とし、この表示画像をモニタ画面に表示する表示部１０を備えたため、フレームレートの低下を伴うことのない表示画像に基づき高画質の画像をモニタ画面に表示することができる。

(3) 前記光照射部３を所定の時間間隔でオン・オフ制御することで、照射される光の周期を制御する照射光制御部４を設け、前記照射光画像抽出部６は、前記照射光制御部４による照射される光の周期と同等の周期を有する画像信号を、照射光が写り込んだ撮影画像から抽出するため、照射光が写り込んだ撮影画像から、照射される光の周期と同期する画像信号を抽出することにより精度良く照射光画像を抽出することができる。

(4) 前記照射光制御部４は、外来光の持つ周波数以外の周波数域となるように照射される光の周期を設定し、前記照射光画像抽出部６は、前記照射光制御部４により設定された光の周期と同等の周波数域の画像信号のみを抽出するバンドパスフィルタを用いたため、外来光を抽出することなく、照射光が写り込んだ撮影画像から照射光画像のみを確実に抽出することができる。

(5) 撮像部５による撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する光照射手順と、光照射状態にて前記撮像部５により取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出する照射光画像抽出手順と、前記照射光が写り込んだ撮影画像から、抽出した照射光画像を除去して照射光除去画像を生成する照射光除去画像生成手順と、前記照射光除去画像を物体認識画像とし、この物体認識画像に基づき、前記撮像部５による撮像範囲に存在する物体を認識する物体認識手順と、前記照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、前記物体認識手順により認識された物体までの距離を計測する距離計測手順と、を備えたため、距離計測画像から照射光画像を除去して物体認識画像を生成することにより、距離計測の対象となる物体を、フレームレートの低下を伴うことのない物体認識画像に基づき精度良く認識する画像処理方法を提供することができる。

実施例２は、実施例１の構成に周波数分析部を加え、照射光画像抽出部に抽出する周波数帯を変更可能な帯域可変バンドパスフィルタを設定した例である。

まず、構成を説明する。
図６は車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例２の画像処理装置１Ｂを示すブロック図である。

実施例２の画像処理装置１Ｂは、図６に示すように、画像処理部２と、光照射部３（光照射手段）と、照射光制御部４（照射光制御手段）と、撮像部５（撮像手段）と、照射光画像抽出部６（照射光画像抽出手段）と、照射光除去画像生成部７（照射光除去画像生成手段）と、物体認識部８（物体認識手段）と、距離計測部９（距離計測手段）と、表示部１０（表示手段）と、周波数分析部１１（周波数分析手段）と、を備えている。

前記照射光制御部４は、固定周波数による周期信号を生成するタイミングジェネレータを有する実施例１に対し、周波数分析部１１からの指令周波数に応じて変更可能な周波数による周期信号を生成するタイミングジェネレータを有し、生成した周期信号に同期する所定の時間間隔で照射輝度をオン・オフ変更する制御指令を光照射部３に出力する。

前記照射光画像抽出部６は、周波数帯域が固定されたバンドパスフィルタを設定した実施例１に対し、抽出する周波数帯を周波数分析部１１から指令される周波数帯に応じて変更可能な帯域可変バンドパスフィルタが設定されている。

前記周波数分析部１１は、撮像部５から出力される距離計測画像中に存在する多数の光の周波数のそれぞれについて、外来光の周波数であるか、照射光の周波数であるかを分析し、外来光の周波数（点灯周期）以外の周波数を決定し、決定した周波数指令を照射光制御部４のタイミングジェネレータに出力すると共に、決定した周波数帯指令を照射光画像抽出部６の帯域可変バンドパスフィルタに出力する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。

［照射光画像抽出作用］
例えば、距離計測画像には、50Hzまたは60Hzの商用交流電源で点灯する電灯や高周波制御により点灯される水銀灯等に基づく外来光が含まれていることがある。このような外来光が含まれている場合、偶然に照射光パターンＰの照射周期と外来光の点灯周期が一致していると、照射光画像抽出部６のバンドパスフィルタは、照射光パターンＰと外来光を区別することはできず、外来光までも距離計測画像から除去されることになり、精度良く物体を認識することができない物体認識画像が生成される可能性がある。

そこで、実施例２では、周波数分析部１１において、撮像部５から出力される距離計測画像中に存在する多数の光の周波数が分析され、外来光の点灯周期以外の周波数が決定される。そして、決定された周波数指令が照射光制御部４のタイミングジェネレータに出力されると共に、決定された周波数帯指令が照射光画像抽出部６の帯域可変バンドパスフィルタに出力される。そして、照射光画像抽出部６においては、撮像部５から入力した画像信号に対し、帯域可変バンドパスフィルタによるフィルタ処理を施すことで、照射光制御部４のタイミングジェネレータが生成した周期信号と等しい周波数を持つ信号のみを透過し、透過した画像信号により照射光画像が抽出される。
なお、他の作用は、実施例１と同様であるので説明を省略する。

次に、効果を説明する。
実施例２の画像処理装置１Ｂにあっては、実施例１の(1)〜(3)の効果に加え、下記の効果を得ることができる。

(6) 前記撮像部５により取得された照射光が写り込んだ撮影画像中に存在する光の周波数分析を行い、外来光の持つ周波数以外の周波数を決定する周波数分析部１１を設け、前記照射光制御部４は、前記周波数分析部１１により決定された周波数となるように照射される光の周期を制御し、前記照射光画像抽出部６は、前記周波数分析部１１により決定された周波数域の画像信号のみを抽出する帯域可変バンドパスフィルタを用いたため、撮像部５により取得された画像中に予め予測できないような外来光が含まれる場合であっても、これらの外来光を抽出することなく、照射光が写り込んだ撮影画像から照射光画像のみを確実に抽出することができる。

実施例３は、照射光除去画像生成部においてノイズレベル以下となる画像信号部分の差分演算実行を禁止する例である。

まず、構成を説明する。
図７は車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例３の画像処理装置１Ｃを示すブロック図である。

実施例３の画像処理装置１Ｃは、図７に示すように、画像処理部２と、光照射部３（光照射手段）と、照射光制御部４（照射光制御手段）と、撮像部５（撮像手段）と、照射光画像抽出部６（照射光画像抽出手段）と、照射光除去画像生成部７（照射光除去画像生成手段）と、物体認識部８（物体認識手段）と、距離計測部９（距離計測手段）と、表示部１０（表示手段）と、輝度値判定部１２（輝度値判定手段）と、を備えている。

前記輝度値判定部１２は、撮像部５から入力される距離計測画像の画素毎の輝度値が、ノイズ閾値以下であるか超えているかの大小を比較判定し、画素毎の判定結果を照射光除去画像生成部７に出力する。

前記照射光除去画像生成部７は、輝度値判定部１２の判定結果に基づいて、照射光画像と差分演算を実行したときに、画素毎の差分結果がノイズレベル以下となる画像信号部分の差分演算の実行を禁止する。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。

［照射光除去画像生成作用］
輝度値判定部１２の判定結果に基づいて照射光除去画像生成部７が差分演算を実行する際の照射光除去画像生成作用を図８に示すフローチャートを用いて説明する。

ステップＳ１では、撮像部５が撮像した距離計測画像を、照射光画像抽出部６及び輝度値判定部１２へ出力する。

ステップＳ２では、ステップＳ１での距離計測画像の出力に続き、距離計測画像を入力する照射光画像抽出部６において、実施例１と同様の処理により照射光画像を抽出する。

ステップＳ３では、ステップＳ２での照射光画像の抽出に続き、輝度値判定部１２において、撮像部５から入力される距離計測画像の画素毎の輝度値が、ノイズ閾値以下であるか超えているかの大小を比較判定する。

ステップＳ４では、ステップＳ３での距離計測画像の画素毎の輝度値判定に続き、照射光除去画像生成部７において、ノイズ閾値より大きい画素について差分演算を行う。

ステップＳ５では、ステップＳ４でのノイズ閾値より大きい画素についての差分演算に続き、差分演算が行われた画素と差分演算が行われなかった画素から物体認識画像を生成する。

例えば、撮像範囲Ｈ内に存在する距離計測対象の物体が低輝度である場合、撮像部５により得られる距離計測画像が暗いものとなり、何らの対策も講じることなく距離計測画像から照射光画像を差分により除去すると、画像信号にノイズレベル以下の信号部分が生じる結果となり、表示部１０に表示したときに、黒つぶれが生じることがある。

そこで、照射光除去画像生成部７は、輝度値判定部１２の判定結果に基づき、差分演算したときにノイズレベル以下となる画像信号部分の差分演算の実行を禁止する構成としている。したがって、照射光除去画像生成部７からは、差分演算が行われた画素と差分演算が行われなかった画素から黒つぶれの無い物体認識画像が生成され、物体認識精度を高めることができるし、黒つぶれの無い背景画像を表示部１０に表示することができる。
なお、他の作用は、実施例１と同様であるので説明を省略する。

次に、効果を説明する。
実施例３の画像処理装置１Ｃにあっては、実施例１の(1)〜(4)の効果に加え、下記の効果を得ることができる。

(7) 前記撮像部５により取得された照射光が写り込んだ撮影画像の画素毎の輝度値がノイズレベル閾値以下か超えているかの大小を判定する輝度値判定部１２を設け、前記照射光除去画像生成部７は、照射光が写り込んだ撮影画像の輝度値と照射光画像の輝度値との差分を取る際、ノイズレベル閾値以下となる画素の差分を禁止し、差分演算が行われた画素と差分演算が行われなかった画素から照射光除去画像を生成するため、黒つぶれの無い照射光除去画像が生成され、物体認識精度を高めることができるし、高画質による背景画像を表示部１０に表示することができる。

実施例４は、車載カメラシステム等に適用した場合において照射光画像が撮像範囲内で移動する場合に移動量を予測して補正する例である。

まず、構成を説明する。
図９は車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例４の画像処理装置１Ｄを示すブロック図である。

実施例４の画像処理装置１Ｄは、図９に示すように、画像処理部２と、光照射部３（光照射手段）と、照射光制御部４（照射光制御手段）と、撮像部５（撮像手段）と、照射光画像抽出部６（照射光画像抽出手段）と、照射光除去画像生成部７（照射光除去画像生成手段）と、物体認識部８（物体認識手段）と、距離計測部９（距離計測手段）と、表示部１０（表示手段）と、移動量補正部１３（移動量補正手段）と、を備えている。

前記移動量補正部１３は、照射光画像抽出部６により前回撮像した距離計測画像から抽出された照射光パターンＰによる画像と、今回撮像した距離計測画像から抽出した照射光パターンＰによる画像に基づき、画面上で画像の移動量を時系列に算出する機能と、算出された画像の移動量に基づき次回に得られる距離計測画像に含まれる照射光パターンＰの形状を補正する機能を有している。
なお、他の構成は、実施例１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。

［移動量補正作用］
例えば、車両Ｖが停車中で、且つ、起伏の少ない道路に格子状の照射光パターンによる光を照射すると、道路には格子状の照射光パターン像が形成され、この照射光パターン像を撮像部５により撮像すると、図１０(a)に示すように、照射光パターンＰａによる画像が得られる。次に、車両にピッチングやローリング等による挙動変化が生じると、図１１に示すように、道路ＲＯに対する光照射部３と撮像部５の姿勢が変化するため、図１０(b)に示す照射光パターンＰｂによる画像が得られ、前回の撮像時に得られた照射光パターンＰａによる画像と今回の撮像時に得られた照射光パターンＰｂによる画像との間にずれが生じる。なお、図１０(b)において、ｍｖ，ｗｖは、画素毎の照射光パターン画像の移動量を示している。

したがって、この照射光パターンＰによる画像の移動を何ら考慮することなく、現在、取得されている距離計測画像から、照射光パターンＰによる画像を差分すると、照射光除去画面生成部７の演算速度が撮像速度に追いつかないため、現在、取得されている距離計測画像の照射光パターンＰが、光が照射されていない領域部分を減算することになり、結果として画像品質が落ちることになる。

そこで、移動量補正部１３において、前回撮像した距離計測画像から抽出された照射光パターンＰによる画像と、今回撮像した距離計測画像から抽出した照射光パターンＰによる画像に基づいて、画面上で画像の移動量を時系列に算出し、次回の距離計測画像に含まれる照射光パターンＰの存在する画素位置を予測して、次回撮像時の距離計測画像に含まれる照射光パターンＰによる画像を原画像から減算する構成とした。このため、光照射部３や撮像部５の道路ＲＯに対する姿勢が変化するような場合であっても、照射光除去画像生成部７では、照射光パターンＰによる画像の移動が補正された高画質の照射光除去画像が生成され、この画像を物体認識画像として物体を認識することができるし、高画質の画像を表示部１０に表示することができる。
なお、他の作用は、実施例１と同様であるので説明を省略する。

次に、効果を説明する。
実施例４の画像処理装置１Ｄにあっては、実施例１の(1)〜(4)の効果に加え、下記の効果を得ることができる。

(8) 前記照射光画像抽出部６による前回の照射光が写り込んだ撮影画像から抽出された照射光画像と今回の照射光が写り込んだ撮影画像から抽出された照射光画像に基づき、画面上で画像の移動量を時系列に算出すると共に、算出された画像の移動量に基づき次回に得られる撮影画像に写り込む照射光を補正する移動量補正部１３を設け、前記照射光除去画像生成部７は、照射光が写り込んだ撮影画像から、前記移動量補正部１３により補正された照射光を除去して照射光除去画像を生成するため、車載カメラシステムのように光照射部３や撮像部５の道路ＲＯに対する姿勢が変化するような場合であっても、照射光画像の移動が補正された高画質の照射光除去画像を生成することができる。

以上、本発明の画像処理装置および画像処理方法を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、装置設計や方法設計の変更や追加等は許容される。

実施例１〜４では、撮像範囲に存在する物体までの距離を計測するための光として、格子状の照射光パターンによる光とする例を示したが、従来出典の公報に記載されるようなスリット光等の他の形態の光を用いても良い。

実施例１，３，４では照射光画像抽出部に帯域固定のバンドパスフィルタを用い、実施例２では照射光画像抽出部に帯域可変バンドパスフィルタを用いた例を示した。しかし、照射光画像抽出部に同期検波器を用い、照射光制御部から照射光周期と同期した信号を入力することで、照射光パターンＰを抽出することもできる。この場合には、非常に高いＱ値（quality factor：共振の鋭さを示す値）を持つバンドパスフィルタ機能を達成することができるため、外来光成分の除去性能が高くなり、高精度に光照射部による光成分を抽出することが可能になる。

実施例１〜４では、物体までの距離計測データを表示部に画面表示するだけの例を示した。しかし、本発明の画像処理により得られた距離計測データを、車間制御装置や障害物回避制御装置等の走行制御システムにおける先行車や障害物までの車間距離情報として利用することもできる。さらに、距離計測データを画面表示しながら、同時に、車間距離情報として利用することもできる。

実施例１〜４では、本発明の画像処理装置および画像処理方法を車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用する例を示した。しかし、車両側方や車両後方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用することもできるし、また、道路上の白線を検出する白線検出システムの画像入力装置として適用することもできる。さらに、車載カメラシステム以外にも屋内や屋外に固定設置される監視カメラシステム等に適用することもできる。

車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例１の画像処理装置１Ａを示すブロック図である。 実施例１の画像処理装置１Ａによる車載カメラシステムを適用した車両を示す模式図である。 実施例１の画像処理装置１Ａにより得られる画像を示す図であり、(a)は撮像部５により取得される照射光パターンが写り込んだ撮影画像の一例を示し、(b)は照射光画像抽出部６により抽出される照射光パターンの画像の一例を示す。 実施例１の画像処理装置１Ａの照射光除去画像生成部７により生成される照射光除去画像の一例を示す図である。 照射光パターンが写り込んだ撮影画像からの距離計測を説明する図であり、(a)は照射光パターンが写り込んだ撮影画像中で地点Ｐ１を示し、(b)は距離計測のための算出手法説明図である。 車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例２の画像処理装置１Ｂを示すブロック図である。 車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例３の画像処理装置１Ｃを示すブロック図である。 実施例３の画像処理装置１Ｃにおいて輝度値判定部１２の判定結果に基づいて照射光除去画像生成部７が差分演算を実行する際のフローチャートを示す図である。 車両前方の走行環境を車室内のモニタにより監視する車載カメラシステムに適用された実施例４の画像処理装置１Ｄを示すブロック図である。 実施例４の画像処理装置１Ｄにおける照射光パターンＰによる照射光画像であり、(a)は前回撮像時の距離計測画像に含まれている照射光画像を示し、(b)は今回撮像時の距離計測画像に含まれている照射光画像を示す。 道路ＲＯに対する光照射部３と撮像部５の相対姿勢を示す図である。

符号の説明

１Ａ，１Ｂ，１Ｃ，１Ｄ 画像処理装置
２ 画像処理部
３ 光照射部（光照射手段）
４ 照射光制御部（照射光制御手段）
５ 撮像部（撮像手段）
６ 照射光画像抽出部（照射光画像抽出手段）
７ 照射光除去画像生成部（照射光除去画像生成手段）
８ 物体認識部（物体認識手段）
９ 距離計測部（距離計測手段）
１０ 表示部（表示手段）
１１ 周波数分析部（周波数分析手段）
１２ 輝度値判定部（輝度値判定手段）
１３ 移動量補正部（移動量補正手段）

Claims (8)

1. 所定範囲による撮影画像を取得する撮像手段と、
   前記撮像手段による撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する光照射手段と、
   前記光照射手段による光照射状態にて前記撮像手段により取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出する照射光画像抽出手段と、
   前記照射光が写り込んだ撮影画像から、前記照射光画像抽出手段により抽出した照射光画像を除去して照射光除去画像を生成する照射光除去画像生成手段と、
   前記照射光除去画像を物体認識画像とし、この物体認識画像に基づき、前記撮像手段による撮像範囲に存在する物体を認識する物体認識手段と、
   前記照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、前記物体認識手段により認識された物体までの距離を計測する距離計測手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記照射光除去画像生成手段からの照射光除去画像を表示画像とし、この表示画像をモニタ画面に表示する表示手段を備えたことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載された画像処理装置において、
   前記光照射手段を所定の時間間隔でオン・オフ制御することで、照射される光の周期を制御する照射光制御手段を設け、
   前記照射光画像抽出手段は、前記照射光制御手段による照射される光の周期と同等の周期を有する画像信号を、照射光が写り込んだ撮影画像から抽出することを特徴とする画像処理装置。
4. 請求項３に記載された画像処理装置において、
   前記照射光制御手段は、外来光の持つ周波数以外の周波数域となるように照射される光の周期を設定し、
   前記照射光画像抽出手段は、前記照射光制御手段により設定された光の周期と同等の周波数域の画像信号のみを抽出するバンドパスフィルタを用いたことを特徴とする画像処理装置。
5. 請求項３に記載された画像処理装置において、
   前記撮像手段により取得された照射光が写り込んだ撮影画像中に存在する光の周波数分析を行い、外来光の持つ周波数以外の周波数を決定する周波数分析手段を設け、
   前記照射光制御手段は、前記周波数分析手段により決定された周波数となるように照射される光の周期を制御し、
   前記照射光画像抽出手段は、前記周波数分析手段により決定された周波数域の画像信号のみを抽出する帯域可変バンドパスフィルタを用いたことを特徴とする画像処理装置。
6. 請求項１乃至請求項５の何れか１項に記載された画像処理装置において、
   前記撮像手段により取得された照射光が写り込んだ撮影画像の画素毎の輝度値がノイズレベル閾値以下か超えているかの大小を判定する輝度値判定手段を設け、
   前記照射光除去画像生成手段は、照射光が写り込んだ撮影画像の輝度値と照射光画像の輝度値との差分を取る際、ノイズレベル閾値以下となる画素の差分を禁止し、差分演算が行われた画素と差分演算が行われなかった画素から照射光除去画像を生成することを特徴とする画像処理装置。
7. 請求項１乃至請求項６の何れか１項に記載された画像処理装置において、
   前記照射光画像抽出手段による前回の照射光が写り込んだ撮影画像から抽出された照射光画像と今回の照射光が写り込んだ撮影画像から抽出された照射光画像に基づき、画面上で画像の移動量を時系列に算出すると共に、算出された画像の移動量に基づき次回に得られる撮影画像に写り込む照射光を補正する移動量補正手段を設け、
   前記照射光除去画像生成手段は、照射光が写り込んだ撮影画像から、前記移動量補正手段により補正された照射光を除去して照射光除去画像を生成することを特徴とする画像処理装置。
8. 撮像手段による撮像範囲の少なくとも一部の範囲に対して、撮像範囲に存在する物体までの距離を計測するための光を照射する光照射手順と、
   光照射状態にて前記撮像手段により取得された照射光が写り込んだ撮影画像から、照射光による画像成分を照射光画像として抽出する照射光画像抽出手順と、
   前記照射光が写り込んだ撮影画像から、抽出した照射光画像を除去して照射光除去画像を生成する照射光除去画像生成手順と、
   前記照射光除去画像を物体認識画像とし、この物体認識画像に基づき、前記撮像手段による撮像範囲に存在する物体を認識する物体認識手順と、
   前記照射光が写り込んだ撮影画像を距離計測画像とし、この距離計測画像に基づき、前記物体認識手順により認識された物体までの距離を計測する距離計測手順と、
   を備えたことを特徴とする画像処理方法。

Images