JP4593070B2 - 車両の画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の画像処理装置にかかり、詳しくは、運転者の視界の死角となる部分を表示する画像を生成する画像処理装置に関するものである。
【０００２】
【従来の技術】
運転者が車両を運転操作する場合、運転席に座っている運転者の視点から認識できる視界には、車のボディ、ピラー等に遮られて見えない領域（死角領域）が存在する。従来、このような死角領域は、ルームミラーやサイドミラーなどによって、ある程度は、認識できるように構成されている。また、最近では、車両の外部を映し出すカメラが搭載され、そのカメラによって取得された画像を車内のモニターに映し出す構成の車両も提案されている。例えば、車両の後方を映し出すカメラが搭載され、後退時には後方の死角となった部分が車内モニターに映し出され、車庫入れ等をする際の後方確認の補助がなされる。
このような構成の従来技術には以下のようなものがある。
【０００３】
【特許文献１】
特開平１０−２６４７２３号。
【０００４】
【発明が解決しようとする課題】
一方、従来カメラ画像などによって車両周辺の認識ができない車両を運転者が操作する場合には、視界に入ってくる外部の障害物と、同時に視界に入っている車内風景（窓枠やトランクの輪郭など）とから、外部障害物と車両との相対位置や距離がどの程度であるのかを、運転者は、感覚的に把握するものである。
【０００５】
しかしながら、上記特許文献１に記載の発明のように、カメラ画像を表示するものは、カメラに映し出された画像をそのままモニターに表示するため、モニターに表示される画像は、運転者の肉眼に映る画像とはかけはなれている。これは、カメラ視点の位置が、運転者の操作する際の視点位置とは異なっていることや、肉眼で把握できる障害物の大きさとモニターに表示される障害物の大きさとが異なることなどの理由が挙げられる。また、従来では、運転者は、視界に入る車外の風景と車体の一部（ピラーやボンネット等）とを同時に認識して、それらの相対位置を感覚的に把握していたものが、画像には、外部景色のみが映し出されてしまうことも原因である。
つまり、従来のモニター画像では、従来感覚的に距離感を把握していた運転者は、従来身に付けていた感覚に基づいて、車両のアウトラインと周囲の物体との位置関係が把握しづらいという問題があった。
【０００６】
この発明は、車両周辺の死角領域（車体によって隠される領域）に対して合成された画像を提供し、死角への不安感を軽減するとともに、運転者の視点に近付けた位置からの撮影画像を生成することにより、画像を通じて車両と周囲の障害物との位置関係を、運転者に把握し易くすることを目的とするものである。
【０００７】
【課題を解決するための手段】
以上のような目的は、以下の本発明によって達成される。
（１）車両の進行方向の画像を撮像する撮像手段と、
前記撮像手段で撮像された画像を記憶する記憶手段と、
前記撮像手段で撮像された現在の画像の中で、車体部分によって隠される車体領域を特定する車体領域特定手段と、
前記車体領域特定手段で特定された車体領域に対応する画像領域を、前記記憶手段に記憶された過去の画像から取得する車体画像領域取得手段と、
前記撮像手段で撮像された現在の画像と、前記車体画像領域取得手段で取得された車体領域に対応する過去の画像と、を合成することで車体部分が透過した画像を作成する画像作成手段と、
該画像作成手段で作成された画像を表示する表示手段と、
を備えた車両の画像処理装置。
【０００８】
（２）運転者の視点位置に設けられ、車両の進行方向の画像を撮像する撮像手段と、
前記撮像手段で撮像された過去の画像を記憶する記憶手段と、
前記撮像手段で撮像された現在の画像の中で、車体部分によって隠される車体領域を特定する車体領域特定手段と、
前記車体領域特定手段で特定された車体領域に対応する画像領域を、前記記憶手段に記憶された過去の画像から取得する車体画像領域取得手段と、
前記撮像手段で撮像された現在の画像と、前記車体画像領域取得手段で取得された車体領域に対応する過去の画像と、を合成することで車体部分が透過した運転者視点の画像を作成する画像作成手段と、
該画像作成手段で作成された画像を表示する表示手段と、
を備えることを特徴とする車両の画像処理装置。
【００１１】
（３）前記車両の速度を検出する車速検出手段と、を備え、
前記車速検出手段で検出された速度が所定速度以下の場合に、前記画像作成手段で作成された画像を表示することを特徴とする上記（１）又は（２）に記載の車両の画像処理装置。
【００１２】
（４） 前記車両の移動距離を検出する移動距離検出手段と、を備え、
前記車体画像領域取得手段は、該検出された距離が所定距離以上の場合に、前記車体領域に対応する画像領域を取得することを特徴とする上記（１）又は(２)に記載の車両の画像処理装置。
【００１５】
（５）
前記車体領域特定手段により特定された車体領域の輪郭線を、前記画像作成手段により作成された画像にさらに付加して合成画像を作成する車体形状画像合成手段とを備えた上記（１）又は（２）に記載の車両の画像処理装置。
【００１６】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図１は本発明の画像処理装置１の構成を示すブロック図である。画像処理装置１は、画像処理を行う処理装置１２と、車体に取り付けられた撮像手段としてのカメラ１３と、画像を表示する表示手段としての画像表示装置１４と、現在位置検出装置１５と、画像記憶手段としての記憶装置１６とを備え、これらの装置は、システムバス１７を介して相互に接続されている。
【００１７】
撮像手段として機能するカメラ１３は、車両の進行方向に向けて、例えば自動車の車内に設けられ、運転者の視点位置に相当する高さ位置に取り付けられ、この実施形態では、バックミラーの取付け位置に配置されている。カメラ１３は、Ａ/Ｄ変換器１３１を介してシステムバス１７に接続される。カメラ１３から出力された画像信号は、画像処理を行うためにＡ/Ｄ変換器１３１によってデジタル信号に変換される。また、接続されたカメラ１３が、デジタル信号出力が可能なものである場合には、Ａ/Ｄ変換器は不要である。カメラ１３は、車両の前方に向けて配置されたものと、車両の後方へ向けて配置されたものがある。以下の説明では、最も視界が制限される後方へ移動する場合に使用される後方設置のカメラ１３を例に挙げて説明する。
【００１８】
現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速検出手段として機能する車速センサ１５２は、車両の走行速度を検出する。走行速度は、車両を後退させた場合にも検出される。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。
【００１９】
以上説明した各種センサにより車両の移動距離を得ることができる。即ち、距離センサ１５５により移動距離が検出できる。また、車速センサ１５２から検出される車速と時間により移動距離が検出できる。また、ＧＰＳ受信装置１５３で検出された位置の軌跡により移動距離が検出できる。また、車両の向きが変わった場合には、舵角センサ１５１と方位センサ１５４と距離センサ１５５又は車速センサ１５２によって、移動距離をより正確に検出することができる。以上の様に、移動距離検出手段は、距離センサ１５５により、又は車速センサ１５２により、或は、ＧＰＳ受信装置１５３により、更には、舵角センサ１５１と方位センサ１５４と距離センサ１５５又は車速センサ１５２により、構成することかできる。
このように、現在位置検出装置１５により、本発明の移動距離検出手段が形成される。
【００２０】
記憶装置１６は、カメラ１３が映した画像を記憶する装置で、カメラ１３から出力される画像が連続して記憶される視点変換用画像データメモリ１６１と、合成作業用画像データメモリ１６２と、擬似透過画像データメモリ１６３とを備えている。視点変換用画像データメモリ１６１には、カメラ１３が撮像した画像が現在位置検出装置１５により検出された位置及び時間とともに連続して記録される。合成作業画像データメモリ１６２には、視点位置に補正された画像が時間的に連続して記憶される。擬似透過画像データメモリ１６３には、死角領域に過去の画像が合成された擬似透過画像が記録される。
【００２１】
画像表示装置１４は、例えば液晶ディスプレイ等で構成され、擬似透過画像データメモリ１６３に格納された擬似透過画像が表示される。画像表示装置１４へ送られるデータは、Ｄ/Ａ変換器１４１を介してアナログ信号に変換される。また、画像表示装置１４がデジタル信号入力可能な場合、つまり画像表示装置１４に変換器が内蔵されている場合には、Ｄ/Ａ変換器は不要となる。
【００２２】
処理装置１２は、中央処理装置［ＣＰＵ（Central Processing Unit）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。
中央処理装置１２１は、現在位置検出装置１５から得られた移動距離や車両の向きについての情報を取得し、また、記憶装置１６から視点変換用画像データ、合成作業用画像データを取得し、これらのデータから、擬似透過画像データを生成する等、様々な処理を行うためのものである。
【００２３】
ＲＯＭ１２２には、例えば、中央処理装置１２１が画像処理を行うためのソフトウエアや、車体の輪郭線の画像データ、車体データ（車高、車幅、カメラ１３の設置位置、カメラの画角、各車体部品間の相対距離）等が格納されており、車体データ記憶手段として機能する。
ＲＡＭ１２３は、例えば、中央処理装置１２１のデータ処理を行うためのデータを、一時的に記憶しておくワーキングエリアとして使用される。
【００２４】
本発明の画像処理装置は、次のような作用をする。
図２は、本発明の画像処理装置を搭載した車両２２の側面全体図であり、車両２２が後方へ向けて移動している状態において、移動する前と、移動した後の車両の相対位置を示すものである。
車両の後方を映し出すカメラ１３は、撮像手段として機能するもので、車内に配置されており（図２では、説明を容易とするために、カメラ１３を車両の外側に設けているように描いているが、実際には車内に配置されている。）、その画面の一部には、車両の後部が映し出され、車体部分である死角領域ｂ1が存在し、実際に画面に映るのは可視領域ａ1となる。ここで、死角領域とは、カメラ１３によって、車内から車の外側を映した場合に、車両の一部によって遮られ、車両がなければ映し出されたであろうと想定される、車両外側の景色の領域である。ここで、車両の一部とは、前方を視認する場合には、車体のサイドミラー、フロントウインドの枠、ボンネット、などである。後方を認識する場合には、後部座席、リアウインドの枠、後部トランク、などである。
また、可視領域とは、カメラ１３によって、車内から車の外側を映した場合に、直接映し出された車両の外側の景色である。この景色は、例えば、車両のフロントウインドやリアウインドなどを介して映し出される。
【００２５】
車体領域特定手段によって、この死角領域ｂ1（車体領域）を特定する方法としては、次のような方法がある。
例えば、ＲＯＭ１２２に格納されている車体データに、カメラの設置位置、車体の大きさなども記憶されているので、各部品の相対距離、カメラ画角等から、予め画像の中に占められる車体が映し出される領域（即ち、死角領域）は特定できる。この車体領域を予め特定し、その死角領域データをメモリに記録しておく。カメラ１３によって得られた画像に対して、メモリに記憶された死角領域データに基づき、画一的に死角領域ｂ1を決定する。このように、車体領域特定手段は、予め設定された死角領域データに基づいて、撮影画像から車体領域（死角領域）を特定する。
このほか、撮影画像から車体の輪郭を検出し、該輪郭線で囲まれた部分を死角領域として特定する構成としてもよい。輪郭線の検出方法は、後述する公知の画像処理方法を用いることがでる。
【００２６】
この死角領域ｂ1は、車両が後退する以前の位置（車両２１）では、可視領域ａ2に映し出されていたものである。そこで、現在位置（車両２２）において死角に入っている領域ｂ1の画像は、現在位置に到達する以前の画像（過去の撮像画像）、つまり現在位置よりも前方に位置（車両２１）していた時の撮像画像（手前に位置していた時の撮像画像）を利用し、これを死角領域部分ｂ1の画像として生成する。つまり、現在位置における画像内の死角領域ｂ1を特定して、これを切り取り、過去の撮像画像における可視領域ａ2に映し出された画像の中から、対応する領域を切り出して、これを現在の画像に合成する。
【００２７】
この様に、現在映されている画像の死角領域に、生成された死角領域ｂ1の画像を置き換える（合成する）ことで、全体のカメラ画像としては、あたかも死角領域ｂ1部分も映っているごとく表示する。
カメラ１３の設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口、リアウィンドウの中央付近の位置などか挙げられる。
【００２８】
以上のように構成された本発明の画像処理装置１の作用について説明する。図３、図４及び図５は、処理装置１２の動作を示すフローチャートである。
イグニッションスイッチのオン操作により電源スイッチがオンされる（ステップＳ１００）。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置、後退時の後方の画像を表示するときは、Ｒ位置にセットしたときとしてもよい。
【００２９】
次に画像データなどを記憶領域に書き込みができるように、記憶装置１６に記憶されているデータを検索し、記憶可能領域がない場合は、次に取得するデータを上書き可能にする準備をし、また画像データと共に記憶された距離や時間などを参照して、今後使用しないデータを消去する等の、データを書き込む準備をする（ステップＳ１０１）。例えば、視点変換用画像データメモリ１６１等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【００３０】
次に、車速検出手段として機能する車速センサ１５２の検出値に基づき、車速が予め定められた設定速度を越えているか判断する（ステップＳ１０２）。
【００３１】
この実施形態では車両周辺を認識するために用いられるので、使用目的が幅寄せや車庫入れなどに使用するものであり、速度が速い場合には、必要がなくなると判断する。このような目的で使用される場合の速度の設定値は、車両の駐車位置を修正するためにハンドルによって、頻繁に方向修正しつつ移動させる際の移動速度である。つまり、方向舵を頻繁に変更して車両の進行方向を制御することが可能な速度の上限値である。
【００３２】
このように、ハンドル（方向舵）を頻繁に操作して、車両を動かす場合は、車両の周辺に近接して存在する障害物の位置を把握する必要がある場合であり、車両の影となった死角に存在する障害物を認識する必要がある。
従って、設定速度を越えている場合には、車両の影となる死角を把握する必要性が少なくなると判断できるので、再度ステップＳ１０２へリターンされる。この設定速度は、必要に応じて変更できるようにしても良い。越えていない場合には、画像処理が（死角を把握することが）必要であると判断し、画像処理を行うために、次のステップへ進む。
【００３３】
図６は、画像処理の手順を示す流れ図であり、図７〜図１９は、図６に示されている各々の図の拡大図である。
図４は視点変換処理（ステップ１０３）の処理内容を示すフローチャートで
ある。この処理は、カメラ１３により撮像された画像を、運転者の視点位置からカメラで撮像した場合に映し出されると予想される画像に補正する処理である。
この処理は、運転者の視点位置と、カメラ１３の撮像位置が車両の移動方向に沿って距離Ｗ1離れている場合に、カメラ１３は視点位置Ｔ1を以前に通過しているので、その通過時点の画像を視点位置の画像とし、これを基準にして、カメラ画像を縮小補正するものである。
【００３４】
つまり、現時点での画像を取得する現在画像取得手段と、カメラが現在の運転者の視点位置を通過した時点のカメラ画像を取得する視点位置画像取得手段と、現在画像取得手段で取得された現在画像を視点位置画像に合わせて補正する補正手段とを備えている。
このほか、車両の進行方向に沿って、カメラ１３が、運転者の視点位置よりも、進行方向側ある場合には、画像を縮小し、カメラ視点が距離Ｗ1後退したかのように画像処理（縮小）する、といった方法を採ることもできる。
【００３５】
具体的には、次のような処理がなされる。カメラ１３が撮像（ステップＳ２０１）した画像は、撮像した位置及び時間とともに、記憶装置１６の視点変換用画像データメモリ１６１に連続して記憶される（ステップＳ２０２）。現在のカメラ位置から運転席（運転者が後ろを向いた時の視点位置）までの距離Ｗ1をＲＯＭ１２２に格納されている車体データより算出し、画像とともに記憶された位置の情報を基に、算出された距離Ｗ1に対応する位置（移動距離が距離Ｗ1手前の位置）で撮像された過去の画像ＢＸ（図７）を視点変換用画像データメモリ１６１から読み出す（ステップ２０３）。
【００３６】
現在取得した画像ＢＹ1（図８）の車体部分を検出しその車体部分を除去した画像ＢＹ2（図９）を生成する（ステップＳ２０４）。ステップＳ２０４によって、現在画像取得手段が構成される。このとき、車体部分の領域は、ＲＯＭ１２２に格納された、本発明装置を設置する車体のデータより判断される。車体データとは、車体の三次元データや、車両の各部品までの距離や、その部品の長さ、或は、図２に示されているように、カメラ１３の設置高（ｈ）、カメラ１３の視点と、後部トランクの輪郭ｐとを通る直線ｍと鉛直線との成す角度（θ）などである。読み出された画像ＢＸは、今現在の運転者の視野と同じ画像になるため、画像ＢＸを基準にし、画像ＢＹ2を縮小する（ステップＳ２０５）。縮小された画像をＢＹ2’（図１０）とし、画像ＢＸと画像ＢＹ2’を合成し、画像Ｂ（図１０）を生成する(ステップＳ２０６)。このステップＳ２０５、Ｓ２０６により補正手段が構成される。
【００３７】
以上のステップＳ２０１〜ステップＳ２０６の処理により、運転者の視点位置から見た画像Ｂが生成される。そして、ステップＳ２０６により合成された画像Ｂを合成作業用画像データメモリ１６２に記憶する（ステップＳ２０７）。
【００３８】
この視点変換処理ステップＳ１０３のように、運転者の視点から見た画像のように、撮像された画像を視点変換することにより、撮像画像変換手段が構成される。
このような視点変換処理（ステップＳ１０３）は、カメラ１３で撮像された画面について連続して行われ、合成作業画像データメモリ１６２には、視点位置に補正された画像が、画像ＢＸと同じ位置、画像ＢＹ1の時間とともに連続して記憶される。ステップＳ１０３の後、次のステップへ進む。
【００３９】
現在位置検出装置１５に格納された各種センサの検出値から、車両が移動したかを判断する（ステップＳ１０４）。
例えば、車速センサ１５２の検出値から、車両が一定速度以上となった場合に、移動したものと判断する。或いは、距離センサ１５５より、移動距離が予め定められている所定距離以上となった場合に、車両が移動したものと判断する。車両が移動していないと判断した場合には、ステップＳ１０４を繰り返す。車両が移動しない場合には、過去の画像が得られず、現在の画像の死角領域に過去の画像を合成することができないからである。
【００４０】
そして、画像の死角領域および、画像合成するために必要な過去の画像を得るために必要な移動距離（所定距離）は、次のようにして特定される。
カメラ１３によって取得された画像において、死角領域は、車体部分により隠される領域、つまり車両の陰となることによって生成される。従って、車体の大きさ、カメラ１３の設置位置など、車体データとして記録されている数値データによって、死角領域を画一的に特定することができ、さらに、死角領域が特定できれは、死角領域に合成する画像が得られる移動距離も取得することができる。
以下、その特定方法について説明する。
【００４１】
図２に示されているように、例えば、進行方向側にある死角領域b1は、カメラ１３の視点位置とボンネットの輪郭位置（後部トランクの輪郭）ｐとによって決定され、カメラ１３の設置位置が決まれば、死角領域の範囲は決定される。つまり、図２に示されているように、カメラ１３から地表の高さｈ、カメラ視点と視界が遮られる位置（後部トランクの輪郭ｐ）とを結んだ直線ｍと鉛直線とのなす角θと、カメラ１３からカメラ１３の視界の下限位置までの水平距離ｌ、直線ｍが地表と交差する地点から、カメラ１３までの水平距離ｘから、以下の式によって容易に決定される。これらのデータは、車体データとしてＲＯＭ１２２に記録されており、ＲＯＭ１２２から読み出される。
ｄ＝ｈ×tanθ−ｌ
従って、少なくとも距離ｄを移動すれば、最初に蓄積された過去の画像によって、死角領域b1の画像を生成することができる。つまり、上記所定距離は、距離ｄに値する。
【００４２】
車両が移動していると判断した場合には、移動する前に合成した画像は、移動直後（車両の移動距離が距離ｄとなるまで）の画面の死角領域を補う画像としては使えない。このため、車両の移動開始とともに、新たに（合成）画像を生成していく必要があり、擬似透過画像処理が行われる（ステップＳ１０５）。以下、擬似透過画像処理について説明する。図５は、擬似透過画像処理を示すフローチャートである。現在の画像についても、ステップＳ２０１〜Ｓ２０７と同様の視点変換処理によって、運転者の視点位置の画像に変換処理した画像を合成作業用画像データメモリ１６２に記憶されている。つまり、現在のカメラ位置から運転席までの距離Ｗ1をＲＯＭ１２２に格納されている車体データより算出し、算出された距離Ｗ1に対応する位置で撮像された過去の画像を画像ＡＸ（図１１）とし、画像ＡＸを視点変換用画像データメモリ１６１から読み出す。
【００４３】
現在取得した画像ＡＹ1（図１２）の車体部分を検出しその車体部分を除去した画像ＡＹ2（図１３）を生成する。読み出された画像ＡＸは、今現在の運転者の視野と略同じ画像になるため、画像ＡＸを基準にし、画像ＡＹ2を縮小し、その画像をＡＹ2’（図１４）とし、画像ＡＸと画像ＡＹ2’を合成し、画像Ａ（図１４）を生成する。この画像Ａは、画像ＡＸと同じ位置及び時間とともに合成作業用画像データメモリ１６２に記憶される。このようにして、視点変換処理された最新の画像Ａ（視点変換処理にて最後に処理が行われ、生成された画像）を、合成作業用画像データメモリ１６２から読み出す（ステップＳ３０１）。
【００４４】
次に、移動量を算出し、算出された移動量に対応した、画像Ａの死角を捕らえる画像Ｂを合成作業用画像データメモリ１６２から読み出す（ステップＳ３０２）。このとき、移動量は、距離センサ１５５から入力された移動量に基づいて決定される。この他、車速センサ１２５が検出した車速値を経過時間で積分して求めても良い。また、ＧＰＳ受信装置１５３から得た車両の絶対位置の移動軌跡から求めても良い。画像Ｂの選定方法は、上記のように移動量に基づく方法の他、現在位置より距離ｄ手前の地点における画像として選定してもよい。
【００４５】
運転者の視点から見た風景と、画像Ａが同じ画像となるため、読み出された画像Ｂの一部Ｂ0を切り取る（図１５）。画像Ｂ0は、画像Ａを基準に（被写体が画像Ａと同じ大きさとなるように）拡大され、画像Ｂ’（図１６）が生成される（ステップＳ３０３）。
【００４６】
画像を拡大処理する際の倍率は、例えば次のような方式で決定することができる。1つは、実験等による経験に基づいて決めた倍率を使用する方式である。例えば、画角はそのままで移動距離に従って拡大縮小の倍率を定める。カメラ視点の移動距離と倍率の関係を表１に示す。
【００４７】
【表１】

他の方法としては、画像Ａ（現在の画像）と画像Ｂ’（過去の画像）とに対して、それぞれ特徴エリアを設定する。このエリアは、画像中の明暗や色彩等の変化が顕著で、その対象が特定しやすい領域を選択する。特徴エリアに設定される画像は、画像Ａと画像Ｂ’がそれぞれ同じ対象物を捕らえていることが必要である。そして、この特徴エリアに映し出された対象物の大きさが同じになるように画像補正をする。
【００４８】
さらに他の方法としては、カメラの焦点距離や、想定した被写体までの距離などの一定値を基に、倍率を決定するものである。例えば、カメラの移動距離をＤ、一定値Ｌとすると、倍率は｛（Ｄ+Ｌ）／Ｌ｝となる。
以上のステップＳ３０２、Ｓ３０３によって車体画像領域取得手段が構成される。
【００４９】
ステップＳ３０３の後、ＲＯＭ１２２に格納された車体データをもとに、画像Ａの死角領域となる車体が映っている部分を特定する。このように、撮像された画像の中で、車体が映っている部分（車体によって隠される領域）を特定することにより、本発明の車体領域特定手段が構成される。
【００５０】
そして、特定された部分を除いた画像Ａ’（図１７）を生成する（ステップＳ３０４）。画像Ａ’と画像Ｂ’を合成し、擬似透過画像Ａ’＋Ｂ’（図１８）が生成される（ステップＳ３０５）。この擬似透過画像Ａ’＋Ｂ’は、画像Ａから切り取られた車体部分に、画像Ｂ’の対応する部分が貼り付けられた状態となっている。生成された擬似透過画像を擬似透過画像データメモリ１６３へ一旦記憶させる（ステップＳ３０６）。以上の通り、擬似透過画像処理ステップＳ１０５が終了し、メインルーチンへリターンされ、次のステップへ進む。
撮像画像変換手段で視点変換された画像における車体領域部分を、車体領域特定手段で特定し、その車体領域を画像変換手段で視点変換された画像領域（画像Ｂ’）に置き換えて画像（擬似透過画像Ａ’＋Ｂ’）を作成する画像作成手段は、以上のステップＳ３０１〜Ｓ３０５により構成される。
【００５１】
擬似透過画像データメモリ１６３から擬似透過画像Ａ’＋Ｂ’を読み取り、運転者の視点から見た車両を象徴する部分の輪郭線６が合成され、最終合成画像（図１９）が生成される（ステップＳ１０６）。この輪郭線は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。
【００５２】
特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。以上のステップＳ１０６により、車体形状画像合成手段が構成される。
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置１６やＲＯＭ１２２などに格納されている。
【００５３】
ステップＳ１０６で生成された最終合成画像を画像表示装置１４へ出力する（ステップＳ１０７）。
システムを終了するきっかけがあるか判断する（ステップＳ１０８）。例えば、本発明の画像処理装置のスイッチオフや画像装置１４の表示切替えがあった場合は、システムは停止される。また、イグニッションスイッチのオフがあった場合には、車両が駐車されたことを意味するので、同様にシステムは停止される。
【００５４】
また、車速が所定の速度以上になった場合には、通常走行状態となり、車庫入れなどのように、車両近傍にある死角領域を認識する必要がなくなったことを意味するので、システムは停止される。従って、ステップＳ１０８で、Ｙｅｓの場合には、この画像処理のフローチャートは終了する（ステップＳ１１１）。
【００５５】
システムを終了するきっかけがなかった場合（ステップＳ１０８：Ｎｏ）には、ステップＳ１０１で初期化された変数が、設定値を越えたか判断する（ステップＳ１０９）。この変数とは、距離、時間、メモリ残量などを表すもので、これらの値が予め定められた設定値に達した場合には、データの書き込みが開始された位置に戻って、古いデータを新しい画像データに書き換える（ステップＳ１１０）。ここで、ステップＳ１０１にリターンされ、設定値を監視する変数は、初期化される。
ステップＳ１０９で、変数が設定値を超えていなかった場合には、ステップＳ１０２にリターンされる。
【００５６】
以上説明した作用は、カメラ１３が、運転者の視点位置から離れた位置に設けられていた場合であるが、カメラ１３が視点位置の近くに設けられていてもよい。この場合には、図３に示されているフローチャートにおいて、ステップＳ１０３の視点変換処理を除いた処理が行われる。つまり、視点変換の必要がないので、視点変換処理は行われない。図２０は、視点変換処理を行わない場合の、画像処理の手順を示す流れ図である。図２０に基づいて、処理動作の順を、追って説明する。
【００５７】
（ａ）撮像手段としてのカメラ１３が撮像した画像は、撮像した位置及び時間と共に記憶装置１６の視点変換用画像データメモリ１６１に連続して記憶される。そして、現在の画像Ａを、視点変換用画像データメモリ１６１から読み出す。
【００５８】
（ｂ）次に、画像Ａには車両の一部によって遮られた死角領域（車体領域）が存在し、その死角領域は、車両が後退する以前の位置で撮像した画像では映し出されていたものである。そこで、死角領域を取得できる画像が得られる所定距離ｄを算出する。
所定距離ｄは図２に示されているように、例えば、進行方向側にある死角領域ｂ1は、カメラ１３の視点位置とボンネットの輪郭位置（後部トランクの輪郭）ｐとによって決定され、カメラ１３の設置位置が決まれば、死角領域の範囲は決定される。つまり、図２に示されているように、カメラ１３から地表の高さｈ、カメラ視点と視界が遮られる位置（後部トランクの輪郭ｐ）とを結んだ直線ｍと鉛直線とのなす角θと、カメラ１３からカメラ１３の視界の下限位置までの水平距離ｌ、直線ｍが地表と交差する地点から、カメラ１３までの水平距離ｘから、以下の式によって容易に決定される。これらのデータは、車体データとしてＲＯＭ１２２に記録されており、ＲＯＭ１２２から読み出される。
【００５９】
ｄ＝ｈ×tanθ−ｌ
従って、少なくとも距離ｄを移動すれば、最初に蓄積された過去の画像によって、死角領域b1の画像を生成することができる。つまり、上記所定距離は、距離ｄに値する。
【００６０】
（ｃ）画像Ａの死角領域を取得できる画像Ｂを視点変換用画像データメモリ１６１から読み出す。
画像Ｂの選定方法は、距離センサ１５５から入力された移動量に基づいて、（ｂ）で算出された移動距離ｄに対応した画像が読み出される。この他、車速センサ１２５が検出した車速値を経過時間で積分して求めても良い。また、ＧＰＳ受信装置１５３から得た車両の絶対位置の移動軌跡から求めても良い。
【００６１】
また、上記のように移動量に基づく方法の他、画像と共に記憶されている位置より、現在位置から距離ｄ手前の地点における画像として選定してもよい。
【００６２】
（ｄ）現在の画像である画像Ａについて、ＲＯＭ１２２に格納された車体データをもとに、画像Ａの車体が映っている車体領域（死角領域）を特定する。
【００６３】
この処理（ｄ）のように、撮像された画像の中で車体が映っている部分（車体によって隠される領域）を特定することにより、本願発明の車体領域特定手段が構成される。
【００６４】
（ｅ）そして、特定された車体領域を除いた画像Ａ’を生成する。
（ｆ）一方、読み出された画像Ｂについては、運転者の視点から見た風景と、画像Ａが同じ画像となるため、画像Ｂの中から、画像Ａに対応する部分の画像Ｂ0を切り取る。
【００６５】
（ｇ）画像Ｂ0は、運転者の視点から見た風景と同じである画像Ａを基準に（被写体が画像Ａと同じ大きさとなるように）拡大され、画像Ｂ’が生成される。
画像を拡大処理する際の倍率は、上記実施形態で説明した方法と同様に、実験などによる経験に基づいて決めた倍率を使用する、それぞれの画像の特徴エリアを設定し、特徴エリアに映し出された対象物の大きさが同じになるよう画像を補正する、カメラの焦点距離や想定した被写体までの距離などの一定値を基に倍率を決定する、などである。
【００６６】
この拡大された画像Ｂ’は、画像Ａにおける車体領域が透明であったならば見えると想定される画像領域を含んでおり、その他の領域では、画像Ａの映像と略同一である。
従って、画像ＢのＢ0部分を抽出し、画像Ａの大きさに合わせて、画像Ｂ0を拡大する処理（処理（ｆ）（ｇ））のように、特定された車体部分が透明であったならば見えると想定される、車体領域に対応する画像領域を取得することにより、本願発明の車体画像領域取得手段が構成される。
【００６７】
（ｈ）そして、画像Ａ’と画像Ｂ’を合成する。この擬似透過画像Ａ’＋Ｂ’は、画像Ａから切り取られた車体領域に、画像Ｂ’の対応する部分が置き換えられた状態となっている。この合成処理（処理（ｈ））のように、撮像された画像における車体領域を、車体画像領域取得手段で取得した画像領域に置き換えて画像を作成することにより、本願発明の画像作成手段が構成される。生成された擬似透過画像は、画像Ａと同じ位置、時間と共に擬似透過画像データメモリ１６３へ一旦記憶される。
【００６８】
（ｉ）次に、擬似透過画像データメモリ１６３から擬似透過画像Ａ’＋Ｂ’を読み取り、運転者の視点から見た車両を象徴する部分の輪郭線６が合成され、最終合成画像が生成される。この処理（ｉ）により車体形状画像合成手段が構成される。
【００６９】
この輪郭線は車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、ライト、ワイパー、インストゥルメントパネル、ハンドル、ミラー、タイヤ、座席、及び窓の形状の少なくとも一つを含む輪郭線である。
特に、車体の最も外側に位置する部位の輪郭線、あるいは、運転者が車体の外側を見たときに常に外部景色と同時に視覚に認識される部位の輪郭線であるとよい。車体の最も外側に位置する部位としては、車体、バンパー、ライト、タイヤ、サイドミラー等があり、視界に同時に認識される部位としては、ワイパー、インストゥルメントパネル、ハンドル、バックミラー、座席、窓の形状等が挙げられる。車体の最も外側に位置する部位の輪郭線を合成すると、車体と外部障害物との距離の把握か容易となるという効果がある。また、視界に認識される部位の輪郭線を合成すると、肉眼で認識して操作する際の視界に近似した画像が得られるので、運転者は、従来習得した感覚と同じ感覚で外部障害物と車両との位置関係を把握することができる。
この輪郭線データは、本発明装置を設置する車体データをもとに作成されて、予め記憶装置１６やＲＯＭ１２２などに格納されている。
【００７０】
また、この場合の合成される車体の輪郭線は、撮影画像Ａから検出する構成としてもよい。この場合には、実際の車体の状態が画像に映し出されるので、一層リアルに外部画像と車体との関係を把握することができる。例えば、後進する場合に、リアウィンドウのダッシュボードに置かれている置物などが、画像に映し出され、実際に肉眼で見ているイメージに近付けることができる。
【００７１】
輪郭線の検出方法は、公知の画像処理方法を用いることができ、例えば、Ｓｏｂｅｌフィルタ処理やラプラシアンフィルタ処理などにより輪郭を強調する処理を行い、輪郭線のみを抽出する処理をすることができる。また、輪郭線のみを合成する構成に限らず、車体や車内を映した画像（死角を生成する部分の画像）を半透明にして合成してもよい。
このような輪郭線6を検出する処理は、例えば、ステップＳ１０５とステップＳ１０６の間で行われ、輪郭線検出手段として機能する。
【００７２】
また、本実施形態で合成する輪郭線の色は、運転者が判別し易いように、自動的に色が調整されるものとすることができる。例えば、作成された画像が明るい色の場合には、黒の輪郭線、暗い色の場合には、白の輪郭線を合成する。また、作成された画像の画素1つ1つに対しても色を反転させた（補色とする）輪郭線を合成する等である。
【００７３】
次に、カメラ１３は、広角レンズを使用することもできる。図２１は、広角レンズを使用した場合の、カメラの視界の範囲を示すものである。広角レンズを使用した場合には、そのレンズ特性から画像に歪が大きく生じる為、そのレンズ特性を基に歪を補正するための正像変換処理するステップが、上記ステップＳ２０６とステップＳ２０７の間に行われる。
【００７４】
また、外部画像として切り取る領域も、舵角センサ１５１が検出する操舵角に応じて変更するように構成することができる。
例えば、右にα度の舵角を検出した場合には、その角度に応じて、画像を切り取る位置を、Ｅ1からＥ2へ（右方向へ）移動させる。
【００７５】
以上説明した作用は、後進する場合の例であるが、前進する場合でも、同様の作用となる。前進する場合には、カメラは、ダッシュボードの略中央部分か、バックミラーの付け根の位置などが好ましい。
なお、超音波等によって外部障害物と車体との間の距離を計測する測距センサを車体に設け、合成画像の表示とともに、外部障害物との距離を測る構成とすれば、一層距離感を把握し易くなり、好ましい。例えば、超音波センサによって検出される障害物との距離が、所定の距離以下となった場合には、聴覚信号として警報を発するか、視覚信号として画面を赤のシルエットに表示するなどの構成とすることができる。
また、カメラ１３を運転者の視点位置に、より近い位置に設けると、表示画像が運転者の視界に一層近い画像となり、周囲の障害物と車両との位置関係が、より一層画像から把握し易くなる。
【００７６】
【発明の効果】
請求項１に記載の発明によれば、運転者に見ることのできない死角領域が生成されるので、死角への不安感が抑制できる。
請求項２に記載の発明によれば、表示画像が運転者の視点位置から見た風景と同じ画像となり、周囲の障害物と車両との位置関係が、肉眼で視認した場合と同様に感覚的に把握することが容易となる。
【００７８】
請求項３に記載の発明によれば、車速検出手段によって車速を検出し、車両周囲の死角領域の把握が必要な操作状態を検出できるので、必要な状態においてのみ、必要な画像処理を行うことができる。請求項４に記載の発明によれば、過去の画像が取得できる距離を移動したことを検出する移動距離検出手段を備えたので、車体領域（死角領域）に対応する画像領域を取得する処理を正確に行うことが可能となる。
【００７９】
請求項５に記載の発明によれば、車体各部の形状の輪郭線を画像に合成することにより、画面に映し出された外部環境と、車体との位置関係を一層把握し易くすることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】本発明の画像処理装置を搭載した車両の側面図である。
【図３】本発明の画像処理装置の作用を示すフローチャートである。
【図４】本発明の画像処理装置の作用を示すフローチャートである。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】画像処理の手順を示す流れ図である。
【図７】図６に示される処理画像の拡大図である。
【図８】図６に示される処理画像の拡大図である。
【図９】図６に示される処理画像の拡大図である。
【図１０】図６に示される処理画像の拡大図である。
【図１１】図６に示される処理画像の拡大図である。
【図１２】図６に示される処理画像の拡大図である。
【図１３】図６に示される処理画像の拡大図である。
【図１４】図６に示される処理画像の拡大図である。
【図１５】図６に示される処理画像の拡大図である。
【図１６】図６に示される処理画像の拡大図である。
【図１７】図６に示される処理画像の拡大図である。
【図１８】図６に示される処理画像の拡大図である。
【図１９】図６に示される処理画像の拡大図である。
【図２０】他の画像処理の手順を示す流れ図である。
【図２１】広角レンズカメラを用いたカメラの視野を示す平面図である。
【符号の説明】
１ 画像処理装置
１２ 処理装置
１３ カメラ
１４ 画像表示装置
１５ 現在位置検出装置
１６ 記憶装置

Claims (5)

1. 車両の進行方向の画像を撮像する撮像手段と、
   前記撮像手段で撮像された画像を記憶する記憶手段と、
   前記撮像手段で撮像された現在の画像の中で、車体部分によって隠される車体領域を特定する車体領域特定手段と、
   前記車体領域特定手段で特定された車体領域に対応する画像領域を、前記記憶手段に記憶された過去の画像から取得する車体画像領域取得手段と、
   前記撮像手段で撮像された現在の画像と、前記車体画像領域取得手段で取得された車体領域に対応する過去の画像と、を合成することで車体部分が透過した画像を作成する画像作成手段と、
   該画像作成手段で作成された画像を表示する表示手段と、
   を備えた車両の画像処理装置。
2. 運転者の視点位置に設けられ、車両の進行方向の画像を撮像する撮像手段と、
   前記撮像手段で撮像された過去の画像を記憶する記憶手段と、
   前記撮像手段で撮像された現在の画像の中で、車体部分によって隠される車体領域を特定する車体領域特定手段と、
   前記車体領域特定手段で特定された車体領域に対応する画像領域を、前記記憶手段に記憶された過去の画像から取得する車体画像領域取得手段と、
   前記撮像手段で撮像された現在の画像と、前記車体画像領域取得手段で取得された車体領域に対応する過去の画像と、を合成することで車体部分が透過した運転者視点の画像を作成する画像作成手段と、
   該画像作成手段で作成された画像を表示する表示手段と、
   を備えることを特徴とする車両の画像処理装置。
3. 前記車両の速度を検出する車速検出手段と、を備え、
   前記車速検出手段で検出された速度が所定速度以下の場合に、前記画像作成手段で作成された画像を表示することを特徴とする請求項１又は２に記載の車両の画像処理装置。
4. 前記車両の移動距離を検出する移動距離検出手段と、を備え、
   前記車体画像領域取得手段は、該検出された距離が所定距離以上の場合に、前記車体領域に対応する画像領域を取得することを特徴とする請求項１又は２に記載の車両の画像処理装置。
5. 前記車体領域特定手段により特定された車体領域の輪郭線を、前記画像作成手段により作成された画像にさらに付加して合成画像を作成する車体形状画像合成手段とを備えた請求項１又は２に記載の車両の画像処理装置。

Images