JP2003143597A - 車両周辺画像処理装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 車両信号を用いたり画像処理の技術を用いる
ことにより、好適に車両の周囲の画像を処理することが
できる車両周辺画像処理装置及び記録媒体を提供するこ
と。 【解決手段】 ステッフ゜110では、車速が所定の低速以下か
否かを判定する。ステッフ゜120では、カメラ１で撮影した画
像のデータを入力する。ステッフ゜130では、ハンドル角セン
サ６からハンドル角信号を入力する。ステッフ゜140では、ヨ
ーレイトセンサ７からヨーレイト信号を入力する。ステッフ
゜150では、超音波センサ８から超音波信号を入力する。
ステッフ゜160では、鳥瞰図画像を作成する。ステッフ゜200では、
車両が直進状態か否かを判定する。ステッフ゜210では、ハン
ドル角、ヨーレイトにより、車両の回転中心及び回転角
を求める。ステッフ゜220では、鳥瞰図画像を回転する。ステッフ
゜280では、新たな第２鳥瞰図画像と移動後鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば車両の周辺
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。

【０００２】

【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。

【０００３】また、これとは別に、特開平１０−２１１
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。

【０００４】

【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。

【０００５】そのため、例えば車両を後退させて駐車枠
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて（合成画像を作成し）、従来より広い範囲を表示
する技術が開発されている。

【０００６】この新しい技術では、例えば画像処理によ
る動きベクトルから、カーブ中の自車両の動きを検出
し、鳥瞰図画像に用いることが可能であるが、路面の画
像模様が少ない場合には誤差が発生する可能性があり、
また、動きベクトルを算出するための計算量が多くなる
という課題があった。

【０００７】この対策として、画像処理を用いずに、ヨ
ーレイト信号や車速信号等の車両信号を用いることが考
えられるが、車種によっては極低速の車速信号が得られ
ない車両があり、必ずしも十分ではない。また、これと
は別に、上述した画像処理を、例えばシフトがバックギ
ヤのタイミングで開始する場合には、その開始時点から
のカメラ画像しか得られないので、モニタに表示する画
像のデータが少ないという問題もあった。

【０００８】本発明は、前記課題を解決するためになさ
れたものであり、車両信号を用いたり画像処理の技術を
用いることにより、好適に車両の周囲の画像を処理する
ことができる車両周辺画像処理装置及び記録媒体を提供
することを目的とする。

【０００９】

【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。

【００１０】本発明では、撮影手段により撮影した画像
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。これにより、画像は、例えばカメラで撮影したま
まの歪んだ画像ではなく、地面の上方より見たような見
やすい鳥瞰図画像となる。

【００１１】そして、車両の移動状態に対応して、（例
えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の
様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の
画像データを作成し、この移動後鳥瞰図画像の画像デー
タと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の
画像データとを合成して合成鳥瞰図画像の画像データを
作成する。

【００１２】つまり、車両が移動するにつれて、例えば
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、第２鳥
瞰図画像に、そのずれの部分（即ち過去に視野内であっ
たが現在視野から消えている部分）の移動後鳥瞰図画像
を適宜加味することにより、モニタ等にカメラの視野か
ら消えた部分を表示するのである。

【００１３】特に本発明では、車両が所定の速度以下の
低速である場合には、車速信号以外の他の車両信号又は
異なる撮影時間に対応する鳥瞰図画像間の画像データに
基づいて、車両の移動状態を推定して、移動後鳥瞰図画
像を作成するので、常に正確な合成鳥瞰図画像を作成す
ることができる。

【００１４】つまり、上述した様に、車種によっては極
低速の車速信号が得られない車両（又は低速では車速信
号の精度が低下する車両）があるので、本発明では、車
両が低速の場合には車速信号を用いずに、その他の車両
信号や画像処理の技術により、車両の移動量を求めて、
移動後鳥瞰図画像を作成するのである。これにより、低
速の場合でも正確な合成鳥瞰図画像を作成してモニタ等
に表示することができる。

【００１５】尚、車速信号を用いないで移動後鳥瞰図画
像を作成する手法としては、後述する様に、画像の時間
的変化から車両の動きを算出して移動後鳥瞰図画像を作
成したり、ハンドル角及びヨーレイト等の車両信号を用
いて移動後鳥瞰図画像を作成する手法を採用できる。

【００１６】（２）請求項２の発明では、車両が直線状
態か回転状態かを判定して、車両の移動状態を推定す
る。車両が直進状態又は回転状態では、後述する様に、
車両の移動状態を推定する手法が多少異なるので、ここ
では、車両の移動状態を直進か回転かで区別している。

【００１７】（３）請求項３の発明では、車両が直進状
態であると判定された場合には、異なる撮影時間に対応
する鳥瞰図画像間の画像データに基づいて、車両の移動
状態を推定して、移動後鳥瞰図画像を作成する。車両が
直進状態である場合には、異なる撮影時間に対応する鳥
瞰図画像も同様に一定方向に移動するので、両鳥瞰図画
像の移動状態を画像処理（例えば両画像のマッチング処
理）により求めれば、車両の移動状態を求めることがで
きる。よって、車両の移動状態に基づいて移動後鳥瞰図
画像を作成することができる。

【００１８】（４）請求項４の発明では、車両が直進状
態であると判定された場合には、異なる時間における当
該車両と周囲の物体との距離のデータから、車両の移動
状態を推定して、移動後鳥瞰図画像を作成する。車両が
直進状態である場合には、例えば超音波センサにより検
出した周囲の固定物（例えば他の車両や壁）との距離の
変化が車両の移動距離である。従って、この移動距離に
基づいて、移動後鳥瞰図画像を作成することができる。

【００１９】（５）請求項５の発明では、車両が回転状
態であると判定された場合には、ハンドル角及びヨーレ
イトに基づいて、車両の移動状態を推定して、移動後鳥
瞰図画像を作成する。車両が回転状態である場合には、
ハンドル角やヨーレイトが分かれば、車両がどれほど回
転移動したかが分かる。よって、車両の回転移動量に基
づいて、鳥瞰図画像を回転移動させることにより、移動
後鳥瞰図画像を作成することができる。

【００２０】（６）請求項６の発明は、車両周辺の画像
を撮影する撮影手段と、画像を表示する表示手段とを備
えた車両に対して、撮影手段により撮影された画像を処
理して表示手段に表示する車両周辺画像処理装置に関す
るものである。そして、撮影手段により撮影された画像
に基づいて作成された第１鳥瞰図画像を記憶し、第１鳥
瞰図画像を車両の移動状態に応じて移動させて移動後鳥
瞰図画像を作成し、第１鳥瞰図画像より後に撮影されて
作成された第２鳥瞰図画像と、移動後鳥瞰図画像とを合
成して、合成鳥瞰図画像を作成する。

【００２１】特に本発明では、異なる撮影時間に対応す
る鳥瞰図画像間の画像データに基づいて、車両の移動状
態を推定することが困難な場合には、車両と周囲の物体
との距離を検出する距離検出手段による信号に基づい
て、車両の移動状態を推定して、移動後鳥瞰図画像を作
成する。

【００２２】つまり、例えば後方に他の車両等があり路
面の画像を撮影できない場合（従って路面の画像から移
動状態が分からない場合）には、例えば超音波センサに
より検出した固定物との距離の変化が車両の移動距離で
あると考えられるので、この移動距離に基づいて、移動
後鳥瞰図画像を作成することができる。よって、正確な
合成鳥瞰図画像をモニタ等に表示することができる。

【００２３】（７）請求項７の発明は、車両と周囲の物
体との距離を、超音波センサにより検出することを例示
したものである。 （８）請求項８の発明は、車両周辺の画像を撮影する撮
影手段と、画像を表示する表示手段とを備えた車両に対
して、撮影手段により撮影された画像を処理して表示手
段に表示する車両周辺画像処理装置に関するものであ
る。そして、撮影手段によって撮影された画像に基づい
て作成された第１鳥瞰図画像を記憶し、第１鳥瞰図画像
を車両の移動状態に応じて移動させて、移動後鳥瞰図画
像を作成し、第１鳥瞰図画像より後に撮影されて作成さ
れた第２鳥瞰図画像と、移動後鳥瞰図画像とを合成し
て、合成鳥瞰図画像を作成する。

【００２４】特に本発明では、車両が所定の速度以下の
低速である場合には、少なくとも鳥瞰図画像作成手段、
移動後鳥瞰図画像作成手段、及び合成鳥瞰図画像作成手
段の処理を開始する。つまり、上述した様に、画像処理
を、例えばシフトがバックギヤのタイミングで開始する
場合には、その開始時点からのカメラ画像しか得られな
いので、本発明では、停車の可能性のある様な低速にな
った場合には、画像処理を開始する。これにより、例え
ばバックで駐車を開始する様な場合には、それ以前の時
点における車両の周囲の画像をも表示することができ、
駐車の操作の際に非常に便利である。

【００２５】（９）請求項９の発明では、第１鳥瞰図画
像として、今回の合成鳥瞰図画像より前に作成した合成
鳥瞰図画像を用いる。これにより、モニタには、過去に
撮影した画像の鳥瞰図画像（車両の移動に合わせて移動
させた画像）を逐次加えた連続した合成鳥瞰図画像を表
示することができる。

【００２６】（１０）請求項１０の発明では、合成鳥瞰
図画像は、第２鳥瞰図画像を表示する表示領域以外に、
移動後鳥瞰図画像を加入した画像である。本発明は、合
成鳥瞰図画像の形成方法を例示したものである。これに
より、車両の周囲の画像を連続して表示することができ
る。

【００２７】つまり、例えばカメラにより現在撮影され
ている画像は、第２鳥瞰図画像としてモニタに表示可能
であるので、それ以前のモニタから消えてしまう画像
を、移動後鳥瞰図画像として第２鳥瞰図画像の表示領域
以外に加えることにより、カメラの視野から消えた過去
の周囲の状況をもモニタに表示することができる。

【００２８】尚、合成鳥瞰図画像に用いる第２鳥瞰図画
像として、通常、最新の鳥瞰図画像が用いられる。 （１１）請求項１１の発明では、表示手段に合成鳥瞰図
画像を表示する場合には、自車両を示す画像を加えて表
示する。

【００２９】本発明では、車両の周囲の状況を示す合成
鳥瞰図画像に自車両を示す画像を加えて表示することに
より、自車両と例えば駐車枠との位置関係が明瞭となる
ので、車両の操作が容易になる。尚、例えばカメラは車
両の所定位置に固定されているので、例えばモニタの画
面における自車両の位置は常に一定である。従って、モ
ニタの画面の決まった位置に自車両を表示することがで
き、更には、モニタの画面上に予めプリント等により車
両を記載してもよい。

【００３０】また、カメラの視野角も通常は一定である
ので、自車両だけでなく、モニタの画面に、カメラの視
野角（左右の範囲）も表示してもよい。 （１２）請求項１２の発明は、上述した車両周辺画像処
理装置による処理を実行させる手段を記憶している記録
媒体である。

【００３１】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。

【００３２】

【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。

【００３３】図１に示す様に、本実施例の車両周辺画像
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ハンドル角を検出するハンドル角セ
ンサ６と、ヨーレイトを検出するヨーレイトセンサ７
と、車両に周囲の障害物を検出する超音波センサ８と、
画像処理を行う画像処理ユニット９を備えている。

【００３４】前記画像処理ユニット９は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換を行って鳥瞰図画像を作成する座標変換
部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、画像メモ
リＡの鳥瞰図画像を移動（例えば回転移動）して合成す
る等の画像処理などの演算を行うＣＰＵ１３と、モニタ
３に表示する鳥瞰図画像のデータを記憶する画像メモリ
Ｂとを備えている。

【００３５】前記画像処理ユニット９には、ハンドル角
信号を入力する車速信号入力回路１５と、車速信号を入
力する車速信号入力回路１７と、ヨーレイト信号を入力
するヨーレイト信号入力回路１９と、超音波センサ８か
らの超音波信号を入力する超音波信号入力回路２１が接
続され、各信号はＣＰＵ１３に入力される。

【００３６】ここで、画像メモリＢに記憶する鳥瞰図画
像の画像データとは、後述する様に、２回目の処理以降
は、合成鳥瞰図画像の画像データである。つまり、前回
（例えば時刻Ｔに）カメラ１にて撮影され、その画像デ
ータに基づいて作成された鳥瞰図画像（第１鳥瞰図画
像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、
新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、
その画像データに基づいて作成された鳥瞰図画像（第２
鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画
像）の画像データである。

【００３７】尚、画像処理ユニット３は、カメラ１と一
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図３
〜図６に基づいて説明する。

【００３８】ここでは、車両を後退（バック）させて駐
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図３（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。

【００３９】よって、後ににて詳述する様に、原画像
の画像データを座標変換して、図３（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。

【００４０】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図４に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。

【００４１】詳しくは、カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。

【００４２】

【数１】

【００４３】つまり、上記式（１）を用いることによ
り、投影画像データを（鳥瞰図画像を示す）モニタ３の
画面に対応した画像データに変換してモニタ表示するこ
とができる。 次に、自車両がカーブ中の場合の画像処理の手順につ
いて説明する。

【００４４】ここでは、ハンドル角とヨーレイトを用い
て画像処理を行う。ハンドル角θｈ［°］と回転半径Ｘ
Ｃ［ｍ］は逆比例の関係にあり、変換係数Ｋ［ｍ・°］
を用いれば、下記式（２）より算出できる。尚、直進で
ハンドル角θｈ［°］が０°のとき、ＸＣ［ｍ］は無限
大となる。 ＸＣ［ｍ］＝Ｋ［ｍ・°］／ｔａｎ（θｈ）［°］ ・・・・（２） 図５に示す様に、ヨーレイトセンサ７から得られるヨー
レイトが回転角θ［°］であり、後進時の自車両の回転
中心は、後輪車軸上（カメラ１からの距離ＹＣ［ｍ］）
にあるとすると、車両は、カーブ中の回転中心位置が
（ＸＣ、ＹＣ）にて、回転角θ［°］移動したことにな
る。

【００４５】そして、この回転中心位置及び回転角を用
い、画像メモリＢの画像（前回の合成鳥瞰図画像）を移
動させる。尚、まだ合成が実施されていない初回のみ
は、画像メモリＢには画像メモリＡと同様な鳥瞰図画像
の画像データが記憶されている。

【００４６】つまり、画像メモリＢに記憶された前回の
合成鳥瞰図画像の画像データを、ＣＰＵ１３の内部メモ
リに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転
角θを用いて、鳥瞰図画像を回転移動する。この回転移
動を行うための変換式を、下記式（３）に示すが、この
変換式を用いたＣＰＵ１３の内部処理により、回転角θ
にて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、
移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、
ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保
存する。 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（３） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＡ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 そして、全ての座標についてこれらの演算を行うことに
より、画像メモリＢに記憶された鳥瞰図画像（時刻Ｔに
おける合成鳥瞰図画像）から、移動後の鳥瞰図画像（時
刻Ｔにおける移動後鳥瞰図画像）を作成する。

【００４７】それとともに、新たにカメラ１により撮影
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１３に転送する。よっ
て、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成する。

【００４８】そして、この合成鳥瞰図画像を画像メモリ
Ｂに記憶して、その合成鳥瞰図画像をモニタ３に表示す
るのである。尚、合成鳥瞰図画像を作成する際には、自
車両の位置やカメラ１の視野角の画像なども加入して画
像メモリＢに記憶し、その合成鳥瞰図画像をモニタ３の
画面に表示してもよいが、自車両の位置やカメラ１の視
野角の画像などは画像メモリＢに記憶せずに、モニタ３
に画像メモリＢに記憶した合成鳥瞰図画像を描画する際
に、自車両の位置やカメラ１の視野角の画像など加えて
描画してもよい。

【００４９】次に、自車両が直進中の場合の処理の手
順について説明する。ハンドル角が０°で走行中の場合
には、車両は前進又は後進中であり、車両の移動は直線
移動となる。車両の速度が例えば５ｋｍ／ｈ以下の極低
速の場合には、車種（従って車速センサ５）によって
は、車速信号が入力しないか入力しても不正確なことが
ある。

【００５０】従って、ここでは、低速である場合には車
速信号を用いずに、画像処理による動きベクトルにより
車両の移動量を求める。例えば時刻Ｔの鳥瞰図画像から
時刻Ｔ＋１の鳥瞰図画像に変化した場合、両鳥瞰図画像
のマッチングをとって画像の動きベクトルの大きさＶを
求める。

【００５１】ここで、前記マッチングの手法を説明する
が、画像処理における従来の各種の手法を採用できる。
例えば画像Ａ、Ｂの所定の（マッチング用の）領域を、
図６に示す様に、複数の細かい領域（ピクセル）に分割
し、各画像Ａ、Ｂのピクセルの一致する程度が最も高い
ものを検出し、一致するピクセルの位置関係から、画像
Ａと画像Ｂの位置関係（即ち画像Ａがどれだけ移動した
か）を求めることができる。

【００５２】具体的には、図６に示す様に、各ピクセル
における例えば図形の明るさ（色彩でもよい）の程度を
数字で示す場合を考えると、ここでは、画像Ａの下３列
のピクセルの明るさと、画像Ｂの上３列のピクセルの明
るさとが一致する。従って、この場合には、画像Ａは、
１列のピクセルの幅だけ図の上下方向に移動して、画像
Ｂと一致すると見なすことができる。この場合は、車両
が図の下方に移動したことにより、画像Ｂの図形が上方
に移動したように見える。

【００５３】従って、下記式（４）に示す様に、動きベ
クトルの大きさＶ分だけ、鳥瞰図画像を平行移動させる ＸＡ＝ＸＢ ・・・（４） ＹＡ＝ＹＢ−Ｖ 但し、（ＸＡ、ＹＡ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 そして、以後は、前記の回転移動と同様に、全ての座
標についてこれらの演算を行うことにより、画像メモリ
Ｂに記憶された鳥瞰図画像から、移動後の鳥瞰図画像を
作成し、それとともに、新たにカメラ１により撮影した
画像に基づいて作成した鳥瞰図画像を、新たに画像メモ
リＡよりＣＰＵ１３に転送し、これらを合成して合成鳥
瞰図画像の画像データを作成する。

【００５４】そして、この合成鳥瞰図画像を画像メモリ
Ｂに記憶して、その合成鳥瞰図画像をモニタ３に表示す
るのである。 次に、後ろに障害物がある場合の処理の手順について
説明する。後ろに障害物がある場合には、画像処理の動
きベクトルで自車両の移動量を算出することができな
い。つまり、動きベクトルは、路面の画像に対してその
動きを求めているので、後ろに他の車両が駐車している
ために路面が見えない場合などには、正しい動きベクト
ルを求めることができない。

【００５５】この場合には、超音波センサ８の信号を用
い、その検出距離の変位から移動量を算出することがで
きる。例えば超音波センサ８の信号が前回Ｃ１（ｍ）、
今回Ｃ２（ｍ）となった場合には、下記式（５）によ
り、その移動量を求めることができる（但し、直進の場
合）。 ＸＡ＝ＸＢ ・・・（５） ＹＡ＝ＹＢ−（Ｃ１−Ｃ２） 但し、（ＸＡ、ＹＡ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 これにより、移動前と移動後の座標の対応関係が分かる
ので、この対応関係に基づいて前回の合成鳥瞰図画像を
移動させて移動後鳥瞰図画像を求めることができる。

【００５６】次に、画像処理を開始するタイミングつ
いて説明する。上述したカメラ１による画像の撮影から
合成鳥瞰図画像の作成までの処理は、例えば駐車時の様
に、車両が所定の低速（例えば１０ｋｍ／ｈ）以下にな
った場合に開始する。

【００５７】これにより、例えばバックギヤに入れるた
めに車両が停止したときには、その直前の前進時の履歴
の合成鳥瞰図画像ができているので、現時点にてカメラ
１で撮影しただけの場合と比べて、車両周囲の多くの画
像を表示することができる。 ｃ）次に、前記画像処理ユニット９等にて行われる処理
を、図７のフローチャートに基づいて説明する。

【００５８】図７に示す様に、まず、ステップ１００に
て、車速センサ７からの車速信号を読み込む。続くステ
ップ１１０では、車速が所定の低速（例えば１０ｋｍ／
ｈ）以下か否かを判定する。ここで肯定判断されるとス
テップ１２０に進み、一方否定判断されると前記ステッ
プ１００に戻る。

【００５９】ステップ１２０では、カメラ１で撮影した
画像のデータを入力する。続くステップ１３０では、ハ
ンドル角センサ６からハンドル角信号を入力する。続く
ステップ１４０では、ヨーレイトセンサ７からヨーレイ
ト信号を入力する。

【００６０】続くステップ１５０では、超音波センサ８
から超音波信号を入力する。続くステップ１６０では、
カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）
を行って、鳥瞰図画像を作成する。続くステップ１７０
では、前記鳥瞰図画像を画像メモリＡに記憶する。

【００６１】続くステップ１８０では、今回の処理が初
回の処理か否かを判定する。ここで肯定判断されるとス
テップ１９０に進み、一方否定判断されるとステップ２
００に進む。ステップ１９０では、初回の処理であるの
で、画像メモリＡに記憶した画像データを、画像メモリ
Ｂにも記憶し、前記ステップ１００に戻る。尚、画像メ
モリＢに記憶された鳥瞰図画像は、そのままモニタ３に
表示される（図８（ａ）参照）。一方、ステップ２００
では、初回の処理ではないので、車両が直進状態か否か
を、ハンドル角が０°か否かによって判定する。ここで
直進状態であると判定されるとステップ２３０に進み、
一方回転状態であると判定されるとステップ２１０に進
む。

【００６２】ステップ２１０では、車両が回転状態であ
るので、前記にて説明した手順に従って画像の処理を
行う。具体的には、ハンドル角、ヨーレイトにより、車
両の回転中心及び回転角を求める。続くステップ２２０
では、前記ステップ２１０で求めた回転中心、回転角を
用い、前記式（４）に基づいて、鳥瞰図画像を回転す
る。つまり、画像メモリＢに記憶されている鳥瞰図画像
（前回の合成鳥瞰図画像が記憶されている場合にはその
合成鳥瞰図画像）を回転させて、移動後鳥瞰図画像を作
成する。

【００６３】続くステップ２８０では、新たに撮影され
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み、その第２鳥瞰
図画像と移動後鳥瞰図画像とを合成して合成鳥瞰図画像
を作成する。具体的には、新たな（第２鳥瞰図画像に対
応する）カメラ視野の外に、今回の車両の移動によりカ
メラ視野外となった部分、即ち、移動後鳥瞰図画像の一
部（詳しくは第２鳥瞰図画像と重なる部分は除いたも
の）を書き込むようにして、合成鳥瞰図画像を作成す
る。

【００６４】続くステップ２９０では、合成鳥瞰図画像
を、画像メモリＢに記憶する。続くステップ３００で
は、車両を示す画像や視野角を示す画像などを加味し
て、画像メモリＢに記憶した合成鳥瞰図画像をモニタ３
に表示し（図８（ｂ）参照）、一旦本処理を終了する。

【００６５】一方、前記ステップ２００にて肯定判断さ
れて進むステップ２３０では、車両が直進状態であるの
で、超音波センサ８からの信号に基づいて、障害物との
距離が１．５ｍ以下であるかを判定する。ここで否定判
断されるとステップ２４０に進み、一方肯定判断される
とステップ２５０に進む。

【００６６】ステップ２４０では、車両後方には近くに
障害物が無いので、画像メモリＡと画像メモリＢとの画
像データから動きベクトルを求める処理を行う。続くス
テップ２６０では、動きベクトルの大きさから、画像
（前回の合成鳥瞰図画像）の移動量を求める。

【００６７】続くステップ２７０では、画像（前回の合
成鳥瞰図画像）を、前記移動量の分だけ平行移動させて
移動後鳥瞰図画像を作成し、前記ステップ２８０〜３０
０の処理に進んで、モニタ３に新たな合成鳥瞰図画像を
表示し（図８（ｃ）参照）、一旦本処理を終了する。

【００６８】一方、前記ステップ２３０にて肯定判断さ
れて進むステップ２５０では、障害物との距離が１．５
ｍ以下と近いので、即ち、車両後方の路面の鳥瞰図画像
から移動量を求めることができないので、超音波センサ
８による障害物の検出距離の変位量からの車両の移動量
を求める。

【００６９】続くステップ２６０では、車両の移動量は
画像（前回の合成鳥瞰図画像）の移動量と方向が反対と
して、画像の移動量を決定し、前記ステップ２７０〜３
００の処理に進んで、モニタ３に新たな合成鳥瞰図画像
を表示し、一旦本処理を終了する。

【００７０】以後同様な処理を、新たにカメラ１で撮影
された画像が取り込まれる毎に実施する。つまり、順
次、合成鳥瞰図画像を作成して記憶するとともに、その
合成鳥瞰図画像を車両の移動に応じて移動させて移動後
鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第
２鳥瞰図画像とを合成して新たな合成鳥瞰図画像として
モニタ３に表示する処理を繰り返してゆく。これによ
り、モニタ３には、図８に示す様な連続した画像が表示
される。

【００７１】ｄ）この様に、本実施例では、車両が所定
の速度以下の低速である場合（例えば１０ｋｍ／ｈ）に
は、車速信号以外の他の車両信号(ハンドル角及びヨー
レイト)や、異なる撮影時間に対応する鳥瞰図画像間の
画像データに基づいて、車両の移動状態を推定して、移
動後鳥瞰図画像を作成するので、車速信号が得られない
車種や低速では車速信号が不正確になる車種の場合で
も、常に精度の高い合成鳥瞰図画像を作成して、モニタ
３に表示することができる。

【００７２】また、本実施例では、例えば後方に他の車
両等があり路面の画像を撮影できない場合（従って路面
の画像から移動状態が分からない場合）には、超音波セ
ンサ８により検出した障害物との距離の変化を車両の移
動距離とみなして、この移動距離に基づいて、移動後鳥
瞰図画像を作成することができる。よって、その様な場
合でも、正確な合成鳥瞰図画像をモニタ３に表示するこ
とができる。

【００７３】更に、本実施例では、合成鳥瞰図画像等を
作成する画像処理の開始のタイミングを、停車の可能性
のある様な低速になった場合（例えば１０ｋｍ／ｈ）と
しているので、例えばバックで駐車を開始する様な場合
には、それ以前の時点における車両の周囲の画像をも表
示することができ、駐車の操作の際に非常に便利であ
る。

【００７４】尚、本発明は前記実施例になんら限定され
るものではなく、本発明を逸脱しない範囲において種々
の態様で実施しうることはいうまでもない。 （１）例えば前記実施例では、車両周辺画像処理装置に
ついて述べたが、この装置による処理を実行させる手段
を記憶している記録媒体も、本発明の範囲である。

【００７５】（２）例えば記録媒体としては、マイクロ
コンピュータとして構成される電子制御装置、マイクロ
チップ、フロッピィディスク、ハードディスク、光ディ
スク等の各種の記録媒体が挙げられる。つまり、上述し
た車両周辺画像処理装置の処理を実行させることができ
る例えばプログラム等の手段を記憶したものであれば、
特に限定はない。

【図面の簡単な説明】

【図１】 実施例の車両周辺画像処理装置の主要構成を
示す説明図である。

【図２】 実施例の車両周辺画像処理装置の電気的構成
を示す説明図である。

【図３】 実施例の車両周辺画像処理装置により用いら
れる画像を示し、（ａ）はカメラにより撮影された画像
の説明図、（ｂ）は鳥瞰図画像を示す説明図である。

【図４】 実施例の車両周辺画像処理装置による座標変
換の際の位置関係を示す説明図である。

【図５】 実施例の車両周辺画像処理装置による車両の
回転時の移動量を求めるための手法を示す説明図であ
る。

【図６】 実施例の車両周辺画像処理装置による車両の
直進時の移動量を求めるための手法を示す説明図であ
る。

【図７】 実施例の車両周辺画像処理装置の処理を示す
フローチャートである。

【図８】 実施例の車両周辺画像処理装置により表示さ
れるモニタ画像を示

【符号の説明】

１…カメラ ３…車載モニタ（モニタ） ５…車速センサ ６…ハンドル角センサ ７…ヨーレイトセンサ ８…超音波センサ ９…画像処理ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柳川 博彦 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 3D020 BA05 BC03 BE03 5C054 FD01 FE12 FE19 GA01 GA02 GA04 GB01 GB15 HA30

Claims (12)

【特許請求の範囲】
1. 【請求項１】 車両周辺の画像を撮影する撮影手段と、
   画像を表示する表示手段とを備えた車両に対して、前記
   撮影手段により撮影された画像を処理して前記表示手段
   に表示する車両周辺画像処理装置において、 前記撮影手段により撮影された画像に基づいて作成され
   た第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、 前記第１鳥瞰図画像を、前記車両の移動状態に応じて移
   動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画
   像作成手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
   鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合
   成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、 を備えるとともに、 前記車両が所定の速度以下の低速である場合には、車速
   信号以外の他の車両信号又は異なる撮影時間に対応する
   鳥瞰図画像間の画像データに基づいて、前記車両の移動
   状態を推定して、前記移動後鳥瞰図画像を作成すること
   を特徴とする車両周辺画像処理装置。
2. 【請求項２】 前記車両が直線状態か回転状態かを判定
   して、前記車両の移動状態を推定することを特徴とする
   前記請求項１に記載の車両周辺画像処理装置。
3. 【請求項３】 前記車両が直進状態であると判定された
   場合には、異なる撮影時間に対応する鳥瞰図画像間の画
   像データに基づいて、前記車両の移動状態を推定して、
   前記移動後鳥瞰図画像を作成することを特徴とする前記
   請求項１又は２に記載の車両周辺画像処理装置。
4. 【請求項４】 前記車両が直進状態であると判定された
   場合には、異なる時間における当該車両と周囲の物体と
   の距離のデータから、前記車両の移動状態を推定して、
   前記移動後鳥瞰図画像を作成することを特徴とする前記
   請求項１又は２に記載の車両周辺画像処理装置。
5. 【請求項５】 前記車両が回転状態であると判定された
   場合には、ハンドル角及びヨーレイトに基づいて、前記
   車両の移動状態を推定して、前記移動後鳥瞰図画像を作
   成することを特徴とする前記請求項１又は２に記載の車
   両周辺画像処理装置。
6. 【請求項６】 車両周辺の画像を撮影する撮影手段と、
   画像を表示する表示手段とを備えた車両に対して、前記
   撮影手段により撮影された画像を処理して前記表示手段
   に表示する車両周辺画像処理装置において、 前記撮影手段により撮影された画像に基づいて作成され
   た第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、 前記第１鳥瞰図画像を、前記車両の移動状態に応じて移
   動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画
   像作成手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
   鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合
   成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、 を備えるとともに、 異なる撮影時間に対応する鳥瞰図画像間の画像データに
   基づいて、前記車両の移動状態を推定することが困難な
   場合には、前記車両と周囲の物体との距離を検出する距
   離検出手段による信号に基づいて、前記車両の移動状態
   を推定して、前記移動後鳥瞰図画像を作成することを特
   徴とする車両周辺画像処理装置。
7. 【請求項７】 前記車両と周囲の物体との距離を、超音
   波センサにより検出することを特徴とする前記請求項４
   又は６に記載の車両周辺画像処理装置。
8. 【請求項８】 車両周辺の画像を撮影する撮影手段と、
   画像を表示する表示手段とを備えた車両に対して、前記
   撮影手段により撮影された画像を処理して前記表示手段
   に表示する車両周辺画像処理装置において、 前記撮影手段によって撮影された画像に基づいて作成さ
   れた第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、 前記第１鳥瞰図画像を、前記車両の移動状態に応じて移
   動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画
   像作成手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
   鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合
   成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、 を備えるとともに、 前記車両が所定の速度以下の低速である場合には、少な
   くとも前記鳥瞰図画像作成手段、移動後鳥瞰図画像作成
   手段、及び合成鳥瞰図画像作成手段の処理を開始するこ
   とを特徴とする車両周辺画像処理装置。
9. 【請求項９】 前記第１鳥瞰図画像として、今回の合成
   鳥瞰図画像より前に作成した合成鳥瞰図画像を用いるこ
   とを特徴とする前記請求項１〜８のいずれかに記載の車
   両周辺画像処理装置。
10. 【請求項１０】 前記合成鳥瞰図画像は、前記第２鳥瞰
    図画像を表示する表示領域以外に、前記移動後鳥瞰図画
    像を加入した画像であることを特徴とする前記請求項１
    〜９のいずれかに記載の車両周辺画像処理装置。
11. 【請求項１１】 前記表示手段に前記合成鳥瞰図画像を
    表示する場合には、自車両を示す画像を加えて表示する
    ことを特徴とする前記請求項１〜１０のいずれかに記載
    の車両周辺画像処理装置。
12. 【請求項１２】 前記請求項１〜１１のいずれかに記載
    の車両周辺画像処理装置による処理を実行させる手段を
    記憶していることを特徴とする記録媒体。