JPWO2000064175A1

JPWO2000064175A1 - 画像処理装置および監視システム

Info

Publication number: JPWO2000064175A1
Application number: JP2000-613188A
Authority: JP
Inventors: 修作岡本; 雅通中川; 一生登; 淳森村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-04-16
Filing date: 2000-04-17
Publication date: 2002-07-30
Anticipated expiration: 2020-04-17

Abstract

(57)【要約】車両の周囲を撮影する複数のカメラの撮像画像を用いて、車両の上方の仮想視点から見た合成画像を生成する。合成画像において、自車両が存在する車両領域には、自車両のイラスト画像または実画像を表示する。また、いずれのカメラからも撮影されない自車両周囲の領域は、死角領域として表示する。

Description

【発明の詳細な説明】

技術分野本発明は、複数のカメラによって撮像された画像を用いて合成画像を生成する
画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに
利用される監視システムに有効な技術に属する。背景技術従来の一般的な監視システムでは、監視対象となる部分を１台または複数台の
監視カメラで撮影し、その画像をモニタに表示する構成が一般的である。この場
合、通常は、設置されたカメラの台数に応じて、モニタを準備する。また、従来の車両用の安全監視システムとしては、例えば、車両の周囲を撮影
するカメラを設置し、カメラで撮影した画像を運転席近くに設置したモニターに
表示させるものがある。このシステムにより、運転者は、車両後方のような、目
視やミラーでは安全確認が困難な場所を、モニタで確認することができる。さらに、日本国特許公報第２６９６５１６号では、ギアや車速に応じて、モ
ニタ画面の分割表示を行う構成が開示されている。具体的には、車両が停止・微
速状態にあると判定したときは、モニタ画面を３分割して、車両の左右および下
方に配置された３個のカメラの撮像画像を合成して再生し、車両が前方走行状態
にあると判定したときは、モニタ画面を２分割して、車両の左右に配置された２
個のカメラの撮像画像を合成して再生する。また、日本国特許公開公報特開平１１−７８６９２号では、車両用映像提示
装置として、遭遇した場面毎に的確な映像を合成・表示する構成が開示されてい
る。具体的には、後退車庫入れ状態か、前進車庫入れ状態か、縦列駐車状態か、
あるいは見通しの悪い交差点に進入した状態か等の車両の運転状態に応じて、カ
メラ画像の変形・合成を行う。しかしながら、このような従来の構成は、車両の運転者などのようなユーザに
とって、必ずしも利用しやすいシステムであるとはいえない。発明の開示本発明は、画像処理装置または監視システムとして、車両の運転者などのユー
ザの利便性を、従来よりもさらに向上させることを目的とする。具体的には、本発明は、画像処理装置として、車両の周囲を撮影する複数のカ
メラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画
像を生成する画像処理部を備え、前記画像処理部は、前記仮想視点の位置、視線
の向きおよび焦点距離のうちの少なくともいずれか１つを、前記車両の走行状態
に応じて変更するものである。そして、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離
のうちの少なくともいずれか１つを、前記車両の走行速度に応じて変更するのが
好ましい。また、前記画像処理部は、仮想視点の位置、視線の向き、および焦点距離のう
ちの少なくともいずれか１つの変更とともに、変更後の仮想視点の視野範囲外画
像の取込の制御を行うのが好ましい。さらに、変更後の仮想視点の視野範囲外画
像の取込の制御を、画像合成のためのモデルを変更することによって行うのが好
ましい。また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離の
うちの少なくともいずれか１つを、前記車両の舵角に応じて変更するのが好まし
い。また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離の
うちの少なくともいずれか１つを、前記車両が備えている物体検出センサによる
検出結果に応じて変更するのが好ましい。また、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテ
ーブルから切り出したマッピングテーブルを用いて合成画像の生成を行うもので
あり、かつ、前記原マッピングテーブルから切り出すマッピングテーブルを変更
することによって、仮想視点の位置、視線の向き、および焦点距離のうちの少な
くともいずれか１つの変更を行うのが好ましい。また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生
成する画像処理部を備え、前記画像処理部は、前記車両の走行状態に応じて、前
記仮想視点の視野範囲外画像の取込の制御を行うものである。また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点
から見た合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを
備え、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のう
ちの少なくともいずれか１つを、前記車両の走行状態に応じて変更するものであ
る。また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数
のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画
像処理部を備え、前記画像処理部は、仮想視点から見た第１の画像と、前記第１
の画像の仮想視点と位置、視線の向きおよび焦点距離のうちの少なくともいずれ
か１つが異なる視点から見た、または前記第１の画像とモデルが異なる第２の画
像とを含む画像を、前記合成画像として生成するものである。そして、前記第２の画像は、前記カメラ画像の少なくとも１つであるのが好ま
しい。また、前記第１の画像は、自車およびその周辺を示す近傍画像であり、前記第
２の画像は、前記近傍画像が示す自車の周辺領域よりも遠方の領域を示す遠方画
像であるのが好ましい。そして、前記画像処理部は、前記合成画像において、前
記近傍画像の周囲に前記遠方画像を配置するのが好ましい。さらには、前記遠方
画像は、前記近傍画像と連続性を有する画像であるのが好ましい。また、前記第１の画像は、自車両の少なくとも一部と自車両の周囲の少なくと
も一部とを示す画像であり、前記第２の画像は、前記第１の画像が示す領域の少
なくとも一部を拡大した画像であるのが好ましい。また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を
生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理
部は、仮想視点から見た第１の画像と、前記第１の画像の仮想視点と位置、視線
の向きおよび焦点距離のうちの少なくともいずれか１つが異なる視点から見た、
または前記第１の画像とモデルが異なる第２の画像とを含む画像を、前記合成画
像として生成するものである。また、具体的には本発明は、車両の周囲を撮影する複数のカメラの撮像画像を
入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記
画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも
一部と、自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領
域とを表示するものである。そして、前記合成画像は、前記車両の上方に設定された仮想視点から見た画像
であるのが好ましい。また、前記画像処理部は、前記車両領域に、自車両のイラスト画像または実画
像を表示するのが好ましい。また、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死
角領域の少なくとも一部を含むのが好ましい。あるいは、前記注意喚起領域は、
いずれのカメラからも撮影されない車両周囲の死角領域に相当する領域であるの
が好ましい。そして、前記画像処理部は、各カメラ画像における自車両の映り込
み領域を示す領域データを用いて、前記死角領域および車両領域を合わせた領域
の範囲を決定するのが好ましい。また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を
生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理
部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、
自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領域とを表
示するものである。また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数
のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画
像処理部を備え、前記画像処理部は、合成画像の画素とカメラ画像の画素との対
応関係を記述する第１のマッピングデータと、合成画像の画素とカメラ画像以外
の画素データとが対応することを示す識別子を記述する第２のマッピングデータ
とを有するマッピングテーブルを用いて、前記合成画像を生成するものである。そして、前記カメラ画像以外の画素データは、前記車両または、前記車両の周
囲の少なくとも一部にある死角領域を示すものであるのが好ましい。また、前記画像処理部はカメラ画像以外の所定の画像を記憶しており、前記第
２のマッピングデータは、合成画像の画素に対し、当該画素に対応する，記憶さ
れた前記所定の画像における座標値を記述するものであるのが好ましい。また、前記第２のマッピングデータは、合成画像の画素に対応する画素データ
を記述するものであるのが好ましい。また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を
備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよびカ
メラ画像以外の画素データのうちの一方または両方からなる複数の画素データと
の対応関係を記述し、かつ、各画素データに対してそれぞれ必要度を記述したマ
ッピングデータを用い、各画素データに対して必要度に応じた重み付けを行い、
前記合成画像の画素の画素データを生成するものである。また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を
備え、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテー
ブルから、合成画像の画素とカメラ画像の画素との対応関係を記述するマッピン
グテーブルを切り出し、切り出したマッピングテーブルを用いて、合成画像を生
成するものである。発明を実施するための最良の形態図１は本発明に係る監視システムの概念図である。図１に示す監視システムに
おいて、画像処理部２は、撮像部１から出力された複数のカメラ画像を入力とし
、これらを合成して、仮想視点から見たときの合成画像を生成する。この合成画
像は、例えば液晶ディスプレイのような表示部３によって表示される。画像処理
部２によって、本発明に係る画像処理装置が構成される。ここでの説明では、本監視システムは、車両に搭載されるものとし、駐車の際
のアシストなどを用途として用いられるものとする。図２はカメラ配置の例、図３は図２のように配置された各カメラの撮像画像の
例である。図２に示すように、ここでは５台のカメラが、車両のドアミラー付近
、後方ピラー付近および後部トランク上に、それぞれ配置されている。画像処理
部２は、図３に示す５枚のカメラ画像から、仮想視点から見たときの合成画像を
生成する。仮想視点は、コンピュータグラフィックスの映像生成におけるカメラ配置の場
合と同様に、３次元空間の任意の位置に、任意の方向に向けて、設定することが
できる。仮想視点を決定するパラメータは、３次元空間での仮想視点の位置を表
す座標（Ｘ座標，Ｙ座標，Ｚ座標）と、その向きを表す３つの角度すなわち方位
角（水平回転）、仰角（傾き）およびＴｗｉｓｔ（光軸周りの回転）と、視野範
囲を決める焦点距離とからなる。焦点距離は、仮想視点と合成画像を生成する投
影面との距離であり、小さいときは広角の画像になり、大きいときは望遠の画像
になる。実際のカメラなどでは、投影面のフィルムのサイズ（３５ｍｍ）に換算
したときの距離（ｍｍ）で表すことが多いが、本明細書では、合成画像のサイズ
を画素で表しているので、焦点距離も画素で考える。この仮想視点の位置、向きおよび焦点距離を状況に応じて選択することによっ
て、適切な合成画像を生成することが可能になる。図４は仮想視点と実カメラとの関係を概念的に示す図である。図４では、仮想
視点は車両の上方に設定されている。図５は生成された合成画像の例であり、図
４に示す仮想視点から見た、自車およびその近辺を示す画像が生成されている。本実施形態では、画像処理部２は、複数のカメラ画像から合成画像を生成する
ために、マッピングテーブル４を用いる。ここで、「マッピングテーブル」とは
、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテー
ブルのことをいう。なお、後述するように、マッピングテーブルには、合成画像
の画素とカメラ画像以外の画素データとの対応関係も記述可能である。＜マッピングテーブルの原理説明＞以下、マッピングテーブルを用いて、複数のカメラ画像から合成画像を生成す
る動作について、説明する。図６はこの動作の概要を説明するための図である。図６（ａ）〜（ｃ）は、互
いに異なる位置に取り付けられた３台のカメラ（図２におけるカメラ３，カメラ
１およびカメラ２にそれぞれ対応する）の撮像画像である。図６（ｄ）は、図６
（ａ）〜（ｃ）の各カメラ画像から合成画像を生成するために用いるマッピング
テーブルである。画像処理部２は、図６（ａ）〜（ｃ）の３枚のカメラ画像から
、図６（ｄ）のマッピングテーブルの情報を基にして、図６（ｅ）に示す１枚の
合成画像を生成するものとする。図６（ｄ）に示すマッピングテーブルは、図６（ｅ）に示す合成画像の各画素
について、それぞれマッピングデータを有している。各マッピングデータは、対
応する合成画像の画素が、どのカメラ画像の画素によって生成されるか、という
情報を記述する。合成画像を生成する、ということは、合成画像の全ての画素の値を決定すると
いうことである。ここでは、画像処理部２は左上から順次、ラスター順に合成画
像の画素の値を決定するものとし、その途中で画素Ｐ１の値を決定する場合を例
にとって、その動作を説明する。まず、合成画像の画素Ｐ１に対応するマッピングデータＭＰ１を参照する。マ
ッピングデータＭＰ１には、対応するカメラ番号と、そのカメラ画像の対応する
画素の座標とが記述されている。いまマッピングデータＭＰ１には、カメラ番号
として「１」、Ｘ座標として「３４０」、Ｙ座標として「１２１」が記述されて
いる。画像処理部２は、マッピングデータＭＰ１の記述内容に従って、図６（ｂ）に
示すカメラ１の撮像画像の座標（３４０，１２１）の画素データＣ１を参照し、
画素データＣ１の値から、合成画像の画素Ｐ１の値を決定する。ここでは、最も
簡単な決定方法として、画素データＣ１の値をそのまま画素Ｐ１の値とする。同
様の方法によって、合成画像の各画素について値を決定することによって、図６
（ｅ）に示すような合成画像が生成される。例えば、合成画像の画素Ｐ２に対応するマッピングデータＭＰ２は、図６（ｃ
）に示すカメラ２の撮像画像の画素データＣ２を示しているので、画素Ｐ２の値
として画素データＣ２の値が与えられる。同様に、合成画像の画素Ｐ３に対応す
るマッピングデータＭＰ３は、図６（ａ）に示すカメラ３の撮像画像の画素デー
タＣ３を示しているので、画素Ｐ３の値として画素データＣ３の値が与えられる
。図６（ｄ）のマッピングテーブルにおいて、領域Ｒ１はカメラ１に対応し、領
域Ｒ２はカメラ２に対応し、領域Ｒ３はカメラ３に対応する。各カメラに対応する３つの領域Ｒ１〜Ｒ３以外の領域Ｒ４は、各カメラの撮影
領域以外であったり、自車両によって隠されている死角であったりすることによ
って、対応するカメラ画像が存在しない領域である。例えば合成画像の画素Ｐ４
は、そのような領域Ｒ４の画素である。この場合、画素Ｐ４に対応するマッピン
グデータＭＰ４のカメラ番号には、対応するカメラ画像が存在しないことを示す
特定のカメラ番号（ここでは「−１」とする）を記述しておく。そして、カメラ
番号「−１」のとき、対応する画素Ｐ４には、撮影領域外や死角であることを示
す所定の画素データを設定する。ここでは、所定の画素データとして黒色を設定
する。図６の例では、マッピングテーブルは、車両上方の仮想視点から車両の周囲を
見下ろすような合成画像が生成可能なように構成されている。このようなマッピ
ングテーブルは、後述するように、いわゆる路面平面モデルを前提とした幾何変
換を用いて作成することが可能である。あるいは、合成画像を見ながら、試行錯
誤しながら作成してもかまわない。実際には、マッピングテーブルを用いることによって、合成画像とカメラ画像
の画素データとの対応関係を、用途に応じて、自由に設定することができる。例
えば、カメラ画像の任意の領域を拡大または縮小してカメラ画像の一部に合成し
たり、複数のカメラ画像を並べて合成するなど、任意の合成画像を生成すること
ができる。そして、いかなる合成画像を生成するマッピングテーブルであっても、画像処
理部２は、合成画像各画素について、マッピングデータの参照、指定されたカメ
ラ画像の画素データの参照、合成画像の画素値の設定を行うステップを実行する
だけですむので、その処理量は、画像合成をその都度演算によって実行する場合
に比べて格段に小さくなる。このため、本方式は、合成画像の種類にかかわらず
処理量が一定になり、かつ、高速処理が可能であるので、リアルタイムに一定時
間で処理を終える必要のある監視や運転補助などの用途に対して、特に適してい
る。（合成画像生成動作の第１例）図７は本実施形態に係る監視システムの構成例を示す図である。図７において
、画像処理部２は、画像合成部２００、表示パターン記憶部２１０および表示パ
ターン設定部２２０を備えている。表示パターン記憶部２１０は、上述したよう
なマッピングテーブルを複数個記憶するマッピングテーブル記憶部２１１を有し
ている。表示パターン設定部２２０は、マッピングテーブル記憶部２１１に格納
されたマッピングテーブルから、生成する合成画像の表示パターンに応じて１個
のマッピングテーブルＭＰＴを選択し、画像合成部２００のマッピングテーブル
参照部２０２に設定する。また、表示パターン記憶部２１０は、様々なイラスト画像を記憶するイラスト
記憶部２１２を有している。表示パターン設定部２２０は、合成画像の生成に必
要となるイラスト画像をイラスト画像記憶部２１２から読み出し、画像合成部２
００のイラスト参照部２０３に設定する。ここでは、自車両を示すイラスト画像
が設定されるものとする。画像合成部２００は、マッピングテーブル参照部２０２に設定されたマッピン
グテーブルＭＰＴに従って、撮像部１から出力されたカメラ画像を用いて、合成
画像を生成する。タイミング生成部２０５は、合成画像の動画系列を生成するた
めのタイミング信号を生成する。各カメラ１０１には、一対のフレームメモリ１０２ａ，１０２ｂが設けられて
いる。ここでは各カメラ１０１はＣＣＤタイプであるものとする。カメラがＣＭ
ＯＳタイプの場合には、カメラにフレームメモリの機能を持たせることも可能で
あり、この場合はフレームメモリを省くことができる。図８は合成画像の１フレームを生成するときの画像合成部２００の動作を示す
フローチャートである。まず、タイミング生成部２０５から出力されたフレーム開始のタイミング信号
に応じて、撮像部１は、各カメラ１０１が撮影した画像を書き込むフレームメモ
リ１０２ａと、画像合成部２００から参照されるフレームメモリ１０２ｂとを切
り替える（ステップＳ１１）。ここで、各カメラ１０１に対してフレームメモリ
を２個設けて切り替えを行うようにしたのは、後述するように、画像合成部２０
０はカメラ画像の画素データを、カメラ１０１からの書き込みの順序とは関係無
く、マッピングテーブルＭＰＴに応じて飛び飛びに参照するので、書き込みと参
照とが互いに干渉しないようにするためである。次に、タイミング生成部２０５は、合成処理を行う画素をマッピングテーブル
参照部２０２に指定するためのタイミング信号を生成する（ステップＳ１２）。
マッピングテーブル参照部２０２はマッピングテーブルＭＰＴから、指定された
画素に対応するマッピングデータを読み出し、画素合成部２０１に出力する（ス
テップＳ１３）。画素合成部２０１は、入力されたマッピングデータの内容に応じて、フレーム
メモリ１０２に格納された各カメラ画像の画素データや、イラスト参照部２０３
に格納されたイラスト画像の画素データなどを用いて、指定された合成画像の画
素の値を生成し、映像信号生成部２０４に出力する（ステップＳ１４）。このス
テップＳ１４の処理は、後に詳述する。映像信号生成部２０４は、タイミング生成部２０５から出力されたタイミング
信号に応じて、入力された合成画像の画素値を映像信号に変換し、表示部３に出
力する（ステップＳ１５）。画像合成部２００はフレームの全画素について、ステップＳ１２〜Ｓ１５の処
理を実行する（ステップＳ１６，Ｓ１７）。タイミング生成部２０５は、フレー
ムの最終画素の処理が終わると、次のフレームの処理を開始する。なお、フィールド単位でも、同様の処理を実行することができる。図９はマッピングテーブルの構成の例を示す図である。図９に示すマッピング
テーブルは、４種類のマッピングデータＭＰ１１〜ＭＰ１４を有している。各マ
ッピングデータの構成は基本的には図６に示すマッピングデータと同様であるが
、カメラ番号およびｘ，ｙ座標に加えて、その画素値の必要度が記述されている
。ここでは、「必要度」は０から１までの値によって表されており、値が大きい
ほど、その画素値の必要度は高いものとする。マッピングデータＭＰ１１は、合成画像の画素と、１個のカメラ画像の画素デ
ータとの対応関係を記述したものである。この場合は、必要度は「１」となる。
また、マッピングデータＭＰ１２は、合成画像の画素と、複数のカメラ画像の画
素データとの対応関係を記述したものである。この場合は、合成画像の画素値は
、カメラ画像の画素データに対し、その必要度に応じた重み付けを行った上で、
生成する。マッピングデータＭＰ１３は、合成画像の画素に、イラスト画像の画素データ
を貼り付けるために用いられるものである。すなわち、イラスト参照部２０３に
格納されたイラスト画像が認識できるように、イラスト参照部２０３にカメラ番
号として、いずれの実カメラにも対応しない番号（ここでは「９９」）を割り当
てる。マッピングデータＭＰ１４は、合成画像の画素が、いわゆる死角領域に当たる
ことを示すものである。すなわち、マッピングテーブルを生成する際に、合成画
像の画素を生成するために参照するカメラ画像の画素の座標値を計算した結果、
その座標値の画素が、例えば車両自体を撮している場合には、その合成画像の画
素は、車両領域と死角領域とを合わせた領域に当たる。この領域から車両領域を
除いたものが、死角領域になる。このため、例えばカメラ番号やｘ，ｙ座標に実
在しない値を与えることによって、死角領域であることを表す。ここでは、カメ
ラ番号として「−１」を与えるものとする。図１０は画素合成ステップＳ１４の詳細な処理の流れを示すフローチャートで
ある。まず、合成する画素の値を「０」に初期化する（ステップＳ２１）。次に、合成する画素に対応するマッピングデータから、カメラ番号、ｘ，ｙ座
標および必要度を読み出す（ステップＳ２２）。ステップＳ２２において、読み出したカメラ番号がイラスト画像を示す識別番
号「９９」であるとき（すなわちマッピングデータＭＰ１３の場合）、ステップ
Ｓ２４にすすみ、イラスト参照部２０３に格納されたイラスト画像の、指定され
たｘ，ｙ座標の画素データを読み出し、保持する。そして、ステップＳ２８にす
すむ。一方、カメラ番号が「９９」でないときは、ステップＳ２５にすすむ。ステップＳ２５において、読み出したカメラ番号が死角領域を示す識別番号「
−１」であるとき（すなわちマッピングデータＭＰ１４の場合）、ステップＳ２
６にすすみ、予め設定された死角領域を表す画素データを保持する。そして、ス
テップＳ２８にすすむ。一方、カメラ番号が「−１」でないときは、ステップＳ
２７にすすむ。ステップＳ２７において、カメラ番号が「９９」「−１」以外の場合、すなわ
ちイラスト画像を貼る領域でも死角領域でもないと判断される場合は、このカメ
ラ番号は実際のカメラを示す番号であるとして、対応するカメラ番号のフレーム
メモリ１０２に格納されたカメラ画像から、指定されたｘ、ｙ座標の画素データ
を読み出し、保持する。ステップＳ２８において、保持した画素データに、その必要度に応じて重み付
けを行い、合成画像の画素値に加算する。マッピングデータに記述された全ての
カメラ番号について、ステップＳ２２〜Ｓ２８の処理を繰り返す（ステップＳ２
９，Ｓ３０）。全てのカメラ番号について処理が終了すると、画素合成部２０１
は合成する画素の値を出力する（ステップＳ３１）。例えば図９に示すマッピングデータＭＰ１２の場合には、合成画像の画素値は
、次の式によって求められる。合成画像の画素値＝（カメラ２の座標（１０，１０）の画素値×０．３＋カメラ３の座標（５６，８０）の画素値×０．５）／（０．３＋０．５）
ここで、必要度の和（０．３＋０．５）によって除するのは、画素値を正規化す
るためである。以上のような動作によって、複数のカメラ画像を混合した合成画像や、イラス
ト画像を含む合成画像を、容易に生成することができる。また、カメラ画像とイ
ラスト画像とを必要度に応じて重み付けすることによって、実画像の上にイラス
ト画像を半透明で表示する合成画像も生成することができる。あるいは、カメラ
画像以外の画素データ同士を必要度に応じて重み付けすることによって、イラス
ト画像同士を半透明で表示するような合成画像も生成することができる。また、イラスト画像としては、自車のイラストや画像以外にも、例えば、画像
のスケールや指標などのような画面上で固定の形状を持つものを与えることが可
能である。なお、ここでの説明では、イラスト画像を参照するためのカメラ番号（「９９
」）と、死角領域であることを示すカメラ番号（「−１」）とを個別に設定する
ものとしたが、死角領域を表す画像をイラスト参照部２０３に格納しておけば、
イラスト画像を参照する場合と死角領域を示す場合とで、同じカメラ番号（「９
９」）を用いることが可能になる。この場合には、例えば、車両を表すイラスト
画像と死角領域を表す画像とを合わせて、イラスト参照部２０３に格納しておく
ことも可能になる。また、表示パターン設定部２２０は、表示モードの指定に応じて表示パターン
を変更する場合には、新たな表示パターンに応じたマッピングテーブルを、マッ
ピングテーブル記憶部２１１から読み出して、マッピングテーブル参照部２０２
に設定すればよい。あるいは、複数のマッピングテーブルを合成し、新たなマッ
ピングテーブルを生成してもよい。またここでは、図９に示すマッピングデータＭＰ１３のように、イラスト画像
を表示するためにイラスト参照部２０３のＸ，Ｙ座標値を記述するものとしたが
、この代わりに、イラスト画像の画素データ自体をマッピングデータに記述する
ことも可能である。図１１はこのような場合のマッピングデータの一例である。図１１のマッピン
グデータＭＰ１５は、カメラ番号が「９９」のとき、すなわちイラスト画像を表
示させるとき、Ｘ座標、Ｙ座標を記憶する領域に、イラスト画像の画素データ自
体をそのまま赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値で記憶する。例えば、Ｘ座標、Ｙ座標をそれぞれ１６ビットで表現するものとすると、その
領域は３２ビットのサイズになる。一方、イラスト画像の画像データをＲ，Ｇ，
Ｂ各色８ビットで表現するものとすると全部で２４ビットになるので、その上位
８ビットに“０”を付加し３２ビットのデータとして、座標領域に記憶する。こ
の場合、図１０のステップＳ２４では、イラスト参照部２０３を参照する代わり
に、マッピングデータＭＰ１５に記述されたＲ，Ｇ，Ｂ値を読み出し保持する。この場合には、マッピングテーブルとイラスト画像とは一体のものとなり、イ
ラスト参照部２０３は不要になる。また、マッピングデータからＸ，Ｙ座標値を
読み出して対応するイラスト画像の画素データを読み出すのではなく、マッピン
グデータから直接Ｒ，Ｇ，Ｂ値を読み出すので、処理の手順が１つ省けることに
なる。また、自車両のイラスト画像を表示するなどの場合には、通常は必要度を１．
０にすることが多いが、図１１の例のように、イラスト画像の必要度を１．０よ
りも小さい値にして他のカメラ画像と合成することによって、合成画像の上に、
スケールや指標を半透明で表示することが可能になる。＜基本的な合成画像の例＞マッピングテーブルは、大きく、単独マップと複合マップの２つに分けること
ができる。「単独マップ」とは、所定の空間モデル（詳細は後述する）を用いて
、カメラ画像と仮想視点画像とを画素レベルで対応づけたものである。「複合マ
ップ」については後述する。画像合成部２００にどのマッピングテーブルが設定されるかによって、画像処
理部２の表示モードが決定される。この表示モードは、手動によって、または自
動的に切り換えることができる。代表的な単独マップと、それを用いた合成画像例を、以下に示す。・鉛直見下ろし（図１２〜図１４）空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上
方であり、視線の向きは真下である。距離感が一目で分かることを特徴とし、主
たる用途としては駐車（直角、縦列）等が考えられる。図１２は８個のカメラ画
像を利用したもの、図１３は４個のカメラ画像を利用したもの、図１４は２個の
カメラ画像を利用したものである。・斜め見下ろし（図１５）空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上
方であり、視線の向きは斜め後ろ向きである。視線の角度を調整することによっ
て、視野を自由に変換することができる。このモードでは、自車後方が、正しい
位置関係で見渡すように一望できる。主たる用途としては、通常走行時のリアビ
ューモニタとして、あるいは、駐車動作開始時のような低速後退時の確認などが
考えられる。低速走行時には、速度に応じて視野や向きを切り替えるようにして
もよい。・パノラマ（図１６，図１７）空間モデルとしては、円筒モデルを用いる。図１６は前方パノラマモードであ
り、仮想視点の位置は、自車の先端部であり、視線の向きは真正面である。この
モードでは、走行方向前方の様子が分かるので、ブラインドコーナービューモニ
タとしての利用が考えられる。すなわち、狭い路地から広い通りに出るとき、こ
のモードによって広い通りの様子を一目で認識することができる。図１７は後方パノラマモードであり、仮想視点の位置は、自車の後端部であり
、視線の向きは真後ろである。このモードでは、自車後方部分がパノラマ１８０
度画像として見渡すように一望できる。主たる用途としては、走行時（特に高速
走行時）のリアビューモニタとしての利用が考えられる。・斜め見下ろし＋パノラマ（図１８）空間モデルとしては、路面平面モデルと円筒モデルとを用いる。すなわち、図
１８に示すように、自車後方の直近は、路面平面モデルを用いた斜め見下ろしモ
ードで表示し、自車後方遠方は、円筒モデルを用いたパノラマモードで表示する
。したがって、このモードは、斜め見下ろしモードとパノラマモードの両方の用
途に対応している。＜表示自動切替＞本監視システムは、これまで例示したマッピングテーブルを、様々な運転場面
に応じて適宜切り換えることによって、より安全で快適な運転をサポートするこ
とが可能となる。また、一つの運転操作においても、逐次変わりゆく自車周囲状
況に応じてマッピングテーブルを切り換えることは、運転者にとって必要不可欠
な機能となる。すなわち、合成画像の仮想視点の位置、視線の向きおよび焦点距離の少なくと
もいずれか１つを、車両の走行状態に応じて変更することによって、運転者の利
便性を向上させることができる。図１９は車両の走行状態に応じて、合成画像の仮想視点の高さを変更した場合
の例を示す図である。図１９（ａ）〜（ｆ）に示す各画像は、下に行くにつれて
仮想視点の高さが徐々に高くなっており、車両を含めた表示領域が次第に広くな
っている。すなわち、仮想視点の高さを下げることによってズームアップが実現
され、仮想視点の高さを上げることによってズームダウンが実現される。なお、
仮想視点の焦点距離を変更した場合でも、図１９と同様に合成画像を変化させる
ことができる。仮想視点の高さを切り替えるトリガーとしては、まず、車両の走行速度が考え
られる。例えば、車両の走行速度が上昇するにつれて、広い領域が表示されるよ
う仮想視点を高くする一方、低下するにつれて、狭い領域が表示されるよう仮想
視点を低くすればよい。あるいは、車両が、自車と障害物との距離を測定する物
体検出センサを備えているときは、その物体検出センサの出力信号を切替のトリ
ガーとして用いてもよい。例えば、検出された障害物との距離が、近くなるにつ
れて、狭い領域が表示されるよう仮想視点を低くする一方、遠くなるにつれて、
広い領域が表示されるよう仮想視点を高くすればよい。さらには、切替スイッチ
を設けておいて、運転手または他の乗員がそのスイッチを介して拡大・縮小を指
定できるようにしてもよい。図２０は車両の走行状態に応じて、合成画像の仮想視点の視線の向きを変更し
た場合の例を示す図である。図２０（ａ）〜（ｄ）に示す各画像は、下に行くに
つれて、仮想視点の視線の向きが、斜め後方から徐々に鉛直下方に変化している
。また、視線の向きとともに、合成画像を生成するためのモデルも変化している
。すなわち、視線の向きが斜めに傾くほど、疑似円筒モデルの合成画像の領域が
大きくなっており、より遠方が見やすくなっている。図２０では、仮想視点の視線の向きの変更とともに、変更後の仮想視点の視野
範囲外画像の取込が制御されている、といえる。すなわち、疑似円筒モデルを用
いることによって、仮想視点の視野範囲外の画像が合成画像に取り込まれている
。そして、車両の走行状態に応じて、仮想視点の視野範囲外画像の取込の有無、
そのサイズ、および、その撮像範囲が制御されている。仮想視点の視線の向きを切り替えるトリガーとしては、仮想視点の高さを切り
替える場合と同様に、車両の走行速度、スイッチ入力などが想定される。例えば
、車両の走行速度が低いときは、視線の向きを真下にしておき、走行速度が上昇
するにつれて、視線の向きを傾けて、より後方が表示されるようにすればよい。図２１は車両の舵角に応じて、合成画像の仮想視点の視線の向きを変更した例
を示す図である。図２１の例では、舵角に応じて、仮想視点を光軸周りに回転さ
せている。（ａ）はギアがバックでハンドルが真っ直ぐの場合の合成画像である
。この場合は車両が後方に直進するので、後方の領域が見やすくなるように、合
成画像中の自車両が真っ直ぐになり、自車両の左右の領域が均等に表示されるよ
うに、仮想視点を設定する。一方、（ｂ）はギアがバックでハンドルを左に切っ
た場合の合成画像である。この場合は車両は左後方に進むので、そのときに車が
移動する領域すなわち自車両の右側、右後方および後方が見やすくなるように、
仮想視点を光軸周りに回転させる。これにより、安全性が高まる。図２２は物体検出センサの出力信号に応じた画像切替の例を示す図である。同
図中、（ａ）は物体検出センサが自車両に近接した障害物を検出する前の画面で
ある。物体検出センサが自車両に近接した他の車両を検出したとき、画面は図２
２（ｂ）のように切り替わる。すなわち、検出した障害物との距離がより認識で
きるように、画像を拡大して表示する。このように、物体検出センサが障害物を検出したとき、画像を、障害物との距
離に応じて、段階的または連続的に拡大／縮小／回転などして表示することによ
って、障害物に対して、乗員の注意を喚起することができる。また、障害物が存
在する位置に応じて、仮想視点の位置を変更してもよい。さらに、図２３に示すように、障害物が存在する領域を拡大して表示するとと
もに、その領域を枠で囲んで表示してもかまわない。あるいは、枠を点滅させた
り、枠内の色を反転させてもよい。このようにすれば、乗員の注意をさらに確実
に喚起することができる。もちろん、画像を拡大せずに単に枠で囲んで表示する
だけであっても、乗員の注意を喚起することはできることはいうまでもない。ま
た、画面表示の変更とともに、警告音によって、障害物の存在を知らせるように
してもかまわない。図２４は物体検出センサの検出結果に応じた画像切替の他の例を示す図である
。図２４では、車両後方に障害物を検知したとき、仮想視点の視線の向きを、真
下からやや後ろ向きに変更している。これにより、車両後方の障害物がより見や
すくなっている。また、検出した障害物が合成画像の中心にくるように、仮想視
点を平行移動させてもよい。なお、図１９〜図２４では、仮想視点が車両の上方にある場合の合成画像を例
にとって示したが、仮想視点が他の位置にある場合であっても、車両の走行状態
に応じて仮想視点の位置、視線の向きおよび焦点距離のうちの少なくとも１つを
変更することによって、運転者の利便性を向上させることができる。仮想視点の
位置の他の例としては、リアトランクの位置や、運転者の頭の位置などが考えら
れる。また、図２０では、仮想視点の視線の向きの変更とともに、その視野範囲外画
像の取込を制御しているが、仮想視点の位置や焦点距離の変更とともに、その視
野範囲外画像の取込を制御してもよい。また、モデルを用いないで、仮想視点の
視野範囲外画像を取り込んでもかまわない。さらに、仮想視点を変えないで、仮
想視点の視野範囲外画像の取込の制御のみを、車両の走行状態に応じて、行って
もかまわない。（合成画像生成動作の第２例）表示画像の切替は、用いるマッピングテーブルを適宜変更することによって、
容易に実現することができる。ところがこの場合、表示画像の切替を連続的に行
うためには、多数のマッピングテーブルを準備しておくことが必要になる。この
ため、装置に膨大な記憶容量を有する記憶部を設けることが必要になるので、好
ましくない。ここでは、合成画像よりも大きい原マッピングテーブルを設けておき、この原
マッピングテーブルから切り出したマッピングテーブルを用いて、合成画像の生
成を行うものとする。この場合には、切り出すマッピングテーブルを適宜変更す
ることによって、表示画像の連続的な切替を容易に実現することができる。図２５は本例に係る監視システムの構成を示す図である。図７に示す構成と異
なるのは、マップ領域設定部３０２が、タイミング生成部２０５から出力された
合成画像の画素の座標と、表示パターン設定部２２０Ａによって設定されたマッ
ピングテーブルの領域指定情報とに基づいて、対応するマッピングテーブルの要
素を生成し、マッピングテーブル参照部２０２に出力する点である。マッピング
テーブル参照部２０２には、表示パターン記憶部２１０Ａが有する原マッピング
テーブル記憶部３０１に記憶された原マッピングテーブルが、表示パターン設定
部２２０Ａによって設定されている。すなわち、上述した第１例では、図８に示すステップＳ１３において、タイミ
ング生成部２０５によって設定された現在出力すべき合成画像の画素に対し、こ
の画素と同一位置にあるマッピングデータを読み出すものとしたが、本例では、
原マッピングテーブル上で、利用するマッピングテーブルの領域を設定した後に
、合成画像の画素に対応するマッピングデータの読み出しを行う。本例におけるマッピングデータの読み出し方法について説明する。図２６およ
び図２７は本例における合成画像と原マッピングテーブルとの関係を模式的に表
したものである。図２６の例では、原マッピングテーブルから切り出す領域のサ
イズを合成画像と同一のサイズに固定し、オフセット値を変えることによって、
合成画像の平行移動を実現する。図２７の例では、原マッピングテーブルから切
り出す領域のサイズおよび要素の読み出しステップを変えることによって、合成
画像の拡大・縮小を実現する。まず、合成画像の平行移動を行う場合について、図２６を参照して説明する。図２６（ａ）に示す合成画像は幅Ｗ＿ＤＩＳＰ，高さＨ＿ＤＩＳＰのサイズを
持ち、図２６（ｂ）に示す原マッピングテーブルは幅Ｗ＿ＭＡＰ、高さＨ＿ＤＩ
ＳＰのサイズを持つものとする。ここでは、原マッピングテーブルとして、車の
上空の仮想視点から車の周囲の広い範囲を見下ろしたような画像を作るものを考
える。これは、前述した第１例において、焦点距離が一定であるとすると、仮想
視点と投影面の距離が一定のまま、投影面のサイズが（Ｗ＿ＤＩＳＰ，Ｈ＿ＤＩ
ＳＰ）から（Ｗ＿ＭＡＰ，Ｈ＿ＭＡＰ）に拡大したと考えて、原マッピングテー
ブルを構成すればよい。投影面の拡大によって、原マッピングテーブルには、よ
り広範囲の領域に関する情報が含まれる。図２６（ｄ）はこのようなマッピング
テーブルの各要素を、対応するカメラ画像およびイラスト画像に置き換えた画像
である。次に、表示パターン設定部２２０Ａは、原マッピングテーブル上で、合成画像
生成のためのマッピングテーブルとして用いる領域を、原点（０，０）からのオ
フセット（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）によって指定する。点（ｏｆｆ＿ｘ，ｏｆ
ｆ＿ｙ）を開始点とした大きさ（Ｗ＿ＤＩＳＰ，Ｈ＿ＤＩＳＰ）の領域ＭＰＴが
、画像合成のために用いられるマッピングテーブルとなる。合成画像をラスター
走査して得られた画素のＸ、Ｙ座標にこのオフセット（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ
）を加算した位置のマッピングデータが、マッピングテーブル参照部２０２から
読み出され、画素合成部２０１に入力される。画素の合成処理は、第１例と同様
に、図１０のフローチャートに従って行われる。図２６（ｃ）は、図２６（ｂ）
に示すマッピングテーブルＭＰＴを用いて得られた合成画像である。オフセットを加えた座標が原マッピングテーブルの範囲を超えた場合は、画素
合成部２０１に通知し、予め設定した色（例えば黒）などを画素の値とするなど
領域が判るような表示を行う。本例によると、仮想視点を車両上方から路面を垂直に見下ろすように配置し、
路面平面モデルを用いた場合に、仮想視点を路面と平行に移動させたときの合成
画像を、マッピングテーブルを増やすことなく、生成することが可能になる。す
なわち、上述した第１例では、平行移動した仮想視点のそれぞれに対応するマッ
ピングテーブルが必要であったが、本例では１つの原マッピングテーブルのみで
済む。例えばスムーズな視点移動を行うために１画素ずつ仮想視点を移動するよ
うな場合、上述した第１例では、移動ステップの全部に対応する多数のマッピン
グテーブルが必要になるが、本例では、広範囲の１つの原マッピングテーブルに
おいて、マッピングテーブルを切り出す開始位置（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）を
変化させるだけで実現可能である。また本例では、例えばダイアルなどを回して
仮想視点の位置を変更したり、障害物検出センサの出力の大きさに比例して障害
物の方向へ仮想視点の位置を変更したりする場合に、細かいステップで仮想視点
の位置が変更できるため、状況に応じた合成画像を容易に生成できる。本例では、仮想視点を細かなステップで平行移動するために多数のマッピング
テーブルを用いる必要がないので、マッピングテーブルを記憶するためのメモリ
は１個の原マッピングテーブルを記憶可能な容量があればよい。また、第１例で
は、マッピングテーブルの切換や設定に時間がかかるのに対し、本例ではオフセ
ットの設定のみで済むので、処理の高速化を図ることができる。次に、同様の方法を用いて合成画像の拡大・縮小を行う場合について、図２７
を参照して説明する。図２７において、タイミング生成部２０５は（ａ）に示す合成画像の画素Ｐ１
の座標（ｘ，ｙ）を指定したとする。表示パターン設定部２２０Ａは、領域の開
始位置（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）とともに、要素の読み出しステップ（ｓｔｅ
ｐ＿ｘ，ｓｔｅｐ＿ｙ）を指定する。このとき、画素Ｐ１に対応するマッピング
データＭＤの座標を（ｕ，ｖ）とすると、座標（ｕ，ｖ）は次の式によって求め
られる。ｕ＝ｓｔｅｐ＿ｘ＊ｘ＋ｏｆｆ＿ｘｖ＝ｓｔｅｐ＿ｙ＊ｙ＋ｏｆｆ＿ｙ読み出しステップ（ｓｔｅｐ＿ｘ，ｓｔｅｐ＿ｙ）の値を変えることによって、
合成画像を滑らかに拡大・縮小することが可能になる。原マッピングテーブルか
ら切り出されるマッピングテーブルの領域が、読み出しステップ（ｓｔｅｐ＿ｘ
，ｓｔｅｐ＿ｙ）の変化に応じてＭＰＴ１，ＭＰＴ２，ＭＰＴ３，ＭＰＴ４と変
化したとき、合成画像は（ｄ），（ｅ），（ｆ），（ｇ）のように変化する。座標（ｕ，ｖ）が原マッピングテーブルの範囲を超えたときは、前述した平行
移動の場合と同様に、指定の色などを出力する。また、読み出しステップ（ｓｔ
ｅｐ＿ｘ，ｓｔｅｐ＿ｙ）の値は整数以外の値を用いることもでき、この場合は
、計算結果の（ｕ，ｖ）の値を整数に変換する。本例に係る拡大・縮小によると、仮想視点を車両上方から路面を垂直に見下ろ
すように配置し、路面平面モデルを用いた場合、仮想視点の高さまたは焦点距離
の変更によって視野範囲を拡大・縮小した場合と同様の、合成画像を生成できる
。例えば、運転者などからの指示やセンサ入力に応じて、原画像の一部を拡大表
示する場合、唐突に拡大画像を出力するのではなく、本例に係る方法を用いて滑
らかに拡大して表示することによって、拡大画像が原画像のどの領域を拡大した
ものであるかが把握しやすくなる。さらに、読み出しステップの変更とともに、オフセット値を変えることによっ
て、合成画像の拡大・縮小とともに、平行移動も実現することができる。なお、一般には、マッピングテーブルの領域を矩形に限定する必要はない。す
なわち、表示パターン設定部２２０Ａが、マッピングテーブルの領域を、四辺形
の４頂点の座標で指定するようにしてもよい。図２８において、マッピングテーブルの領域を凸形の四辺形とし、４点ｎ１，
ｎ２，ｎ３，ｎ４で指定する。このとき、合成画像の座標（ｘ、ｙ）の画素Ｐ１
に対応するマッピングデータＭＤの座標（ｕ，ｖ）は、次のように求めることが
できる。まず、頂点ｎ１，ｎ２を（ｙ／Ｈ＿ＤＩＳＰ：１−ｙ／Ｈ＿ＤＩＳＰ）に内分
する点ｎａの座標を求める。同様に、頂点ｎ３，ｎ４を（ｙ／Ｈ＿ＤＩＳＰ：１
−ｙ／Ｈ＿ＤＩＳＰ）に内分する点ｎｂを求める。次に、点ｎａ，ｎｂを（ｘ／
Ｗ＿ＤＩＳＰ：１−ｙ／Ｗ＿ＤＩＳＰ）に内分する点の座標を求めれば、これが
対応するマッピングデータＭＤの座標（ｕ，ｖ）となる。このような指定をすれば、平行移動、拡大、縮小、回転を含む、任意のマッピ
ングテーブルの領域指定が可能となる。なお、本方式によると、路面平面モデルを用いて、仮想視点が上方から路面を
垂直に見下ろす場合については、仮想視点の平行移動や、視野範囲の拡大・縮小
または路面に平行な回転のような仮想視点の変化と正確に一致する合成画像を生
成することができる。ただし、モデルや仮想視点の向きが異なる場合には、仮想
視点の変化と正確に一致する合成画像を生成することは、必ずしもできない。し
かしながら、このような場合でも、仮想視点の変化に近似する合成画像を生成す
ることは可能であるので、本方式は極めて有効である。＜複数種類の画像表示＞複数種類の合成画像を、併せて１つの画面に表示したり、合成画像とカメラ画
像とを同時に１つの画面に表示することによって、運転手の利便性を高めること
ができる。例えば、自車の近傍と遠方とを同時に表示したり、互いに異なる方向
の画像を同時に表示したり、白車の全体と拡大した自車の一部とを同時に表示し
たりすることによって、運転手は、画面表示を切り替えなくても、車両の周囲の
状況が的確に理解することができる。このような複数種類の画像表示は、複合マップを用いることによって、容易に
実現することができる。「複合マップ」とは、単独マップの必要な部分を切り出
して適当な変形を行い、貼り合わせたり、単独マップにカメラ画像を貼り合わせ
たマッピングテーブルのことをいう。次に説明するような画像表示は、複合マッ
プを用いて容易に実現可能であるが、これ以外の画像表示についても、単独マッ
プ同士や、単独マップとカメラ画像とを組み合わせることによって、様々な運転
場面に応じた複合マップを作ることは可能である。ここでは、車両上方に設定された仮想視点から見た，自車およびその周辺を示
す近傍画像としての、路面平面モデルを用いた見下ろし画像と、この見下ろし画
像を示す自車の周辺領域よりも遠方の領域を示す遠方画像とを含む画像を、表示
する例について、説明する。図２９はここでの説明の前提となるカメラ画像を示
す図である。図３０は第１の画像としての見下ろし画像の左右に、第２の画像としての斜め
後方を撮すカメラ画像を貼り付けた例である。この例では、第２の画像の視点は
、第１の画像の仮想視点と、位置、視線の向きおよび焦点距離が異なっている、
といえる。図３０の画像では、見下ろし画像の右側には、右斜め後方の風景を撮
すカメラ２の画像が左右反転されて配置されており、見下ろし画像の左側には、
左斜め後方の風景を撮すカメラ６の画像が左右反転されて配置されている。すな
わち、左右のドアミラー付近に設置されたカメラ２，６の画像が、実際にドアミ
ラーを介して見えるように、左右反転されて配置されている。したがって、運転
手は、ドアミラーを見るのと同じ感覚で、直感的に車両周囲の状況を理解するこ
とができる。もちろん、左右反転せずに表示してもかまわない。図３１は狭い範囲を示す第１の画像としての見下ろし画像と、広い範囲を示す
第２の画像としての見下ろし画像とを並べて表示した例である。この例では、第
２の画像の仮想視点は、第１の画像の仮想視点と、高さまたは焦点距離が異なっ
ている、といえる。図３１の画像を見ると、自車の近傍は詳細に、また広い範囲
はサムネイル的に、一度に見ることができる。図３２は第１の画像としての見下ろし画像の周囲に、第２の画像としての前後
左右の斜め見下ろし画像を貼り付けた例である。この例では、第２の画像の仮想
視点は、第１の画像の仮想視点と視線の向きが異なっている。図３３は第１の画
像としての見下ろし画像の周囲に、第２の画像としての疑似円筒モデルを用いた
魚眼レンズで見たような画像を貼り付けた例である。この例では、第２の画像は
第１の画像とモデルが異なっている。図３４は第１の画像としての見下ろし画像
の周囲に、第２の画像としての前後左右のパノラマ画像を貼り付けた例である。
この例では、第２の画像は、第１の画像と、仮想視点の位置およびモデルが異な
っている。図３２〜図３４の画像を見ると、自車の近傍においては距離感を保つ
ことができ、かつ、自車周囲遠方は見渡すように一望することができる。なお、見下ろし画像の前後左右全てに、遠方画像を貼り付ける必要は必ずしも
なく、見せたい方向のみ、例えば右側のみ、後方のみに遠方画像を表示するよう
にしてもかまわない。なお、図３５に示すように、見下ろし画像の周囲の前後左右に斜め見下ろし画
像を貼り付ける場合、表示領域の四隅に空白部を設けて、斜め見下ろし画像は互
いに連続性がないことを強調するようにしてもかまわない。さらに、図３２〜図３５のような画像表示を行う際には、周囲の遠方画像を、
フィルタ処理を施すことによって、ぼやかせて表示してもかまわない。これによ
り、運転者の注視領域を自車両の周辺に集中させることができる。また、周囲の
遠方画像の歪みを目立たないようにすることができる。このような部分的なぼかし処理は、単独マップを用いた画像表示の場合であっ
ても有効である。例えば、図５に示すような見下ろし画像の場合であっても、自
車両およびその近傍にはぼかし処理を行わず、他の駐車車両が映っているような
周辺領域にぼかし処理を行うことによって、同様の効果を得ることができる。駐
車時などの場合には、ぼかし処理を行わない領域は、自車両から１０ｍ以内の領
域に設定すると適切である。また、自車両から距離が離れるにつれてぼかし強度
を増加させてもよい。また、図３１の画像は、自車両と、自車両の周囲を示す第１の画像と、この第
１の画像が示す領域の少なくとも一部を拡大した第２の画像とを含む合成画像で
あるともいえる。もちろん、第１の画像が、自車両の全体ではなく自車両の一部
を示していたり、自車両の周囲の一部を示していたりしていても、かまわない。また、表示画面をマルチウィンドウにし、サブウィンドウに、上述したような
合成画像や、カメラ画像、仮想視点の位置を示す画像、文字情報などを表示する
ようにしてもよい。これにより、自車両の周囲状況がさらに容易に把握しやすく
なり、運転手の利便性が向上する。マルチ画面の表示方法としては、いろいろなものが考えられる。例えば、図３
６に示すように、カメラ画像や合成画像とともに、仮想視点の位置を示す画像を
サブウィンドウに表示してもよい。これにより、仮想視点の位置を容易に把握す
ることができる。また例えば、物体検出センサが障害物を検出したときに、各サブウィンドウの
カメラ画像または合成画像上にその障害物の位置を示す警告マークを表示させる
ともに、別のサブウィンドウに、文字によって、その障害物の位置を表示させて
もよい。＜死角領域および自車両領域の表示＞（その１）図３７はカメラ画像およびそのカメラ画像における自車両の映り込み領域を示
す領域データとしてのマスクデータの例を示す図である。図３７に示すように、
各カメラ画像において自車両が映り込んだ部分を認識し、認識した車両の映り込
み領域を示すマスクデータを、予め画像処理部２に記憶させておく。図３７に示
すマスクデータにおける黒色の部分が、車両の映り込み領域である。車両の映り
込み領域は、カメラの仕様と向き、および自車両の形状が定まれば、予め一意に
決定することができる。図３８（ａ）は図３７のカメラ画像を用いて合成した鉛直見下ろし画像である
。図３８（ａ）に示す合成画像では、画像の中央部に白く自車両が映り込んでお
り、多少見づらくなっている。そこで、各カメラ画像のマスクデータを、仮想視点から見た画像に変換し、合
成画像において、車両の映り込み領域を塗りつぶすことにする。この結果、図３
８（ｂ）に示すような画像が得られ、見やすさが改善される。また、図３８（ａ）では、画像の中央部に自車両が映り込んでいるため見づら
くなっているとともに、自車両が実際にどこにあるのかが分からないので、運転
しづらい。そこで、自車両のイラスト画像または実画像を、自車両が実際に存在
する位置に、スーパーインポーズする。例えば、画像処理部２は、標準の仮想視
点から見たことを前提とする自車両のイラスト画像または実画像を予め記憶して
おき、その画像を、表示する合成画像の仮想視点から見た画像に変換し、スーパ
ーインポーズすればよい。この結果、図３８（ｃ）に示すような画像が得られ、
周りの物体に対する自車両の大きさや相対的な位置関係が、一目で分かるように
なった。自車両画像の変換は、前述したマッピングテーブルを用いることによっ
て、容易に実現できる。この場合、標準の仮想視点としては、例えば自車両の上方に設けた仮想視点や
、側面に位置する仮想視点や、自車両の前方または後方などに設けた仮想視点を
、用いることができる。また、標準の仮想視点を複数個設けて、複数の標準の仮
想視点に対してそれぞれ画像を準備してもよい。そして、合成画像を生成するた
めの仮想視点の位置が決まると、その仮想視点と各標準の仮想視点との位置関係
から、画像変換時に画像の歪みが最も小さくなる標準の仮想視点を選択するよう
にしてもかまわない。なお、自車両のイラストまたは実画像を貼り付ける代わりに、ＣＡＤ／ＣＡＭ
やＣＧの分野で公知のサーフェスモデルやソリッドモデルを用いた自車両の３次
元モデルを、合成画像に貼り付けるようにすることも可能である。この場合も、
標準の仮想視点から見た３次元モデルを表す画像を予め準備しておき、この画像
を、表示する合成画像の仮想視点から見た画像に変換し、スーパーインポーズす
ればよい。この変換も、前述したマッピンテーブルを用いることによって、容易
に実現することができる。さらに、自車両が実際に存在する領域を示す画像として、カメラ画像から生成
した合成画像そのものを利用するようにしてもよい。また、自車両の一部、例え
ばバンパー部分のみを合成画像で表示し、これ以外の部分はイラストまたは実画
像を貼り付けるようにしてもかまわない。（その２）仮想視点から見た合成画像には、いずれのカメラの撮像範囲にも属さない領域
が含まれる場合ある。また、自車両が妨げになって、各カメラからは撮像できな
い領域も含まれる場合がある。この問題を解決するために、上述の（その１）では、車両の映り込み領域に所
定の画素データを与えて塗りつぶすことによって、合成画像をより見やすくした
。ここで、図３９に示すように、自車両が映ったカメラ画像をそのまま仮想視点
画像に変換すると、変換された自車両画像が合成画像に含まれることになり、見
にくくなる（Ａ１）。この場合は、自車両が映る領域を塗りつぶすことによって
、見やすさは改善される。ところが、仮想視点画像において、自車両が本来存在しない部分に、自車両の
一部が映ってしまう場合が起こりうる（Ａ２）。このような場合は、仮想視点画
像において自車両の部分を塗りつぶすと、本来見えるべき部分までが消えてしま
うので、好ましくない。この問題は、原カメラ画像を仮想視点画像に変換する際
に利用する空間モデルが、カメラに映っている実世界と異なる（ほとんどは単純
化される）場合に起こりうるものである。このため、この問題を原理的に解決す
るためには、実世界の奥行き情報を実時間で計算することが必要となり、非常に
高速な演算能力が装置に要求される。したがって、実施は困難である。そこで、次のような方法によって、この問題を解決する。すなわち、合成画像の画素が車両の映り込み領域に含まれるか否かを、原カメ
ラ画像と対になるマスクデータを参照して判断し、この画素の生成を、車両の映
り込み領域に含まれる場合とそうでない場合とにおいて切り換える。すなわち、
マスクデータを仮想視点画像に変換するのではなく、マスクデータを、原カメラ
画像の形態のまま用いる。図４０はマスクデータの一例を示す図である。図４０に示すように、各カメラ
画像に対して、自車両の映り込み部分など仮想視点画像合成に用いない領域を示
すマスクデータが設けられている。この場合には、例えば、合成画像の生成のためにカメラ画像の画素データを参
照するとき、このカメラ画像に対応するマスクデータも参照し、その画素が車両
の映り込み領域に含まれるときには、画素の生成を行わないで、死角領域である
ことが識別可能な色で塗りつぶすなどの処理を行えばよい。また前述のマッピングデータＭＰ１４のように、合成画像の画素が死角領域に
含まれるか否かの情報を、マッピングテーブル自体に持たせてもよい。この場合
には、仮想視点画像合成の際に、フレーム毎にマスクデータを参照する必要が無
くなり、処理の高速化が実現できる。また、マスクデータを蓄える記憶部を設け
る必要がない、という利点がある。図４１は画像合成の結果の一例を示す図である。図４１に示す合成画像では、
自車両が存在する車両領域と、自車両の周囲の死角領域とが、示されている。車
両領域を示すことによって、自車両と周囲の状況との位置関係や距離などが、運
転者から把握しやすくなる。また、運転席からは直接見えにくい領域も合成画像
によって確認できるようになるが、さらに死角領域を示すことによって、いずれ
のカメラからも撮影されない領域を運転者に認識させることができるので、安全
性が向上する。なお、自車両が存在する車両領域の全てを示す必要は必ずしもなく、車両領域
の一部を示す場合もあり得る。例えば、カメラの設置台数が限られており、車両
およびその周囲の一部しか撮影されない場合には、撮影された車両領域の一部と
、その周囲の死角領域のみが示される。あるいは、車両周囲の特定の一部を拡大
表示させるような場合には、表示する車両領域の一部と、その周囲の死角領域が
示される。また、死角領域の代わりに、車両の乗員などの注意を喚起するための注意喚起
領域を示してもよい。この注意喚起領域は、いずれのカメラからも撮影されない
車両周囲の死角領域を含んだ領域であってもよいし、死角領域そのものに相当す
る領域であってもかまわない。また、注意喚起領域は、車両の周囲の一部を示す
ものであってもよい。注意喚起領域は、カメラの撮影範囲にかかわらず、車両領域との位置関係のみ
によって予め設定可能であるので、簡易な処理で合成することが可能である。ま
た、注意喚起領域が死角領域を含んでいるとき、死角領域ではない、カメラから
撮影された部分も注意喚起領域として隠されてしまう可能性があるが、例えば、
注意喚起領域を半透明表示して、死角領域と併せて表示するようにしてもよい。図４２はマスクデータを用いて死角領域を求め、イラスト画像を貼り付ける場
合におけるマッピングデータの生成手順を示す図である。図４２において、＜Ｐ
Ｔ１＞は１個のカメラ画像から生成される合成画像の画素、＜ＰＴ２＞は２個の
カメラ画像を参照するが、カメラ画像の１つが車両の映り込みのために除去され
、残りの１個のカメラ画像から生成される合成画像の画素、＜ＰＴ３＞は１個の
カメラ画像を参照するが、そのカメラ画像が車両の映り込みのために除去される
合成画像の画素、＜ＰＴ４＞は１個のカメラ画像を参照するが、そのカメラ画像
が車両の映り込みのために除去され、かつ、車両のイラスト画像が貼られる合成
画像の画素である。まず、ステップ１において、参照座標および必要度の計算を行う。合成画像の
画素に対し、全てのカメラ画像について参照座標を計算する。この参照座標の計
算は、後述する幾何演算によって行う。このとき、求めた参照座標がカメラ画像
の撮影範囲外（すなわち死角）にあるときは、座標値として（−１，−１）を記
述する。またここでは、参照するカメラの台数を求め、その逆数を必要度として
与えるものとする。必要度の与え方は、他の方法でもかまわないし、人手による
入力で与えてもよい。このステップ１において、＜ＰＴ１＞が参照するのはカメ
ラ６、、＜ＰＴ２＞が参照するのはカメラ４，５、＜ＰＴ３＞が参照するのはカ
メラ６、＜ＰＴ４＞が参照するのはカメラ２であることを得る。次に、ステップ２において、車両の映り込み領域を示すマスクデータを参照し
て、死角の処理を行う。座標値が（−１，−１）以外のカメラに対応するマスク
データにおいて、その座標値が示す点が、車両の映り込み領域に属するか否かを
判断する。車両の映り込み領域に属するときは、その座標値を（−１，−１）に
変換する。この変換によって、参照するカメラの台数が減ったときは、必要度の
値を再度計算する。＜ＰＴ１＞については、図４３（ｄ）に示すように、カメラ６のマスクデータ
において点（４５０，２００）は車両の映り込み領域に属しないので、座標値の
変換は行わない。＜ＰＴ２＞については、図４３（ｂ）に示すように、カメラ４
のマスクデータにおいて点（１５０，２８０）は車両の映り込み領域に属するの
で、カメラ４の座標値を（−１，−１）に変換する。一方、図４３（ｃ）に示す
ように、カメラ５のマスクデータにおいて点（４９０，２８０）は車両の映り込
み領域に属しないので、カメラ５の座標値は変換しない。そして、その必要度を
「１」に変換する。＜ＰＴ３＞については、図４３（ｄ）に示すように、カメラ
６のマスクデータにおいて点（１１０，２５０）は車両の映り込み領域に属する
ので、カメラ６の座標値を（−１，−１）に変換する。＜ＰＴ４＞については、
カメラ２のマスクデータにおいて点（６００，２９０）は車両の映り込み領域に
属するので、カメラ４の座標値を（−１，−１）に変換する。次に、ステップ３において、画像合成に最低限必要なデータにするために、冗
長なデータの整理を行う。まず、座標値が（−１，−１）であるカメラ番号を全
て「−１」に変更する。そして、全てのカメラ番号が「−１」である場合は、こ
れらのデータを１つに統合する（＜ＰＴ３＞，＜ＰＴ４＞）。また、「−１」以
外のカメラ番号がある場合は、カメラ番号が「−１」であるデータを除去する（
＜ＰＴ１＞，＜ＰＴ２＞）。そして、ステップ４において、自車両のイラスト画像の貼り付けを行う。自車
両のイラスト画像を貼り付ける合成画像の画素については、マッピングデータの
カメラ番号を「９９」に変換し、イラスト画像の参照座標を設定する。ここでは
、＜ＰＴ４＞がイラスト画像を貼り付ける画素であるので、カメラ番号を「９９
」に変換するとともに、座標値をイラスト画像の参照座標値（３６０，４４）に
変換する。図４４（ａ）はステップ１終了時におけるマッピングデータを用いた場合の合
成画像の例、図４４（ｂ）はステップ３終了時におけるマッピングデータを用い
た場合の合成画像の例、図４４（ｃ）はステップ４終了時におけるマッピングデ
ータを用いた場合の合成画像の例である。図４５はマスクデータを用いないで、注意喚起領域を指定する場合におけるマ
ツピングデータの生成手順を示す図である。図４５において、＜ＰＴ５＞は１個
のカメラ画像から生成される合成画像の画素、＜ＰＴ６＞は注意喚起領域に指定
される合成画像の画素、＜ＰＴ７＞は注意喚起領域に指定されるが、車両のイラ
スト画像が貼られる合成画像の画素である。まず、ステップ１’において、初期マッピングテーブルの生成を行う。これは
、図４２に示すステップ１およびステップ３の処理によって実行される。次に、ステップ２’において、注意喚起領域の指定を行う。ステップ１’で生
成した初期マッピングテーブルを用いて合成画像を作成し、この合成画像におい
て、注意喚起領域を指定する。次に、ステップ３’において、注意喚起領域に該当するマッピングデータの書
き換えを行う。ステップ２’で指定された注意喚起領域に該当するマッピングデ
ータを、カメラ番号「−１」、座標（−１，−１）に変換する。そして、参照す
るカメラの台数が減ったときは、必要度の値を再度計算する。そして、ステップ４’において、自車両のイラスト画像の貼り付けを行う。こ
こでは、＜ＰＴ７＞がイラスト画像を貼り付ける画素であるので、カメラ番号を
「９９」に変換するとともに、座標値をイラスト画像の参照座標値（３６０，４
４）に変換する。図４６（ａ）はステップ１’終了時におけるマッピングデータを用いた場合の
合成画像の例、図４６（ｂ）はステップ３’終了時におけるマッピングデータを
用いた場合の合成画像の例、図４６（ｃ）はステップ４’終了時におけるマッピ
ングデータを用いた場合の合成画像の例である。このようにすれば、自車両画像を合成画像に重ね合わせたり、死角領域や注意
喚起領域を特定の色で塗りつぶしたりするような処理を、容易に行うことができ
る。そして、注意喚起領域を設定する場合は、カメラに対するマスクデータを参
照しないで、予め決まった注意喚起領域を合成することによって、より簡易に合
成画像を生成できる。一方、死角領域を設定する場合は、カメラに対するマスク
データを参照することによって、カメラに映っている車両周囲の状況を余すこと
なく合成画像に反映させることが可能になる。なお、以上の説明では、本発明に係る監視システムや画像処理装置は、車両に
適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても
、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住
居、ショールームなどにカメラを設置してもよい。また、複数のカメラの設置位置や台数は、ここで示したものに限られるもので
はない。また、本発明に係る画像処理装置の機能は、その全部または一部を、専用のハ
ードウェアを用いて実現してもかまわないし、ソフトウェアによって実現しても
かまわない。また、本発明に係る画像処理装置の機能の全部または一部をコンピ
ュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。＜幾何変換＞合成画像のためのマッピングテーブルを作成するためには、仮想視点から見た
合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。このために、まず、仮想視点からの合成画像の各画素に対応するワールド座標
系（Ｘｗ、Ｙｗ、Ｚｗ）を求め、そのワールド座標系の３次元座標に対応するカ
メラ画像の画素の座標を求める２段階を考えると判りやすい。最終的に必要な関係は、仮想視点の合成画像の各画素と各カメラ画像の画素と
の関係だけであり、このワールド座標系を経由するマッピングテーブルに限定さ
れるものではない。ただし、このワールド座標系を経由するマッピングテーブル
は、合成画像の実際の世界での座標系であるワールド座標系での意味付けが明確
になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生
成する点で重要である。仮想視点の位置と向きを表すパラメータとして、視点のワールド座標系での座
標を位置ベクトルＴｖ＝（Ｔｘｖ、Ｔｙｖ、Ｔｚｖ）、視線の向きを、視平面座
標系をワールド座標系の向きへ一致させる回転を表す３行３列の回転行列Ｒｖで
表すとすると、合成画像の視点座標（Ｖｘｅ，Ｖｙｅ，Ｖｚｅ）の対応するワー
ルド座標（Ｘｗ，Ｙｗ，Ｚｗ）は、式（１）で求められる。図４７は、視点座標系とワールド座標系の関係を説明する模式図である。図４８に示すように、仮想視点の向きを、視線がワールド座標系Ｙ−Ｚ平面に
対して水平回転の角度（方位角）をαｖ、Ｘ−Ｚ平面に対してなす傾きの角度（
仰角）をβｖとし、カメラの光軸周りの回転（Ｔｗｉｓｔ）をγｖとすると、回
転行列Ｒｖは、となる。一方、仮想視点の視点座標系（Ｖｘｅ，Ｖｙｅ，Ｖｚｅ）のＶｘｅ、Ｖｙｅと
、投影面上の２次元座標Ｕｖ、Ｖｖの関係は、透視投影変換より焦点距離ｆｖを
用いて以下の式（３）で表される。焦点距離の単位としては、投影面をフィルムやＣＣＤとして、その大きさに対
応するｍｍやインチであらわす場合や、合成画像のサイズに対応して画素であら
わす場合などがあるが、今回は投影面を投影中心を中心として幅２、高さ２の正
規化したものとし、それに対する焦点距離を考える。よって、投影面上の座標と合成画像の画素の関係は、画像の右上から（Ｓｖ、
Ｔｖ）の位置にある画素に対応する投影面上の座標（Ｕｖ，Ｖｖ）は、画像の横
幅をＷｖ画素、縦幅をＨｖ画素とすれば、Ｕｖ＝２×Ｓｖ／Ｗｖ−１Ｖｖ＝２×Ｔｖ／Ｈｖ−１ …（４）として求まる。以上より、合成画像の任意の画素（Ｓｖ，Ｔｖ）に対応するワールド座標系の
３次元座標（Ｘｗ、Ｙｗ、Ｚｗ）は、式（１）〜（４）より、カメラの位置Ｔｘ
ｖ，Ｔｙｖ，Ｔｚｖ，カメラの向きαｖ、βｖ、γｖ，焦点距離ｆｖより次の式
（５）で求めることができる。ただし、式（５）では、合成画像の座標（Ｓｖ、Ｔｖ）に対応する奥行きＶｚ
ｅが未定である。言い換えると、合成画像に写る対象物までの各画素からの奥行
き値を定める必要がある。仮想視点から見える対象物の３次元形状を知ることができれば、各画素の奥行
きを得ることができるが、一般には困難である。そこで、仮想視点から見える対
象物の形状に何らかのモデルを仮定することにより、上記Ｖｚｅを求め、合成画
像の座標とワールド座標系の３次元座標との関係を求めることを行う。 ―路面平面モデル― その一例として、対象物を車が接している路面平面に限定した場合について説
明する。すべての対象物がワールド座標系の平面（路面）に存在すると仮定すると、ワ
ールド座標系の３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）は、以下の平面の方程式を満た
す。ａｘ_ｗ＋ｂｙ_ｗ＋ｃｚ_ｗ＋ｄ＝０ …（６）よって、式（６）を式（５）に代入して、Ｖｚｅを求めると、となる。よって、式（７）を式（５）に代入することにより、仮想視点の合成画像の画
素の座標（Ｓｖ，Ｔｖ）から、対応するワールド座標系の平面の３次元座標（Ｘ
ｗ，Ｙｗ，Ｚｗ）を求めることができる。このワールド座標系での３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）に対応する、各カメ
ラ画像の各画像の座標は式（１）と同様な関係式に、各カメラの位置、向きに対
応するＴｘ、Ｔｙ、Ｔｚ、α、β、γのパラメータを代入して計算することによ
り求めることができる。例えば、カメラ１の位置をＴｘ１，Ｔｙ１，Ｔｚ１，向きをα１，β１，γ１
とすれば、合成画像の画素（Ｓｖ，Ｔｖ）に対応するカメラ１のカメラ座標系Ｘ
ｅ１，Ｙｅ１，Ｚｅ１が，以下の式（８）より計算できる。このカメラ座標系とカメラ画像の座標系（Ｕ１、Ｖ１）との関係は、カメラ１の
焦点距離をｆ１として、式（３）よりＵ１＝ｆ１／Ｚｅ１×Ｘｅ１Ｖ１＝ｆ１／Ｚｅ１×Ｙｅ１ …（９）として計算できる。対応するカメラ画像の画素は、カメラ画像のサイズを縦Ｈ１
画素、横Ｗ１画素として、アスペクト比１：１、カメラ中心が画像の中心と考え
ると、次の式（１０）で計算できる。Ｓ１＝Ｗ１／２×（Ｕｖ＋１）Ｔ１＝Ｈ１／２×（Ｖｖ＋１） …（１０）以上の手続きにより、仮想視点画像の画素（Ｓｖ，Ｔｖ）に対応するカメラ１
の画像の画素（Ｓ１，Ｔ１）を求めることができた。同様にカメラ１以外の一般
のカメラｎに対しても（Ｓｖ，Ｔｖ）に対応する画素座標（Ｓｎ，Ｔｎ）が計算
できる。実際にパラメータテーブルには、その中から、（Ｓｎ，Ｔｎ）が実際の
カメラ画像の範囲内に写っているか、画素の拡大、縮小率が大きくないかなどの
種々の条件により、その最適なものを１つまたは複数選び、カメラ番号ｎとその
座標（Ｓｎ，Ｔｎ）を書きこむ。 ―円筒モデル― 前記の路面平面モデルでは、カメラ画像で水平線から上に写っている物体は路
面平面を無限遠に延ばしても路面平面上には載らないので、仮想視点から見るこ
とことはできない。これらの物体を仮想視点からの合成画像に反映するために、対象の３次元形状
として図４９に示すような円筒モデルを考える。このモデルは、仮想視点の向き
が路面に対して平行に近くなった場合などに有効である。いま簡単のために、Ｘ軸、Ｚ軸に軸を持つ円筒モデルを考えると、楕円円筒の
中心を（Ｘｃ，Ｚｃ）とし、楕円のパラメータ（ａ，ｃ）を用いて、そのモデル
を次の式（１１）としてあらわす。なお、Ｘ軸、Ｚ軸以外に軸を持つモデルへも
、ＸＺ平面上での回転を考えることにより、容易に拡張できる。式（１１）を用いて式（５）からＶｚｅを消去することによって、仮想視点の
合成画像の座標（Ｓｖ，Ｔｖ）に対応するワールド座標系の３次元座標（Ｘｗ，
Ｙｗ，Ｚｗ）を求めることができる。この座標から、前記路面平面モデルと同様
に、各カメラ画像の対応する画素を計算することにより、仮想視点画像の画素（
Ｓｖ，Ｔｖ）と、カメラ画像の画素（Ｓｎ，Ｔｎ）の関係を求め、マッピングテ
ーブルを作成する。また、路面平面モデルと円筒モデルの組合せも可能である。先に路面平面モデ
ルによるワールド座標系の３次元座標を求めて、その３次元座標が、円筒モデル
の外側、もしくは平面との交点を持たずに解を生じない場合は、次に円筒モデル
による３次元座標を求める。これにより路面平面モデルと円筒モデルの複合によ
る合成が可能となる。 ― 疑似円筒モデル ― 路面平面モデルの周辺の遠方の状況を把握しやすくするため、周囲をお椀状の
疑似円筒モデルを導入する。モデルの形状を図５０に示す。仮想視点画像の周辺
になる程、遠方の部分が圧縮されて合成され、より広い範囲が表示可能となる。
この疑似円筒の形状を式（１２）で表す。お椀の中心が（Ｘｃ，Ｙｃ，Ｚｃ）、Ｘ軸、Ｙ軸、Ｚ軸方向の（ａ，ｂ，ｃ）
の長さを持つ。前記円筒モデルと同様に、式（１２）および式（５）から、仮想
視点からの合成画像の座標に対応するワールド座標系の３次元座標（Ｘｗ，Ｙｗ
，Ｚｗ）を計算し、合成画像の各画素と、各カメラ画像の画素の対応関係を求め
ることが可能となる。なお、円筒モデルと同様に、路面平面モデルとの組合せによる複合モデルによ
る合成も可能である。 ―レンズ歪み補正の処理― 次に、マッピングテーブルによりレンズ収差を補正する方法について説明する
。実際のカメラ画像にレンズ収差による歪みがある場合、この歪みを上記Ｕｖ、
Ｖｖから実際の画素Ｓ１，Ｔ１を求めるときに、その歪みの分を補正した画素座
標を計算することにより、合成画像からレンズ収差の影響を除くことが可能とな
る。この歪み補正は、マッピングテーブルの合成画像（Ｓｖ，Ｔｖ）とカメラ画
像（Ｓｎ，Ｔｎ）の関係に取り込まれるため、最初に歪み補正を行ったマッピン
グテーブルを作れば、実際の合成時には、補正のための計算は不要となる。従来
のレンズ歪み補正に使われるレンズ中心からの距離の関数などのような歪みが定
式化できない場合でも、格子などのパターンを撮影し、レンズ歪みにより各画素
がどのように移動するかの情報さえあれば、歪み補正が可能であるという特徴を
持っている。

【図面の簡単な説明】

図１は本発明に係る監視システムの概念図である。図２はカメラ配置の例を示す図である。図３は図２の各カメラの撮像画像の例である。図４は仮想視点と実カメラとの関係を概念的に示す図である。図５は生成された合成画像の例である。図６はマッピングテーブルを用いた画像合成動作を示す図である。図７は本発明の一実施形態に係る監視システムの構成例である。図８は図７の画像合成部の動作を示すフローチャートである。図９はマッピングテーブルの構成の例である。図１０は図８の画素合成ステップＳ１４の詳細を示すフローチャートである。図１１はカメラ画像以外の画素データを記述したマッピングデータの一例であ
る。図１２は８個のカメラ画像を利用した鉛直見下ろし画像の例である。図１３は４個のカメラ画像を利用した鉛直見下ろし画像の例である。図１４は２個のカメラ画像を利用した鉛直見下ろし画像の例である。図１５は斜め見下ろし画像の例である。図１６は前方パノラマモードのパノラマ画像の例である。図１７は後方パノラマモードのパノラマ画像の例である。図１８は斜め見下ろし画像とパノラマ画像とを合わせた画像の例である。図１９は車両の走行状態に応じて仮想視点の高さを変更した場合の合成画像の
例である。図２０は車両の走行状態に応じて仮想視点の視線の向きを変更した場合の合成
画像の例である。図２１は車両の舵角に応じて仮想視点の視線の向きを変更した場合の合成画像
の例である。図２２は物体検出センサの出力信号に応じた画像切替の例を示す図である。図２３は物体検出センサの出力信号に応じた画像切替の例を示す図である。図２４は物体検出センサの出力信号に応じた画像切替の例を示す図である。図２５は本発明の一実施形態に係る監視システムの構成例である。図２６は画像を平行移動する場合のマッピングテーブルの切り出しを示す図で
ある。図２７は画像を拡大・縮小する場合のマッピングテーブルの切り出しを示す図
である。図２８はマッピングテーブルを矩形以外の四辺形で切り出す例を示す図である
。図２９はカメラ画像の例である。図３０は見下ろし画像の左右に斜め後方を撮すカメラ画像を貼り付けた合成画
像の例である。図３１は狭い範囲を示す見下ろし画像と広い範囲を示す見下ろし画像と並べて
表示した例である。図３２は見下ろし画像の周囲に斜め見下ろし画像を貼り付けた例である。図３３は見下ろし画像の周囲に疑似円筒モデルを用いた画像を貼り付けた例で
ある。図３４は見下ろし画像の周囲にパノラマ画像を貼り付けた例である。図３５は見下ろし画像の周囲に斜め見下ろし画像を貼り付け、四隅に空白部を
設けた例である。図３６はカメラ画像とともに仮想視点の位置を示す画像を表示した例である。図３７はカメラ画像と自車両の映り込み領域を示すマスクデータの例を示す図
である。図３８は自車両の画像をスーパーインポーズした例を示す図である。図３９は自車両の映り込みをそのまま変換した場合の合成画像の例を示す図で
ある。図４０はマスクデータの一部を示す図である。図４１は車両領域と死角領域とが示された合成画像の例である。図４２は死角領域を求め、車両の画像を貼り付ける場合のマッピングデータの
生成手順を示す図である。図４３はマスクデータと合成画像の画素との関係を示す図である。図４４は図４２の手順の結果得られたマッピングデータを用いた場合の合成画
像の例である。図４５は注意喚起領域を指定する場合のマッピングデータの生成手順を示す図
である。図４６は図４５の手順の結果得られたマッピングデータを用いた場合の合成画
像の例である。図４７は幾何変換を説明するための図である。図４８は幾何変換を説明するための図である。図４９は幾何変換を説明するための図である。図５０は幾何変換を説明するための図である。

【手続補正書】

【提出日】平成１３年１月２５日（２００１．１．２５）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【発明の名称】画像処理装置および監視システム

【特許請求の範囲】

【発明の詳細な説明】

【０００１】技術分野本発明は、複数のカメラによって撮像された画像を用いて合成画像を生成する
画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに
利用される監視システムに有効な技術に属する。

【０００２】背景技術従来の一般的な監視システムでは、監視対象となる部分を１台または複数台の
監視カメラで撮影し、その画像をモニタに表示する構成が一般的である。この場
合、通常は、設置されたカメラの台数に応じて、モニタを準備する。

【０００３】また、従来の車両用の安全監視システムとしては、例えば、車両の周囲を撮影
するカメラを設置し、カメラで撮影した画像を運転席近くに設置したモニターに
表示させるものがある。このシステムにより、運転者は、車両後方のような、目
視やミラーでは安全確認が困難な場所を、モニタで確認することができる。

【０００４】さらに、日本国特許公報第２６９６５１６号では、ギアや車速に応じて、モニ
タ画面の分割表示を行う構成が開示されている。具体的には、車両が停止・微速
状態にあると判定したときは、モニタ画面を３分割して、車両の左右および下方
に配置された３個のカメラの撮像画像を合成して再生し、車両が前方走行状態に
あると判定したときは、モニタ画面を２分割して、車両の左右に配置された２個
のカメラの撮像画像を合成して再生する。

【０００５】また、日本国特許公開公報特開平１１−７８６９２号では、車両用映像提示
装置として、遭遇した場面毎に的確な映像を合成・表示する構成が開示されてい
る。具体的には、後退車庫入れ状態か、前進車庫入れ状態か、縦列駐車状態か、
あるいは見通しの悪い交差点に進入した状態か等の車両の運転状態に応じて、カ
メラ画像の変形・合成を行う。

【０００６】しかしながら、このような従来の構成は、車両の運転者などのようなユーザに
とって、必ずしも利用しやすいシステムであるとはいえない。

【０００７】発明の開示本発明は、画像処理装置または監視システムとして、車両の運転者などのユー
ザの利便性を、従来よりもさらに向上させることを目的とする。

【０００８】具体的には、本発明は、画像処理装置として、車両の周囲を撮影する複数のカ
メラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画
像を生成する画像処理部を備え、前記画像処理部は、前記仮想視点の位置、視線
の向きおよび焦点距離のうちの少なくともいずれか１つを、前記車両の走行状態
に応じて変更するものである。

【０００９】そして、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離
のうちの少なくともいずれか１つを、前記車両の走行速度に応じて変更するのが
好ましい。

【００１０】また、前記画像処理部は、仮想視点の位置、視線の向き、および焦点距離のう
ちの少なくともいずれか１つの変更とともに、変更後の仮想視点の視野範囲外画
像の取込の制御を行うのが好ましい。さらに、変更後の仮想視点の視野範囲外画
像の取込の制御を、画像合成のためのモデルを変更することによって行うのが好
ましい。

【００１１】また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離の
うちの少なくともいずれか１つを、前記車両の舵角に応じて変更するのが好まし
い。

【００１２】また、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離の
うちの少なくともいずれか１つを、前記車両が備えている物体検出センサによる
検出結果に応じて変更するのが好ましい。

【００１３】また、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテ
ーブルから切り出したマッピングテーブルを用いて合成画像の生成を行うもので
あり、かつ、前記原マッピングテーブルから切り出すマッピングテーブルを変更
することによって、仮想視点の位置、視線の向き、および焦点距離のうちの少な
くともいずれか１つの変更を行うのが好ましい。

【００１４】また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生
成する画像処理部を備え、前記画像処理部は、前記車両の走行状態に応じて、前
記仮想視点の視野範囲外画像の取込の制御を行うものである。

【００１５】また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点
から見た合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを
備え、前記画像処理部は、前記仮想視点の位置、視線の向きおよび焦点距離のう
ちの少なくともいずれか１つを、前記車両の走行状態に応じて変更するものであ
る。

【００１６】また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数
のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画
像処理部を備え、前記画像処理部は、仮想視点から見た第１の画像と、前記第１
の画像の仮想視点と位置、視線の向きおよび焦点距離のうちの少なくともいずれ
か１つが異なる視点から見た、または前記第１の画像とモデルが異なる第２の画
像とを含む画像を、前記合成画像として生成するものである。

【００１７】そして、前記第２の画像は、前記カメラ画像の少なくとも１つであるのが好ま
しい。

【００１８】また、前記第１の画像は、自車およびその周辺を示す近傍画像であり、前記第
２の画像は、前記近傍画像が示す自車の周辺領域よりも遠方の領域を示す遠方画
像であるのが好ましい。そして、前記画像処理部は、前記合成画像において、前
記近傍画像の周囲に前記遠方画像を配置するのが好ましい。さらには、前記遠方
画像は、前記近傍画像と連続性を有する画像であるのが好ましい。

【００１９】また、前記第１の画像は、自車両の少なくとも一部と自車両の周囲の少なくと
も一部とを示す画像であり、前記第２の画像は、前記第１の画像が示す領域の少
なくとも一部を拡大した画像であるのが好ましい。

【００２０】また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を
生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理
部は、仮想視点から見た第１の画像と、前記第１の画像の仮想視点と位置、視線
の向きおよび焦点距離のうちの少なくともいずれか１つが異なる視点から見た、
または前記第１の画像とモデルが異なる第２の画像とを含む画像を、前記合成画
像として生成するものである。

【００２１】また、具体的には本発明は、車両の周囲を撮影する複数のカメラの撮像画像を
入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記
画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも
一部と、自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領
域とを表示するものである。

【００２２】そして、前記合成画像は、前記車両の上方に設定された仮想視点から見た画像
であるのが好ましい。

【００２３】また、前記画像処理部は、前記車両領域に、自車両のイラスト画像または実画
像を表示するのが好ましい。

【００２４】また、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死
角領域の少なくとも一部を含むのが好ましい。あるいは、前記注意喚起領域は、
いずれのカメラからも撮影されない車両周囲の死角領域に相当する領域であるの
が好ましい。そして、前記画像処理部は、各カメラ画像における自車両の映り込
み領域を示す領域データを用いて、前記死角領域および車両領域を合わせた領域
の範囲を決定するのが好ましい。

【００２５】また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を
生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理
部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、
自車両の周囲の少なくとも一部を示し注意を喚起するための注意喚起領域とを表
示するものである。

【００２６】また、具体的には本発明は、画像処理装置として、車両の周囲を撮影する複数
のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画
像処理部を備え、前記画像処理部は、合成画像の画素とカメラ画像の画素との対
応関係を記述する第１のマッピングデータと、合成画像の画素とカメラ画像以外
の画素データとが対応することを示す識別子を記述する第２のマッピングデータ
とを有するマッピングテーブルを用いて、前記合成画像を生成するものである。

【００２７】そして、前記カメラ画像以外の画素データは、前記車両または、前記車両の周
囲の少なくとも一部にある死角領域を示すものであるのが好ましい。

【００２８】また、前記画像処理部はカメラ画像以外の所定の画像を記憶しており、前記第
２のマッピングデータは、合成画像の画素に対し、当該画素に対応する，記憶さ
れた前記所定の画像における座標値を記述するものであるのが好ましい。

【００２９】また、前記第２のマッピングデータは、合成画像の画素に対応する画素データ
を記述するものであるのが好ましい。

【００３０】また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を
備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよびカ
メラ画像以外の画素データのうちの一方または両方からなる複数の画素データと
の対応関係を記述し、かつ、各画素データに対してそれぞれ必要度を記述したマ
ッピングデータを用い、各画素データに対して必要度に応じた重み付けを行い、
前記合成画像の画素の画素データを生成するものである。

【００３１】また、本発明は、画像処理装置として、車両の周囲を撮影する複数のカメラの
撮像画像を入力とし、これらのカメラ画像から合成画像を生成する画像処理部を
備え、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテー
ブルから、合成画像の画素とカメラ画像の画素との対応関係を記述するマッピン
グテーブルを切り出し、切り出したマッピングテーブルを用いて、合成画像を生
成するものである。

【００３２】発明を実施するための最良の形態図１は本発明に係る監視システムの概念図である。図１に示す監視システムに
おいて、画像処理部２は、撮像部１から出力された複数のカメラ画像を入力とし
、これらを合成して、仮想視点から見たときの合成画像を生成する。この合成画
像は、例えば液晶ディスプレイのような表示部３によって表示される。画像処理
部２によって、本発明に係る画像処理装置が構成される。

【００３３】ここでの説明では、本監視システムは、車両に搭載されるものとし、駐車の際
のアシストなどを用途として用いられるものとする。

【００３４】図２はカメラ配置の例、図３は図２のように配置された各カメラの撮像画像の
例である。図２に示すように、ここでは５台のカメラが、車両のドアミラー付近
、後方ピラー付近および後部トランク上に、それぞれ配置されている。画像処理
部２は、図３に示す５枚のカメラ画像から、仮想視点から見たときの合成画像を
生成する。

【００３５】仮想視点は、コンピュータグラフィックスの映像生成におけるカメラ配置の場
合と同様に、３次元空間の任意の位置に、任意の方向に向けて、設定することが
できる。仮想視点を決定するパラメータは、３次元空間での仮想視点の位置を表
す座標（Ｘ座標，Ｙ座標，Ｚ座標）と、その向きを表す３つの角度すなわち方位
角（水平回転）、仰角（傾き）およびTwist （光軸周りの回転）と、視野範囲を
決める焦点距離とからなる。焦点距離は、仮想視点と合成画像を生成する投影面
との距離であり、小さいときは広角の画像になり、大きいときは望遠の画像にな
る。実際のカメラなどでは、投影面のフィルムのサイズ（３５ｍｍ）に換算した
ときの距離（ｍｍ）で表すことが多いが、本明細書では、合成画像のサイズを画
素で表しているので、焦点距離も画素で考える。

【００３６】この仮想視点の位置、向きおよび焦点距離を状況に応じて選択することによっ
て、適切な合成画像を生成することが可能になる。

【００３７】図４は仮想視点と実カメラとの関係を概念的に示す図である。図４では、仮想
視点は車両の上方に設定されている。図５は生成された合成画像の例であり、図
４に示す仮想視点から見た、自車およびその近辺を示す画像が生成されている。

【００３８】本実施形態では、画像処理部２は、複数のカメラ画像から合成画像を生成する
ために、マッピングテーブル４を用いる。ここで、「マッピングテーブル」とは
、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテー
ブルのことをいう。なお、後述するように、マッピングテーブルには、合成画像
の画素とカメラ画像以外の画素データとの対応関係も記述可能である。

【００３９】＜マッピングテーブルの原理説明＞以下、マッピングテーブルを用いて、複数のカメラ画像から合成画像を生成す
る動作について、説明する。

【００４０】図６はこの動作の概要を説明するための図である。図６（ａ）〜（ｃ）は、互
いに異なる位置に取り付けられた３台のカメラ（図２におけるカメラ３，カメラ
１およびカメラ２にそれぞれ対応する）の撮像画像である。図６（ｄ）は、図６
（ａ）〜（ｃ）の各カメラ画像から合成画像を生成するために用いるマッピング
テーブルである。画像処理部２は、図６（ａ）〜（ｃ）の３枚のカメラ画像から
、図６（ｄ）のマッピングテーブルの情報を基にして、図６（ｅ）に示す１枚の
合成画像を生成するものとする。

【００４１】図６（ｄ）に示すマッピングテーブルは、図６（ｅ）に示す合成画像の各画素
について、それぞれマッピングデータを有している。各マッピングデータは、対
応する合成画像の画素が、どのカメラ画像の画素によって生成されるか、という
情報を記述する。

【００４２】合成画像を生成する、ということは、合成画像の全ての画素の値を決定すると
いうことである。ここでは、画像処理部２は左上から順次、ラスター順に合成画
像の画素の値を決定するものとし、その途中で画素Ｐ１の値を決定する場合を例
にとって、その動作を説明する。

【００４３】まず、合成画像の画素Ｐ１に対応するマッピングデータＭＰ１を参照する。マ
ッピングデータＭＰ１には、対応するカメラ番号と、そのカメラ画像の対応する
画素の座標とが記述されている。いまマッピングデータＭＰ１には、カメラ番号
として「１」、Ｘ座標として「３４０」、Ｙ座標として「１２１」が記述されて
いる。

【００４４】画像処理部２は、マッピングデータＭＰ１の記述内容に従って、図６（ｂ）に
示すカメラ１の撮像画像の座標（３４０，１２１）の画素データＣ１を参照し、
画素データＣ１の値から、合成画像の画素Ｐ１の値を決定する。ここでは、最も
簡単な決定方法として、画素データＣ１の値をそのまま画素Ｐ１の値とする。同
様の方法によって、合成画像の各画素について値を決定することによって、図６
（ｅ）に示すような合成画像が生成される。

【００４５】例えば、合成画像の画素Ｐ２に対応するマッピングデータＭＰ２は、図６（ｃ
）に示すカメラ２の撮像画像の画素データＣ２を示しているので、画素Ｐ２の値
として画素データＣ２の値が与えられる。同様に、合成画像の画素Ｐ３に対応す
るマッピングデータＭＰ３は、図６（ａ）に示すカメラ３の撮像画像の画素デー
タＣ３を示しているので、画素Ｐ３の値として画素データＣ３の値が与えられる
。図６（ｄ）のマッピングテーブルにおいて、領域Ｒ１はカメラ１に対応し、領
域Ｒ２はカメラ２に対応し、領域Ｒ３はカメラ３に対応する。

【００４６】各カメラに対応する３つの領域Ｒ１〜Ｒ３以外の領域Ｒ４は、各カメラの撮影
領域以外であったり、自車両によって隠されている死角であったりすることによ
って、対応するカメラ画像が存在しない領域である。例えば合成画像の画素Ｐ４
は、そのような領域Ｒ４の画素である。この場合、画素Ｐ４に対応するマッピン
グデータＭＰ４のカメラ番号には、対応するカメラ画像が存在しないことを示す
特定のカメラ番号（ここでは「−１」とする）を記述しておく。そして、カメラ
番号「−１」のとき、対応する画素Ｐ４には、撮影領域外や死角であることを示
す所定の画素データを設定する。ここでは、所定の画素データとして黒色を設定
する。

【００４７】図６の例では、マッピングテーブルは、車両上方の仮想視点から車両の周囲を
見下ろすような合成画像が生成可能なように構成されている。このようなマッピ
ングテーブルは、後述するように、いわゆる路面平面モデルを前提とした幾何変
換を用いて作成することが可能である。あるいは、合成画像を見ながら、試行錯
誤しながら作成してもかまわない。

【００４８】実際には、マッピングテーブルを用いることによって、合成画像とカメラ画像
の画素データとの対応関係を、用途に応じて、自由に設定することができる。例
えば、カメラ画像の任意の領域を拡大または縮小してカメラ画像の一部に合成し
たり、複数のカメラ画像を並べて合成するなど、任意の合成画像を生成すること
ができる。

【００４９】そして、いかなる合成画像を生成するマッピングテーブルであっても、画像処
理部２は、合成画像各画素について、マッピングデータの参照、指定されたカメ
ラ画像の画素データの参照、合成画像の画素値の設定を行うステップを実行する
だけですむので、その処理量は、画像合成をその都度演算によって実行する場合
に比べて格段に小さくなる。このため、本方式は、合成画像の種類にかかわらず
処理量が一定になり、かつ、高速処理が可能であるので、リアルタイムに一定時
間で処理を終える必要のある監視や運転補助などの用途に対して、特に適してい
る。

【００５０】（合成画像生成動作の第１例）図７は本実施形態に係る監視システムの構成例を示す図である。図７において
、画像処理部２は、画像合成部２００、表示パターン記憶部２１０および表示パ
ターン設定部２２０を備えている。表示パターン記憶部２１０は、上述したよう
なマッピングテーブルを複数個記憶するマッピングテーブル記憶部２１１を有し
ている。表示パターン設定部２２０は、マッピングテーブル記憶部２１１に格納
されたマッピングテーブルから、生成する合成画像の表示パターンに応じて１個
のマッピングテーブルＭＰＴを選択し、画像合成部２００のマッピングテーブル
参照部２０２に設定する。

【００５１】また、表示パターン記憶部２１０は、様々なイラスト画像を記憶するイラスト
記憶部２１２を有している。表示パターン設定部２２０は、合成画像の生成に必
要となるイラスト画像をイラスト画像記憶部２１２から読み出し、画像合成部２
００のイラスト参照部２０３に設定する。ここでは、自車両を示すイラスト画像
が設定されるものとする。

【００５２】画像合成部２００は、マッピングテーブル参照部２０２に設定されたマッピン
グテーブルＭＰＴに従って、撮像部１から出力されたカメラ画像を用いて、合成
画像を生成する。タイミング生成部２０５は、合成画像の動画系列を生成するた
めのタイミング信号を生成する。

【００５３】各カメラ１０１には、一対のフレームメモリ１０２ａ，１０２ｂが設けられて
いる。ここでは各カメラ１０１はＣＣＤタイプであるものとする。カメラがＣＭ
ＯＳタイプの場合には、カメラにフレームメモリの機能を持たせることも可能で
あり、この場合はフレームメモリを省くことができる。

【００５４】図８は合成画像の１フレームを生成するときの画像合成部２００の動作を示す
フローチャートである。

【００５５】まず、タイミング生成部２０５から出力されたフレーム開始のタイミング信号
に応じて、撮像部１は、各カメラ１０１が撮影した画像を書き込むフレームメモ
リ１０２ａと、画像合成部２００から参照されるフレームメモリ１０２ｂとを切
り替える（ステップＳ１１）。ここで、各カメラ１０１に対してフレームメモリ
を２個設けて切り替えを行うようにしたのは、後述するように、画像合成部２０
０はカメラ画像の画素データを、カメラ１０１からの書き込みの順序とは関係無
く、マッピングテーブルＭＰＴに応じて飛び飛びに参照するので、書き込みと参
照とが互いに干渉しないようにするためである。

【００５６】次に、タイミング生成部２０５は、合成処理を行う画素をマッピングテーブル
参照部２０２に指定するためのタイミング信号を生成する（ステップＳ１２）。
マッピングテーブル参照部２０２はマッピングテーブルＭＰＴから、指定された
画素に対応するマッピングデータを読み出し、画素合成部２０１に出力する（ス
テップＳ１３）。

【００５７】画素合成部２０１は、入力されたマッピングデータの内容に応じて、フレーム
メモリ１０２に格納された各カメラ画像の画素データや、イラスト参照部２０３
に格納されたイラスト画像の画素データなどを用いて、指定された合成画像の画
素の値を生成し、映像信号生成部２０４に出力する（ステップＳ１４）。このス
テップＳ１４の処理は、後に詳述する。

【００５８】映像信号生成部２０４は、タイミング生成部２０５から出力されたタイミング
信号に応じて、入力された合成画像の画素値を映像信号に変換し、表示部３に出
力する（ステップＳ１５）。

【００５９】画像合成部２００はフレームの全画素について、ステップＳ１２〜Ｓ１５の処
理を実行する（ステップＳ１６，Ｓ１７）。タイミング生成部２０５は、フレー
ムの最終画素の処理が終わると、次のフレームの処理を開始する。

【００６０】なお、フィールド単位でも、同様の処理を実行することができる。

【００６１】図９はマッピングテーブルの構成の例を示す図である。図９に示すマッピング
テーブルは、４種類のマッピングデータＭＰ１１〜ＭＰ１４を有している。各マ
ッピングデータの構成は基本的には図６に示すマッピングデータと同様であるが
、カメラ番号およびｘ，ｙ座標に加えて、その画素値の必要度が記述されている
。ここでは、「必要度」は０から１までの値によって表されており、値が大きい
ほど、その画素値の必要度は高いものとする。

【００６２】マッピングデータＭＰ１１は、合成画像の画素と、１個のカメラ画像の画素デ
ータとの対応関係を記述したものである。この場合は、必要度は「１」となる。
また、マッピングデータＭＰ１２は、合成画像の画素と、複数のカメラ画像の画
素データとの対応関係を記述したものである。この場合は、合成画像の画素値は
、カメラ画像の画素データに対し、その必要度に応じた重み付けを行った上で、
生成する。

【００６３】マッピングデータＭＰ１３は、合成画像の画素に、イラスト画像の画素データ
を貼り付けるために用いられるものである。すなわち、イラスト参照部２０３に
格納されたイラスト画像が認識できるように、イラスト参照部２０３にカメラ番
号として、いずれの実カメラにも対応しない番号（ここでは「９９」）を割り当
てる。

【００６４】マッピングデータＭＰ１４は、合成画像の画素が、いわゆる死角領域に当たる
ことを示すものである。すなわち、マッピングテーブルを生成する際に、合成画
像の画素を生成するために参照するカメラ画像の画素の座標値を計算した結果、
その座標値の画素が、例えば車両自体を撮している場合には、その合成画像の画
素は、車両領域と死角領域とを合わせた領域に当たる。この領域から車両領域を
除いたものが、死角領域になる。このため、例えばカメラ番号やｘ，ｙ座標に実
在しない値を与えることによって、死角領域であることを表す。ここでは、カメ
ラ番号として「−１」を与えるものとする。

【００６５】図１０は画素合成ステップＳ１４の詳細な処理の流れを示すフローチャートで
ある。

【００６６】まず、合成する画素の値を「０」に初期化する（ステップＳ２１）。

【００６７】次に、合成する画素に対応するマッピングデータから、カメラ番号、ｘ，ｙ座
標および必要度を読み出す（ステップＳ２２）。

【００６８】ステップＳ２２において、読み出したカメラ番号がイラスト画像を示す識別番
号「９９」であるとき（すなわちマッピングデータＭＰ１３の場合）、ステップ
Ｓ２４にすすみ、イラスト参照部２０３に格納されたイラスト画像の、指定され
たｘ，ｙ座標の画素データを読み出し、保持する。そして、ステップＳ２８にす
すむ。一方、カメラ番号が「９９」でないときは、ステップＳ２５にすすむ。

【００６９】ステップＳ２５において、読み出したカメラ番号が死角領域を示す識別番号「
−１」であるとき（すなわちマッピングデータＭＰ１４の場合）、ステップＳ２
６にすすみ、予め設定された死角領域を表す画素データを保持する。そして、ス
テップＳ２８にすすむ。一方、カメラ番号が「−１」でないときは、ステップＳ
２７にすすむ。

【００７０】ステップＳ２７において、カメラ番号が「９９」「−１」以外の場合、すなわ
ちイラスト画像を貼る領域でも死角領域でもないと判断される場合は、このカメ
ラ番号は実際のカメラを示す番号であるとして、対応するカメラ番号のフレーム
メモリ１０２に格納されたカメラ画像から、指定されたｘ、ｙ座標の画素データ
を読み出し、保持する。

【００７１】ステップＳ２８において、保持した画素データに、その必要度に応じて重み付
けを行い、合成画像の画素値に加算する。マッピングデータに記述された全ての
カメラ番号について、ステップＳ２２〜Ｓ２８の処理を繰り返す（ステップＳ２
９，Ｓ３０）。全てのカメラ番号について処理が終了すると、画素合成部２０１
は合成する画素の値を出力する（ステップＳ３１）。

【００７２】例えば図９に示すマッピングデータＭＰ１２の場合には、合成画像の画素値は
、次の式によって求められる。

【００７３】合成画像の画素値＝（カメラ２の座標(10,10) の画素値×０．３＋カメラ３の座標(56,80) の画素値×０．５）／（０．３＋０．５）ここで、必要度の和（０．３＋０．５）によって除するのは、画素値を正規化す
るためである。

【００７４】以上のような動作によって、複数のカメラ画像を混合した合成画像や、イラス
ト画像を含む合成画像を、容易に生成することができる。また、カメラ画像とイ
ラスト画像とを必要度に応じて重み付けすることによって、実画像の上にイラス
ト画像を半透明で表示する合成画像も生成することができる。あるいは、カメラ
画像以外の画素データ同士を必要度に応じて重み付けすることによって、イラス
ト画像同士を半透明で表示するような合成画像も生成することができる。

【００７５】また、イラスト画像としては、自車のイラストや画像以外にも、例えば、画像
のスケールや指標などのような画面上で固定の形状を持つものを与えることが可
能である。

【００７６】なお、ここでの説明では、イラスト画像を参照するためのカメラ番号（「９９
」）と、死角領域であることを示すカメラ番号（「−１」）とを個別に設定する
ものとしたが、死角領域を表す画像をイラスト参照部２０３に格納しておけば、
イラスト画像を参照する場合と死角領域を示す場合とで、同じカメラ番号（「９
９」）を用いることが可能になる。この場合には、例えば、車両を表すイラスト
画像と死角領域を表す画像とを合わせて、イラスト参照部２０３に格納しておく
ことも可能になる。

【００７７】また、表示パターン設定部２２０は、表示モードの指定に応じて表示パターン
を変更する場合には、新たな表示パターンに応じたマッピングテーブルを、マッ
ピングテーブル記憶部２１１から読み出して、マッピングテーブル参照部２０２
に設定すればよい。あるいは、複数のマッピングテーブルを合成し、新たなマッ
ピングテーブルを生成してもよい。

【００７８】またここでは、図９に示すマッピングデータＭＰ１３のように、イラスト画像
を表示するためにイラスト参照部２０３のＸ，Ｙ座標値を記述するものとしたが
、この代わりに、イラスト画像の画素データ自体をマッピングデータに記述する
ことも可能である。

【００７９】図１１はこのような場合のマッピングデータの一例である。図１１のマッピン
グデータＭＰ１５は、カメラ番号が「９９」のとき、すなわちイラスト画像を表
示させるとき、Ｘ座標、Ｙ座標を記憶する領域に、イラスト画像の画素データ自
体をそのまま赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値で記憶する。

【００８０】例えば、Ｘ座標、Ｙ座標をそれぞれ１６ビットで表現するものとすると、その
領域は３２ビットのサイズになる。一方、イラスト画像の画像データをＲ，Ｇ，
Ｂ各色８ビットで表現するものとすると全部で２４ビットになるので、その上位
８ビットに“０”を付加し３２ビットのデータとして、座標領域に記憶する。こ
の場合、図１０のステップＳ２４では、イラスト参照部２０３を参照する代わり
に、マッピングデータＭＰ１５に記述されたＲ，Ｇ，Ｂ値を読み出し保持する。

【００８１】この場合には、マッピングテーブルとイラスト画像とは一体のものとなり、イ
ラスト参照部２０３は不要になる。また、マッピングデータからＸ，Ｙ座標値を
読み出して対応するイラスト画像の画素データを読み出すのではなく、マッピン
グデータから直接Ｒ，Ｇ，Ｂ値を読み出すので、処理の手順が１つ省けることに
なる。

【００８２】また、自車両のイラスト画像を表示するなどの場合には、通常は必要度を１．
０にすることが多いが、図１１の例のように、イラスト画像の必要度を１．０よ
りも小さい値にして他のカメラ画像と合成することによって、合成画像の上に、
スケールや指標を半透明で表示することが可能になる。

【００８３】＜基本的な合成画像の例＞マッピングテーブルは、大きく、単独マップと複合マップの２つに分けること
ができる。「単独マップ」とは、所定の空間モデル（詳細は後述する）を用いて
、カメラ画像と仮想視点画像とを画素レベルで対応づけたものである。「複合マ
ップ」については後述する。

【００８４】画像合成部２００にどのマッピングテーブルが設定されるかによって、画像処
理部２の表示モードが決定される。この表示モードは、手動によって、または自
動的に切り換えることができる。

【００８５】代表的な単独マップと、それを用いた合成画像例を、以下に示す。

【００８６】・鉛直見下ろし（図１２〜図１４）空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上
方であり、視線の向きは真下である。距離感が一目で分かることを特徴とし、主
たる用途としては駐車（直角、縦列）等が考えられる。図１２は８個のカメラ画
像を利用したもの、図１３は４個のカメラ画像を利用したもの、図１４は２個の
カメラ画像を利用したものである。

【００８７】・斜め見下ろし（図１５）空間モデルとしては、路面平面モデルを用いる。仮想視点の位置は、自車の上
方であり、視線の向きは斜め後ろ向きである。視線の角度を調整することによっ
て、視野を自由に変換することができる。このモードでは、自車後方が、正しい
位置関係で見渡すように一望できる。主たる用途としては、通常走行時のリアビ
ューモニタとして、あるいは、駐車動作開始時のような低速後退時の確認などが
考えられる。低速走行時には、速度に応じて視野や向きを切り替えるようにして
もよい。

【００８８】・パノラマ（図１６，図１７）空間モデルとしては、円筒モデルを用いる。図１６は前方パノラマモードであ
り、仮想視点の位置は、自車の先端部であり、視線の向きは真正面である。この
モードでは、走行方向前方の様子が分かるので、ブラインドコーナービューモニ
タとしての利用が考えられる。すなわち、狭い路地から広い通りに出るとき、こ
のモードによって広い通りの様子を一目で認識することができる。

【００８９】図１７は後方パノラマモードであり、仮想視点の位置は、自車の後端部であり
、視線の向きは真後ろである。このモードでは、自車後方部分がパノラマ１８０
度画像として見渡すように一望できる。主たる用途としては、走行時（特に高速
走行時）のリアビューモニタとしての利用が考えられる。

【００９０】・斜め見下ろし＋パノラマ（図１８）空間モデルとしては、路面平面モデルと円筒モデルとを用いる。すなわち、図
１８に示すように、自車後方の直近は、路面平面モデルを用いた斜め見下ろしモ
ードで表示し、自車後方遠方は、円筒モデルを用いたパノラマモードで表示する
。したがって、このモードは、斜め見下ろしモードとパノラマモードの両方の用
途に対応している。

【００９１】＜表示自動切替＞本監視システムは、これまで例示したマッピングテーブルを、様々な運転場面
に応じて適宜切り換えることによって、より安全で快適な運転をサポートするこ
とが可能となる。また、一つの運転操作においても、逐次変わりゆく自車周囲状
況に応じてマッピングテーブルを切り換えることは、運転者にとって必要不可欠
な機能となる。

【００９２】すなわち、合成画像の仮想視点の位置、視線の向きおよび焦点距離の少なくと
もいずれか１つを、車両の走行状態に応じて変更することによって、運転者の利
便性を向上させることができる。

【００９３】図１９は車両の走行状態に応じて、合成画像の仮想視点の高さを変更した場合
の例を示す図である。図１９（ａ）〜（ｆ）に示す各画像は、下に行くにつれて
仮想視点の高さが徐々に高くなっており、車両を含めた表示領域が次第に広くな
っている。すなわち、仮想視点の高さを下げることによってズームアップが実現
され、仮想視点の高さを上げることによってズームダウンが実現される。なお、
仮想視点の焦点距離を変更した場合でも、図１９と同様に合成画像を変化させる
ことができる。

【００９４】仮想視点の高さを切り替えるトリガーとしては、まず、車両の走行速度が考え
られる。例えば、車両の走行速度が上昇するにつれて、広い領域が表示されるよ
う仮想視点を高くする一方、低下するにつれて、狭い領域が表示されるよう仮想
視点を低くすればよい。あるいは、車両が、自車と障害物との距離を測定する物
体検出センサを備えているときは、その物体検出センサの出力信号を切替のトリ
ガーとして用いてもよい。例えば、検出された障害物との距離が、近くなるにつ
れて、狭い領域が表示されるよう仮想視点を低くする一方、遠くなるにつれて、
広い領域が表示されるよう仮想視点を高くすればよい。さらには、切替スイッチ
を設けておいて、運転手または他の乗員がそのスイッチを介して拡大・縮小を指
定できるようにしてもよい。

【００９５】図２０は車両の走行状態に応じて、合成画像の仮想視点の視線の向きを変更し
た場合の例を示す図である。図２０（ａ）〜（ｄ）に示す各画像は、下に行くに
つれて、仮想視点の視線の向きが、斜め後方から徐々に鉛直下方に変化している
。また、視線の向きとともに、合成画像を生成するためのモデルも変化している
。すなわち、視線の向きが斜めに傾くほど、疑似円筒モデルの合成画像の領域が
大きくなっており、より遠方が見やすくなっている。

【００９６】図２０では、仮想視点の視線の向きの変更とともに、変更後の仮想視点の視野
範囲外画像の取込が制御されている、といえる。すなわち、疑似円筒モデルを用
いることによって、仮想視点の視野範囲外の画像が合成画像に取り込まれている
。そして、車両の走行状態に応じて、仮想視点の視野範囲外画像の取込の有無、
そのサイズ、および、その撮像範囲が制御されている。

【００９７】仮想視点の視線の向きを切り替えるトリガーとしては、仮想視点の高さを切り
替える場合と同様に、車両の走行速度、スイッチ入力などが想定される。例えば
、車両の走行速度が低いときは、視線の向きを真下にしておき、走行速度が上昇
するにつれて、視線の向きを傾けて、より後方が表示されるようにすればよい。

【００９８】図２１は車両の舵角に応じて、合成画像の仮想視点の視線の向きを変更した例
を示す図である。図２１の例では、舵角に応じて、仮想視点を光軸周りに回転さ
せている。（ａ）はギアがバックでハンドルが真っ直ぐの場合の合成画像である
。この場合は車両が後方に直進するので、後方の領域が見やすくなるように、合
成画像中の自車両が真っ直ぐになり、自車両の左右の領域が均等に表示されるよ
うに、仮想視点を設定する。一方、（ｂ）はギアがバックでハンドルを左に切っ
た場合の合成画像である。この場合は車両は左後方に進むので、そのときに車が
移動する領域すなわち自車両の右側、右後方および後方が見やすくなるように、
仮想視点を光軸周りに回転させる。これにより、安全性が高まる。

【００９９】図２２は物体検出センサの出力信号に応じた画像切替の例を示す図である。同
図中、（ａ）は物体検出センサが自車両に近接した障害物を検出する前の画面で
ある。物体検出センサが自車両に近接した他の車両を検出したとき、画面は図２
２（ｂ）のように切り替わる。すなわち、検出した障害物との距離がより認識で
きるように、画像を拡大して表示する。

【０１００】このように、物体検出センサが障害物を検出したとき、画像を、障害物との距
離に応じて、段階的または連続的に拡大／縮小／回転などして表示することによ
って、障害物に対して、乗員の注意を喚起することができる。また、障害物が存
在する位置に応じて、仮想視点の位置を変更してもよい。

【０１０１】さらに、図２３に示すように、障害物が存在する領域を拡大して表示するとと
もに、その領域を枠で囲んで表示してもかまわない。あるいは、枠を点滅させた
り、枠内の色を反転させてもよい。このようにすれば、乗員の注意をさらに確実
に喚起することができる。もちろん、画像を拡大せずに単に枠で囲んで表示する
だけであっても、乗員の注意を喚起することはできることはいうまでもない。ま
た、画面表示の変更とともに、警告音によって、障害物の存在を知らせるように
してもかまわない。

【０１０２】図２４は物体検出センサの検出結果に応じた画像切替の他の例を示す図である
。図２４では、車両後方に障害物を検知したとき、仮想視点の視線の向きを、真
下からやや後ろ向きに変更している。これにより、車両後方の障害物がより見や
すくなっている。また、検出した障害物が合成画像の中心にくるように、仮想視
点を平行移動させてもよい。

【０１０３】なお、図１９〜図２４では、仮想視点が車両の上方にある場合の合成画像を例
にとって示したが、仮想視点が他の位置にある場合であっても、車両の走行状態
に応じて仮想視点の位置、視線の向きおよび焦点距離のうちの少なくとも１つを
変更することによって、運転者の利便性を向上させることができる。仮想視点の
位置の他の例としては、リアトランクの位置や、運転者の頭の位置などが考えら
れる。

【０１０４】また、図２０では、仮想視点の視線の向きの変更とともに、その視野範囲外画
像の取込を制御しているが、仮想視点の位置や焦点距離の変更とともに、その視
野範囲外画像の取込を制御してもよい。また、モデルを用いないで、仮想視点の
視野範囲外画像を取り込んでもかまわない。さらに、仮想視点を変えないで、仮
想視点の視野範囲外画像の取込の制御のみを、車両の走行状態に応じて、行って
もかまわない。

【０１０５】（合成画像生成動作の第２例）表示画像の切替は、用いるマッピングテーブルを適宜変更することによって、
容易に実現することができる。ところがこの場合、表示画像の切替を連続的に行
うためには、多数のマッピングテーブルを準備しておくことが必要になる。この
ため、装置に膨大な記憶容量を有する記憶部を設けることが必要になるので、好
ましくない。

【０１０６】ここでは、合成画像よりも大きい原マッピングテーブルを設けておき、この原
マッピングテーブルから切り出したマッピングテーブルを用いて、合成画像の生
成を行うものとする。この場合には、切り出すマッピングテーブルを適宜変更す
ることによって、表示画像の連続的な切替を容易に実現することができる。

【０１０７】図２５は本例に係る監視システムの構成を示す図である。図７に示す構成と異
なるのは、マップ領域設定部３０２が、タイミング生成部２０５から出力された
合成画像の画素の座標と、表示パターン設定部２２０Ａによって設定されたマッ
ピングテーブルの領域指定情報とに基づいて、対応するマッピングテーブルの要
素を生成し、マッピングテーブル参照部２０２に出力する点である。マッピング
テーブル参照部２０２には、表示パターン記憶部２１０Ａが有する原マッピング
テーブル記憶部３０１に記憶された原マッピングテーブルが、表示パターン設定
部２２０Ａによって設定されている。

【０１０８】すなわち、上述した第１例では、図８に示すステップＳ１３において、タイミ
ング生成部２０５によって設定された現在出力すべき合成画像の画素に対し、こ
の画素と同一位置にあるマッピングデータを読み出すものとしたが、本例では、
原マッピングテーブル上で、利用するマッピングテーブルの領域を設定した後に
、合成画像の画素に対応するマッピングデータの読み出しを行う。

【０１０９】本例におけるマッピングデータの読み出し方法について説明する。図２６およ
び図２７は本例における合成画像と原マッピングテーブルとの関係を模式的に表
したものである。図２６の例では、原マッピングテーブルから切り出す領域のサ
イズを合成画像と同一のサイズに固定し、オフセット値を変えることによって、
合成画像の平行移動を実現する。図２７の例では、原マッピングテーブルから切
り出す領域のサイズおよび要素の読み出しステップを変えることによって、合成
画像の拡大・縮小を実現する。

【０１１０】まず、合成画像の平行移動を行う場合について、図２６を参照して説明する。

【０１１１】図２６（ａ）に示す合成画像は幅Ｗ＿ＤＩＳＰ，高さＨ＿ＤＩＳＰのサイズを
持ち、図２６（ｂ）に示す原マッピングテーブルは幅Ｗ＿ＭＡＰ、高さＨ＿ＤＩ
ＳＰのサイズを持つものとする。ここでは、原マッピングテーブルとして、車の
上空の仮想視点から車の周囲の広い範囲を見下ろしたような画像を作るものを考
える。これは、前述した第１例において、焦点距離が一定であるとすると、仮想
視点と投影面の距離が一定のまま、投影面のサイズが（Ｗ＿ＤＩＳＰ，Ｈ＿ＤＩ
ＳＰ）から（Ｗ＿ＭＡＰ，Ｈ＿ＭＡＰ）に拡大したと考えて、原マッピングテー
ブルを構成すればよい。投影面の拡大によって、原マッピングテーブルには、よ
り広範囲の領域に関する情報が含まれる。図２６（ｄ）はこのようなマッピング
テーブルの各要素を、対応するカメラ画像およびイラスト画像に置き換えた画像
である。

【０１１２】次に、表示パターン設定部２２０Ａは、原マッピングテーブル上で、合成画像
生成のためのマッピングテーブルとして用いる領域を、原点（０，０）からのオ
フセット（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）によって指定する。点（ｏｆｆ＿ｘ，ｏｆ
ｆ＿ｙ）を開始点とした大きさ（Ｗ＿ＤＩＳＰ，Ｈ＿ＤＩＳＰ）の領域ＭＰＴが
、画像合成のために用いられるマッピングテーブルとなる。合成画像をラスター
走査して得られた画素のＸ、Ｙ座標にこのオフセット（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ
）を加算した位置のマッピングデータが、マッピングテーブル参照部２０２から
読み出され、画素合成部２０１に入力される。画素の合成処理は、第１例と同様
に、図１０のフローチャートに従って行われる。図２６（ｃ）は、図２６（ｂ）
に示すマッピングテーブルＭＰＴを用いて得られた合成画像である。

【０１１３】オフセットを加えた座標が原マッピングテーブルの範囲を超えた場合は、画素
合成部２０１に通知し、予め設定した色（例えば黒）などを画素の値とするなど
領域が判るような表示を行う。

【０１１４】本例によると、仮想視点を車両上方から路面を垂直に見下ろすように配置し、
路面平面モデルを用いた場合に、仮想視点を路面と平行に移動させたときの合成
画像を、マッピングテーブルを増やすことなく、生成することが可能になる。す
なわち、上述した第１例では、平行移動した仮想視点のそれぞれに対応するマッ
ピングテーブルが必要であったが、本例では１つの原マッピングテーブルのみで
済む。例えばスムーズな視点移動を行うために１画素ずつ仮想視点を移動するよ
うな場合、上述した第１例では、移動ステップの全部に対応する多数のマッピン
グテーブルが必要になるが、本例では、広範囲の１つの原マッピングテーブルに
おいて、マッピングテーブルを切り出す開始位置（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）を
変化させるだけで実現可能である。また本例では、例えばダイアルなどを回して
仮想視点の位置を変更したり、障害物検出センサの出力の大きさに比例して障害
物の方向へ仮想視点の位置を変更したりする場合に、細かいステップで仮想視点
の位置が変更できるため、状況に応じた合成画像を容易に生成できる。

【０１１５】本例では、仮想視点を細かなステップで平行移動するために多数のマッピング
テーブルを用いる必要がないので、マッピングテーブルを記憶するためのメモリ
は１個の原マッピングテーブルを記憶可能な容量があればよい。また、第１例で
は、マッピングテーブルの切換や設定に時間がかかるのに対し、本例ではオフセ
ットの設定のみで済むので、処理の高速化を図ることができる。

【０１１６】次に、同様の方法を用いて合成画像の拡大・縮小を行う場合について、図２７
を参照して説明する。

【０１１７】図２７において、タイミング生成部２０５は（ａ）に示す合成画像の画素Ｐ１
の座標（ｘ，ｙ）を指定したとする。表示パターン設定部２２０Ａは、領域の開
始位置（ｏｆｆ＿ｘ，ｏｆｆ＿ｙ）とともに、要素の読み出しステップ（ｓｔｅ
ｐ＿ｘ，ｓｔｅｐ＿ｙ）を指定する。このとき、画素Ｐ１に対応するマッピング
データＭＤの座標を（ｕ，ｖ）とすると、座標（ｕ，ｖ）は次の式によって求め
られる。

【０１１８】ｕ＝ｓｔｅｐ＿ｘ＊ｘ＋ｏｆｆ＿ｘｖ＝ｓｔｅｐ＿ｙ＊ｙ＋ｏｆｆ＿ｙ読み出しステップ（ｓｔｅｐ＿ｘ，ｓｔｅｐ＿ｙ）の値を変えることによって、
合成画像を滑らかに拡大・縮小することが可能になる。原マッピングテーブルか
ら切り出されるマッピングテーブルの領域が、読み出しステップ（ｓｔｅｐ＿ｘ
，ｓｔｅｐ＿ｙ）の変化に応じてＭＰＴ１，ＭＰＴ２，ＭＰＴ３，ＭＰＴ４と変
化したとき、合成画像は（ｄ），（ｅ），（ｆ），（ｇ）のように変化する。

【０１１９】座標（ｕ，ｖ）が原マッピングテーブルの範囲を超えたときは、前述した平行
移動の場合と同様に、指定の色などを出力する。また、読み出しステップ（ｓｔ
ｅｐ＿ｘ，ｓｔｅｐ＿ｙ）の値は整数以外の値を用いることもでき、この場合は
、計算結果の（ｕ，ｖ）の値を整数に変換する。

【０１２０】本例に係る拡大・縮小によると、仮想視点を車両上方から路面を垂直に見下ろ
すように配置し、路面平面モデルを用いた場合、仮想視点の高さまたは焦点距離
の変更によって視野範囲を拡大・縮小した場合と同様の、合成画像を生成できる
。

【０１２１】例えば、運転者などからの指示やセンサ入力に応じて、原画像の一部を拡大表
示する場合、唐突に拡大画像を出力するのではなく、本例に係る方法を用いて滑
らかに拡大して表示することによって、拡大画像が原画像のどの領域を拡大した
ものであるかが把握しやすくなる。

【０１２２】さらに、読み出しステップの変更とともに、オフセット値を変えることによっ
て、合成画像の拡大・縮小とともに、平行移動も実現することができる。

【０１２３】なお、一般には、マッピングテーブルの領域を矩形に限定する必要はない。す
なわち、表示パターン設定部２２０Ａが、マッピングテーブルの領域を、四辺形
の４頂点の座標で指定するようにしてもよい。

【０１２４】図２８において、マッピングテーブルの領域を凸形の四辺形とし、４点ｎ１，
ｎ２，ｎ３，ｎ４で指定する。このとき、合成画像の座標（ｘ、ｙ）の画素Ｐ１
に対応するマッピングデータＭＤの座標（ｕ，ｖ）は、次のように求めることが
できる。

【０１２５】まず、頂点ｎ１，ｎ２を（ｙ／Ｈ＿ＤＩＳＰ：１−ｙ／Ｈ＿ＤＩＳＰ）に内分
する点ｎａの座標を求める。同様に、頂点ｎ３，ｎ４を（ｙ／Ｈ＿ＤＩＳＰ：１
−ｙ／Ｈ＿ＤＩＳＰ）に内分する点ｎｂを求める。次に、点ｎａ，ｎｂを（ｘ／
Ｗ＿ＤＩＳＰ：１−ｙ／Ｗ＿ＤＩＳＰ）に内分する点の座標を求めれば、これが
対応するマッピングデータＭＤの座標（ｕ，ｖ）となる。

【０１２６】このような指定をすれば、平行移動、拡大、縮小、回転を含む、任意のマッピ
ングテーブルの領域指定が可能となる。

【０１２７】なお、本方式によると、路面平面モデルを用いて、仮想視点が上方から路面を
垂直に見下ろす場合については、仮想視点の平行移動や、視野範囲の拡大・縮小
または路面に平行な回転のような仮想視点の変化と正確に一致する合成画像を生
成することができる。ただし、モデルや仮想視点の向きが異なる場合には、仮想
視点の変化と正確に一致する合成画像を生成することは、必ずしもできない。し
かしながら、このような場合でも、仮想視点の変化に近似する合成画像を生成す
ることは可能であるので、本方式は極めて有効である。

【０１２８】＜複数種類の画像表示＞複数種類の合成画像を、併せて１つの画面に表示したり、合成画像とカメラ画
像とを同時に１つの画面に表示することによって、運転手の利便性を高めること
ができる。例えば、自車の近傍と遠方とを同時に表示したり、互いに異なる方向
の画像を同時に表示したり、自車の全体と拡大した自車の一部とを同時に表示し
たりすることによって、運転手は、画面表示を切り替えなくても、車両の周囲の
状況が的確に理解することができる。

【０１２９】このような複数種類の画像表示は、複合マップを用いることによって、容易に
実現することができる。「複合マップ」とは、単独マップの必要な部分を切り出
して適当な変形を行い、貼り合わせたり、単独マップにカメラ画像を貼り合わせ
たマッピングテーブルのことをいう。次に説明するような画像表示は、複合マッ
プを用いて容易に実現可能であるが、これ以外の画像表示についても、単独マッ
プ同士や、単独マップとカメラ画像とを組み合わせることによって、様々な運転
場面に応じた複合マップを作ることは可能である。

【０１３０】ここでは、車両上方に設定された仮想視点から見た，自車およびその周辺を示
す近傍画像としての、路面平面モデルを用いた見下ろし画像と、この見下ろし画
像を示す自車の周辺領域よりも遠方の領域を示す遠方画像とを含む画像を、表示
する例について、説明する。図２９はここでの説明の前提となるカメラ画像を示
す図である。

【０１３１】図３０は第１の画像としての見下ろし画像の左右に、第２の画像としての斜め
後方を撮すカメラ画像を貼り付けた例である。この例では、第２の画像の視点は
、第１の画像の仮想視点と、位置、視線の向きおよび焦点距離が異なっている、
といえる。図３０の画像では、見下ろし画像の右側には、右斜め後方の風景を撮
すカメラ２の画像が左右反転されて配置されており、見下ろし画像の左側には、
左斜め後方の風景を撮すカメラ６の画像が左右反転されて配置されている。すな
わち、左右のドアミラー付近に設置されたカメラ２，６の画像が、実際にドアミ
ラーを介して見えるように、左右反転されて配置されている。したがって、運転
手は、ドアミラーを見るのと同じ感覚で、直感的に車両周囲の状況を理解するこ
とができる。もちろん、左右反転せずに表示してもかまわない。

【０１３２】図３１は狭い範囲を示す第１の画像としての見下ろし画像と、広い範囲を示す
第２の画像としての見下ろし画像とを並べて表示した例である。この例では、第
２の画像の仮想視点は、第１の画像の仮想視点と、高さまたは焦点距離が異なっ
ている、といえる。図３１の画像を見ると、自車の近傍は詳細に、また広い範囲
はサムネイル的に、一度に見ることができる。

【０１３３】図３２は第１の画像としての見下ろし画像の周囲に、第２の画像としての前後
左右の斜め見下ろし画像を貼り付けた例である。この例では、第２の画像の仮想
視点は、第１の画像の仮想視点と視線の向きが異なっている。図３３は第１の画
像としての見下ろし画像の周囲に、第２の画像としての疑似円筒モデルを用いた
魚眼レンズで見たような画像を貼り付けた例である。この例では、第２の画像は
第１の画像とモデルが異なっている。図３４は第１の画像としての見下ろし画像
の周囲に、第２の画像としての前後左右のパノラマ画像を貼り付けた例である。
この例では、第２の画像は、第１の画像と、仮想視点の位置およびモデルが異な
っている。図３２〜図３４の画像を見ると、自車の近傍においては距離感を保つ
ことができ、かつ、自車周囲遠方は見渡すように一望することができる。

【０１３４】なお、見下ろし画像の前後左右全てに、遠方画像を貼り付ける必要は必ずしも
なく、見せたい方向のみ、例えば右側のみ、後方のみに遠方画像を表示するよう
にしてもかまわない。

【０１３５】なお、図３５に示すように、見下ろし画像の周囲の前後左右に斜め見下ろし画
像を貼り付ける場合、表示領域の四隅に空白部を設けて、斜め見下ろし画像は互
いに連続性がないことを強調するようにしてもかまわない。

【０１３６】さらに、図３２〜図３５のような画像表示を行う際には、周囲の遠方画像を、
フィルタ処理を施すことによって、ぼやかせて表示してもかまわない。これによ
り、運転者の注視領域を自車両の周辺に集中させることができる。また、周囲の
遠方画像の歪みを目立たないようにすることができる。

【０１３７】このような部分的なぼかし処理は、単独マップを用いた画像表示の場合であっ
ても有効である。例えば、図５に示すような見下ろし画像の場合であっても、自
車両およびその近傍にはぼかし処理を行わず、他の駐車車両が映っているような
周辺領域にぼかし処理を行うことによって、同様の効果を得ることができる。駐
車時などの場合には、ぼかし処理を行わない領域は、自車両から１０ｍ以内の領
域に設定すると適切である。また、自車両から距離が離れるにつれてぼかし強度
を増加させてもよい。

【０１３８】また、図３１の画像は、自車両と、自車両の周囲を示す第１の画像と、この第
１の画像が示す領域の少なくとも一部を拡大した第２の画像とを含む合成画像で
あるともいえる。もちろん、第１の画像が、自車両の全体ではなく自車両の一部
を示していたり、自車両の周囲の一部を示していたりしていても、かまわない。

【０１３９】また、表示画面をマルチウィンドウにし、サブウィンドウに、上述したような
合成画像や、カメラ画像、仮想視点の位置を示す画像、文字情報などを表示する
ようにしてもよい。これにより、自車両の周囲状況がさらに容易に把握しやすく
なり、運転手の利便性が向上する。

【０１４０】マルチ画面の表示方法としては、いろいろなものが考えられる。例えば、図３
６に示すように、カメラ画像や合成画像とともに、仮想視点の位置を示す画像を
サブウィンドウに表示してもよい。これにより、仮想視点の位置を容易に把握す
ることができる。

【０１４１】また例えば、物体検出センサが障害物を検出したときに、各サブウィンドウの
カメラ画像または合成画像上にその障害物の位置を示す警告マークを表示させる
ともに、別のサブウィンドウに、文字によって、その障害物の位置を表示させて
もよい。

【０１４２】＜死角領域および自車両領域の表示＞（その１）図３７はカメラ画像およびそのカメラ画像における自車両の映り込み領域を示
す領域データとしてのマスクデータの例を示す図である。図３７に示すように、
各カメラ画像において自車両が映り込んだ部分を認識し、認識した車両の映り込
み領域を示すマスクデータを、予め画像処理部２に記憶させておく。図３７に示
すマスクデータにおける黒色の部分が、車両の映り込み領域である。車両の映り
込み領域は、カメラの仕様と向き、および自車両の形状が定まれば、予め一意に
決定することができる。

【０１４３】図３８（ａ）は図３７のカメラ画像を用いて合成した鉛直見下ろし画像である
。図３８（ａ）に示す合成画像では、画像の中央部に白く自車両が映り込んでお
り、多少見づらくなっている。

【０１４４】そこで、各カメラ画像のマスクデータを、仮想視点から見た画像に変換し、合
成画像において、車両の映り込み領域を塗りつぶすことにする。この結果、図３
８（ｂ）に示すような画像が得られ、見やすさが改善される。

【０１４５】また、図３８（ａ）では、画像の中央部に自車両が映り込んでいるため見づら
くなっているとともに、自車両が実際にどこにあるのかが分からないので、運転
しづらい。そこで、自車両のイラスト画像または実画像を、自車両が実際に存在
する位置に、スーパーインポーズする。例えば、画像処理部２は、標準の仮想視
点から見たことを前提とする自車両のイラスト画像または実画像を予め記憶して
おき、その画像を、表示する合成画像の仮想視点から見た画像に変換し、スーパ
ーインポーズすればよい。この結果、図３８（ｃ）に示すような画像が得られ、
周りの物体に対する自車両の大きさや相対的な位置関係が、一目で分かるように
なった。自車両画像の変換は、前述したマッピングテーブルを用いることによっ
て、容易に実現できる。

【０１４６】この場合、標準の仮想視点としては、例えば自車両の上方に設けた仮想視点や
、側面に位置する仮想視点や、自車両の前方または後方などに設けた仮想視点を
、用いることができる。また、標準の仮想視点を複数個設けて、複数の標準の仮
想視点に対してそれぞれ画像を準備してもよい。そして、合成画像を生成するた
めの仮想視点の位置が決まると、その仮想視点と各標準の仮想視点との位置関係
から、画像変換時に画像の歪みが最も小さくなる標準の仮想視点を選択するよう
にしてもかまわない。

【０１４７】なお、自車両のイラストまたは実画像を貼り付ける代わりに、ＣＡＤ／ＣＡＭ
やＣＧの分野で公知のサーフェスモデルやソリッドモデルを用いた自車両の３次
元モデルを、合成画像に貼り付けるようにすることも可能である。この場合も、
標準の仮想視点から見た３次元モデルを表す画像を予め準備しておき、この画像
を、表示する合成画像の仮想視点から見た画像に変換し、スーパーインポーズす
ればよい。この変換も、前述したマッピンテーブルを用いることによって、容易
に実現することができる。

【０１４８】さらに、自車両が実際に存在する領域を示す画像として、カメラ画像から生成
した合成画像そのものを利用するようにしてもよい。また、自車両の一部、例え
ばバンパー部分のみを合成画像で表示し、これ以外の部分はイラストまたは実画
像を貼り付けるようにしてもかまわない。

【０１４９】（その２）仮想視点から見た合成画像には、いずれのカメラの撮像範囲にも属さない領域
が含まれる場合ある。また、自車両が妨げになって、各カメラからは撮像できな
い領域も含まれる場合がある。

【０１５０】この問題を解決するために、上述の（その１）では、車両の映り込み領域に所
定の画素データを与えて塗りつぶすことによって、合成画像をより見やすくした
。

【０１５１】ここで、図３９に示すように、自車両が映ったカメラ画像をそのまま仮想視点
画像に変換すると、変換された自車両画像が合成画像に含まれることになり、見
にくくなる（Ａ１）。この場合は、自車両が映る領域を塗りつぶすことによって
、見やすさは改善される。

【０１５２】ところが、仮想視点画像において、自車両が本来存在しない部分に、自車両の
一部が映ってしまう場合が起こりうる（Ａ２）。このような場合は、仮想視点画
像において自車両の部分を塗りつぶすと、本来見えるべき部分までが消えてしま
うので、好ましくない。この問題は、原カメラ画像を仮想視点画像に変換する際
に利用する空間モデルが、カメラに映っている実世界と異なる（ほとんどは単純
化される）場合に起こりうるものである。このため、この問題を原理的に解決す
るためには、実世界の奥行き情報を実時間で計算することが必要となり、非常に
高速な演算能力が装置に要求される。したがって、実施は困難である。

【０１５３】そこで、次のような方法によって、この問題を解決する。

【０１５４】すなわち、合成画像の画素が車両の映り込み領域に含まれるか否かを、原カメ
ラ画像と対になるマスクデータを参照して判断し、この画素の生成を、車両の映
り込み領域に含まれる場合とそうでない場合とにおいて切り換える。すなわち、
マスクデータを仮想視点画像に変換するのではなく、マスクデータを、原カメラ
画像の形態のまま用いる。

【０１５５】図４０はマスクデータの一例を示す図である。図４０に示すように、各カメラ
画像に対して、自車両の映り込み部分など仮想視点画像合成に用いない領域を示
すマスクデータが設けられている。

【０１５６】この場合には、例えば、合成画像の生成のためにカメラ画像の画素データを参
照するとき、このカメラ画像に対応するマスクデータも参照し、その画素が車両
の映り込み領域に含まれるときには、画素の生成を行わないで、死角領域である
ことが識別可能な色で塗りつぶすなどの処理を行えばよい。

【０１５７】また前述のマッピングデータＭＰ１４のように、合成画像の画素が死角領域に
含まれるか否かの情報を、マッピングテーブル自体に持たせてもよい。この場合
には、仮想視点画像合成の際に、フレーム毎にマスクデータを参照する必要が無
くなり、処理の高速化が実現できる。また、マスクデータを蓄える記憶部を設け
る必要がない、という利点がある。

【０１５８】図４１は画像合成の結果の一例を示す図である。図４１に示す合成画像では、
自車両が存在する車両領域と、自車両の周囲の死角領域とが、示されている。車
両領域を示すことによって、自車両と周囲の状況との位置関係や距離などが、運
転者から把握しやすくなる。また、運転席からは直接見えにくい領域も合成画像
によって確認できるようになるが、さらに死角領域を示すことによって、いずれ
のカメラからも撮影されない領域を運転者に認識させることができるので、安全
性が向上する。

【０１５９】なお、自車両が存在する車両領域の全てを示す必要は必ずしもなく、車両領域
の一部を示す場合もあり得る。例えば、カメラの設置台数が限られており、車両
およびその周囲の一部しか撮影されない場合には、撮影された車両領域の一部と
、その周囲の死角領域のみが示される。あるいは、車両周囲の特定の一部を拡大
表示させるような場合には、表示する車両領域の一部と、その周囲の死角領域が
示される。

【０１６０】また、死角領域の代わりに、車両の乗員などの注意を喚起するための注意喚起
領域を示してもよい。この注意喚起領域は、いずれのカメラからも撮影されない
車両周囲の死角領域を含んだ領域であってもよいし、死角領域そのものに相当す
る領域であってもかまわない。また、注意喚起領域は、車両の周囲の一部を示す
ものであってもよい。

【０１６１】注意喚起領域は、カメラの撮影範囲にかかわらず、車両領域との位置関係のみ
によって予め設定可能であるので、簡易な処理で合成することが可能である。ま
た、注意喚起領域が死角領域を含んでいるとき、死角領域ではない、カメラから
撮影された部分も注意喚起領域として隠されてしまう可能性があるが、例えば、
注意喚起領域を半透明表示して、死角領域と併せて表示するようにしてもよい。

【０１６２】図４２はマスクデータを用いて死角領域を求め、イラスト画像を貼り付ける場
合におけるマッピングデータの生成手順を示す図である。図４２において、＜Ｐ
Ｔ１＞は１個のカメラ画像から生成される合成画像の画素、＜ＰＴ２＞は２個の
カメラ画像を参照するが、カメラ画像の１つが車両の映り込みのために除去され
、残りの１個のカメラ画像から生成される合成画像の画素、＜ＰＴ３＞は１個の
カメラ画像を参照するが、そのカメラ画像が車両の映り込みのために除去される
合成画像の画素、＜ＰＴ４＞は１個のカメラ画像を参照するが、そのカメラ画像
が車両の映り込みのために除去され、かつ、車両のイラスト画像が貼られる合成
画像の画素である。

【０１６３】まず、ステップ１において、参照座標および必要度の計算を行う。合成画像の
画素に対し、全てのカメラ画像について参照座標を計算する。この参照座標の計
算は、後述する幾何演算によって行う。このとき、求めた参照座標がカメラ画像
の撮影範囲外（すなわち死角）にあるときは、座標値として（−１，−１）を記
述する。またここでは、参照するカメラの台数を求め、その逆数を必要度として
与えるものとする。必要度の与え方は、他の方法でもかまわないし、人手による
入力で与えてもよい。このステップ１において、＜ＰＴ１＞が参照するのはカメ
ラ６、＜ＰＴ２＞が参照するのはカメラ４，５、＜ＰＴ３＞が参照するのはカメ
ラ６、＜ＰＴ４＞が参照するのはカメラ２であることを得る。

【０１６４】次に、ステップ２において、車両の映り込み領域を示すマスクデータを参照し
て、死角の処理を行う。座標値が（−１，−１）以外のカメラに対応するマスク
データにおいて、その座標値が示す点が、車両の映り込み領域に属するか否かを
判断する。車両の映り込み領域に属するときは、その座標値を（−１，−１）に
変換する。この変換によって、参照するカメラの台数が減ったときは、必要度の
値を再度計算する。

【０１６５】＜ＰＴ１＞については、図４３（ｄ）に示すように、カメラ６のマスクデータ
において点（４５０，２００）は車両の映り込み領域に属しないので、座標値の
変換は行わない。＜ＰＴ２＞については、図４３（ｂ）に示すように、カメラ４
のマスクデータにおいて点（１５０，２８０）は車両の映り込み領域に属するの
で、カメラ４の座標値を（−１，−１）に変換する。一方、図４３（ｃ）に示す
ように、カメラ５のマスクデータにおいて点（４９０，２８０）は車両の映り込
み領域に属しないので、カメラ５の座標値は変換しない。そして、その必要度を
「１」に変換する。＜ＰＴ３＞については、図４３（ｄ）に示すように、カメラ
６のマスクデータにおいて点（１１０，２５０）は車両の映り込み領域に属する
ので、カメラ６の座標値を（−１，−１）に変換する。＜ＰＴ４＞については、
カメラ２のマスクデータにおいて点（６００，２９０）は車両の映り込み領域に
属するので、カメラ４の座標値を（−１，−１）に変換する。

【０１６６】次に、ステップ３において、画像合成に最低限必要なデータにするために、冗
長なデータの整理を行う。まず、座標値が（−１，−１）であるカメラ番号を全
て「−１」に変更する。そして、全てのカメラ番号が「−１」である場合は、こ
れらのデータを１つに統合する（＜ＰＴ３＞，＜ＰＴ４＞）。また、「−１」以
外のカメラ番号がある場合は、カメラ番号が「−１」であるデータを除去する（
＜ＰＴ１＞，＜ＰＴ２＞）。

【０１６７】そして、ステップ４において、自車両のイラスト画像の貼り付けを行う。自車
両のイラスト画像を貼り付ける合成画像の画素については、マッピングデータの
カメラ番号を「９９」に変換し、イラスト画像の参照座標を設定する。ここでは
、＜ＰＴ４＞がイラスト画像を貼り付ける画素であるので、カメラ番号を「９９
」に変換するとともに、座標値をイラスト画像の参照座標値（３６０，４４）に
変換する。

【０１６８】図４４（ａ）はステップ１終了時におけるマッピングデータを用いた場合の合
成画像の例、図４４（ｂ）はステップ３終了時におけるマッピングデータを用い
た場合の合成画像の例、図４４（ｃ）はステップ４終了時におけるマッピングデ
ータを用いた場合の合成画像の例である。

【０１６９】図４５はマスクデータを用いないで、注意喚起領域を指定する場合におけるマ
ッピングデータの生成手順を示す図である。図４５において、＜ＰＴ５＞は１個
のカメラ画像から生成される合成画像の画素、＜ＰＴ６＞は注意喚起領域に指定
される合成画像の画素、＜ＰＴ７＞は注意喚起領域に指定されるが、車両のイラ
スト画像が貼られる合成画像の画素である。

【０１７０】まず、ステップ１’において、初期マッピングテーブルの生成を行う。これは
、図４２に示すステップ１およびステップ３の処理によって実行される。

【０１７１】次に、ステップ２’において、注意喚起領域の指定を行う。ステップ１’で生
成した初期マッピングテーブルを用いて合成画像を作成し、この合成画像におい
て、注意喚起領域を指定する。

【０１７２】次に、ステップ３’において、注意喚起領域に該当するマッピングデータの書
き換えを行う。ステップ２’で指定された注意喚起領域に該当するマッピングデ
ータを、カメラ番号「−１」、座標（−１，−１）に変換する。そして、参照す
るカメラの台数が減ったときは、必要度の値を再度計算する。

【０１７３】そして、ステップ４’において、自車両のイラスト画像の貼り付けを行う。こ
こでは、＜ＰＴ７＞がイラスト画像を貼り付ける画素であるので、カメラ番号を
「９９」に変換するとともに、座標値をイラスト画像の参照座標値（３６０，４
４）に変換する。

【０１７４】図４６（ａ）はステップ１’終了時におけるマッピングデータを用いた場合の
合成画像の例、図４６（ｂ）はステップ３’終了時におけるマッピングデータを
用いた場合の合成画像の例、図４６（ｃ）はステップ４’終了時におけるマッピ
ングデータを用いた場合の合成画像の例である。

【０１７５】このようにすれば、自車両画像を合成画像に重ね合わせたり、死角領域や注意
喚起領域を特定の色で塗りつぶしたりするような処理を、容易に行うことができ
る。そして、注意喚起領域を設定する場合は、カメラに対するマスクデータを参
照しないで、予め決まった注意喚起領域を合成することによって、より簡易に合
成画像を生成できる。一方、死角領域を設定する場合は、カメラに対するマスク
データを参照することによって、カメラに映っている車両周囲の状況を余すこと
なく合成画像に反映させることが可能になる。

【０１７６】なお、以上の説明では、本発明に係る監視システムや画像処理装置は、車両に
適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても
、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住
居、ショールームなどにカメラを設置してもよい。

【０１７７】また、複数のカメラの設置位置や台数は、ここで示したものに限られるもので
はない。

【０１７８】また、本発明に係る画像処理装置の機能は、その全部または一部を、専用のハ
ードウェアを用いて実現してもかまわないし、ソフトウェアによって実現しても
かまわない。また、本発明に係る画像処理装置の機能の全部または一部をコンピ
ュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。

【０１７９】＜幾何変換＞合成画像のためのマッピングテーブルを作成するためには、仮想視点から見た
合成画像の各画素に対応する各カメラ画像の画素の座標を決める必要がある。

【０１８０】このために、まず、仮想視点からの合成画像の各画素に対応するワールド座標
系（Xｗ、Yｗ、Zｗ）を求め、そのワールド座標系の3次元座標に対応するカメラ
画像の画素の座標を求める２段階を考えると判りやすい。

【０１８１】最終的に必要な関係は、仮想視点の合成画像の各画素と各カメラ画像の画素と
の関係だけであり、このワールド座標系を経由するマッピングテーブルに限定さ
れるものではない。ただし、このワールド座標系を経由するマッピングテーブル
は、合成画像の実際の世界での座標系であるワールド座標系での意味付けが明確
になるため、周囲の状況を実際の距離、位置関係と対応付けやすい合成画像を生
成する点で重要である。

【０１８２】仮想視点の位置と向きを表すパラメータとして、視点のワールド座標系での座
標を位置ベクトルTv ＝（Txv、Tyv、Tzv）、視線の向きを、視平面座標系をワー
ルド座標系の向きへ一致させる回転を表す３行３列の回転行列Rvで表すとすると
、合成画像の視点座標（Vxe, Vye, Vze）の対応するワールド座標（Xw, Yw, Zw
）は、式（１）で求められる。

【数１】

【０１８３】図４７は、視点座標系とワールド座標系の関係を説明する模式図である。

【０１８４】図４８に示すように、仮想視点の向きを、視線がワールド座標系Y-Z平面に対
して水平回転の角度（方位角）をαv、X-Z平面に対してなす傾きの角度（仰角）
をβvとし、カメラの光軸周りの回転（Twist）をγvとすると、回転行列Rvは、

【数２】となる。

【０１８５】一方、仮想視点の視点座標系（Vxe, Vye, Vze）のVxe、Vyeと、投影面上の2次
元座標Uv、Vvの関係は、透視投影変換より焦点距離fvを用いて以下の式（３）で
表される。

【数３】

【０１８６】焦点距離の単位としては、投影面をフィルムやCCDとして、その大きさに対応
するmmやインチであらわす場合や、合成画像のサイズに対応して画素であらわす
場合などがあるが、今回は投影面を投影中心を中心として幅２、高さ２の正規化
したものとし、それに対する焦点距離を考える。

【０１８７】よって、投影面上の座標と合成画像の画素の関係は、画像の右上から（Sv、Tv
）の位置にある画素に対応する投影面上の座標（Uv, Vv）は、画像の横幅をWv画
素、縦幅をHv画素とすれば、 Uv ＝２×Sv／Wv −１ Vv ＝２×Tv／Hv −１ …（４）として求まる。

【０１８８】以上より、合成画像の任意の画素（Sv, Tv）に対応するワールド座標系の3次
元座標（Xw、Yw、Zw）は、式（１）〜（４）より、カメラの位置Txv, Tyv, Tzv,
カメラの向きαv、βv、γv, 焦点距離fvより次の式（５）で求めることができ
る。

【数４】

【０１８９】ただし、式（５）では、合成画像の座標（Sv、Tv）に対応する奥行きVzeが未
定である。言い換えると、合成画像に写る対象物までの各画素からの奥行き値を
定める必要がある。

【０１９０】仮想視点から見える対象物の3次元形状を知ることができれば、各画素の奥行
きを得ることができるが、一般には困難である。そこで、仮想視点から見える対
象物の形状に何らかのモデルを仮定することにより、上記Vzeを求め、合成画像
の座標とワールド座標系の3次元座標との関係を求めることを行う。

【０１９１】 ―路面平面モデル― その一例として、対象物を車が接している路面平面に限定した場合について説
明する。

【０１９２】すべての対象物がワールド座標系の平面（路面）に存在すると仮定すると、ワ
ールド座標系の3次元座標（Ｘw,Ｙw,Ｚw）は、以下の平面の方程式を満たす。

【数５】よって、式（６）を式（５）に代入して、Vzeを求めると、

【数６】となる。

【０１９３】よって、式（７）を式（５）に代入することにより、仮想視点の合成画像の画
素の座標（Sv, Tv）から、対応するワールド座標系の平面の3次元座標（Xw, Yw,
Zw）を求めることができる。

【０１９４】このワールド座標系での３次元座標（Xw, Yw, Zw）に対応する、各カメラ画像
の各画像の座標は式（１）と同様な関係式に、各カメラの位置、向きに対応する
Tx、Ty、Tz、α、β、γのパラメータを代入して計算することにより求めること
ができる。

【０１９５】例えば、カメラ１の位置をTx1, Ty1, Tz1, 向きをα1, β1, γ1とすれば、合
成画像の画素（Sv,Tv）に対応するカメラ１のカメラ座標系Xe1, Ye1, Ze1が,以
下の式（８）より計算できる。

【数７】このカメラ座標系とカメラ画像の座標系（U1、V1）との関係は、カメラ１の焦点
距離をf1として、式（３）より U1 ＝ f1／Ze1×Xe1 V1 ＝ f1／Ze1×Ye1 …（９）として計算できる。対応するカメラ画像の画素は、カメラ画像のサイズを縦H1画
素、横W1画素として、アスペクト比１：１、カメラ中心が画像の中心と考えると
、次の式（１０）で計算できる。 S1 ＝ W1／２×（Uv ＋１） T1 ＝ H1／２×（Vv ＋１） …（１０）以上の手続きにより、仮想視点画像の画素（Sv, Tv）に対応するカメラ１の画
像の画素（S1, T1）を求めることができた。同様にカメラ１以外の一般のカメラ
ｎに対しても（Sv, Tv）に対応する画素座標（Sn, Tn）が計算できる。実際にパ
ラメータテーブルには、その中から、（Sn, Tn）が実際のカメラ画像の範囲内に
写っているか、画素の拡大、縮小率が大きくないかなどの種々の条件により、そ
の最適なものを１つまたは複数選び、カメラ番号ｎとその座標（Sn, Tn）を書き
こむ。

【０１９６】 ―円筒モデル― 前記の路面平面モデルでは、カメラ画像で水平線から上に写っている物体は路
面平面を無限遠に延ばしても路面平面上には載らないので、仮想視点から見るこ
とことはできない。

【０１９７】これらの物体を仮想視点からの合成画像に反映するために、対象の３次元形状
として図４９に示すような円筒モデルを考える。このモデルは、仮想視点の向き
が路面に対して平行に近くなった場合などに有効である。

【０１９８】いま簡単のために、Ｘ軸、Ｚ軸に軸を持つ円筒モデルを考えると、楕円円筒の
中心を(Xc,Zc)とし、楕円のパラメータ(a, c)を用いて、そのモデルを次の式（
１１）としてあらわす。なお、Ｘ軸、Ｚ軸以外に軸を持つモデルへも、ＸＺ平面
上での回転を考えることにより、容易に拡張できる。

【数８】

【０１９９】式（１１）を用いて式（５）からVzeを消去することによって、仮想視点の合
成画像の座標(Sv, Tv)に対応するワールド座標系の３次元座標（Xw, Yw, Zw）を
求めることができる。この座標から、前記路面平面モデルと同様に、各カメラ画
像の対応する画素を計算することにより、仮想視点画像の画素(Sv, Tv)と、カメ
ラ画像の画素(Sn, Tn)の関係を求め、マッピングテーブルを作成する。

【０２００】また、路面平面モデルと円筒モデルの組合せも可能である。先に路面平面モデ
ルによるワールド座標系の３次元座標を求めて、その３次元座標が、円筒モデル
の外側、もしくは平面との交点を持たずに解を生じない場合は、次に円筒モデル
による3次元座標を求める。これにより路面平面モデルと円筒モデルの複合によ
る合成が可能となる。

【０２０１】 ―疑似円筒モデル― 路面平面モデルの周辺の遠方の状況を把握しやすくするため、周囲をお椀状の
疑似円筒モデルを導入する。モデルの形状を図50に示す。仮想視点画像の周辺に
なる程、遠方の部分が圧縮されて合成され、より広い範囲が表示可能となる。こ
の疑似円筒の形状を式（１２）で表す。

【数９】

【０２０２】お椀の中心が(Xc, Yc, Zc)、Ｘ軸、Ｙ軸、Ｚ軸方向の（a, b, c）の長さを持
つ。前記円筒モデルと同様に、式（１２）および式（５）から、仮想視点からの
合成画像の座標に対応するワールド座標系の3次元座標（Xw, Yw, Zw）を計算し
、合成画像の各画素と、各カメラ画像の画素の対応関係を求めることが可能とな
る。

【０２０３】なお、円筒モデルと同様に、路面平面モデルとの組合せによる複合モデルによ
る合成も可能である。

【０２０４】 ―レンズ歪み補正の処理― 次に、マッピングテーブルによりレンズ収差を補正する方法について説明する
。実際のカメラ画像にレンズ収差による歪みがある場合、この歪みを上記Uv、Vv
から実際の画素S1,T1を求めるときに、その歪みの分を補正した画素座標を計算
することにより、合成画像からレンズ収差の影響を除くことが可能となる。この
歪み補正は、マッピングテーブルの合成画像（Sv,Tv）とカメラ画像（Sn,Tn）の
関係に取り込まれるため、最初に歪み補正を行ったマッピングテーブルを作れば
、実際の合成時には、補正のための計算は不要となる。従来のレンズ歪み補正に
使われるレンズ中心からの距離の関数などのような歪みが定式化できない場合で
も、格子などのパターンを撮影し、レンズ歪みにより各画素がどのように移動す
るかの情報さえあれば、歪み補正が可能であるという特徴を持っている。

【図面の簡単な説明】

【図１】本発明に係る監視システムの概念図である。

【図２】カメラ配置の例を示す図である。

【図３】図２の各カメラの撮像画像の例である。

【図４】仮想視点と実カメラとの関係を概念的に示す図である。

【図５】生成された合成画像の例である。

【図６】マッピングテーブルを用いた画像合成動作を示す図である。

【図７】本発明の一実施形態に係る監視システムの構成例である。

【図８】図７の画像合成部の動作を示すフローチャートである。

【図９】マッピングテーブルの構成の例である。

【図１０】図８の画素合成ステップＳ１４の詳細を示すフローチャートである。

【図１１】カメラ画像以外の画素データを記述したマッピングデータの一例である。

【図１２】８個のカメラ画像を利用した鉛直見下ろし画像の例である。

【図１３】４個のカメラ画像を利用した鉛直見下ろし画像の例である。

【図１４】２個のカメラ画像を利用した鉛直見下ろし画像の例である。

【図１５】斜め見下ろし画像の例である。

【図１６】前方パノラマモードのパノラマ画像の例である。

【図１７】後方パノラマモードのパノラマ画像の例である。

【図１８】斜め見下ろし画像とパノラマ画像とを合わせた画像の例である。

【図１９】車両の走行状態に応じて仮想視点の高さを変更した場合の合成画像の例である
。

【図２０】車両の走行状態に応じて仮想視点の視線の向きを変更した場合の合成画像の例
である。

【図２１】車両の舵角に応じて仮想視点の視線の向きを変更した場合の合成画像の例であ
る。

【図２２】物体検出センサの出力信号に応じた画像切替の例を示す図である。

【図２３】物体検出センサの出力信号に応じた画像切替の例を示す図である。

【図２４】物体検出センサの出力信号に応じた画像切替の例を示す図である。

【図２５】本発明の一実施形態に係る監視システムの構成例である。

【図２６】画像を平行移動する場合のマッピングテーブルの切り出しを示す図である。

【図２７】画像を拡大・縮小する場合のマッピングテーブルの切り出しを示す図である。

【図２８】マッピングテーブルを矩形以外の四辺形で切り出す例を示す図である。

【図２９】カメラ画像の例である。

【図３０】見下ろし画像の左右に斜め後方を撮すカメラ画像を貼り付けた合成画像の例で
ある。

【図３１】狭い範囲を示す見下ろし画像と広い範囲を示す見下ろし画像と並べて表示した
例である。

【図３２】見下ろし画像の周囲に斜め見下ろし画像を貼り付けた例である。

【図３３】見下ろし画像の周囲に疑似円筒モデルを用いた画像を貼り付けた例である。

【図３４】見下ろし画像の周囲にパノラマ画像を貼り付けた例である。

【図３５】見下ろし画像の周囲に斜め見下ろし画像を貼り付け、四隅に空白部を設けた例
である。

【図３６】カメラ画像とともに仮想視点の位置を示す画像を表示した例である。

【図３７】カメラ画像と自車両の映り込み領域を示すマスクデータの例を示す図である。

【図３８】自車両の画像をスーパーインポーズした例を示す図である。

【図３９】自車両の映り込みをそのまま変換した場合の合成画像の例を示す図である。

【図４０】マスクデータの一部を示す図である。

【図４１】車両領域と死角領域とが示された合成画像の例である。

【図４２】死角領域を求め、車両の画像を貼り付ける場合のマッピングデータの生成手順
を示す図である。

【図４３】マスクデータと合成画像の画素との関係を示す図である。

【図４４】図４２の手順の結果得られたマッピングデータを用いた場合の合成画像の例で
ある。

【図４５】注意喚起領域を指定する場合のマッピングデータの生成手順を示す図である。

【図４６】図４５の手順の結果得られたマッピングデータを用いた場合の合成画像の例で
ある。

【図４７】幾何変換を説明するための図である。

【図４８】幾何変換を説明するための図である。

【図４９】幾何変換を説明するための図である。

【図５０】幾何変換を説明するための図である。

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【手続補正書】

【提出日】平成１４年２月１４日（２００２．２．１４）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【請求項２０】請求項１７記載の画像処理装置において、前記画像処理部は、各カメラ画像における自車両の映り込み領域を示す領域データを用いて、前記
死角領域および車両領域を合わせた領域の範囲を決定することを特徴とする画像処理装置。

【請求項２１】車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、合成画像
を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車
両の周囲の少なくとも一部を示し、いずれのカメラからも撮影されない車両周囲
の死角領域の少なくとも一部である注意喚起領域とを、表示することを特徴とする監視システム。

【請求項２２】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、
これらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素との対応関係を記述する第１のマッピン
グデータと、合成画像の画素と、カメラ画像以外の画素データとが対応すること
を示す識別子を記述する第２のマッピングデータとを有するマッピングテーブル
を用いて、前記合成画像を生成することを特徴とする画像処理装置。

【請求項２３】請求項２２記載の画像処理装置において、前記カメラ画像以外の画素データは、前記車両または、前記車両の周囲の少な
くとも一部にある死角領域を示すものであることを特徴とする画像処理装置。

【請求項２４】請求項２２記載の画像処理装置において、前記画像処理部は、カメラ画像以外の所定の画像を記憶しており、前記第２のマッピングデータは、合成画像の画素に対し、当該画素に対応する，記憶された前記所定の画像にお
ける座標値を記述するものであることを特徴とする画像処理装置。

【請求項２５】請求項２２記載の画像処理装置において、前記第２のマッピングデータは、合成画像の画素に対応する画素データを記述するものであることを特徴とする画像処理装置。

【請求項２６】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、
これらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよびカメラ画像以外の画素デー
タのうちの一方または両方からなる，複数の画素データとの対応関係を記述し、
かつ、各画素データに対してそれぞれ、必要度を記述したマッピングデータを用
い、各画素データに対して必要度に応じた重み付けを行い、前記合成画像の画素の
画素データを生成することを特徴とする画像処理装置。

【請求項２７】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、
これらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテーブルから、合成画像の画素とカメラ画像の画素との対応
関係を記述するマッピングテーブルを切り出し、切り出したマッピングテーブル
を用いて、合成画像を生成することを特徴とする画像処理装置。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２１

【補正方法】変更

【補正内容】

【００２１】また、具体的には本発明は、車両の周囲を撮影する複数のカメラの撮像画像を
入力とし、これらのカメラ画像から合成画像を生成する画像処理部を備え、前記
画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも
一部と、自車両の周囲の少なくとも一部を示し、いずれのカメラからも撮影され
ない車両周囲の死角領域の少なくとも一部である注意喚起領域とを表示するもの
である。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】変更

【補正内容】

【００２４】また、前記画像処理部は、各カメラ画像における自車両の映り込み領域を示す
領域データを用いて、前記死角領域および車両領域を合わせた領域の範囲を決定
するのが好ましい。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００２５

【補正方法】変更

【補正内容】

【００２５】また、本発明は、監視システムとして、車両の周囲を撮影する複数のカメラと
、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から合成画像を
生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理
部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、
自車両の周囲の少なくとも一部を示しいずれのカメラからも撮影されない車両周
囲の死角領域の少なくとも一部である注意喚起領域とを表示するものである。

───────────────────────────────────────────────────── （注）この公表は、国際事務局（ＷＩＰＯ）により国際公開された公報を基に作成したものである。なおこの公表に係る日本語特許出願（日本語実用新案登録出願）の国際公開の効果は、特許法第１８４条の１０第１項（実用新案法第４８条の１３第２項）により生ずるものであり、本掲載とは関係ありません。

Claims

【特許請求の範囲】

【請求項１】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これ
らのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれ
か１つを、前記車両の走行状態に応じて、変更することを特徴とする画像処理装置。
【請求項２】請求項１記載の画像処理装置において、前記画像処理部は、前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれ
か１つを、前記車両の走行速度に応じて、変更することを特徴とする画像処理装置。
【請求項３】請求項１記載の画像処理装置において、前記画像処理部は、仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれか１
つの変更とともに、変更後の仮想視点の視野範囲外画像の取込の制御を行うことを特徴とする画像処理装置。
【請求項４】請求項３記載の画像処理装置において、前記画像処理部は、変更後の仮想視点の視野範囲外画像の取込の制御を、画像合成のためのモデル
を変更することによって、行うことを特徴とする画像処理装置。
【請求項５】請求項１記載の画像処理装置において、前記画像処理部は、前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれ
か１つを、前記車両の舵角に応じて、変更することを特徴とする画像処理装置。
【請求項６】請求項１記載の画像処理装置において、前記車両は、障害物を検出する物体検出センサを備えており、前記画像処理部は、前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれ
か１つを、前記物体検出センサによる検出結果に応じて、変更することを特徴とする画像処理装置。
【請求項７】請求項１記載の画像処理装置において、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテーブルから切り出したマッ
ピングテーブルを用いて、合成画像の生成を行うものであり、かつ、前記原マッピングテーブルから切り出すマッピングテーブルを変更することに
よって、仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいず
れか１つの変更を、行うことを特徴とする画像処理装置。
【請求項８】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これ
らのカメラ画像から、仮想視点から見た合成画像を生成する画像処理部を備え、前記画像処理部は、前記車両の走行状態に応じて、前記仮想視点の視野範囲外画像の取込の制御を
行うことを特徴とする画像処理装置。
【請求項９】車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点
から見た合成画像を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、前記仮想視点の位置、視線の向き、および焦点距離のうちの少なくともいずれ
か１つを、前記車両の走行状態に応じて、変更することを特徴とする監視システム。
【請求項１０】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、こ
れらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、仮想視点から見た第１の画像と、前記第１の画像の仮想視点と位置、視線の向
き、および焦点距離のうちの少なくともいずれか１つが異なる視点から見た、ま
たは、前記第１の画像とモデルが異なる、第２の画像とを含む画像を、前記合成
画像として生成することを特徴とする画像処理装置。
【請求項１１】請求項１０記載の画像処理装置において、前記第２の画像は、前記カメラ画像の少なくとも１つであることを特徴とする画像処理装置。
【請求項１２】請求項１０記載の画像処理装置において、前記第１の画像は、自車およびその周辺を示す近傍画像であり、前記第２の画像は、前記近傍画像が示す自車の周辺領域よりも遠方の領域を示
す遠方画像であることを特徴とする画像処理装置。
【請求項１３】請求項１２記載の画像処理装置において、前記画像処理部は、前記合成画像において、前記近傍画像の周囲に、前記遠方画像を配置すること
を特徴とする画像処理装置。
【請求項１４】請求項１３記載の画像処理装置において、前記遠方画像は、前記近傍画像と連続性を有する画像であることを特徴とする画像処理装置。
【請求項１５】請求項１０記載の画像処理装置において、前記第１の画像は、自車両の少なくとも一部と、自車両の周囲の少なくとも一
部とを示す画像であり、前記第２の画像は、前記第１の画像が示す領域の少なくとも一部を拡大した画
像であることを特徴とする画像処理装置。
【請求項１６】車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、合成画像
を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、仮想視点から見た第１の画像と、前記第１の画像の仮想視点と位置、視線の向
き、および焦点距離のうちの少なくともいずれか１つが異なる視点から見た、ま
たは、前記第１の画像とモデルが異なる、第２の画像とを含む画像を、前記合成
画像として生成することを特徴とする監視システム。
【請求項１７】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、こ
れらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車
両の周囲の少なくとも一部を示し、注意を喚起するための注意喚起領域とを、表
示することを特徴とする画像処理装置。
【請求項１８】請求項１７記載の画像処理装置において、前記合成画像は、前記車両の上方に設定された仮想視点から見た画像であるこ
とを特徴とする画像処理装置。
【請求項１９】請求項１７記載の画像処理装置において、前記画像処理部は、前記車両領域に、自車両のイラスト画像または実画像を表示することを特徴とする画像処理装置。
【請求項２０】請求項１７記載の画像処理装置において、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域
の少なくとも一部を、含むことを特徴とする画像処理装置。
【請求項２１】請求項１７記載の画像処理装置において、前記注意喚起領域は、いずれのカメラからも撮影されない車両周囲の死角領域
に相当する領域であることを特徴とする画像処理装置。
【請求項２２】請求項２０または２１記載の画像処理装置において、前記画像処理部は、各カメラ画像における自車両の映り込み領域を示す領域データを用いて、前記
死角領域および車両領域を合わせた領域の範囲を決定することを特徴とする画像処理装置。
【請求項２３】車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮像画像を入力とし、これらのカメラ画像から、合成画像
を生成する画像処理部と、前記合成画像を表示する表示部とを備え、前記画像処理部は、前記合成画像において、自車両が存在する車両領域の少なくとも一部と、自車
両の周囲の少なくとも一部を示し、注意を喚起するための注意喚起領域とを、表
示することを特徴とする監視システム。
【請求項２４】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、こ
れらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素との対応関係を記述する第１のマッピン
グデータと、合成画像の画素と、カメラ画像以外の画素データとが対応すること
を示す識別子を記述する第２のマッピングデータとを有するマッピングテーブル
を用いて、前記合成画像を生成することを特徴とする画像処理装置。
【請求項２５】請求項２４記載の画像処理装置において、前記カメラ画像以外の画素データは、前記車両または、前記車両の周囲の少な
くとも一部にある死角領域を示すものであることを特徴とする画像処理装置。
【請求項２６】請求項２４記載の画像処理装置において、前記画像処理部は、カメラ画像以外の所定の画像を記憶しており、前記第２のマッピングデータは、合成画像の画素に対し、当該画素に対応する，記憶された前記所定の画像にお
ける座標値を記述するものであることを特徴とする画像処理装置。
【請求項２７】請求項２４記載の画像処理装置において、前記第２のマッピングデータは、合成画像の画素に対応する画素データを記述するものであることを特徴とする画像処理装置。
【請求項２８】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、こ
れらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、合成画像の画素と、カメラ画像の画素データおよびカメラ画像以外の画素デー
タのうちの一方または両方からなる，複数の画素データとの対応関係を記述し、
かつ、各画素データに対してそれぞれ、必要度を記述したマッピングデータを用
い、各画素データに対して必要度に応じた重み付けを行い、前記合成画像の画素の
画素データを生成することを特徴とする画像処理装置。
【請求項２９】車両の周囲を撮影する複数のカメラの撮像画像を入力とし、こ
れらのカメラ画像から、合成画像を生成する画像処理部を備え、前記画像処理部は、原マッピングテーブルを有し、この原マッピングテーブルから、合成画像の画素とカメラ画像の画素との対応
関係を記述するマッピングテーブルを切り出し、切り出したマッピングテーブル
を用いて、合成画像を生成することを特徴とする画像処理装置。