JPWO2000007373A1 - 画像表示装置、画像表示方法 - Google Patents
画像表示装置、画像表示方法Info
- Publication number
- JPWO2000007373A1 JPWO2000007373A1 JP2000-563072A JP2000563072A JPWO2000007373A1 JP WO2000007373 A1 JPWO2000007373 A1 JP WO2000007373A1 JP 2000563072 A JP2000563072 A JP 2000563072A JP WO2000007373 A1 JPWO2000007373 A1 JP WO2000007373A1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- vehicle
- viewpoint
- image generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
一台もしくは複数台のカメラと、前記カメラからの入力画像を、所定の３次元空間の所定の空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記所定の３次元空間における任意の仮想視点から見た画像を作成する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする画像生成装置。
Description
技術分野
本発明は、数台のカメラで撮影された複数枚の画像について、画像を互いに独
立して表示するのではなく、前記数台のカメラで撮影しているエリアの全体の様
子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関
し、たとえば、店舗におけるモニター装置、あるいは車両運転の際の安全確認の
補助としての車両周囲モニター装置等に関する。 背景技術 従来の一般的な監視カメラ装置は、店舗などにおいて、監視対象となる部分を
１台もしくは数台のカメラで撮影し、その画像をモニタ画面に表示する構成が一
般的である。この際、例えば数台のカメラが設置してあれば、通常モニタ画面も
前記カメラ台数分だけ準備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメラ画像を１枚分の画像に
統合して表示させる、もしくは、カメラ画像を順次切り替えるなどの方法が取ら
れる。しかし、これら従来の装置では、それぞれのカメラからの画像を監視する
には、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの
問題があった。 この問題を解決する方法として、複数台カメラからの画像が端の部分で重なる
ように設置し、複数台カメラからの画像を、前記重なり部分を重ねることによっ
て一枚に統合した画像を表示することで、前記連続性の問題を解決した監視装置
としては、例えば特開平１０−１６４５６６号公報などがある。 また、監視装置の別の応用例として、車両に設置した場合がある。その従来例
としては次のようなものがある。つまり、車両の周囲を監視するカメラを設置し
、前記カメラで獲得した画像を運転席近くに設置したモニターテレビに表示させ
る監視装置である。例えば車両後方のように、運転者が目視もしくはミラーで見
ることが出来ない場所を、前記カメラで撮影し前記モニターテレビで表示させる
装置が知られている。特に、大型トラック、ワンボックスワゴンなど、目視およ
びミラーで確認できる視野が狭い車両には多数使用されている。 図６９は、監視カメラを車両に設置した場合の従来例を示したものである。図
６９の例では、分割アダプタを介して、車体に取付けられた４つの監視カメラ（
Ｃ１〜Ｃ４）からの画像を一枚の画像に合成し、該画像をモニタテレビで分割表
示（Ｄ１〜Ｄ４）する方法である。特に後部カメラからの画像に関しては、画像
に撮っている物体の位置関係をミラーで見たときと同じ様にするため、左右反転
した画像を表示するなどの工夫がされている。さらにカメラの画角の制限のため
見ることが出来ない場所については、運転者の手動操作によって各々のカメラを
回転させ、所望の場所の画像を得ることを可能としている。なお、上記に示した
監視装置としては、例えば特開平５−３１００７８号公報に開示の装置などがあ
る。 しかしながら上記の例のような従来の監視装置については、各々のカメラから
入力された画像を、互いに無関係に表示するので、カメラが撮影している空間全
体の様子を、それぞれの画像を見ながら管理者が一度に把握することは困難であ
る。 一方それぞれのカメラ画像を一枚に統合する場合も、カメラに撮影されている
物体が空間内のどの位置に存在するかを計算するものではないので、例えば管理
者が状況に応じて所望の視点からの統合画像を見たいという要求があった場合に
、対処できない。 車両に設置された監視装置についても同様の問題が生じる。すなわち上記の例
のように従来の監視装置については、各々のカメラから入力された画像を、互い
に無関係に表示させるものである。従って例えば車両を駐車スペースに入れよう
とする場合の補助として前記表示された画像を用いる際にも、前記画像は見えな
い場所を見るだけの役割しか果たさない。つまり運転者は、従来の目視およびミ
ラーを使った場合と比べて見えない場所が少なくなっただけにすぎない。 なお、視野が狭い点を解決するための方法としては、広角レンズを用いる事が
一般的である。広角レンズからの画像ではある特定部分の詳細はつかめないが、
逆に広角レンズを用いる事で視野が広まり、車両の周囲の全体的な状況を把握し
易くなる。 しかしながら、通常のレンズを広角レンズに置き換えるのみでは、結局、カメ
ラからの画像は、車体にカメラが設置されている場所に依存し、カメラが設置さ
れていない場所からの仮想的な画像を見ることはできない。すなわち、広角レン
ズ設置したカメラを用いて得られる効果は、カメラの台数が減るという点のみで
ある。 さらに、別の従来例として、特開平３−９９９５２号公報に開示されている装
置がある。図７０は、その従来の車両周囲監視装置の実施例を示したブロック図
である。画像変換部２２０２に入力されたカメラ１〜Ｎ２２０１からの画像が、
変換により他の座標に変換され、画像表示部２２０３で１枚の画像に合成される
。そして運転席に設置されたＴＶモニタ２２０４に表示する。画像表示部では、
ギア位置、車速、ウインカ動作に応じた信号により、自車表示位置を画面の中心
よりずらすなどし、見ようとする車両周囲環境領域を広くとるようにするなどの
工夫も可能である。 また、これをさらに発展させた他の従来例が特開平７−１８６８３３号公報に
開示されている。この例では、周囲の状況を運転者に提示する際に、路面部分と
それ以外の部分を予め区別し、路面部分は座標変換によって車両中心上方に下向
きに視点を置いたときに観測される画像に変換し、また路面外部分は、前記変換
画像にカメラからの映像をそのまま適切な場所で適切な大きさに変更して重ねあ
わせ表示する。これにより車両の周囲の障害物の状況、特に車両後方から接近す
る他の車両などを正確に知らせるものである。 しかしながら、上記別の従来の車両周囲監視装置においては、得られる合成画
像と実在の物体との対応づけが困難になる場合があるという問題があった。 また上記他の従来例では、路面と路面外とを分割することにより、路面外物体
を画像に映った状態で切り出し合成画像に貼り付けるという方法を用いているが
、路面外物体の切り出しは画像認識の分野でも難しい問題の一つであり、実用化
は困難である。 一方、走行中にカメラが動いてしまい、合成画像にずれが生じるという問題が
あるが、それを解決する従来例としては、例えば特開平５−３１００７８号公報
に開示されている方法がある。該方法では、カメラの向きを変更する機構を備え
ることにより、運転者が合成画面を見ながら、手で所望の向きにカメラを動かす
方法である。しかし、この場合の問題は、向きを変更する機構をカメラの台数と
同じ数だけ取付ける必要があり、コストが高くなる点である。 本発明は、かかる課題を解決するものであり、例えば車両に設置された装置で
は、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだ
け現実に近いように分かり易く一枚の画像として合成し、運転者に表示すること
を目的とする。 また、本発明は、前記合成のために必要な、カメラの取り付け位置、取り付け
角度などのカメラパラメータを容易に求める方法、さらには、前記カメラパラメ
ータが、走行時の振動や温度などによってずれたときに、それを検知し修正する
装置および方法も提供する。 発明の開示 上記課題を解決するために、本発明は、一台もしくは複数台のカメラと、前記
カメラからの入力画像を、所定の３次元空間の所定の空間モデルにマッピングす
る空間再構成手段と、前記空間再構成手段によってマッピングされた空間データ
を参照して、前記所定の３次元空間における任意の仮想視点から見た画像を作成
する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示手段
とを備えたことを特徴とする画像生成装置である。 また、上記課題を解決するために、本発明の画像生成方法は所定の３次元空間
に存在するカメラからの入力画像を、前記所定の３次元空間の所定の空間モデル
にマッピングして空間データを作成する空間再構成工程と、前記空間データを参
照して、前記三次元空間における任意の仮想視点から見た画像を作成する視点変
換工程とを備え得たことを特徴とする画像生成方法である。 上記課題を解決するために、本発明の装置は次の構成を有する。 本発明の基本構成は、車両に設置された一台もしくは複数台のカメラから画像
を入力する画像入力手段と、前記カメラ特性を示すカメラパラメータを格納する
カメラパラメータテーブルと、車両を基準とした座標系に空間モデルを作成する
空間モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッ
ピングするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、
前記マッピング手段にて作成されたデータから合成する視点変換手段と、前記視
点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする
。 本発明による監視装置の第１の応用構成は、距離を計測する距離センサと、車
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を前記距
離センサを用いて計測する障害物検知手段とを備えたことを特徴とする。 本発明による装置では、予め適当に設定した空間モデル、もしくは、障害物検
知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間
モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に
設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前
記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点
から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する
。この際、車両の乗員は、所望の視点からの画像を表示することが可能である。
上記課題を解決するために、本発明の基本構成は、車両に設置された一台もし
くは複数台のカメラから画像を入力する画像入力手段と、前記カメラ特性を示す
カメラパラメータを格納するカメラパラメータテーブルと、車両周囲の状況とし
て、路面上の特徴を検知する路面特徴検出手段と、車両を基準として設定された
座標系に、前記路面特徴検出手段の処理結果に応じた空間モデルを作成する空間
モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッピン
グするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、前記
マッピング手段にて作成されたデータから合成する視点変換手段と、前記視点変
換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。 また、本発明の第１の応用構成は、車両の移動方向を検出する移動方向検出手
段と、車両の単位時間における移動距離を検出する移動距離検出手段を備え、前
記移動方向検出手段および前記移動距離検出手段での処理結果を用いて、前記路
面上の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空
間モデルを逐次修正することを特徴とする。 また、第２の応用構成は、前記表示手段において前記路面特徴検出手段におけ
る処理結果を表示しつつ前記処理結果を修正する特徴修正手段を備えたことを特
徴とする。 本発明では、白線などの路面上の特徴を路面特徴検出手段にて検出し、空間モ
デル作成手段で前記検出された特徴に合わせて空間モデルを作成する。画像入力
手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピン
グ手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段に
て決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示
手段にて表示する。車両が移動した場合は車両と路面特徴との位置関係が変化す
るので、該変化に応じて空間モデルを修正し、修正後の空間モデルを用いて画像
を合成し表示する。 上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、前記車両の周囲の状況をモデル
化した空間モデルに前記カメラより入力された画像をマッピングするマッピング
手段と、所望の仮想視点から見た一枚の画像を、前記マッピング手段にて作成さ
れたデータから合成する視点変換手段と、前記カメラのパラメータを、各々のカ
メラで独立して修正するカメラパラメータ修正手段と、前記視点変換手段にて変
換された画像を表示する表示手段とを備えたことを特徴とする。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時と通常
動作時とで仮想視点を切り替えることを特徴とする。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を車載カメラのいずれかのカメラパラメータと一致させることを特徴とす
る。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を、該修正を行っているカメラの、修正処理前のカメラパラメータと一致
させることを特徴とする。 また、前記視点変換手段において、視点の向きを変更する操作の向きと、前記
視点の向きとの関係を互いに逆方向とすることを特徴とする。 また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。 上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、車両の周囲の状況をモデル化し
た空間モデルに前記カメラより入力された画像をマッピングするマッピング手段
と、少なくとも位置、向きを含む視点パラメータを格納する視点パラメータテー
ブルと、前記マッピング手段でのマッピング処理の結果を用いて、所望の仮想視
点から見た画像を合成する視点変換手段と、前記仮想視点のパラメータを修正す
る視点パラメータ修正手段と、前記視点変換手段にて変換された画像を接合して
表示する表示手段とを備えたことを特徴とする。 また、前記一組の視点パラメータは、車両に設置されたカメラのいずれか一つ
と対となるよう区別して前記視点パラメータテーブルに格納することを特徴とす
る。 また、視点パラメータ修正手段において、仮想視点パラメータ変更操作のうち
、少なくとも向き・位置・回転の操作については、操作方向と実際の視点パラメ
ータの変更との関係を、互いに逆とすることを特徴とする。 また、視点パラメータ修正手段において、視点パラメータ修正する際は固定し
た仮の仮想視点を設け、当該修正中の仮想視点での修正経過を、前記仮の仮想視
点からの画像として逐次合成表示することを特徴とする。 また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。 また、カメラ入力画像と合成画像との間の画素の対応づけ関係を保持するマッ
ピングテーブルを備え、前記マッピング手段および視点変換手段での処理によっ
て得られた前記対応づけ関係を前記マッピングテーブルに格納することを特徴と
する。 また、視点パラメータ修正手段での処理によって変更された視点パラメータを
用いて、前記マッピングテーブルを再計算するマッピングテーブル修正手段を備
えたことを特徴とする。 発明を実施するための最良の形態 本発明の基本的構成は、一台もしくは複数台のカメラと、前記カメラの特性を
示すカメラパラメータを格納するカメラパラメータテーブルと、前記カメラパラ
メータに基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッ
ピングして空間データを作成する空間再構成手段と、前記空間再構成手段にて作
成された空間データを一時的に格納する空間データバッファと、前記空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段と、前記視点変換
手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。 本発明による画像生成装置の第１の応用構成は、カメラ特性を示すカメラパラ
メータを、入力もしくは計算によって得るキャリブレーション手段を備えたこと
を特徴とする。 本発明による画像生成装置の第２の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成手段と、それらの特徴点を抽出す
る特徴点抽出手段とを備えたことを特徴とする。 本発明による画像生成装置の第３の応用構成は、温度センサ、温度補正テーブ
ルを備えたことを特徴とする。 本発明による画像生成装置の第４の応用構成は、車両の移動方向を検出する移
動方向検出手段と、車両の単位時間における移動距離を検出する移動距離検出手
段と、車両の移動方向および移動距離を用いて、前記空間データバッファに格納
された空間データを変換する空間データ変換手段とを備えたことを特徴とする。
本発明による画像生成装置の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知した場合に運転者にカメラキャリブレーションの指示を行う
カメラ補正指示手段と、カメラキャリブレーションを行った日時および走行距離
を記録する補正履歴記録手段とを備えたことを特徴とする。 また、本発明の画像生成方法は、カメラ特性を示すカメラパラメータに基づい
てカメラからの入力画像を構成する各々の画素を３次元空間の点に対応づけた空
間データを作成する空間再構成工程と、前記空間データを参照して任意の視点か
ら見た画像を作成する視点変換工程とを包含することを特徴とする。 本発明による画像生成方法の第１の応用構成は、前記カメラ特性を示すカメラ
パラメータを入力もしくは計算によって獲得し、また必要であれば温度に応じて
前記カメラパラメータを補正するキャリブレーション工程を包含することを特徴
とする。 本発明による画像生成方法の第２の応用構成は、前記キャリブレーション手段
で前記カメラパラメータの計算に必要な複数個の特徴点を抽出する特徴点抽出工
程を包含することを特徴とする。 本発明による画像生成方法の第３の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成工程を包含することを特徴とする
。 本発明による画像生成方法の第４の応用構成は、車両の移動方向を検出する移
動方向検出工程と、車両の単位時間における移動距離を検出する移動距離検出工
程と、前記移動方向検出工程によって検出された車両の移動方向、および移動距
離検出工程によって検出された車両の移動距離を用いて、前記空間データを変換
する空間データ変換工程とを包含することを特徴とする。 本発明による画像生成方法の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知し、キャリブレーションが必要である場合に、運転者にカメ
ラキャリブレーションの指示を行うカメラ補正指示工程と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録工程とを包含するこ
とを特徴とする。 本発明（請求項１の一例）の画像生成装置では、以下の３ステップからなる手
順によって、複数台設置されているそれぞれのカメラ視野を統合し、一枚の画像
として合成する。 １．空間再構成手段において、カメラから得られた画像を構成する各々の画素
と、３次元座標系の点との対応関係を計算し、空間データを作成する。前記計算
は各々のカメラから得られた画像のすべての画素に対して実施する。 ２．視点変換手段において、所望の視点を指定する。すなわち、前記３次元座
標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定
する。 ３．同じく視点変換手段において、前記視点からの画像を、前記空間データか
ら再現し、表示手段にて表示する。 請求項８、請求項９および請求項１２に記載の発明を組み合わせた画像生成装
置の一例では、特徴点生成手段によって車体の周囲などに３次元座標の同定が可
能な複数個の点を生成し、それらの特徴点を特徴点抽出手段で抽出することによ
り、各々のカメラについて、その特性を示すカメラパラメータを自動で得る。 本発明（請求項１４の一例）の画像生成装置では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つ。 また、本発明（請求項１７の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラから死角となる部分の画像を見る方法を提供する。す
なわち車両の移動方向および移動距離を検出し、検出結果から導かれた計算式を
用いて、以前に取得した画像を現在の位置から見た画像に変換する。具体的には
、以前に見えていたが現在見えていない場所についての空間データは、前記場所
を撮影した画像が空間データとして空間データバッファに格納されている場合、
その空間データを空間データ変換手段で変換することによって補われる。 また、本発明（請求項１８の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラの特性を示すカメラパラメータの補正、すなわちカメ
ラキャリブレーションを実施しなければならない状況を検知し、その旨を運転者
に指示する。 以下、図を用いて本発明の一実施例を説明する。なお本実施例においては、車
両の周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに
設置したモニターテレビに表示させる画像生成装置を対象として説明する。 図１は本発明（請求項１）の画像生成装置の基本構成の一例を示したブロック
図である。 本発明による画像生成装置は、基本構成例として、監視対象領域の状況を把握
するために取付けられた複数台のカメラ１０１、前記カメラの特性を示すカメラ
パラメータを格納しておくカメラパラメータテーブル１０３、カメラパラメータ
に基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッピング
した空間データを作成する空間再構成手段１０４、空間再構成手段１０４にて作
成された空間データを一時的に格納する空間データバッファ１０５、空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段１０６、視点変換
手段１０６にて変換された画像を表示する表示手段１０７からなる。 図２は請求項８、請求項９および請求項１２に記載の本発明を組み合わせた画
像生成装置の構成の一例を示したブロック図である。 図２の例では、図１に示した画像生成装置に対して、さらに、カメラの取り付
け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの
焦点距離などといった、前記カメラ特性を表すカメラパラメータを、入力もしく
は計算によって得るキャリブレーション手段１０２、前記カメラの視野内に３次
元座標の同定が可能な複数個の点を生成する特徴点生成手段１０９とそれらの特
徴点を抽出する特徴点抽出手段１０８とを付加し、各々のにカメラについて、そ
の特性を示すカメラパラメータを容易に得ることを可能としている。 特徴点生成手段１０９および特徴点抽出手段１０８の振る舞いによってカメラ
パラメータを得るための方法についての詳細は後述する。 図３は本発明（請求項１４の一例）の画像生成装置の構成例を示したブロック
図である。図３の例では、図１に示した画像生成装置に対して、更に温度センサ
１１０、温度補正テーブル１１１を設置することにより、気温上昇・下降にとも
なって微妙に変化するレンズ歪みを補正し、レンズを常に最適に保つことが可能
となる。キャリブレーション手段１０２において温度によるレンズ歪みの補正を
行う方法についての詳細は後述する。 図４は本発明（請求項１７の一例）の画像生成装置の構成例を示したブロック
図である。図４は車両への応用例としての画像生成装置の構成例で、図１に示し
た画像生成装置に対して、さらに車両の移動方向を検出する移動方向検出手段１
１２と、車両の単位時間における移動距離を検出する移動距離検出手段１１３と
、車両の移動方向および移動距離を用いて、前記空間データバッファ１０５に格
納された空間データを変換する空間データ変換手段１１４とを付加している。 これらの手段を用いることにより、現在見えていない場所について、以前に見
えており、かつ、その見えていた画像が空間データとして空間データバッファ１
０５に格納されていれば、その空間データを本発明を構成する空間データ変換手
段１１４で変換することによって補うことができる。補うための方法についての
詳細は後述する。 図５は本発明（請求項１８の一例）の車両への応用例としての画像生成装置で
、その構成例を示したブロック図である。 図５の画像生成装置の例では、図１に示した画像生成装置に対して、さらにカ
メラのキャリブレーションが必要な状況を検知した場合に、運転者にカメラキャ
リブレーションの指示を行うカメラ補正指示手段１１６と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録手段１１５を付加し
ている。これらの手段を用いることにより、カメラの特性を示すカメラパラメー
タの補正、すなわちカメラキャリブレーションを実施しなければならない状況を
検知し、その旨を運転者に提示する。 図６は、図１〜図５を統合した画像生成装置を示したブロック図であり、図１
から図５の画像生成装置を一つにまとめた場合の構成例で、それぞれの構成で得
られる効果を統合して利用することが可能である。本実施例の最後で、本図６の
構成例を用いて、本発明による画像生成装置の動作例を示す。 次に、本発明を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。図７は、車両へのカメラの取り付け例を示した概念
図である。 図７では、車両の屋根に、車両から周囲を見渡すようにカメラが６台設置され
ている例を示している。図７の例のように、車両への取り付け位置としては、車
体屋根と側面もしくは屋根と後面の境界部分にすると、視野が広くなりカメラの
台数も少数で済む。 本発明によるキャリブレーション手段１０２は、カメラキャリブレーションを
行う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについ
ての、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角
度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、前記
カメラ特性を表すカメラパラメータを決定、補正することである。 本発明によるカメラパラメータテーブル１０３は、キャリブレーション手段１
０２（処理の詳細は後述）によって得られたカメラパラメータを格納するテーブ
ルである。 まず該カメラパラメータテーブル１０３の詳細な説明の準備として、３次元空
間座標系を定義する。前出の図７は、車両にカメラを設置した様子を示した概念
図であるが、図７において車両を中心とする３次元空間座標系を示している。図
７の例では３次元空間座標系の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義し、また本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特にことわりがない限り、３
次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義によ
る３次元空間座標系を指すものとする。 図９は、カメラパラメータテーブル１０３に格納されているデータを表形式で
示したものである。図９に記載されている内容は、テーブルの左側の列から順に
以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項目がカ
メラパラメータの例を示している。 １列目：図７の車載カメラの番号 ２列目：３次元空間座標系におけるカメラ位置のＸ座標 ３列目：３次元空間座標系におけるカメラ位置のＹ座標 ４列目：３次元空間座標系におけるカメラ位置のＺ座標 ５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ７列目：３次元空間座標系におけるカメラの焦点距離 ８列目：レンズの半径方向の歪み係数κ１ ９列目：レンズの半径方向の歪み係数κ２ 例えば、図７におけるカメラ１のパラメータは図９のカメラパラメータテーブ
ル１０３の２行目に記載されており、その内容は、カメラ１は、座標（ｘ１、ｙ
１、０）の位置にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面に対して
−３０度の角度をなし、焦点距離はｆ１、レンズ歪み係数κ１、κ２はともに０
である、ということが分かる。 同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル１０３の
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。 この仮想カメラは、本発明に導入される概念である。すなわち従来の画像生成
装置では、実際に設置されているカメラから得られた画像のみしか表示できなか
ったが、本発明による画像生成装置では、後で詳述する空間再構成手段１０４、
視点変換手段１０６により、仮想のカメラを自由に設置し、その仮想カメラから
の画像を計算によって求めることが可能となる。該計算方法についても後で詳述
する。 本発明によるキャリブレーション手段１０２は、カメラキャリブレーションを
行う。それはすなわち前記カメラパラメータを決定することであり、その決定方
法としては、例えばキーボードやマウスなどの入力装置によって全てのデータを
人手で直接入力する方法、キャリブレーションデータのいくつかを計算によって
求める方法などがある。 カメラパラメータとは、ある基準の座標系におけるカメラの取り付け位置およ
びカメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距
離などといった、前記カメラ特性を表すパラメータである。カメラで撮影した画
像の特徴点と、前記特徴点の前記基準座標系内での位置との対応関係が取れてい
る点の組が多数分かっていれば、前記パラメータを計算によって近似的に求める
ことが可能となる。つまり、カメラパラメータを計算によって求める場合、カメ
ラで撮影した画像の点と、その点の３次元空間座標系内での位置との対応関係が
取れている点の組が、複数個必要となる。その組が最低いくつ必要であるかは、
どのような計算方法を用いるかに依存する。例えば図９の例で用いたカメラパラ
メータを計算によって求める方法に関しては、文献「松山、久野、井宮、”コン
ピュータビジョン：技術評論と将来展望”、新技術コミュニケーションズ、ｐｐ
．３７−５３、１９９８年６月」に開示されている。この他にもカメラパラメー
タを求める技術が、前記文献に多数開示されているので、ここでは該技術に関す
る説明は省略する。 しかし、いずれの方法でカメラパラメータの計算をする場合においても、前記
対応関係の組をどのようにして見つけるかが問題となる。本発明では、前記対応
関係の取れた点の組を自動で作成し、その組を用いて計算によっていくつかのカ
メラパラメータを求める方法について開示していおり、該方法については後述す
る。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズの歪みの変化は、激しい温度変化がない限りは起こらないと仮
定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の対
応関係をあらかじめ計算しておく。そして前記計算結果をテーブルやマトリクス
などのデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。 温度などによってレンズ歪みがどのように変化するかが予め分かっていれば、
そのデータは本発明による温度補正テーブル１１１などの形式で持っておき、気
温の上昇や下降によってレンズ歪みに変化が生じた場合に、キャリブレーション
手段１０２によって前記テーブルのデータを参照して補正する。 図１０は本発明による温度補正テーブル１１１の例を表形式で示した図である
。図１０に示すように、温度補正テーブル１１１は、温度に応じて変化する前記
カメラパラメータの変化量をデータとして格納するもので、本例では、温度によ
って、 ・レンズの焦点距離 （テーブル２列目） ・レンズ歪み係数κ１（テーブル３列目） ・レンズ歪み係数κ２（テーブル４列目） が変わる度合いのデータを格納した場合を示しており、テーブルの示す具体的な
内容は以下の通りである。 ｏ温度が０度以下のとき（テーブル２行目） ・現在のレンズの焦点距離にｄｆ１を加える。 ・現在のレンズ歪み係数にκ１１を加える。 ・現在のレンズ歪み係数にκ２１を加える。 ｏ温度が４０度以上のとき（テーブル３行目） ・現在のレンズの焦点距離にｄｆ２を加える。 ・現在のレンズ歪み係数にκ１２を加える。 ・現在のレンズ歪み係数にκ２２を加える。 本発明（請求項１４の一例）のキャリブレーション手段１０２では、各カメラ
毎に温度センサ１１０の温度値を逐次観測し、必要に応じてカメラパラメータテ
ーブル１０３の内容を更新する。 図２２は、キャリブレーション手段１０２において、温度によってカメラパラ
メータテーブル１０３の更新処理を行う手順をフローチャートの形式で示したも
ので、図２２を用いてその詳細を説明する。 但し、本例では図３に示したごとく、カメラ１台について、それに１台の温度
センサ１１０が対になって付随しており、温度センサ１１０で検知した温度が、
カメラのレンズ温度とほぼ等しいということを仮定する。 １．（１３０１）未チェックの温度センサ１１０を一つ選択し、温度値を取得
する。 ２．（１３０２）前記温度値がカメラパラメータ補正を必要とするかどうかを
確かめる。 図２２の例では、補正が必要な温度は、０度以下もしくは４０度以上である。
３．（１３０３）もし補正が必要なら、温度補正テーブル１１１からカメラパ
ラメータ補正値を取得し、該温度センサ１１０に付随するカメラのカメラパラメ
ータを更新した結果を、カメラパラメータテーブル１０３に書き込む。（１３０
４）補正の必要がない場合は、レンズの焦点距離、歪み係数κ１、歪み係数κ２
をすべて初期設定値に戻した結果を、カメラパラメータテーブル１０３に書き込
む。 ４．（１３０５）全ての温度センサ１１０について、上記１から３までの処理
を終了していれば、カメラパラメータテーブル１０３更新処理を終了する。まだ
未チェックの温度センサ１１０があれば、該温度センサ１１０について、上記１
から３までの処理を実行する。 図１１は、図１０の例の温度補正テーブル１１１を用いて書き換えられたカメ
ラパラメータテーブル１０３の例である。図１１の例では、カメラ１、カメラ２
のみが、ある時点に直射日光を受けるなどして４０度以上の温度となり、それ以
外は０度から４０度未満の温度値を保っている場合を示している。図１１のカメ
ラパラメータテーブル１０３から分かる通り、カメラ１およびカメラ２のカメラ
パラメータが、温度が４０度以上の場合の温度補正処理によって、 ・レンズの焦点距離はｄｆ１増加 ・レンズ歪み係数κ１はκ１２増加 ・レンズ歪み係数κ２２ κ２２増加 していることが分かる。なお、前述の仮想カメラに関しては、温度によって焦点
距離やレンズ歪みが変化しない理想的なレンズとすることが可能であるので、本
補正処理の対象外とする。 また本例では、設置されるカメラのレンズがすべて同じ温度補正特性を持つも
のと仮定した場合を示しているが、実際には異なる特性を持つレンズが取付けら
れている場合もある。そのような場合は、カメラごとに独立してテーブルを持っ
ておき、温度補正対象となるカメラに応じてテーブルを使い分ければ良い。 前記カメラのレンズの材料としては、ガラスの他にプラスチックを用いること
も出来るが、プラスチックは温度変化に対して変形が激しいのが通常である。し
かし、上述したような補正により対応することができる。 本発明による空間再構成手段１０４は、キャリブレーション手段１０２によっ
て計算されたカメラパラメータに基づいて、前記カメラからの入力画像を構成す
る各々の画素を３次元空間の点に対応づけた空間データを作成する。すなわち、
空間再構成手段１０４では、カメラから撮影された画像に含まれる各々の物体が
、３次元空間のどこに存在するかを計算し、その計算結果としての空間データを
空間データバッファ１０５に格納する。 なお、前記カメラからの入力画像を構成するそれぞれの画素のすべてを利用し
て空間データを構成する必要はない。たとえば入力画像に水平線により上に位置
する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面に
マッピングする必要はない。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間デ
ータにマッピングすることにより処理を高速化することも考えられる。 さて、カメラで撮影された画像を構成する各々の画素の位置は、一般的にＣＣ
Ｄ画像面を含むＵ−Ｖ平面上の座標として表される。従って、入力画像を構成す
る各々の画素をワールド座標系の点に対応づけるためには、カメラで撮影された
画像の存在するＵ−Ｖ平面の点をワールド座標系内の点に対応づける計算式を求
めれば良い。 図８は、カメラで撮影された画像を含む平面（以下、視平面）に設定したＵ−
Ｖ座標系の点と、３次元空間座標系の点との対応づけの関係の例を表した概念図
である。図８の例に従うと該対応づけは以下の手順で行われる。 １．視平面がＺ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏｅを原
点とする）。 ２．図８における点Ｐｅの視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）
とし、その点が視平面に投影されたときのの点（この点がカメラ撮影画像の一画
素に対応する）の座標をＰｖ（ｕ，ｖ）とすると、ＰｅとＰｖの関係は、カメラ
の焦点距離ｆを用いて、式（１）式（２）のように表すことが出来る。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系の位置関係および向き関係を求める。ここ
でワールド座標系を中心にして、視平面座標系が空間的に以下のような関係にあ
るとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，
ｔｙ，ｔｚ）とする。つまり２つの座標系の位置的なずれは、（ｔｘ，ｔｙ，ｔ
ｚ）だけ平行移動することによって無くなる。 ・視平面座標系とワールド座標系の向きの関係は、図７の例における車両を中
心とした座標系（ワールド座標系に対応）と、車載カメラ（視平面座標系に対応
）と同じ関係になるようにすると、視平面座標系は、 「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」 「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」 とすることができる。但し、ここではカメラのレンズの光軸周りの回転はないも
のと仮定している。この場合、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚ
ｗ）で表し、また、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐ
ｅ（Ｘｅ，Ｙｅ，Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、
α、βの間には式（３）の関係が成り立つ。 以上で、視平面上での画素Ｐｖ（ｕ，ｖ）と、ワールド座標系での座標Ｐｗ（
Ｘｗ，Ｙｗ，Ｚｗ）を式（１）式（２）式（３）によって対応づけることが出来
た。 前記３つの式において未知の変数は、「ｔｘ，ｔｙ，ｔｚ，α，β，ｆ」の６
つであるので、視平面上での画素Ｐｖ（ｕ，ｖ）と、ワールド座標系での座標Ｐ
ｗ（Ｘｗ，Ｙｗ，Ｚｗ）の対応関係が既知の点の組が最低２組あれば、上記の未
知変数は求められる。 しかしながら、対応関係が既知である組のそれぞれの座標の計測には位置ずれ
を含むことが多く、計算結果には誤差が生じる場合がほとんどである。 そこで通常は、多数の組を計測して作った連立方程式を最小二乗法で解くなど
の方法が用いられる。なお、カメラの位置と向きが視平面座標系と一致するので
、すでにカメラパラメータが求まっていれば本処理３．を実行する必要はない。
４．ｔｘ，ｔｙ，ｔｚ，α，β，ｆの値が求まっている式（１）式（２）式（
３）を用いて、ワールド座標系のそれぞれの点Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を、視
平面の点Ｐｖ（ｕ，ｖ）と対応づける。 上記１〜４までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の点として対応づけることが可能
となる。 本発明による空間データは、かかる計算式によって対応づけされたデータで、
図１２は、該空間データを格納する本発明による空間データバッファ１０５の記
述例を表の形式で示したものである。空間データバッファ１０５には、カメラ画
像の点と空間内の点との対応づけデータが格納される。図１２の例では１行目を
除く各行に一つの空間データが記述されており、それぞれの空間データを構成す
る情報としての各列に以下の内容を含んでいる。 １列目：ワールド座標系で他の点と区別するための番号（ここでは説明の便宜
上Ａとした） ２列目：ワールド座標系での点のＸ座標 ３列目：ワールド座標系での点のＹ座標 ４列目：ワールド座標系での点のＺ座標 ５列目：前記点を含む画像が、どのカメラから撮影したものかを区別するフラ
グ ６列目：前記画像を含む視平面座標系での点のＵ座標 ７列目：前記画像を含む視平面座標系での点のＶ座標 ８列目：前記画像を含む視平面座標系での点の色のＲ成分（例えば０〜２５５
階調で量子化） ９列目：前記画像を含む視平面座標系での点の色のＧ成分（例えば０〜２５５
階調で量子化） １０列目：前記画像を含む視平面座標系での点の色のＢ成分（例えば０〜２５
５階調で量子化） １１列目：該空間データが取得された時刻 以下で空間データの記述内容を例を用いて説明するが、ここで図１３〜図１５
を説明の補助として用いる。 図１３〜図１５は、ワールド座標系内の平面としての路面上の特徴点と、車両
に設置したカメラで撮影した画像上での特徴点との対応関係を示す図で、図１３
は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との位置関係を上部からみた概念
図、図１４は、図１５の車載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影
した画像を表す概念図、図１５は、図１３の車載カメラ２で前記特徴点Ｃ、Ｄ、
Ｅを含む路面を撮影した画像を表す概念図である。そして、図１２の例の空間デ
ータバッファ１０５には、図１３〜図１５に記された５つの特徴点Ａ、Ｂ、Ｃ、
Ｄ、Ｅが空間データの例として記述されている。 まず、図１３、図１４における特徴点Ａに着目する。前述の空間再構成手段１
０４による対応づけ処理によって、図１３のワールド座標系上の点Ａと図１４の
視平面座標系上の点Ａが対応づけられているものとすると、図１２の表の３行目
が図１３、図１４における特徴点Ａに相当する空間データの例である。 すなわちワールド座標系上の点Ａは、座標（Ｘ３，０，Ｚ２）であり、それを
カメラ１から撮影したときには、撮像画像上での点Ａの座標は（Ｕ１，Ｖ１）で
色はＲＧＢ順に（８０，８０，８０）であり、本データが作成された時刻はｔ１
である、という意味である。 もし、ワールド座標系の点が、複数台のカメラから観測されたときは、それぞ
れを独立した空間データとして空間データバッファ１０５に格納する。例えば、
図１３〜図１５における点Ｃがその例に相当する。点Ｃは、図１４、図１５から
も明らかなように、図１３における２台のカメラ、すなわち、カメラ１およびカ
メラ２から観測されている。 そして、カメラ１での観測結果をもとに作成された空間データ、すなわち図１
２の７行目の空間データは、ワールド座標系上の点Ｃは、座標（０，０，Ｚ２）
を持ち、点Ｃをカメラ１から撮影したときには、撮像画像上での点Ｃの座標は（
Ｕ３，Ｖ３）で色はＲＧＢ順に（１４０，１４０，１４０）で、本データが作成
された時刻はｔ１である。 一方、カメラ２での観測結果をもとに作成された空間データ、すなわち図１２
の８行目の空間データは、ワールド座標系上の点Ｃは、座標（０，０，Ｚ２）を
持ち、点Ｃをカメラ２から撮影したときには、撮像画像上での点Ｃの座標は（Ｕ
４，Ｖ４）で色はＲＧＢ順に（１５０，１５０，１５０）で、本データが作成さ
れた時刻はｔ１である。 かくのごとく、各カメラで撮影された画像の各々の画素がワールド座標系の点
に対応づけ情報が、空間データという形式で空間データバッファ１０５に格納さ
れる。 本発明による視点変換手段１０６は、空間再構成手段１０４によって作成され
た空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成す
る。その方法の概要は、空間再構成手段１０４で行った処理の逆の処理を行うこ
とである。すなわち、空間再構成手段１０４によって形成されたワールド座標系
の点Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を、任意の視点にカメラを設置して撮影した画像
面Ｐｖ（ｕ，ｖ）に投影する変換を求めることに相当する。 従って、この変換を計算する式は、先に詳述した式（１）式（２）および式（
３）の逆変換に相当する式（４）で表すことが可能である。 すなわちＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）を入力し前記３つの式によってＰｖ（ｕ，
ｖ）を計算する。この計算では、カメラのカメラパラメータ「ｔｘ，ｔｙ，ｔｚ
，α，β，ｆ」は任意の所望の値を指定できる。つまりそれは所望の視点に所望
の角度でカメラを置くことができることを意味する。この際、前記任意視点にカ
メラを置いて見たときの画像を投影する画面上で、個々の画素の色をどのように
表現するかが問題となる。 しかしながら、本発明（請求項５、請求項６、請求項７に対応する）では、３
つの場合の色の表現方法を開示している。該方法の内容を、３つの場合に応じて
以下に説明する。 （１）前記視点から見た３次元空間内のある点Ｐが、ただ一つのカメラで撮影
した画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見た
ときの色は、前記カメラで点Ｐを見たときの色を用いて決める。最も単純な方法
は同じ色で置き換える方法であるが、点Ｐを観測しているカメラと設定した視点
位置・方向との関係から計算によって求めてもよい。 （２）前記視点から見た３次元空間内のある点Ｐが、複数台のカメラで撮影し
た画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たと
きの色は、前記複数台のカメラで点Ｐを見たときの色を用いて何らかの計算をし
、得られた結果としての色で決めるものとする。前記計算の方法としてはいくつ
か考えられるが、例えば、 ・全ての色を同じ割合で混合する ・最も明度の高いもしくは低いもしくは中間の色を取得する ・最も再度の高いもしくは低いもしくは中間の色を取得する などの方法がある。 （３）前記視点から見た３次元空間内のある点Ｐが、いずれのカメラで撮影し
た画像とも対応づけられていない場合：この場合は、設定した視点から点Ｐを見
たときの色は、点Ｐの周囲の点の色を用いて補間した色を計算で求めるか、もし
くは、物体が存在しない部分であると識別可能な色、例えば黒に置き換えるなど
すればよい。 本発明の最も大きな特徴は、該視点変換手段１０６によって、車両に設置され
ていない仮想のカメラからの画像を自由に再現できることにある。 例えば図１６〜図１９は、ワールド座標系内の路面上の特徴点を車両に設置し
たカメラで撮影した画像を用いて、適当な視点に仮想カメラを置いたときの画像
を合成した例を示した概念図で、図１６は、路面上の特徴点Ａ、Ｂ、Ｃと車両と
の位置関係を上部からみた概念図、図１７は、図１６の車載カメラ１で前記特徴
点Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８は、図１６の車載カメ
ラ２で前記特徴点Ｂ、Ｃを含む路面を撮影した画像を表す概念図、図１９は、図
１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明による視
点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概念図
である。 また図２０（ａ）は、前記仮想カメラの設置場所の例として、車両のほぼ中心
の上方にカメラを下向きに設置した場合を示した概念図である。この例のごとく
仮想カメラを設置した場合、仮想カメラで撮影された画像は車両の周囲の様子を
表すものとなる。あくまで、前記合成画像を構成する画像は、車載カメラによっ
て撮影されたものであるので、図７に示されたような配置の車載カメラ周囲を撮
影した場合、どのカメラ画像にも車体の屋根が含まれていない。 しかしながら、前記車体の屋根のように、存在場所や形状、色に関する情報の
分かっている物体については、予めそれらの情報をシステムに蓄積しておき、そ
れらの情報を必要に応じて用いれば、より違和感の少ない画像を合成することが
可能となる。 なお、図２０（ｂ）は仮想カメラを車の前方斜め上方に配置し、そこから車を
見る例を示す斜視図である。このように、仮想カメラは真上に限らず、斜めから
車を見るようにすることもできる。図２０（ｃ）はその図２０（ｂ）を利用して
作成した画像の合成図である。斜め上方から見た感じが現れている。 本発明による空間データ変換手段１１４は、本発明の請求項１に記載の画像生
成装置を車両に適用する場合に必要となる手段である。 一般的に車載カメラは、より良い視野を得るために通常車体上部に設置されて
いることが多い。ところが車体の形状が、例えば車体外部に向って凸面なカーブ
を形成しているような場合では、このような車体上部に位置するカメラで撮影し
た画像は、車体のすぐ周囲の路面部分は死角になる場合がほとんどである。 この問題を解決する単純な方法は、車体下部にもカメラを設置することである
が、カメラを追加することによって余分なコストが必要となる。本発明による前
記空間データ変換手段１１４は車体下部などにカメラを追加せずに前記問題を解
決する。もっともその解決には、車が移動することが前提である。 図２３は、空間データ変換手段１１４における処理の手順をフローチャートの
形式で示したもの、図２４は、空間データ変換手段１１４の説明の補助に用いる
概念図である。図２４は、ある一定時間の間に車両が移動したとき、前記一定時
間の開始時刻（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および
向きの関係を示している。図２３および図２４を用いてカメラから死角となる部
分の画像を合成する手順を説明する。 １．（１４０１）ある一定時間における車両の移動距離を検出する。本例では
移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の直線
距離で定義する。すなわち図２４におけるＯ１とＯ２の距離ということになる。
説明の都合上、図２４に記載のように、移動距離をＯ１からＯ２へのベクトル
を（ｔ’ｘ，０，ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイヤ
の回転数などによって計測する方法が用いられる。 ２．（１４０２）前記一定時間における車両の移動方向を検出する。本例では
移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向き
がどれだけ変化したかの変化量として定義する。説明の都合上、図２４に記載の
ように、向きの変化量をＺ１軸とＺ２軸とのなす角度Θで表す。移動方向の検出
方法としては、例えばハンドルの回転角度などによって計測する方法が用いられ
る。 ３．（１４０３）時刻ｔ１から時刻ｔ２に至る間の車両の移動距離および移動
方向を用いて、ｔ１において取得した空間データをｔ２における空間データに変
換する式（５）を作成する。但し式（５）では時刻ｔ１から時刻ｔ２に至る間の
車両移動においては、完全に垂直成分の変化がないもの、つまり路面が平坦であ
ることを仮定している。 式（５）において、ｘ１，ｙ１，ｚ１は、時刻ｔ１において車体を中心にした
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまりｘ１，ｙ１，ｚ１を式（
５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。 ４．（１４０４）式（５）を用いて、時刻ｔ１において合成した空間データを
、時刻ｔ２における空間データに変換する。作成した後の空間データについては
、どのカメラから見たかについての情報は必要ないので、図１２の表において、
５から７列目のデータは空白にしておいてよい。すなわち、時刻ｔ１における空
間データのうち、上記計算で書き換えられるのは図１２の表において１から４列
目のみで、８から１１列目のデータはそのまま利用する。 ここで問題となるのは、かくのごとく現在時間の空間データに過去の空間デー
タを加えていくと、限りある空間データバッファ１０５のオーバーフローがいつ
かは生じることである。この問題に対して本発明による空間データバッファ１０
５では、各空間データは該データの作成時刻の情報を持っているので、現在時刻
から溯って一定時間以上過去のデータは消去するようにすれば良い。 本発明による特徴点生成手段１０９は、カメラの視野内に３次元座標の同定が
可能な複数個の点を生成する。そして、本発明による特徴点抽出手段１０８は、
前記生成された特徴点を抽出する。図２１は、特徴点生成手段１０９、特徴点お
よび特徴点抽出手段１０８の実施例を示す概念図である。 図２１（ａ）は、特徴点生成手段１０９としてのパターン光照射装置を車体側
面上部に取付けた実施例で、本例では、ワールド座標系内の平面としての車両の
周囲の路面に、長方形のパターンを格子状に照射する場合を示している。 図２１（ｂ）は、該パターン光照射装置を車体上部に数箇所取り付けて、路面
にパターン光を照射した状態を車両上部から見た例である。 図２１（ｃ）はかくのごとく方法で路面に照射された長方形のパターン光をカ
メラから撮影した様子を示した例である。特徴点は、パターン光照射で作成され
た長方形の角や中心などの特徴を表すいくつかの点を用いれば良い。 図２１（ｃ）では、ＰＩ−１からＰＩ−８が特徴点の例である。前記特徴点は
ワールド座標系における座標が既知であると設定することが可能である。またこ
れらの特徴点は、視平面座標系での座標位置も既知で、ワールド座標系と視平面
座標系での対応関係が取れている。従って前述の式（１）式（２）および式（３
）を用いれば、本発明によるキャリブレーション手段１０２によってカメラパラ
メータｔｘ，ｔｙ，ｔｚ，α，β，ｆを計算することが可能となる。 本発明による補正指示手段は、本発明の請求項１に記載の画像生成装置を車両
に適用する場合に必要となる手段で、該補正指示手段では、カメラのキャリブレ
ーションが必要な状況を検知し、キャリブレーションが必要である場合に、運転
者にカメラキャリブレーションを指示する。また本発明による補正履歴記録手段
１１５では、キャリブレーションが必要な状況を検知するために必要なデータと
して、カメラキャリブレーションを行った日時および走行距離を記録する。 図２５は、補正履歴の記録を確認し、必要に応じて補正指示を出す処理の手順
をフローチャートの形式で示したものである。 １．（１６０１）前回カメラのキャリブレーションを行った日時から、現在ま
での経過時間までを計算する。 ２．（１６０２）あらかじめ設定しておいた所定の時間に対して、前記経過時
間の方が大きければ、（１６０５）カメラ補正指示手段１１６にてカメラキャリ
ブレーションを実施するように運転者に指示し、処理を終了する。但し、前記指
示によって運転者がカメラキャリブレーションを実施したら、補正履歴の記録を
更新しておく。前記所定の時間に対して、前記経過時間の方が小さければ、次の
処理３に進む。 ３．（１６０３）前回カメラのキャリブレーションを行った時から現在までの
総走行距離を計算する。 ４．（１６０４）あらかじめ設定しておいた所定の距離に対して、前記走行距
離の方が大きければ、（１６０５）カメラ補正指示手段１１６にてカメラキャリ
ブレーションを実施するように運転者に指示し、処理を終了する。但し、前記指
示によって運転者がカメラキャリブレーションを実施したら、補正履歴の記録を
更新しておく。前記所定の距離に対して、前記走行距離の方が小さければ、カメ
ラキャリブレーションに関する指示は、運転者に出さず、処理を終了する。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。 図２６は、本発明による画像生成装置を車両に適用した場合の全体の処理の流
れをフローチャートの形式で示したものである。なお画像生成装置の構成例とし
ては図６の構成を想定する。 １．（１７０１）本装置を正常に動作させるために、必要であれば最初にカメ
ラキャリブレーションを実施し、補正履歴の記録を更新しておく。カメラキャリ
ブレーションでは、カメラーパラメータを人手で入力するか、または本発明によ
る特徴点生成手段１０９で特徴点を車体周囲に生成し、前記特徴点を特徴点抽出
手段１０８にて抽出した結果を用いてキャリブレーション手段１０２にてカメラ
パラメータを計算しても良い。 ２．（１７０２）各カメラ毎に温度センサ１１０の温度値を逐次観測し、必要
に応じてカメラパラメータテーブル１０３の内容を更新する。 ３．（１７０３）補正履歴の記録を確認し、必要に応じて補正指示を出す。も
し補正が行われたら、補正履歴の記録を更新する。 ４．（１７０４）すでに空間データが空間データバッファ１０５に蓄積されて
いれば、空間データ変換手段１１４にて、車両の移動距離、移動方向に応じて前
記空間データを変換する。空間データバッファ１０５が空白であれば、本処理は
省略する。 ５．（１７０５）車載カメラで車両周囲の画像を撮影する。 ６．（１７０６）空間再構成手段１０４によって５．で撮影された画像を構成
する各々の画素をワールド座標系の点に対応づけた空間データを作成する。３の
空間データ変換手段１１４で変換された空間データで、ワールド座標系での座標
が一致する空間データがすでに存在している場合は、前記変換された空間データ
は破棄する。つまりワールド座標系におけるある点の空間データは、カメラから
一番最近に撮影されたデータのみを保持し、それより過去のデータ、もしくは時
間がある程度経過したデータは消去するようにする。 ７．（１７０７）６．の空間再構成手段１０４によって作成された空間データ
を参照して、所望の視点にカメラを設置して撮影した画像を作成する。この場合
、視点位置は、合成画像が運転補助に適したものである場所に固定していること
が望ましく、例えば図２０の例のように車体上方で車両周囲が見渡せるカメラ位
置などが良い。 ８．（１７０８）７．の処理で合成された画像を表示する。 ９．（１７０９）上記２．〜８．の処理を必要がなくなるまで繰り返す。例え
ば運転者が車両を駐車スペースに入れようとしている時は、前記２．〜８．の処
理を繰り返し、駐車が完了すれば本処理を終了すればよい。 さて、車の周囲の障害物などの物体のワールド座標系の３次元位置が、正確に
計測できれば、その物体に合わせて空間モデルを生成すればよいが、現実的には
通常は、無理である。 つまり、画像生成装置などのように簡易性を要求されるシステムでは、すべて
の物体の３次元位置・形状を正確に求めることは困難であり、また、運転の補助
としての画像を合成するという観点では、任意の仮想視点における画像を正確無
比に再現しなければならないというわけではなく、運転者に分かり易い画像であ
れば、多少クオリティが落ちても大きな問題にはなりにくい。 そこで本発明（請求項３の一例）では、物体の３次元情報は失われるものの、
高速に画像を合成でき、かつ合成した画像のクオリティをある程度保つことが可
能な、入力画像を構成する各々の画素と３次元空間の点の対応づけ方法を開示す
る。 該方法は、キャリブレーション手段１０２によって取り付け位置、取り付け角
度が既に知られているカメラから得られた画像を、３次元空間の一部をなす平面
の例として路面に投影するものである。すなわち、画像に含まれる各々の物体は
、すべて３次元空間座標系（以下ワールド座標系と呼ぶこともある）のＸ−Ｚ平
面に貼り付いており、Ｙ軸方向成分を持つ物体が存在しないと仮定し、視平面上
の画像をワールド座標系の路面に投影する。 この場合、本装置のこれまでの実施例の説明内容に対して変更する部分は、空
間再構成手段１０４で用いる式（３）を式（６）に置き換え、また、視点変換手
段１０６で用いる式（４）を式（７）に置き換えるだけでよい。 また、本実施例ではカメラを車両に取り付け、車両周囲を監視する装置につい
て説明をしたが、限られた台数のカメラからの画像を用いて任意の視点からの画
像を合成するという本技術は、車載カメラに限定するものではない。 例えば、店舗などにおいて多数の監視カメラを設置しておき、それらのカメラ
画像を用いて、真上から見た画像を合成することなども可能であり、幅広い用途
が期待できる。 なお、上述したキャリブレーション手段を遠隔地にある管理センターにおいて
おき、通信手段によって、それを利用する方法も可能である。 本発明の方法、及び装置はそのような遠隔地にその機能の一部を実現しておく
ことももちろん可能である。 あるいはさらに、キャリブレーションを行った結果のデータをフロッピー、Ｄ
ＶＤ等を利用して運んで利用することも、本発明の実施例である。 また、マッピングされた空間データを格納するバッファなどは、そのまま空間
データを処理する場合は特に必要ない。 なお、通常は、仮想視点は管理者や運転者などの人手によって指定するのでは
なく、監視や運転の補助として役立つ画像が得られる視点位置のうちの一つを選
び、そこからの画像を表示させるようしておく。それによって仮想視点位置の移
動操作をしなくてもよいため、利用者の作業負担のさらなる軽減が期待できる。
以上のように本発明によれば、限られた台数のカメラからの画像を用いて任意
の視点からの画像が合成できる。 本発明の画像生成装置（請求項８、請求項９および請求項１２に記載の発明を
合わせた例）では、各々のカメラについて、その特性を示すカメラパラメータを
容易に得ることが可能となる。もし、例えば激しい悪路を走行したことによって
カメラの位置などが若干ずれた場合でも、本発明により、カメラの位置の補正は
容易に可能となる。 本発明の画像生成装置（請求項１４の一例）では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つことが可能となる。例えば、温度上昇に
よって微妙に膨張したレンズに対しては、その膨張によって変わるレンズ歪み係
数を最適に制御する補正値を温度補正テーブルから得て、それに基づいてレンズ
歪みパラメータを変更すればよい。かかる方法によって、本発明ではどのような
気温でも歪みのない画像を得ることが可能となる。 本発明の画像生成装置（請求項１７の一例）では、カメラから死角となる部分
の画像を見る方法を提供する。例えば、カメラが車体の上部に取付けてあり、前
記カメラの取り付け位置下方の車体の形状が車体外部に向って凸面である場合、
カメラ直下の画像を見ることは物理的に不可能である。しかし、本発明では、車
両の移動方向および移動距離によって、以前に取得した画像を現在の位置から見
た画像に変換することが可能である。 本発明の画像生成装置（請求項１８の一例）では、カメラの特性を示すカメラ
パラメータの補正、すなわちカメラキャリブレーションを実施しなければならな
い状況を検知し、その旨を運転者に提示することが可能である。これにより運転
者がカメラパラメータの補正を長期間し忘れることを防ぐ効果が得られる。 次に、別の本発明の一実施例を説明する。 図２７，図２８は、本発明（請求
項３５、請求項３７）の一例を示す。 図２７（ａ）に示すように、本発明による画像生成装置は、基本構成の一例と
して、車両周囲の状況を把握するために取付けられた複数台のカメラ１０１Ａ、
前記カメラの特性を示すカメラパラメータを格納しておくカメラパラメータテー
ブル１０２Ａ、車両を基準とした座標系に空間モデルを作成する空間モデル作成
手段１０３Ａ、前記カメラより入力された画像を前記空間モデルにマッピングす
るマッピング手段１０４Ａ、視点を設定し、前記視点から見た一枚の画像を、前
記マッピング手段１０４Ａにて作成されたデータから合成する視点変換手段１０
５Ａ、前記視点変換手段１０５Ａにて変換された画像を表示する表示手段１０６
Ａからなる構成を有する。 図２７（ｂ）は本発明の画像生成装置の構成例を示したブロック図である。図
２７（ｂ）の例では、図２７（ａ）に示した画像生成装置に対して、さらに、車
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を計測す
る障害物検知手段１０８Ａを付加した構成となっている。 次に、本発明を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカメ
ラである。その詳細は、上記図７で詳しく説明した。 本発明によるカメラパラメータテーブル１０２Ａは、カメラパラメータを格納
するテーブルである（上述したカメラパラメータテーブル１０３と同様である）
。 カメラパラメータテーブル１０２Ａに格納されているデータは上述した図９と
同じである。 本発明では、視点変換手段１０５Ａで設定した所望の視点に仮想のカメラを設
置したと仮定し、その仮想カメラからの画像を計算によって求めることが可能で
ある。該計算方法については後で詳述する。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。 本発明による空間モデル作成手段１０３Ａは、たとえば、車両を基準とした座
標系に空間モデルを作成する。空間モデルとは、後述するマッピング手段１０４
Ａにおいて、カメラからの画像を３次元空間座標系にマッピングする平面もしく
は曲面もしくは平面および曲面からなるモデルである。図２８（ａ）〜（ｃ）は
、本発明による空間モデルを鳥瞰図的に示した概念図で、それぞれ、図２８（ａ
）および図２８（ｄ）は平面のみで構成された空間モデルの例、図２８（ｂ）は
曲面のみで構成された空間モデルの例、図２８（ｃ）は平面および曲面で構成さ
れた空間モデルの例、を表している。 図２８（ａ）の空間モデルでは以下に説明するように５つの平面からなる空間
モデルを示している。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：車両の前方に立てられた路面（平面１）に垂直な平面 平面３：車両の進行方向に向って左側方に立てられた路面（平面１）に垂直な平
面 平面４：車両の後方に立てられた路面（平面１）に垂直な平面 平面５：車両の進行方向に向って右側方に立てられた路面（平面１）に垂直な平
面 本空間モデルにおいては、平面２〜５は隙間なく立てられ、車載カメラから撮
影された画像は、該平面１〜平面５のいずれかにマッピングされる。また平面２
〜５については車両からどの程度の距離が必要か、またどの程度の高さが必要か
は、車載カメラの画角や設置場所に応じて決めれば良い。 図２８（ｂ）のモデルでは、お椀型をした曲面を空間モデルに用いている。車
両は、お椀型に形成された空間モデルにおいてお椀の底に当たる部分に設置され
、車載カメラから撮影された画像は、お椀の内側の面にマッピングされる。 お椀型のモデルとしては、球や、放物線の回転体、懸垂線の回転体などが考える
ことが、いずれにしろ空間モデルを少数の数式で表すことが出来れば、マッピン
グの計算は高速で行うことが可能となる。 図２８（ｃ）のモデルでは、以下で説明する平面と曲面を組み合わせて構成さ
れた空間モデルを示している。 平面：路面（すなわち車両のタイヤに接している）としての平面 曲面：車両を取り囲むように前記平面上に置かれた円柱状又は楕円柱状の壁 本空間モデルにおいて、曲面をどういう形状にするか、また車両からどの程度
の距離をおいて設置するかは、車載カメラの画角や設置場所に応じて決めれば良
い。 かくの例のごとく、車両の周囲に、車両を囲い込むごとく壁を立てた空間モデ
ルは、次に示す効果が得られる。すなわち、画像中の物体がすべて道路面上にあ
るものと仮定して、カメラ画像を路面上にマッピングすると、路面から上方に高
さ成分を持つ物体に関しては、大きくゆがんでしまうという問題があった。これ
に対し、本発明によって導入された空間モデルでは、まず路面に垂直もしくはほ
ぼ垂直な平面もしくは曲面によって車両を囲い込む。これらの面を車両から離れ
過ぎないように設定すれば、高さ成分を持つ物体がこれらの面にマッピングされ
るため、歪みを小さくすることが可能となる。しかもマッピングした際の歪みが
小さいため、２台のカメラ画像の接合部でのずれも少なくなることが期待できる
。 本発明によるマッピング手段１０４Ａは、カメラパラメータに基づいて、車載
カメラからの入力画像を構成する各々の画素を、本発明による空間モデル作成手
段１０３によって作成された空間モデルにマッピングする。すなわち、車載カメ
ラから撮影された各々の画像を空間モデルに透視投影する。 図２９は、画像を含む平面（以下、視平面という）に設定したＵ−Ｖ座標系の
点の座標を、ワールド座標系の点の座標に変換することにより、車載カメラ画像
を空間モデルを構成する面にマッピングする説明の補助として使用する図である
。 マッピングの説明をする前に、まず視平面座標をワールド座標へ変換する方法
について説明する。該変換は下記の手順で行われる。 １．視平面がＺ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。 これを視平面座標系と呼ぶ（Ｏｅを原点とする）。 ２．図２９における点Ｐｖ（ｕ，ｖ）（この点がカメラ撮影画像の一画素に対
応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅと
Ｐｖの関係は、カメラの焦点距離ｆを用いて、式（１）式（２）のように表すこ
とが出来る（但し、この場合はＺｅ＝ｆとなる）。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系とを対応づける計算式を求める。ここでワー
ルド座標系を中心にして、視平面座標系が空間的に以下のような関係にあるとす
る。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。つまり２つの座標系の位置的なずれは、（ｔｘ，ｔｙ，ｔｚ
）だけ平行移動することによって無くなる。 なお、ワールド座標系におけるカメラ位置が既知であれば、該位置の座標の符
号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系にぴったり合わせるため
の回転行列を とする。該回転行列は、カメラパラメータテーブル１０２Ａのうち、向きを表す
パラメータによって、Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合成
することによって容易に求めることが可能である。 さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また、視
平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ
）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、 （ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間には式（８）の関係が成り立つ。これ
ら式（１）式（２）式（８）を用いることにより、視平面上での画素Ｐｖ（ｕ，
ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換することが出
来る。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表される。入力画像を構成する各々の画素を前
記空間モデルにマッピングするためには、入力画像の全ての画素について、以下
の手順で処理を行えばよい。図３０は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３０に従ってマッピングの処理内容を説明する。 １．カメラ画像の映っている視平面に設定したＵ−Ｖ座標系の座標として表さ
れる前記画素を、ワールド座標系における座標に変換する。変換には、例えば直
前に示した式（１）式（２）式（８）を用いれば良い。 ２．カメラ視点の座標Ｏｅを端点とし、前記画素Ｐｗ（＝Ｐｅ）の座標を通る
半直線と前記空間モデルを形成する面との交点Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を求め
る。 ３．該交点Ｐｓに、前記画素の色をマッピングする。すでに他のカメラ画像か
らの色が点Ｐｓにマッピングされている場合、点Ｐｓの色を決める方法としては
例えば以下のような方法を用いれば良い。 ・すでにマッピングされている色とマッピングしようとする色を同じ割合で混
合する。 ・すでにマッピングされている色とマッピングしようとする色のうち、明度の
高いもしくは低いもしくは中間の色を用いる。 ・すでにマッピングされている色とマッピングしようとする色のうち、彩度の高
いもしくは低いもしくは中間の色を用いる。 上記１〜３までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の空間モデル上にマッピングする
ことができる。 本発明による視点変換手段１０５は、車載カメラの画像がマッピング手段１０
４によって空間モデルにマッピングされた結果を、任意の視点に設置したカメラ
から撮影した画像として合成する。その方法の概要は、マッピング手段１０４で
行った処理の逆の処理を行うことである。 すなわち、マッピングされた画像を構成する点Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を、
任意の視点にカメラを設置して撮影した画像面Ｐｖ（ｕ，ｖ）に投影する変換を
求めることに相当する。 従って、この変換を計算する式は、先に詳述した式（１）式（２）および式（
９）（式（８）の逆変換に相当する）で表すことが可能である。 すなわち、Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を入力し前記３つの式によってＰｖ（ｕ
，ｖ）を計算する。この計算では、カメラのカメラパラメータは任意の所望の値
を指定できる。つまりそれは所望の視点に所望の角度でカメラを置くことができ
ることを意味する。 ところで、視点変換手段１０５Ａにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。 さて、図２８（ａ）〜（ｃ）の例では、車両を面で完全に囲い込む空間モデル
を示したが、実際には車両の全周囲を障害物が取り囲む場合は少なく、自車の周
囲に多くて数台の車両が存在する程度が普通である。係る状況を鑑みると、自車
の周囲を完全に囲い込む空間モデルを導入する代わりに、必要に応じて、すなわ
ち、自車の周囲に障害物が存在している状態が分かれば、その場合にのみ前記障
害物の前に、それをマッピングするついたてのような面を作成すればよい。 図２８（ｄ）は、該ついたて面を導入した空間モデルの一例を鳥瞰図的に示し
た概念図で、図２８（ｄ）の空間モデルでは、路面平面と、路面上に車両の左後
方及び右後方にそれぞれ一つづつ、ついたてとしての平面を立てた空間モデルを
示した概念図である。該ついたて面は、車両に対して予め決められた場所に立て
ておくことももちろん可能であるが、前述のごとく、車両の周囲に面から上方に
高さ成分を持つ障害物が発見された場合にのみ、ついたて面を立てるようにして
も良い。その際に、どの位置にどの向きについたて面を立てるかを決める必要が
あるが、その一例として障害物の検知結果に従ってついたて面を設置する方法を
次に示す。 係るついたて面設置の処理を実行するために、本発明による障害物検知手段１
０８は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距
離を距離センサ１０７Ａを用いて計測する。 距離センサ１０７Ａとしては様々なものがあるが、車載用としては、レーザー
光、超音波、ステレオ光学系、カメラのフォーカス（目標物体にフォーカスを合
わせた時の焦点距離から、カメラと前記物体までの距離を計算する）などを使用
することが可能である。該距離センサ１０７Ａ、レーザー光、超音波などを用い
る場合では、車両の周囲に多数取付けるのが望ましい。一方、ステレオ光学系や
カメラのフォーカスを用いる場合は、車載カメラに併設してもよいが、車載カメ
ラの一部をそのまま利用するとコストを安価にすることが可能となる。 次に該障害物検知手段１０８Ａの処理結果に基づいて、ついたて面を含む空間
モデルを作成する方法の一例を示す。図３１は障害物センサを用いて車両と該車
両の周囲に存在する障害物との距離に基づいて、３次元空間内についたて面を立
てる方法を示す概念図である。本例では、車載の各々のカメラに該障害物検知セ
ンサが併設されており、該障害物センサはカメラの視線と同じ方向を向き、該方
向に存在する障害物との距離を計測するものとする。また図３１において使用し
ているパラメータは以下の通りである。 （ｐｘ０，ｐｙ０，ｐｚ０）：距離センサ１０７ １の路面平面上での座標 （ｄｘ，ｄｙ，ｄｚ） ：距離センサ１０７ １のセンシングの向きを示
す方向ベクトル ｄｃ ：距離センサ１０７ １と障害物との路面平面上
での距離 （ｐｘ１，ｐｙ１，ｐｚ１）：（ｐｘ０，ｐｙ０，ｐｚ０）から（ｄｘ，ｄｙ
，ｄｚ）の方向に距離ｄｃだけ移動した点 以下、図３１に従って空間モデルを作成する手順を説明する。 １．障害物との距離ｄｃを計測し、その距離が予め設定されている所定の距離
より近いかどうかを調べる。 前記所定の距離より離れていれば何もしない。 ２．もし所定の距離内であれば、以下の手順でついたて平面を求める。 ２−１．予め分かっている距離センサ１０７Ａの座標値から（ｐｘ０，ｐｙ
０，ｐｚ０）を求める。 ２−２．予め分かってい名距離センサ１０７Ａの向き（ｄｘ，ｄｙ，ｄｚ）
と、障害物までの距離ｄｃから、（ｐｘ１，ｐｙ１，ｐｚ１）を求める。 ２−３．法線ベクトル（ｄｘ，ｄｙ，ｄｚ）を持ち、点（ｐｘ１，ｐｙ１，
ｐｚ１）を通る平面（式（１５））を、ついたて面とする。 ｄｘ（ｘ−ｐｘ１）＋ｄｙ（ｙ−ｐｙ１）＋ｄｚ（ｚ−ｐｚ１）＝０ 式
（１５） ３．前記ついたて面は、必要がなくななれば取り除く。 ４．全ての距離センサ１０７について、上記１から３までの処理を終了してい
れば、空間モデル作成処理を終了する。まだ未チェックの距離センサ１０７Ａが
あれば、該距離センサ１０７Ａについて、上記１から３までの処理を実行する。
図３１では、カメラ１、２から入力された画像が、それぞれ空間モデルを構成
するついたてとしての平面１、平面２にマッピングされている様子が示されてい
る。マッピングに際して、ついたて面の幅の値をいくらにするかが合成画像のク
オリティを決める重要な要素の一つとなる。障害物としてもっとも一般的なのは
他の車両なので、例えば自車と他の車両との距離がついたて面を作成する距離に
なったとき、前記他の車両の２／３以上がついたて面にマッピングされるように
幅を設定するという方針で、ついたての幅を決めるなどすればよい。 また、ついたて面を作成するかどうかを決める条件としての、自車から障害物
までの距離は、経験的に５０ｃｍ〜１ｍの値を設定すると良い。また、ついたて
面を取り除く場合の条件としては、以下に列挙するような方法を、単独で、もし
くは組み合わせて用いれば良い。 ・障害物との距離が所定の距離より遠ざかった場合 ・運転者が、なんらかの方法で該画像生成装置を初期化した場合 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。図
３２は、本発明による画像生成装置の全体の処理の流れをフローチャートの形式
で示したものである。なお画像生成装置の構成例としては図２７（ｂ）の構成を
想定する。 １．（９０１）本装置を正常に動作させるために、車載カメラのそれぞれにつ
いて、正しいカメラーパラメータをカメラパラメータテーブル１０２Ａに入力し
ておく。 ２．（９０２）車載カメラで車両周囲の画像を撮影する。 ３．（９０３）障害物検知手段１０８Ａにて、距離センサ１０７Ａで車両周囲
に存在する障害物までの距離を計測する。 ４．（９０４）空間モデル作成手段１０３Ａにて、空間モデルを作成する。 ５．（９０５）マッピング手段１０４Ａにて、車載カメラからの画像を、空間
モデルにマッピングする。 ６．（９０６）空間モデルにマッピングされた画像を参照して、運転者が設定
した視点から見た画像を合成する。 ７．（９０７）６．の処理で合成された画像を表示する。 ８．（９０８）上記２．〜７．の処理を必要がなくなるまで繰り返す。例えば
運転者が車両を駐車スペースに入れようとしている時は、前記２．〜７．の処理
を繰り返し、駐車が完了すれば本処理を終了すればよい。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、従来使用されてきた路面平面一つだ
けの空間モデル以外の空間のモデルを導入し、この空間モデルを用いることによ
り、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さ
をもつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデル
にマッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく
改善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合
成画像によって周囲の状況がよりいっそう認識しやすくなり、適確な運転操作を
行えることが期待できる。 なお、これまでの説明は、車両周囲の状況を車両から検知し、車両を基準とし
た座標系で説明してきたが、たとえば、駐車場等に設置のセンサが駐車場の状況
を検知し、駐車場を基準とした座標系での周囲状況と、車両の駐車場における位
置関係を、車両に通知することにより、これまで述べた処理を実施することが可
能である。 以下、別の本発明の一実施例を説明する。なお、本実施例においては、車両の
周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに設置
したモニターテレビに表示させる監視装置を対象として説明する。 図３３（ａ）は本発明（請求項３９の一例）に係る監視装置の基本構成例を示
したブロック図である。 本実施例による車両周囲監視装置は、基本構成として、車両周囲の状況を把握
するために取付けられた複数台のカメラ１０１Ｂ、前記カメラの特性を示すカメ
ラパラメータを格納しておくカメラパラメータテーブル１０２Ｂ、車両周囲の状
況として、例えば白線や路面に描かれた矢印、文字、また横断歩道など、路面上
の特徴を検知する路面特徴検出手段１０３Ｂ、たとえば車両を基準とした座標系
を設定し、該座標系に、前記路面特徴検出手段１０３Ｂの処理結果に応じた空間
モデルを作成する空間モデル作成手段１０４Ｂ、前記カメラより入力された画像
を前記空間モデルにマッピングするマッピング手段１０５Ｂ、視点を設定し、前
記視点から見た一枚の画像を、マッピング手段１０５Ｂにて作成されたデータか
ら合成する視点変換手段１０６Ｂ、視点変換手段１０６Ｂにて変換された画像を
表示する表示手段１０７Ｂからなる構成を有する。 図３３（ｂ）は、図３３（ａ）に示した監視装置に対して、さらに、車両の移
動方向を検出する移動方向検出手段１０９Ｂ、および車両の単位時間における移
動距離を検出する移動距離検出手段１０８Ｂでの処理結果を用いて、前記路面上
の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。 図３３（ｃ）は、図３３（ｂ）に示した監視装置に対して、さらに、表示手段
１０７Ｂにおいて路面特徴検出手段１０３Ｂにおける処理結果を表示しつつ前記
処理結果を修正する特徴修正手段１１０Ｂを備えた構成を有することにより、処
理の実行中に路面上の特徴がずれた場合に、該ずれを修正することが可能となる
。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。車両へのカメラの取り付け例は、図７で説明したと
おりである。 カメラパラメータテーブル１０２Ｂは、カメラパラメータを格納するテーブル
である。その内容は上述したとおりである。 カメラパラメータテーブル１０２Ｂに格納されているデータは表形式で示され
るが、それは図９に示すものである。 同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル１０２の
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。 本実施例では、視点変換手段１０６Ｂで設定した所望の視点に仮想のカメラを
設置したと仮定し、その仮想カメラからの画像を計算によって求めることが可能
である。該計算方法については後で詳述する。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。 空間モデル作成手段１０４Ｂは、車両を基準とした座標系を設定し、この座標
系に、路面特徴検出手段１０３Ｂの処理結果に応じた空間モデルを作成する。 図３４（ａ），（ｂ）は、本発明による空間モデルを示した概念図である。 本図では、路面上の特徴として、駐車場に引いてある駐車スペースを示す白線
の端点もしくは白線同士が交わって出来る角を検知し、それらの点を基準にして
図に示すような５つの平面を用いて空間モデルを構成している様子を示しており
、図３４（ａ）は該空間モデルを鳥瞰図的に示した概念図、図３４（ｂ）は図３
４（ａ）において、車両の上方から下向きに透視投影された図である。図３４（
ｂ）の例では、路面上の特徴の例として、特徴点１〜４までを示している。 以下、路面上の特徴もしくは特徴点は、これら４つの特徴点を示すものとする。
但し、４つのいずれかを指すときは「特徴点１」というように番号を付けて指
定する。そして本実施例では、該５つの平面をそれぞれ以下のように決めている
（ここでは、左右は車両の後ろ向き方向に対して決めている）。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：左端が平面２に接し平面１に垂直な平面 平面３：特徴点１と特徴点２を結ぶ線分に沿っており、平面１に垂直な平面 平面４：特徴点２と特徴点３を結ぶ線分に沿っており、平面１に垂直な平面 平面５：特徴点３と特徴点４を結ぶ線分に沿っており、平面１に垂直な平面 平面６：右端が平面５に接し平面１に垂直な平面 さて、空間モデル作成手段１０４Ｂにおいて、３次元空間にこれらの平面（但
し路面と一致する平面１を除く）を作成するにあたっては、前記特徴点を検出す
る必要がある。路面特徴検出手段１０３Ｂは、係る路面上の特徴を抽出するもの
である。 図３５（ａ）〜（ｄ）は、路面特徴検出手段１０３Ｂで特徴点を抽出する処理
の例を説明するための図、図３６は特徴点の抽出処理の流れを示すフローチャー
トであり、以下、これらの図を用いて、路面特徴検出手段１０３Ｂでの処理手順
を説明する。 処理７０１： 車載カメラのいずれかから駐車スペースを示す白線を含む画像
を撮影する。図３５（ａ）は、該撮影された画像を示している。 以下の２つの処理を行い、特徴点の位置を推定する。 処理７０２： 車載カメラから撮影された画像を適当なしきい値で２値化し、
それを横方向および縦方向に走査し、走査ラインにおける白線に対応する画素の
数を頻度とするヒストグラムを、縦方向、横方向のそれぞれについて得る。該ヒ
ストグラムの結果から特徴点の存在する位置を推定する。図３５（ｂ）はその処
理例を示したもので、 ・縦方向に走査して得られたヒストグラムから、特徴点のＹ座標を推定 ・横方向に走査して得られたヒストグラムから、特徴点のＸ座標を推定している
様子を示している。 処理７０３： 車載カメラから撮影された画像にエッジ抽出処理を行い、続い
て前記エッジ処理結果にさらに直線抽出処理を実施し、得られた直線の交点もし
くは端点を特徴点として推定する。図３５（ｃ）は、その処理例を示したもので
、エッジ抽出としては、例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。 処理７０４： 上記処理７０２、処理７０３で得られた特徴点の推定値を用い
て特徴点を決定する。特徴点の決定の仕方としては、例えば、処理７０２、処理
７０３のそれぞれの方法で得られた特徴点の中間点を取るなどすればよい。尚、
処理７０２、処理７０３はいずれを先に実行しても同じ結果が得られる。 処理７０５： カメラ画像から得られた特徴点の３次元座標系における座標を
求める。この座標から、前記空間モデルを構成する平面を求めることが可能とな
る。 マッピング手段１０５Ｂは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を、空間モデル作成手段１０４Ｂによって作成さ
れた空間モデルにマッピングする。すなわち、車載カメラから撮影された各々の
画像を空間モデルに透視投影する。 図２９は、画像を含む平面に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデルを構成する
面にマッピングする説明の補助として使用する図である。この詳細については、
すでに説明した。 なお、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。 視点変換手段１０６Ｂは、車載カメラの画像がマッピング手段１０５Ｂによっ
て空間モデルにマッピングされた結果を、任意の視点に設置したカメラから撮影
した画像として合成する。その方法の概要は、上述した視点変換手段１０５Ａに
関して説明した。 ところで、視点変換手段１０６Ｂにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。 さて、路面特徴検出手段１０３Ｂによって検出された特徴点の位置は、車両の
動きとともに変化する。空間モデルは特徴点の３次元座標を基に作成されるので
、車両の動きによって特徴点の位置が変化する毎に空間モデルを作り直す必要が
ある。すなわち車両が移動している間は常に、直前に説明した手法などで特徴点
の位置を求める必要があるが、画像から特徴点を求める処理は一般的に計算量が
多いため、コストが高くつく。これを回避するための方法として、車両の動く速
さと向きをつねに計測し、その計測結果を用いて特徴点の座標を計算すればよい
。 本発明（請求項４１の一例）の車両周囲監視装置は、係る処理を実行するため
に、車両の移動方向を検出する移動方向検出手段１０９Ｂと、車両の単位時間に
おける移動距離を検出する移動距離検出手段１０８Ｂを備え、移動方向検出手段
１０９Ｂおよび移動距離検出手段１０８Ｂでの処理結果を用いて、前記路面上の
特徴の現在位置を計算する。 図３７は、本発明（請求項４１の一例）の車両周囲監視装置において、車両の
動きにともなって特徴点の位置計算を行う処理の手順を示すフローチャート、図
３８は、前記処理の説明の補助に用いる概念図である。 図３８は、ある一定時間の間に車両が移動したとき、前記一定時間の開始時刻
（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および向きの関係を
示している。図３７および図３８を用いて前記処理の手順を説明する。 処理９０１： ある一定時間における車両の移動距離を検出する。本実施例で
は、移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の
直線距離で定義する。すなわち、図３８におけるＯ１とＯ２の距離ということに
なる。 説明の都合上、図３８に記載のように、移動距離をＯ１からＯ２へのベクトル
を（ｔ’ｘ，０， ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイ
ヤの回転数などによって計測する方法が用いられる。 処理９０２： 前記一定時間における車両の移動方向を検出する。本実施例で
は移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向
きがどれだけ変化したかの変化量として定義する。 説明の都合上、図３８に記載のように、向きの変化量をＺ１軸とＺ２軸とのな
す角度Θで表す。移動方向の検出方法としては、例えばハンドルの回転角度など
によって計測する方法が用いられる。 処理９０３： 時刻ｔ１から時刻ｔ２に至る間の車両の移動距離および移動方
向を用いて、ｔ１において取得した特徴点の座標をｔ２における特徴点の座標に
変換する上記式（５）を作成する。 但し、式（５）では時刻ｔ１から時刻ｔ２に至る間の車両移動においては、完
全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定している。
式（５）において、ｘ１，ｙ１，ｚ１は、時刻ｔ１において車体を中心にした
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。 処理９０４： 式（５）を用いて、時刻ｔ１において合成した特徴点の座標を
時刻ｔ２における特徴点の座標に変換する。 車両の移動方向と移動距離が誤差なく計測できれば、移動方向検出手段１０９
と移動距離検出手段と特徴位置計算手段を導入し、直前で説明した計算方法によ
って、常に特徴点の正確な座標を得ることができる。しかしながら、車両の移動
方向と移動距離を誤差なく計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。 特徴修正手段１１０Ｂは、表示手段１０７Ｂにおいて路面特徴検出手段１０３
Ｂにおける処理結果を表示しつつ、車両の乗員が特徴の修正を指示し、その指示
に従って路面の特徴位置を修正する。 図３９は、特徴修正処理を表示手段１０７Ｂに表示している様子を示した概念
図であり、また、図４０は、特徴修正処理における処理の流れを示すフローチャ
ートである。以下、これらの図を用いて、特徴修正手段１１０Ｂでの処理手順を
説明する。 処理１２０１：表示手段１０７Ｂにて、現在の特徴点の位置を表示する。図３
９の例では車載カメラから撮影された各々の画像と空間モデルとをスーパーイン
ポーズし、それを上方から下向きに透視投影した画像を表示している様子を示し
ている。 処理１２０２：位置のずれている特徴点を指定する。図３９の例では特徴点２
および特徴点４がずれている特徴点で、これらを指定する。指定にあたっては、
例えば表示装置にタッチパネルが装着されている場合は指で表示画面を触れるこ
とによって容易に場所の指定が可能である。 処理１２０３：前記ずれた特徴点の正しい場所を指定する。正しい特徴点の場
所はどういう場所であるかは、予め操作する人に知らせておく。 処理１２０４：修正すべき特徴点が残っていれば、上記処理１２０１〜１２０
３を引き続き繰り返し、なければ特徴点の修正処理を終了する。 以上、本発明による車両周囲監視装置を構成するそれぞれの手段の実施例を説
明した。次に、本発明による車両周囲監視装置の全体の処理の流れについて説明
する。図４１は、本発明による車両周囲監視装置の全体の処理の流れを示すフロ
ーチャートである。なお、車両周囲監視装置の構成例としては図３３（ｃ）の構
成に基づく。 処理１３０１： 本装置を正常に動作させるために、車載カメラのそれぞれに
ついて、正しいカメラーパラメータをカメラパラメータテーブル１０２Ｂに入力
しておく。 処理１３０２： 車載カメラで撮影した画像から路面上の特徴点を抽出する。
処理１３０３： 抽出した特徴点の画像内の座標とカメラパラメータから該特
徴点の３次元座標を計算する。但し、車両周囲監視装置処理が実行中ならば、車
両の移動方向および移動距離を検出した結果を用いて、特徴点の座標の現在位置
を計算する。 処理１３０４： 車載カメラで車両周囲の画像を撮影する。 処理１３０５： 空間モデル作成手段１０４Ｂによって処理４で撮影された画
像を内に空間モデル作成する。 処理１３０６： マッピング手段１０５Ｂにて、車載カメラからの画像を、空
間モデルにマッピングする。 処理１３０７： 空間モデルにマッピングされた画像を参照して、運転者が設
定した視点から見た画像を合成する。 処理１３０８： 処理１３０７で合成された画像を表示する。 処理１３０９： 表示画像において、特徴点の位置がずれているかどうかを確
認する。 処理１３１０： もしずれていれば特徴点修正の割り込みを入れ、特徴点の修
正処理を行う。特徴点の修正の必要がなければ、処理１３０３に戻り、処理を繰
り返す。例えば運転者が車両を駐車スペースに入れようとしている時は、前記処
理１３０２〜１３０８を繰り返し、駐車が完了すれば本処理を終了すればよい。
なお、本発明における車両の周囲の状況としては、上述した路面の特徴だけで
なく、たとえば駐車車両の状態等があげられる。その場合はその駐車車両の状態
に応じた空間モデルが生成される。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、単なる平面のモデルではなく、カメ
ラ画像から得られた路面上の特徴を利用して作成された汎用的な空間のモデルを
導入している。平面を用いた方法では、高さ成分がカメラ視線方向の奥行き成分
に変換されてしまうため、路面から上方に高さ成分を持つ物体は、路面に投影す
ると大きく歪むことが問題であったが、本発明の空間モデルを用いることにより
、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さを
もつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデルに
マッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく改
善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合成
画像によって周囲の状況がより一層認識しやすくなり、適確な運転操作を行える
ことが期待できる。また、前記空間モデルは単純な構成を有しているため、装置
のコストを低く押さえることも可能となる。 次に別の本発明の画像生成装置を説明する。 以下、図を用いて本発明の一実施例を説明する。図４２は本発明（請求項４５
の一例）に係る画像生成装置の構成例を示したブロック図である。 本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１Ｃ、カメラ１０１Ｃの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル１０２Ｃ、車両の周囲の状況
をモデル化した空間モデル１０３Ｃにカメラ１０１Ｃより入力された画像をマッ
ピングするマッピング手段１０４Ｃ、所望の仮想視点から見た一枚の画像を、マ
ッピング手段１０４Ｃにて作成されたデータから合成する視点変換手段１０５Ｃ
、カメラ１０１Ｃのパラメータを、各々のカメラで独立して修正するカメラパラ
メータ修正手段１０６Ｃ、視点変換手段１０５Ｃにて変換された画像を表示する
表示手段１０７Ｃからなる構成を有する。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラ１０１Ｃは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。図４３（ａ）は、車両へ３台のカメラを取り付けた例を示
した概念図であるが、図４３（ａ）の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にし、できるだけ画角が大き
いものを使うようにすると、視野が広くなりカメラの台数も少数で済む。また左
右のドアミラー部に後方を向いたカメラを設置し、それらのカメラからの画像を
車内に設置したモニタに表示することによりドアミラーの機能を果たすため、車
両からドアミラーを除去することが可能となり、デザイン的にも空力的にも優れ
た車を設計することが可能となる。 カメラパラメータテーブル１０２Ｃは、カメラパラメータを格納するテーブル
である。その詳細については上述したとおりである。 さて、まず該カメラパラメータテーブル１０２Ｃの詳細な説明の準備として、
車両を基準とした３次元空間座標系を定義する。図４４は車両を中心とする３次
元空間座標系を示した概念図である。図４４の例では３次元空間座標系の例とし
て、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義する。 また、本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ ・上記α、βの角度で回転した後の、カメラの光軸の周りの回転角度をγとして
、該α、β、γを用いて表すものとする。以下、特に断る場合を除いて、３次元
空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義による３
次元空間座標系を指すものとする。 図４５は、カメラパラメータテーブル１０２Ｃに格納されているデータを表形
式で示したものである。図４５に記載されている内容は、テーブルの左側の列か
ら順に以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項
目がカメラパラメータの例を示している。 ・１列目：図４４の車載カメラの番号 ・２列目：３次元空間座標系におけるカメラ位置のＸ座標 ・３列目：３次元空間座標系におけるカメラ位置のＹ座標 ・４列目：３次元空間座標系におけるカメラ位置のＺ座標 ・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離 ・９列目：レンズの半径方向の歪み係数κ１ ・１０列目：レンズの半径方向の歪み係数κ２ 例えば、図４４におけるカメラ１のパラメータは図４５のカメラパラメータテ
ーブル１０２Ｃの第２行目に記載されており、その内容は、カメラ１は、座標（
０、ｙ１、０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対
して−３０度の角度をなし、光軸周りの回転はなく、焦点距離はｆ１、レンズ歪
み係数κ１、κ２はともに０である、ということが記されている。 本実施例では、視点変換手段１０５Ｃ（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。この
際、仮想のカメラでは、レンズの歪みは考慮する必要がないので、レンズ歪み係
数κ１、κ２はいずれも０とすることができる。 図４６は、視点パラメータテーブル１０２Ｃに格納されているデータを表形式
で示したものである。図４６に記載されている内容は、テーブルの左側の列から
順に、２列目から９列目までの項目が視点パラメータの例を示している。その内
容は、仮想視点が、座標（０、０、ｚ２）の位置にあり、向きはＹ−Ｚ平面に対
して０度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周りの回転はなく、
焦点距離はｆ２、レンズ歪み係数κ１、κ２はともに０である、ということが記
されている。 マッピング手段１０４Ｃは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Ｃにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Ｃに透視投影する
。 ここで空間モデル１０３Ｃとは、マッピング手段１０４Ｃにおいて、カメラか
らの画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面
もしくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例で
は、説明を容易にするために、最も単純な空間モデル１０３Ｃの一例として路面
としての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピン
グする方法を説明する。 尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。 さて、マッピング手段１０４Ｃにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する。図４７は、画像
を含む平面（以下、視平面）に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデル１０３Ｃを
構成する面にマッピングする説明の補助として使用する図である。該変換は下記
の手順で行われる。 手順１：視平面が Ｚ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画
像の中心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏ
ｅを原点とする）。 手順２：図７における点Ｐｖ（ｕ，ｖ）（この点がカメラ撮影画像の一画素に
対応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅ
とＰｖの関係は、カメラの焦点距離ｆを用いて、上記式（１）式（２）のように
表すことが出来る（但し、この場合はＺｅ＝ｆとなる）。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 手順３：視平面座標系とワールド座標系とを対応づける計算式を求める。 ここで、ワールド座標系を中心にして、視平面座標系が空間的に以下のような
関係にあるとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。 つまり、２つの座標系の位置的なずれは、視平面座標系を（ｔｘ，ｔｙ，ｔｚ
）だけ平行移動することによって無くなる。尚、ワールド座標系におけるカメラ
位置が既知であれば、該位置の座標の符号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は
容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系に合わせるための回転行
列を上記式（１）とする。 該回転行列は、カメラパラメータテーブル１０２Ｃのうち、向きおよびカメラ
の光軸周りの回転を表すパラメータ（α、β、γ）によって、Ｘ，Ｙ，Ｚの各軸
まわりの回転行列を求め、それらを合成することによって容易に求めることがで
きる。さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また
、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，
Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ， Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の
間には式（８）の関係が成り立つ。 これらの式（１）式（２）式（８）を用いることにより、視平面上での画素Ｐ
ｖ（ｕ，ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換する
ことが出来る。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。 なお、図４７では空間モデル１０３Ｃを形成する面としてＸ−Ｚ平面を用いた
場合の例を示している。 視点変換手段１０５Ｃは、車載カメラの画像がマッピング手段１０４Ｃによっ
て空間モデル１０３Ｃにマッピングされた結果を、任意の仮想視点に設置したカ
メラから撮影した画像に合成する。その方法の概要は、上記視点変換手段１０５
Ａに関して説明した。 ところで、視点変換手段１０５Ｃにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Ｃの点に、色がマッピングされていない場合も考えられる。その場合は、 ・物体が存在しない部分であると識別可能な色、例えば黒に置き換える ・当該点の色を、色がマッピングされている周囲の点から、補間、補外などによ
って求めるなどすればよい。 カメラパラメータ修正手段１０６Ｃは、カメラのパラメータを、各々のカメラ
で独立して修正する。 図４８は、カメラパラメータ修正手段１０６Ｃによってカメラパラメータを修
正するための操作部の構成例を示した概念図である。 本実施例では、 ・修正の対象となるカメラを選択する、カメラ選択ボタン９０１Ｃ ・カメラの光軸方向に前後の移動をするズームボタン９０４Ｃ（前向き、後向き
）・カメラの光軸方向に垂直にカメラを平行移動する平行移動ボタン９０２Ｃ（
上下左右）・カメラの向きの変更と、カメラの光軸周りの回転を修正するジョイ
スティック９０３Ｃ から構成され、 （ａ）ズームボタン９０４Ｃ、平行移動ボタン９０２Ｃの操作、カメラの３次
元空間位置を、 （ｂ）ジョイスティック９０３Ｃによって、カメラの回転角度を、それぞれ変
更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当該カメラパ
ラメータの以下の情報が修正される。 （ａ）３次元空間座標系におけるカメラ位置のＸ、Ｙ、Ｚ座標 （ｂ）カメラの向きのうちＹ−Ｚ平面に対してなす角度α カメラの向きのうちＸ−Ｚ平面に対してなす角度β カメラの光軸の周りの回転角度γ 修正された結果は、即座に式（８）に反映する。すなわち、式（８）において
、式０に示す回転行列が、新たなカメラ角度を用いて再度計算されるとともに（
ｔｘ，ｔｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。さすれば、変更
後の式（８）を用いることによって修正操作の結果としての画像が合成され、操
作者は、自身の修正の操作が正しいかどうかを一目で確認することが可能である
。 ところで、ジョイスティック９０３Ｃの操作について、操作としては、 （１）ジョイスティック９０３Ｃの軸を上下左右に動かす、いわゆるカメラの
光軸の向きの調整に相当する操作 （２）ジョイスティック９０３Ｃの軸自身を回転させる、いわゆるカメラの光
軸周りの回転の調整に相当する操作 の２通りは少なくとも必要不可欠である。 これらのジョイスティック９０３Ｃの操作のうち、（１）については、ジョイ
スティック９０３Ｃの軸とカメラの光軸があたかも一致しているように、操作内
容とその結果の画面が表示できれば、操作者はカメラの向きを直感的に把握し易
い。 そのためには、ジョイスティック９０３Ｃの操作によって傾けられた軸の向き
と同じようにカメラの光軸を設定するのではなく、ジョイスティック９０３Ｃの
軸を動かした向きとは反対の方向に同じたけカメラの向きを動かし、その状態で
の向きを変更されたカメラの向きとしてカメラパラメータテーブル１０２Ｃに書
き込めばよい。 また、かかる修正をあたかもバックミラーを修正しているかのように行うため
には、実際にカメラが置いてある場所でカメラの向いている方向の画像を見なが
ら行うのが望ましい。そのために、本修正処理を行う際には、表示のために設置
する仮想視点は、修正しようとするカメラの修正前の位置および向きと一致させ
ることが望ましい。そのようにすれば、修正によってカメラの向きや位置が変わ
っていく様子が一目で把握でき、また修正が完了すれば、完了前の仮想視点位置
に戻せばよい。 図４９は本発明にかかる画像生成装置の関連する技術の構成例を示したブロッ
ク図である。 ここでは、図４２の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０８Ｃを備えている。 図５０は、マッピングテーブル１０８Ｃを表形式で示した概念図である。テー
ブルは、表示手段１０７Ｃにて表示する画面の画素数分のセルから構成されてい
る。すなわち、 ・表示画面の横画素数がテーブルの列数 ・表示画面の縦画素数がテーブルの行数 になるように、テーブルが構成される。そして、それぞれのセルは、 ・カメラ番号 ・前記カメラで撮影された画像の画素座標 をデータとして持つ。例えば図５０の左上のセルは表示画面での左上、すなわち
（０、０）の部分を示しており、マッピング手段１０４Ｃは、前記セルに格納さ
れているデータ内容（１、１０、１０）から、「１番カメラで撮影された画像の
画素（１０、１０）のデータを、表示画面（０、０）に表示する」という処理を
行う。 ところで、マッピングテーブル１０８Ｃを作成するためには、カメラ入力画像
と合成画像との間の画素の対応づけを計算する必要があるが、この計算は、マッ
ピング手段１０４Ｃおよび視点変換手段１０５Ｃによって容易に計算できる。よ
り具体的には、全てのカメラについて以下の１〜２の処理を行えば良い。 １．カメラを一つ決め、そのカメラ番号をＣｎとする。 ２．該カメラ画像を構成する全ての画素に対して以下の２．１〜２．３の処理を
実施する。 ２．１ マッピング手段１０４Ｃにより該画素（座標を座標１とする）を空間
モデル１０３Ｃにマッピングする。 ２．２ 視点変換手段１０５Ｃにより、２．１でマッピングされた画素を仮想
視点から見たときの視平面での座標（座標２とする）を求める。 ２．３ マッピングテーブル１０８Ｃの座標２に対応するセルに、（Ｃｎ、座
標１）を組にしたデータを書き込む。但し、それぞれのカメラ画像の表示領域が
決められていれば、座標２がＣｎの表示領域である場合にのみ、データを書き込
むようにする。 マッピングテーブル１０８Ｃが作成されている場合は、表示手段１０７Ｃは、
マッピング手段１０４Ｃおよび視点変換手段１０５Ｃでの処理結果を用いて、合
成画像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直
接置き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能
となる。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを説明する。 図５１は、カメラパラメータの修正処理の流れを示すフローチャート、図５２
及び図５３は、カメラパラメータの修正処理の説明の補助に使用する概念図で、
図５２（ａ），（ｂ）は、カメラパラメータ修正時の表示画面を、図５３（ａ）
，（ｂ）は、カメラパラメータ修正時以外（すなわち通常時）の表示画面を示す
。 処理１２０１：カメラ選択ボタン９０１Ｃなどで修正対象となるカメラを選択
する。その際には画面上には、図５３（ａ）のごとく、合成画像がずれている様
子が表示されている。 処理１２０２：仮想視点を、選択されたカメラの位置・向きにあわせて変更し
、画像を合成する。仮想視点が変更されると、画面は図５２（ａ）のごとく、選
択されたカメラの視点位置からの画像が表示され、該視点位置からのカメラのず
れの様子が把握できるようになる。 処理１２０３：ズームボタン９０４Ｃ、平行移動ボタン９０２Ｃ、ジョイステ
ィック９０３Ｃを用いて、カメラの３次元空間位置とカメラの向きを修正する。
該修正処理中は、仮想視点は固定したままにする。修正がうまくできれば、画面
は、図５２（ｂ）のごとく、ずれのない様子が表示される。 処理１２０４：当該カメラの修正が終了すると、修正後のカメラパラメータを
カメラパラメータテーブル１０２Ｃに書き込む。 処理１２０５：他に修正の必要があるカメラがあれば、続いて前記カメラを選
択し、上記処理１２０１〜１２０４を繰り返す。無ければ次の処理１２０６に進
む。 処理１２０６：処理１２０２で変更された仮想視点を、該カメラ修正処理前の
仮想視点に戻し、画像を合成する。その合成の結果、画面は、図５２（ｂ）のご
とく、ずれのない画像が表示されており、その確認でもってカメラパラメータ修
正処理を終了する。 なお、図５２，図５３の概念図に示したごとく、各々の車載カメラからの画像
を接合する部分においては、該接合部分に、見た目に違和感を与えない程度のマ
ーカ（例えば線）などを印しておくと、どのカメラの画像がどこに表示されてい
るかが分かり易くなる。 以上のように、本発明によれば、限られた台数のカメラからの画像を用いて任
意の仮想視点からの画像を合成する。車両走行中の振動などにより、カメラの位
置、向きがずれた場合、従来では、前記ずれを修正することが困難であったが、
本発明では、視点を修正するカメラパラメータ修正手段によって、あたかもバッ
クミラーを調整するかの如く、運転者は、自身で表示画像を都度確認しながら、
ずれの生じたカメラの画像のみに対して、視点の位置の移動、向きの変更などに
よって最適の画像を得る。 従って、運転者は例え合成画像の一部にずれが生じた場合でも、その調整のた
めに多大な費用と手間を要することなく、容易にずれの修正を行うことが可能と
なる。 しかも本発明では、運転者の視点修正操作中は、視点変換手段によって、仮想
視点を、修正しようとする車載カメラの位置に切り替えて画像を合成するため、
車載カメラの向き・位置修正を、バックミラーを修正するかのごとく行うことが
可能である。 また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのカメラパラメータを修正するので、カメラの向きを変更
する機構が必要でなくなり、装置のコストを低価格に押さえることが可能となる
。 図５４は本発明の別の実施の形態を示すブロック図であり、図４２と同じ手段
には同じ番号を付して説明を省略する。新しい点は、カメラの特性を示すカメラ
パラメータを修正する際にガイドとなるガイドデータを格納するガイドデータ記
憶手段１１０Ｃを有する点である。このガイドデータは画像合成手段１０９Ｃに
よって、入力画像と重畳され、表示手段１０７Ｃによって表示される。このガイ
ドデータは任意の生成方法で生成できるが、たとえば次に説明するような方法で
生成し、利用する。 図５５は、図５４の構成に加えて、車両の所定場所に点光源を発生させる特徴
発生手段１１１Ｃと、その特徴を抽出できる特徴抽出手段１１２Ｃをさらに備え
、その特徴抽出結果を上記ガイドデータとして、記憶手段１１０Ｃに格納できる
ようになっている。 たとえば、図５６は点光源を特徴とするものであり、車両の前方にいくつかの
ランプ１１３Ｃを取り付けている（ａ）。このランプ１１３Ｃが特徴発生手段１
１１Ｃに対応する。さらに、車両の前側に取り付けられたカメラ１，２（ｆ）か
らその車体の前部を撮影した画像を示す（ｂ，ｃ）。特徴抽出手段１１２Ｃはそ
の画像から、光っている特徴を画像処理して抽出する（ｄ，ｅ）。 図５７（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、特徴として、車体の一部
の線分を取り上げた例を示す。つまり、車体の右後ろの隅部の線分を画像処理し
て取り出している。 これらの点光源や、線分は車が移動してもいつもそのカメラに対して位置関係
が不変である。そこで、カメラの方向等が振動によって変化した場合、この不変
の特徴を利用して、カメラのパラメータを修正できるものである。その具体的や
り方を次に説明する。 図５８において、黒丸は本来の点光源のあるべき画像を示す。白丸はカメラが
ずれた場合の撮影した点光源を示す。そこで、（ａ）のように、ずれた状態の画
像が得られる。そこで、上述したようにしてジョイスティック９０３Ｃを利用し
てパラメータを修正して一致させる（ｂ，ｃ）。これによって、簡単にキャリブ
レーションを行うことができる。 図５９の（ａ，ｂ，ｃ）は、上述して線分を利用してキャリブレーションを実
行した例を示している。 なお、上記特徴の発生は、パターン光を照射する等、他の方法でももちろん発
生できる。 次に、別の本発明の一実施例を説明する。 図６０は本発明（請求項５５の一例）の画像生成装置の構成例を示したブロッ
ク図である。 本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１Ｄ、カメラ１０１Ｄの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル１０２Ｄ、車両の周囲の状況
をモデル化した空間モデル１０３Ｄにカメラ１０１Ｄより入力された画像をマッ
ピングするマッピング手段１０４Ｄ、少なくとも位置、向きを含む視点パラメー
タを格納する視点パラメータテーブル１０８Ｄ、所望の仮想視点から見た一枚の
画像を、マッピング手段１０４Ｄにて作成されたデータから合成する視点変換手
段１０５Ｄ、前記仮想視点のパラメータを修正する視点パラメータ修正手段１０
６Ｄ、視点変換手段１０５Ｄにて変換された画像を接合して表示する表示手段１
０７Ｄを備えた構成を有する。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラ１０１Ｄは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。このカメラは図４３に示したように車両に取り付けられる
。 カメラパラメータテーブル１０２Ｄは、カメラパラメータを格納するテーブル
である。カメラパラメータについては、上述したとおりである。 さて、まずカメラパラメータテーブル１０２Ｄの詳細な説明の準備として、車
両を基準とした３次元空間座標系を定義する。それは図４４で説明した通りであ
る。 カメラパラメータテーブル１０２Ｄに格納されているデータは、図４５のもの
と同じである。 本実施例では、視点変換手段１０５Ｄ（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。 図６１は、視点パラメータテーブル１０８Ｄに格納されているデータを表形式
で示したものである。図６１では、視点パラメータはそれぞれ３つずつ格納され
ているが、３つのそれぞれが、それぞれ３台の車載カメラと一対一に対応づけら
れている。 例えば、カメラ１で撮影された画像は、仮想視点１から見た画像へと視点変換
され、カメラ２で撮影された画像は、仮想視点２から見た画像へと視点変換され
る。 このようにカメラ１台ごとに仮想視点を設定すれば、もしカメラの位置ずれな
どによって、表示画面上で他のカメラの画像と該カメラからの画像との接合部分
がずれた場合に、ずれたカメラ画像を見ている仮想視点のパラメータのみを変更
することによって、直感的にずれを修正することが可能となる。修正方法の詳細
は後の視点パラメータ修正手段の説明において説明する。 さて、図６１に記載されている内容は、２列目から９列目までの項目が視点パ
ラメータの具体例を示しており、テーブルの左側の列から順に次の通りである。
すなわち、図６１の２行目を例にとると、仮想視点１とは、座標（０、０、ｚ
２）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−９０
度の角度をなし、視線の中心軸周りの回転はなく、焦点距離はｆ２、レンズ歪み
係数κ１、κ２はともに０である、ということが記されている。 マッピング手段１０４Ｄは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Ｄにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Ｄに透視投影する
。 ここで空間モデル１０３Ｄとは、マッピング手段１０４Ｄにおいて、カメラか
らの画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面
もしくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例で
は、説明を容易にするために、最も単純な空間モデル１０３Ｄの一例として路面
としての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピン
グする方法を説明する。 尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。 さて、マッピング手段１０４Ｄにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する必要があるが、そ
れはすでに、図４７に関して説明したのと同様である。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に’２３３の図７に
おいて説明した。 視点変換手段１０５Ｄは、車載カメラの画像がマッピング手段１０４Ｄによっ
て空間モデル１０３Ｄにマッピングされた結果を、任意の仮想視点に設置したカ
メラから撮影した画像に合成する。その方法の概要は、視点変換手段１０５Ａに
関して説明した。 ところで、視点変換手段１０５Ｄにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Ｄの点に、色がマッピングされていない場合も考えられる。その場合につい
ては、すでに説明した。 図６２は、マッピング手段１０４Ｄによって車載カメラからの入力画像を構成
する各々の画素を空間モデル１０３Ｄとしての平面にマッピングし、該平面にマ
ッピングされた結果を、仮想視点に設置したカメラから撮影した画像に合成する
様子を示した概念図である。 視点パラメータ修正手段１０６Ｄは、それぞれのカメラ毎に設けられている仮
想視点のパラメータを、それぞれ独立して修正できる。 図６３は、視点パラメータ修正手段１０６Ｄによって仮想視点パラメータを修
正するための操作部の構成例を示したものである。本実施例では、 ・修正の対象となる仮想視点を選択する、視点選択ボタン１００１ ・仮想視点からの視線の中心軸上を前後に移動する、ズームボタン１００４（前
向き、後向き） ・仮想視点からの視線方向に垂直に視点位置を平行移動する平行移動ボタン１０
０２（画像面に対して上下左右の動き） ・仮想視点からの視線方向の変更と、仮想視点からの視線方向周りの回転を修正
するジョイスティック１００３Ｄから構成され、 （ａ）ズームボタン１００４Ｄ、平行移動ボタン１００２Ｄの操作によって、仮
想視点の３次元空間位置を、 （ｂ）ジョイスティック１００３Ｄによって、仮想視点からの視線方向を、それ
ぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当該仮
想視点パラメータの以下の情報が修正され、視点パラメータテーブル１０８に上
書きされる。 （ａ）３次元空間座標系における仮想視点位置のＸ、Ｙ、Ｚ座標 （ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対してなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映する。すなわち、式（８）に
おいて、式Ｏに示す回転行列が、新たな視線方向を用いて再度計算されるととも
に（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で置き換える。 その結果、変更後の式（８）を用いることによって修正操作の結果としての画
像が合成され、操作者は該合成画像を見ることにより、自身の修正の操作が正し
いかどうかを一目で確認することが可能である。 ところで、仮想視点のパラメータ修正の操作のうち、仮想視点の向き・位置・
回転の操作を変更する操作は、操作の内容と操作結果画像の振る舞いが一致して
いる方が、操作者にとって直感的に分かりやすい。そのためには、パラメータ修
正の操作のうちの次の操作、すなわち、 （１）ジョイスティック１００３Ｄの軸を上下左右に動かす、いわゆるカメラの
光軸の向きの調整に相当する操作 （２）ジョイスティック１００３Ｄの軸自身を回転させる、いわゆるカメラの光
軸周りの回転の調整に相当する操作 （３）平行移動ボタン１００２Ｄの操作によって、仮想視点からの視線方向に垂
直に視点位置を平行移動する操作の３通りの操作は、本発明の請求項５７に記載
のごとく、仮想視点の向き・位置・回転の操作を変更する操作方向と、実際の視
点パラメータの変更方向の関係を、互いに逆方向とする。 すなわち、例えばジョイスティック１００３Ｄを例に挙げると、ジョイスティ
ック１００３Ｄの操作によって傾けられた軸の向きと同じように視線の中心軸を
設定するのではなく、ジョイスティック１００３Ｄの軸を動かした向きとは反対
の方向に同じだけ視線方向を動かし、動かした後の状態を変更された視線方向と
して視線パラメータテーブル１０２Ｄに書き込めばよい。例えば、ジョイスティ
ック１００３Ｄを右に１０度傾けたとすると、その時の視点パラメータ値は、視
線方向が現在の視線に対して左に１０度傾いた値とする。同様に、ジョイスティ
ック１００３Ｄを時計回りに５度回転させたとすると、その時の視点パラメータ
値は、視線の中心軸周りの回転角度を、反時計回りに５度回転させた値とする。
平行移動ボタン１００４Ｄの操作についても同様である。 図６４は本発明の画像生成装置に関連のある技術の構成例を示したブロック図
である。 ここでは、図６０の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０９Ｄを備えている。 このマッピングテーブル１０９Ｄを表形式で示した概念図は、図５０と同じ内
容であるので詳細は省略する。テーブルは、表示手段１０７Ｄにて表示する画面
の画素数分のセルから構成されている。 このような画像生成装置では、視点パラメータ修正手段によって、視点パラメ
ータが修正されたら、カメラ入力画像と合成画像との間の画素の対応づけ関係の
うち、該修正によって変更の生じる部分を、上記手順に従って再度計算し書き換
えればよい。 マッピングテーブル１０９Ｄが作成されている場合は、表示手段１０７Ｄは、
マッピング手段１０４Ｄおよび視点変換手段１０５Ｄでの処理結果を用いて、合
成画像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直
接置き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能
となる。 さらに、前記視点パラメータ修正手段によって、仮想視点の位置、向きなどが
変更された場合の、他のマッピングテーブルの高速な修正方法を示す。 図６５（ａ）は本発明の画像生成装置に関連する技術の構成例を示したブロッ
ク図、（ｂ）は視点パラメータ修正前の車載カメラ合成画像例を示す概念図、（
ｃ）は視点パラメータ修正後の車載カメラ合成画像例を示す概念図である。 本画像生成装置では、先の装置に、さらに、視点パラメータ修正手段での処理
によって変更された視点パラメータを用いて、前記マッピングテーブルを再計算
するマッピングテーブル修正手段１１０Ｄ、マッピングテーブル修正手段１１０
Ｄの処理途中のデータを一時的に格納するバッファ１１１Ｄを備えた構成となる
。 このマッピングテーブル修正手段１１０Ｄにより、視点パラメータの修正結果
を式（８）に反映させて、この式（８）の複雑な計算をすることなく、上記マッ
ピングテーブルの内容を変更することが可能である。以下で該マッピングテーブ
ルの変更方法を手順を追って説明する。 尚、図６６（ａ）〜（ｃ）は、該マッピングテーブルの変更方法の説明の補助
に使用する概念図であり、灰色で示されている平行四辺形は仮想視点修正前の画
像面、白色で示されている平行四辺形は仮想視点修正後の画像面を表している。
また、仮想視点パラメータを修正するための操作部の構成が図６３のようである
とする。 処理１．：マッピングテーブルの変更結果を一時的に格納するバッファ１１１Ｄ
を予め設けておく。 処理２．：視点パラメータ修正手段によって、平行移動、方向、回転、ズームの
いずれかの視点パラメータ修正情報を得、この情報内容に応じて以下の４つのい
ずれかの処理により、仮想視点修正前の表示座標（ｕ，ｖ）と修正後の表示座標
（ｕ’，ｖ’）の対応関係のデータ（以下、テーブル変換データ）を計算し、バ
ッファ１１１Ｄに書き込む。 （１）平行移動ボタン操作 平行移動の場合、図６６（ａ）に示すように、平行移動ボタンによって移動前
と移動後の画素単位での移動距離（ｄｕ，ｄｖ）を獲得し、式（１０）によって
、変更前の座標Ｐ１と変更後の座標Ｐ１’の関係を求め、上記関係をバッファ１
１１Ｄに書き込む。 （２）ジョイスティックによる方向修正操作 仮想視点からの視線方向の場合、図６６（ｂ）に示すように、変更前と変更後
の角度の変位分（θ，φ）を獲得し、式（１１）および式（１２）によって、変
更前の座標Ｐ２と変更後の座標Ｐ２’の関係を求め、上記関係をバッファ１１１
Ｄに書き込む。 （３）ジョイスティックによる回転操作 仮想視点からの視線方向周りの回転を修正する場合、図６６（ｃ）に示すよう
に、変更前と変更後の回転角度ρを獲得し、式（１３）によって、変更前の座標
Ｐ３と変更後の座標Ｐ３’の関係を求め、上記関係をバッファ１１１Ｄに書き込
む。 （４）ズームボタン操作 ズーム（倍率）を修正する場合、ズームボタンによって変更前に対する変更後
の倍率ｋを獲得し、式（１４）によって、変更前の座標Ｐ４と変更後の座標Ｐ４
’の関係を求め、上記関係をバッファ１１１Ｄに書き込む。 処理３．：バッファ１１１Ｄを参照しマッピングテーブルを変更する。 上記処理２．によって、マッピングテーブルの各セルの座標１の変更内容が、例
えば以下のようなテーブル変換データとして、バッファ１１１Ｄに書き込まれて
いる。 （修正前の座標：Ｐ、修正後の座標：Ｐ’） 該データを参照し、マッピングテーブルのすべてのセルについて、下記の（ａ
）（ｂ）の条件を満たせば、該セルの修正前の座標１：Ｐを、前記テーブル変換
データの修正後の座標Ｐ’に変更する。 （ａ）セルのカメラ番号が修正対象となった仮想視点に対応する車載カメラ番号
と一致する。 （ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換データの左側の項の座標
と一致する。 なお、カメラ番号が修正対象となった仮想視点に対応する車載カメラ番号と一
致するが、座標１の修正の行われなかったセルは、修正された仮想視点から見た
ときの視野範囲外になっていると考えられるため、表示手段における表示エリア
外の座標値を書き込む。またその場合は、表示手段では、表示できない座標値が
入力されたら視野外を示す色として、例えば黒を表示するなどとすればよい。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを図を用いて説
明する。 図６７は、本発明の画像生成装置における視点パラメータの修正処理の流れを
示すフローチャート、図６８（ａ）〜（ｃ）は、視点パラメータの修正処理の説
明の補助に使用する概念図である。 １．（処理１５０１）視点選択ボタン１００１Ｄなどで修正対象となる仮想視点
を選択する。その際には画面上には、図６８（ａ）のごとく、合成画像がずれて
いる様子が表示されている。 ２．（処理１５０２）本発明の請求項５８に記載のごとく、修正中の仮想視点を
仮の仮想視点（例えば修正前の視点）に置き換え固定する。 ３．（処理１５０３）ズームボタン１００４Ｄ、平行移動ボタン１００２Ｄ、ジ
ョイスティック１００３Ｄを用いて、仮想視点の３次元空間位置と、視線の向き
を修正する。修正処理中は、上記２の処理によって視点が固定されているため、
あたかも視点部分においたカメラを手で調整しているかのごとく、視点修正の作
業を行うことができる。修正がうまくできれば、例えば図６８（ｂ）の画面を経
て、図６８（ｃ）のごとく、ずれのない様子が表示される。 ４．（処理１５０４）当該仮想視点の修正が終了すると、修正後の視点パラメー
タを視点パラメータテーブル１０８に書き込む。 ５．（処理１５０５）他に修正の必要があるカメラがあれば、続いて前記カメラ
を選択し、上記処理１５０１〜１５０４を繰り返す。無ければ次の処理１５０６
に進む。 ６．（処理１５０６）仮想視点の仮の仮想視点に固定する状態を解除する。 その合成結果、画面は、図６８（ｃ）のごとく、ずれのない画像が表示されてお
り、その確認でもって視点パラメータ修正処理を終了する。 尚、図６８（ａ）〜（ｃ）の概念図に示したごとく、各々の車載カメラからの
画像を接合する部分においては、本発明（請求項５９の一例）のように、該接合
部分に、見た目に違和感を与えない程度のマーカ（例えば点線）などを印してお
くと、どのカメラの画像がどこに表示されているかが分かり易くなる。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の仮
想視点からの画像を合成する。車両走行中の振動などにより、カメラの位置、向
きがずれた場合、従来では、カメラそのものの微調整によってずれを元通りにす
るという方法をとっていたため、前記ずれた画像を他の画像に合せ込む作業が困
難であった。しかし本発明では、仮想視点という概念を導入し、該仮想視点から
見た画像を見ながら、視点パラメータ修正手段によって、ずれの生じた画像のみ
を、あたかも仮想視点においたカメラを調整するかのごとく、修正することがで
きる。その際、視点の位置の移動、向きの変更後の状態を、都度画像としてフィ
ードバックするため、修正作業者は、表示画像を都度確認しながら最適の画像を
得ることができるため、従来に比べて、画像のずれの合せ込み作業が格段に容易
になるし、微少なずれであれば、大規模な装置を用いてのカメラパラメータの再
調整も必要ではなくなる。 また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのパラメータを修正するので、カメラの向きを変更する機
構が必要でなくなり、装置のコストを低価格に押さえることが可能となる。 産業上の利用可能性 本発明の画像生成装置は、車両周囲監視、店舗内監視等の分野に応用でき、そ
れぞれのカメラから撮影された画像を用いて、あたかも仮想視点から実際見てい
るような感覚を持つ合成画像を簡単に作り出すことが出来る。 また、カメラの方向がずれた場合でも、画像上容易に修正できるという長所を
有する。
立して表示するのではなく、前記数台のカメラで撮影しているエリアの全体の様
子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関
し、たとえば、店舗におけるモニター装置、あるいは車両運転の際の安全確認の
補助としての車両周囲モニター装置等に関する。 背景技術 従来の一般的な監視カメラ装置は、店舗などにおいて、監視対象となる部分を
１台もしくは数台のカメラで撮影し、その画像をモニタ画面に表示する構成が一
般的である。この際、例えば数台のカメラが設置してあれば、通常モニタ画面も
前記カメラ台数分だけ準備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメラ画像を１枚分の画像に
統合して表示させる、もしくは、カメラ画像を順次切り替えるなどの方法が取ら
れる。しかし、これら従来の装置では、それぞれのカメラからの画像を監視する
には、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの
問題があった。 この問題を解決する方法として、複数台カメラからの画像が端の部分で重なる
ように設置し、複数台カメラからの画像を、前記重なり部分を重ねることによっ
て一枚に統合した画像を表示することで、前記連続性の問題を解決した監視装置
としては、例えば特開平１０−１６４５６６号公報などがある。 また、監視装置の別の応用例として、車両に設置した場合がある。その従来例
としては次のようなものがある。つまり、車両の周囲を監視するカメラを設置し
、前記カメラで獲得した画像を運転席近くに設置したモニターテレビに表示させ
る監視装置である。例えば車両後方のように、運転者が目視もしくはミラーで見
ることが出来ない場所を、前記カメラで撮影し前記モニターテレビで表示させる
装置が知られている。特に、大型トラック、ワンボックスワゴンなど、目視およ
びミラーで確認できる視野が狭い車両には多数使用されている。 図６９は、監視カメラを車両に設置した場合の従来例を示したものである。図
６９の例では、分割アダプタを介して、車体に取付けられた４つの監視カメラ（
Ｃ１〜Ｃ４）からの画像を一枚の画像に合成し、該画像をモニタテレビで分割表
示（Ｄ１〜Ｄ４）する方法である。特に後部カメラからの画像に関しては、画像
に撮っている物体の位置関係をミラーで見たときと同じ様にするため、左右反転
した画像を表示するなどの工夫がされている。さらにカメラの画角の制限のため
見ることが出来ない場所については、運転者の手動操作によって各々のカメラを
回転させ、所望の場所の画像を得ることを可能としている。なお、上記に示した
監視装置としては、例えば特開平５−３１００７８号公報に開示の装置などがあ
る。 しかしながら上記の例のような従来の監視装置については、各々のカメラから
入力された画像を、互いに無関係に表示するので、カメラが撮影している空間全
体の様子を、それぞれの画像を見ながら管理者が一度に把握することは困難であ
る。 一方それぞれのカメラ画像を一枚に統合する場合も、カメラに撮影されている
物体が空間内のどの位置に存在するかを計算するものではないので、例えば管理
者が状況に応じて所望の視点からの統合画像を見たいという要求があった場合に
、対処できない。 車両に設置された監視装置についても同様の問題が生じる。すなわち上記の例
のように従来の監視装置については、各々のカメラから入力された画像を、互い
に無関係に表示させるものである。従って例えば車両を駐車スペースに入れよう
とする場合の補助として前記表示された画像を用いる際にも、前記画像は見えな
い場所を見るだけの役割しか果たさない。つまり運転者は、従来の目視およびミ
ラーを使った場合と比べて見えない場所が少なくなっただけにすぎない。 なお、視野が狭い点を解決するための方法としては、広角レンズを用いる事が
一般的である。広角レンズからの画像ではある特定部分の詳細はつかめないが、
逆に広角レンズを用いる事で視野が広まり、車両の周囲の全体的な状況を把握し
易くなる。 しかしながら、通常のレンズを広角レンズに置き換えるのみでは、結局、カメ
ラからの画像は、車体にカメラが設置されている場所に依存し、カメラが設置さ
れていない場所からの仮想的な画像を見ることはできない。すなわち、広角レン
ズ設置したカメラを用いて得られる効果は、カメラの台数が減るという点のみで
ある。 さらに、別の従来例として、特開平３−９９９５２号公報に開示されている装
置がある。図７０は、その従来の車両周囲監視装置の実施例を示したブロック図
である。画像変換部２２０２に入力されたカメラ１〜Ｎ２２０１からの画像が、
変換により他の座標に変換され、画像表示部２２０３で１枚の画像に合成される
。そして運転席に設置されたＴＶモニタ２２０４に表示する。画像表示部では、
ギア位置、車速、ウインカ動作に応じた信号により、自車表示位置を画面の中心
よりずらすなどし、見ようとする車両周囲環境領域を広くとるようにするなどの
工夫も可能である。 また、これをさらに発展させた他の従来例が特開平７−１８６８３３号公報に
開示されている。この例では、周囲の状況を運転者に提示する際に、路面部分と
それ以外の部分を予め区別し、路面部分は座標変換によって車両中心上方に下向
きに視点を置いたときに観測される画像に変換し、また路面外部分は、前記変換
画像にカメラからの映像をそのまま適切な場所で適切な大きさに変更して重ねあ
わせ表示する。これにより車両の周囲の障害物の状況、特に車両後方から接近す
る他の車両などを正確に知らせるものである。 しかしながら、上記別の従来の車両周囲監視装置においては、得られる合成画
像と実在の物体との対応づけが困難になる場合があるという問題があった。 また上記他の従来例では、路面と路面外とを分割することにより、路面外物体
を画像に映った状態で切り出し合成画像に貼り付けるという方法を用いているが
、路面外物体の切り出しは画像認識の分野でも難しい問題の一つであり、実用化
は困難である。 一方、走行中にカメラが動いてしまい、合成画像にずれが生じるという問題が
あるが、それを解決する従来例としては、例えば特開平５−３１００７８号公報
に開示されている方法がある。該方法では、カメラの向きを変更する機構を備え
ることにより、運転者が合成画面を見ながら、手で所望の向きにカメラを動かす
方法である。しかし、この場合の問題は、向きを変更する機構をカメラの台数と
同じ数だけ取付ける必要があり、コストが高くなる点である。 本発明は、かかる課題を解決するものであり、例えば車両に設置された装置で
は、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだ
け現実に近いように分かり易く一枚の画像として合成し、運転者に表示すること
を目的とする。 また、本発明は、前記合成のために必要な、カメラの取り付け位置、取り付け
角度などのカメラパラメータを容易に求める方法、さらには、前記カメラパラメ
ータが、走行時の振動や温度などによってずれたときに、それを検知し修正する
装置および方法も提供する。 発明の開示 上記課題を解決するために、本発明は、一台もしくは複数台のカメラと、前記
カメラからの入力画像を、所定の３次元空間の所定の空間モデルにマッピングす
る空間再構成手段と、前記空間再構成手段によってマッピングされた空間データ
を参照して、前記所定の３次元空間における任意の仮想視点から見た画像を作成
する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示手段
とを備えたことを特徴とする画像生成装置である。 また、上記課題を解決するために、本発明の画像生成方法は所定の３次元空間
に存在するカメラからの入力画像を、前記所定の３次元空間の所定の空間モデル
にマッピングして空間データを作成する空間再構成工程と、前記空間データを参
照して、前記三次元空間における任意の仮想視点から見た画像を作成する視点変
換工程とを備え得たことを特徴とする画像生成方法である。 上記課題を解決するために、本発明の装置は次の構成を有する。 本発明の基本構成は、車両に設置された一台もしくは複数台のカメラから画像
を入力する画像入力手段と、前記カメラ特性を示すカメラパラメータを格納する
カメラパラメータテーブルと、車両を基準とした座標系に空間モデルを作成する
空間モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッ
ピングするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、
前記マッピング手段にて作成されたデータから合成する視点変換手段と、前記視
点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする
。 本発明による監視装置の第１の応用構成は、距離を計測する距離センサと、車
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を前記距
離センサを用いて計測する障害物検知手段とを備えたことを特徴とする。 本発明による装置では、予め適当に設定した空間モデル、もしくは、障害物検
知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間
モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に
設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前
記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点
から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する
。この際、車両の乗員は、所望の視点からの画像を表示することが可能である。
上記課題を解決するために、本発明の基本構成は、車両に設置された一台もし
くは複数台のカメラから画像を入力する画像入力手段と、前記カメラ特性を示す
カメラパラメータを格納するカメラパラメータテーブルと、車両周囲の状況とし
て、路面上の特徴を検知する路面特徴検出手段と、車両を基準として設定された
座標系に、前記路面特徴検出手段の処理結果に応じた空間モデルを作成する空間
モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッピン
グするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、前記
マッピング手段にて作成されたデータから合成する視点変換手段と、前記視点変
換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。 また、本発明の第１の応用構成は、車両の移動方向を検出する移動方向検出手
段と、車両の単位時間における移動距離を検出する移動距離検出手段を備え、前
記移動方向検出手段および前記移動距離検出手段での処理結果を用いて、前記路
面上の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空
間モデルを逐次修正することを特徴とする。 また、第２の応用構成は、前記表示手段において前記路面特徴検出手段におけ
る処理結果を表示しつつ前記処理結果を修正する特徴修正手段を備えたことを特
徴とする。 本発明では、白線などの路面上の特徴を路面特徴検出手段にて検出し、空間モ
デル作成手段で前記検出された特徴に合わせて空間モデルを作成する。画像入力
手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピン
グ手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段に
て決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示
手段にて表示する。車両が移動した場合は車両と路面特徴との位置関係が変化す
るので、該変化に応じて空間モデルを修正し、修正後の空間モデルを用いて画像
を合成し表示する。 上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、前記車両の周囲の状況をモデル
化した空間モデルに前記カメラより入力された画像をマッピングするマッピング
手段と、所望の仮想視点から見た一枚の画像を、前記マッピング手段にて作成さ
れたデータから合成する視点変換手段と、前記カメラのパラメータを、各々のカ
メラで独立して修正するカメラパラメータ修正手段と、前記視点変換手段にて変
換された画像を表示する表示手段とを備えたことを特徴とする。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時と通常
動作時とで仮想視点を切り替えることを特徴とする。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を車載カメラのいずれかのカメラパラメータと一致させることを特徴とす
る。 また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を、該修正を行っているカメラの、修正処理前のカメラパラメータと一致
させることを特徴とする。 また、前記視点変換手段において、視点の向きを変更する操作の向きと、前記
視点の向きとの関係を互いに逆方向とすることを特徴とする。 また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。 上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、車両の周囲の状況をモデル化し
た空間モデルに前記カメラより入力された画像をマッピングするマッピング手段
と、少なくとも位置、向きを含む視点パラメータを格納する視点パラメータテー
ブルと、前記マッピング手段でのマッピング処理の結果を用いて、所望の仮想視
点から見た画像を合成する視点変換手段と、前記仮想視点のパラメータを修正す
る視点パラメータ修正手段と、前記視点変換手段にて変換された画像を接合して
表示する表示手段とを備えたことを特徴とする。 また、前記一組の視点パラメータは、車両に設置されたカメラのいずれか一つ
と対となるよう区別して前記視点パラメータテーブルに格納することを特徴とす
る。 また、視点パラメータ修正手段において、仮想視点パラメータ変更操作のうち
、少なくとも向き・位置・回転の操作については、操作方向と実際の視点パラメ
ータの変更との関係を、互いに逆とすることを特徴とする。 また、視点パラメータ修正手段において、視点パラメータ修正する際は固定し
た仮の仮想視点を設け、当該修正中の仮想視点での修正経過を、前記仮の仮想視
点からの画像として逐次合成表示することを特徴とする。 また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。 また、カメラ入力画像と合成画像との間の画素の対応づけ関係を保持するマッ
ピングテーブルを備え、前記マッピング手段および視点変換手段での処理によっ
て得られた前記対応づけ関係を前記マッピングテーブルに格納することを特徴と
する。 また、視点パラメータ修正手段での処理によって変更された視点パラメータを
用いて、前記マッピングテーブルを再計算するマッピングテーブル修正手段を備
えたことを特徴とする。 発明を実施するための最良の形態 本発明の基本的構成は、一台もしくは複数台のカメラと、前記カメラの特性を
示すカメラパラメータを格納するカメラパラメータテーブルと、前記カメラパラ
メータに基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッ
ピングして空間データを作成する空間再構成手段と、前記空間再構成手段にて作
成された空間データを一時的に格納する空間データバッファと、前記空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段と、前記視点変換
手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。 本発明による画像生成装置の第１の応用構成は、カメラ特性を示すカメラパラ
メータを、入力もしくは計算によって得るキャリブレーション手段を備えたこと
を特徴とする。 本発明による画像生成装置の第２の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成手段と、それらの特徴点を抽出す
る特徴点抽出手段とを備えたことを特徴とする。 本発明による画像生成装置の第３の応用構成は、温度センサ、温度補正テーブ
ルを備えたことを特徴とする。 本発明による画像生成装置の第４の応用構成は、車両の移動方向を検出する移
動方向検出手段と、車両の単位時間における移動距離を検出する移動距離検出手
段と、車両の移動方向および移動距離を用いて、前記空間データバッファに格納
された空間データを変換する空間データ変換手段とを備えたことを特徴とする。
本発明による画像生成装置の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知した場合に運転者にカメラキャリブレーションの指示を行う
カメラ補正指示手段と、カメラキャリブレーションを行った日時および走行距離
を記録する補正履歴記録手段とを備えたことを特徴とする。 また、本発明の画像生成方法は、カメラ特性を示すカメラパラメータに基づい
てカメラからの入力画像を構成する各々の画素を３次元空間の点に対応づけた空
間データを作成する空間再構成工程と、前記空間データを参照して任意の視点か
ら見た画像を作成する視点変換工程とを包含することを特徴とする。 本発明による画像生成方法の第１の応用構成は、前記カメラ特性を示すカメラ
パラメータを入力もしくは計算によって獲得し、また必要であれば温度に応じて
前記カメラパラメータを補正するキャリブレーション工程を包含することを特徴
とする。 本発明による画像生成方法の第２の応用構成は、前記キャリブレーション手段
で前記カメラパラメータの計算に必要な複数個の特徴点を抽出する特徴点抽出工
程を包含することを特徴とする。 本発明による画像生成方法の第３の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成工程を包含することを特徴とする
。 本発明による画像生成方法の第４の応用構成は、車両の移動方向を検出する移
動方向検出工程と、車両の単位時間における移動距離を検出する移動距離検出工
程と、前記移動方向検出工程によって検出された車両の移動方向、および移動距
離検出工程によって検出された車両の移動距離を用いて、前記空間データを変換
する空間データ変換工程とを包含することを特徴とする。 本発明による画像生成方法の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知し、キャリブレーションが必要である場合に、運転者にカメ
ラキャリブレーションの指示を行うカメラ補正指示工程と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録工程とを包含するこ
とを特徴とする。 本発明（請求項１の一例）の画像生成装置では、以下の３ステップからなる手
順によって、複数台設置されているそれぞれのカメラ視野を統合し、一枚の画像
として合成する。 １．空間再構成手段において、カメラから得られた画像を構成する各々の画素
と、３次元座標系の点との対応関係を計算し、空間データを作成する。前記計算
は各々のカメラから得られた画像のすべての画素に対して実施する。 ２．視点変換手段において、所望の視点を指定する。すなわち、前記３次元座
標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定
する。 ３．同じく視点変換手段において、前記視点からの画像を、前記空間データか
ら再現し、表示手段にて表示する。 請求項８、請求項９および請求項１２に記載の発明を組み合わせた画像生成装
置の一例では、特徴点生成手段によって車体の周囲などに３次元座標の同定が可
能な複数個の点を生成し、それらの特徴点を特徴点抽出手段で抽出することによ
り、各々のカメラについて、その特性を示すカメラパラメータを自動で得る。 本発明（請求項１４の一例）の画像生成装置では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つ。 また、本発明（請求項１７の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラから死角となる部分の画像を見る方法を提供する。す
なわち車両の移動方向および移動距離を検出し、検出結果から導かれた計算式を
用いて、以前に取得した画像を現在の位置から見た画像に変換する。具体的には
、以前に見えていたが現在見えていない場所についての空間データは、前記場所
を撮影した画像が空間データとして空間データバッファに格納されている場合、
その空間データを空間データ変換手段で変換することによって補われる。 また、本発明（請求項１８の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラの特性を示すカメラパラメータの補正、すなわちカメ
ラキャリブレーションを実施しなければならない状況を検知し、その旨を運転者
に指示する。 以下、図を用いて本発明の一実施例を説明する。なお本実施例においては、車
両の周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに
設置したモニターテレビに表示させる画像生成装置を対象として説明する。 図１は本発明（請求項１）の画像生成装置の基本構成の一例を示したブロック
図である。 本発明による画像生成装置は、基本構成例として、監視対象領域の状況を把握
するために取付けられた複数台のカメラ１０１、前記カメラの特性を示すカメラ
パラメータを格納しておくカメラパラメータテーブル１０３、カメラパラメータ
に基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッピング
した空間データを作成する空間再構成手段１０４、空間再構成手段１０４にて作
成された空間データを一時的に格納する空間データバッファ１０５、空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段１０６、視点変換
手段１０６にて変換された画像を表示する表示手段１０７からなる。 図２は請求項８、請求項９および請求項１２に記載の本発明を組み合わせた画
像生成装置の構成の一例を示したブロック図である。 図２の例では、図１に示した画像生成装置に対して、さらに、カメラの取り付
け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの
焦点距離などといった、前記カメラ特性を表すカメラパラメータを、入力もしく
は計算によって得るキャリブレーション手段１０２、前記カメラの視野内に３次
元座標の同定が可能な複数個の点を生成する特徴点生成手段１０９とそれらの特
徴点を抽出する特徴点抽出手段１０８とを付加し、各々のにカメラについて、そ
の特性を示すカメラパラメータを容易に得ることを可能としている。 特徴点生成手段１０９および特徴点抽出手段１０８の振る舞いによってカメラ
パラメータを得るための方法についての詳細は後述する。 図３は本発明（請求項１４の一例）の画像生成装置の構成例を示したブロック
図である。図３の例では、図１に示した画像生成装置に対して、更に温度センサ
１１０、温度補正テーブル１１１を設置することにより、気温上昇・下降にとも
なって微妙に変化するレンズ歪みを補正し、レンズを常に最適に保つことが可能
となる。キャリブレーション手段１０２において温度によるレンズ歪みの補正を
行う方法についての詳細は後述する。 図４は本発明（請求項１７の一例）の画像生成装置の構成例を示したブロック
図である。図４は車両への応用例としての画像生成装置の構成例で、図１に示し
た画像生成装置に対して、さらに車両の移動方向を検出する移動方向検出手段１
１２と、車両の単位時間における移動距離を検出する移動距離検出手段１１３と
、車両の移動方向および移動距離を用いて、前記空間データバッファ１０５に格
納された空間データを変換する空間データ変換手段１１４とを付加している。 これらの手段を用いることにより、現在見えていない場所について、以前に見
えており、かつ、その見えていた画像が空間データとして空間データバッファ１
０５に格納されていれば、その空間データを本発明を構成する空間データ変換手
段１１４で変換することによって補うことができる。補うための方法についての
詳細は後述する。 図５は本発明（請求項１８の一例）の車両への応用例としての画像生成装置で
、その構成例を示したブロック図である。 図５の画像生成装置の例では、図１に示した画像生成装置に対して、さらにカ
メラのキャリブレーションが必要な状況を検知した場合に、運転者にカメラキャ
リブレーションの指示を行うカメラ補正指示手段１１６と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録手段１１５を付加し
ている。これらの手段を用いることにより、カメラの特性を示すカメラパラメー
タの補正、すなわちカメラキャリブレーションを実施しなければならない状況を
検知し、その旨を運転者に提示する。 図６は、図１〜図５を統合した画像生成装置を示したブロック図であり、図１
から図５の画像生成装置を一つにまとめた場合の構成例で、それぞれの構成で得
られる効果を統合して利用することが可能である。本実施例の最後で、本図６の
構成例を用いて、本発明による画像生成装置の動作例を示す。 次に、本発明を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。図７は、車両へのカメラの取り付け例を示した概念
図である。 図７では、車両の屋根に、車両から周囲を見渡すようにカメラが６台設置され
ている例を示している。図７の例のように、車両への取り付け位置としては、車
体屋根と側面もしくは屋根と後面の境界部分にすると、視野が広くなりカメラの
台数も少数で済む。 本発明によるキャリブレーション手段１０２は、カメラキャリブレーションを
行う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについ
ての、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角
度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、前記
カメラ特性を表すカメラパラメータを決定、補正することである。 本発明によるカメラパラメータテーブル１０３は、キャリブレーション手段１
０２（処理の詳細は後述）によって得られたカメラパラメータを格納するテーブ
ルである。 まず該カメラパラメータテーブル１０３の詳細な説明の準備として、３次元空
間座標系を定義する。前出の図７は、車両にカメラを設置した様子を示した概念
図であるが、図７において車両を中心とする３次元空間座標系を示している。図
７の例では３次元空間座標系の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義し、また本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特にことわりがない限り、３
次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義によ
る３次元空間座標系を指すものとする。 図９は、カメラパラメータテーブル１０３に格納されているデータを表形式で
示したものである。図９に記載されている内容は、テーブルの左側の列から順に
以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項目がカ
メラパラメータの例を示している。 １列目：図７の車載カメラの番号 ２列目：３次元空間座標系におけるカメラ位置のＸ座標 ３列目：３次元空間座標系におけるカメラ位置のＹ座標 ４列目：３次元空間座標系におけるカメラ位置のＺ座標 ５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ７列目：３次元空間座標系におけるカメラの焦点距離 ８列目：レンズの半径方向の歪み係数κ１ ９列目：レンズの半径方向の歪み係数κ２ 例えば、図７におけるカメラ１のパラメータは図９のカメラパラメータテーブ
ル１０３の２行目に記載されており、その内容は、カメラ１は、座標（ｘ１、ｙ
１、０）の位置にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面に対して
−３０度の角度をなし、焦点距離はｆ１、レンズ歪み係数κ１、κ２はともに０
である、ということが分かる。 同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル１０３の
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。 この仮想カメラは、本発明に導入される概念である。すなわち従来の画像生成
装置では、実際に設置されているカメラから得られた画像のみしか表示できなか
ったが、本発明による画像生成装置では、後で詳述する空間再構成手段１０４、
視点変換手段１０６により、仮想のカメラを自由に設置し、その仮想カメラから
の画像を計算によって求めることが可能となる。該計算方法についても後で詳述
する。 本発明によるキャリブレーション手段１０２は、カメラキャリブレーションを
行う。それはすなわち前記カメラパラメータを決定することであり、その決定方
法としては、例えばキーボードやマウスなどの入力装置によって全てのデータを
人手で直接入力する方法、キャリブレーションデータのいくつかを計算によって
求める方法などがある。 カメラパラメータとは、ある基準の座標系におけるカメラの取り付け位置およ
びカメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距
離などといった、前記カメラ特性を表すパラメータである。カメラで撮影した画
像の特徴点と、前記特徴点の前記基準座標系内での位置との対応関係が取れてい
る点の組が多数分かっていれば、前記パラメータを計算によって近似的に求める
ことが可能となる。つまり、カメラパラメータを計算によって求める場合、カメ
ラで撮影した画像の点と、その点の３次元空間座標系内での位置との対応関係が
取れている点の組が、複数個必要となる。その組が最低いくつ必要であるかは、
どのような計算方法を用いるかに依存する。例えば図９の例で用いたカメラパラ
メータを計算によって求める方法に関しては、文献「松山、久野、井宮、”コン
ピュータビジョン：技術評論と将来展望”、新技術コミュニケーションズ、ｐｐ
．３７−５３、１９９８年６月」に開示されている。この他にもカメラパラメー
タを求める技術が、前記文献に多数開示されているので、ここでは該技術に関す
る説明は省略する。 しかし、いずれの方法でカメラパラメータの計算をする場合においても、前記
対応関係の組をどのようにして見つけるかが問題となる。本発明では、前記対応
関係の取れた点の組を自動で作成し、その組を用いて計算によっていくつかのカ
メラパラメータを求める方法について開示していおり、該方法については後述す
る。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズの歪みの変化は、激しい温度変化がない限りは起こらないと仮
定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の対
応関係をあらかじめ計算しておく。そして前記計算結果をテーブルやマトリクス
などのデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。 温度などによってレンズ歪みがどのように変化するかが予め分かっていれば、
そのデータは本発明による温度補正テーブル１１１などの形式で持っておき、気
温の上昇や下降によってレンズ歪みに変化が生じた場合に、キャリブレーション
手段１０２によって前記テーブルのデータを参照して補正する。 図１０は本発明による温度補正テーブル１１１の例を表形式で示した図である
。図１０に示すように、温度補正テーブル１１１は、温度に応じて変化する前記
カメラパラメータの変化量をデータとして格納するもので、本例では、温度によ
って、 ・レンズの焦点距離 （テーブル２列目） ・レンズ歪み係数κ１（テーブル３列目） ・レンズ歪み係数κ２（テーブル４列目） が変わる度合いのデータを格納した場合を示しており、テーブルの示す具体的な
内容は以下の通りである。 ｏ温度が０度以下のとき（テーブル２行目） ・現在のレンズの焦点距離にｄｆ１を加える。 ・現在のレンズ歪み係数にκ１１を加える。 ・現在のレンズ歪み係数にκ２１を加える。 ｏ温度が４０度以上のとき（テーブル３行目） ・現在のレンズの焦点距離にｄｆ２を加える。 ・現在のレンズ歪み係数にκ１２を加える。 ・現在のレンズ歪み係数にκ２２を加える。 本発明（請求項１４の一例）のキャリブレーション手段１０２では、各カメラ
毎に温度センサ１１０の温度値を逐次観測し、必要に応じてカメラパラメータテ
ーブル１０３の内容を更新する。 図２２は、キャリブレーション手段１０２において、温度によってカメラパラ
メータテーブル１０３の更新処理を行う手順をフローチャートの形式で示したも
ので、図２２を用いてその詳細を説明する。 但し、本例では図３に示したごとく、カメラ１台について、それに１台の温度
センサ１１０が対になって付随しており、温度センサ１１０で検知した温度が、
カメラのレンズ温度とほぼ等しいということを仮定する。 １．（１３０１）未チェックの温度センサ１１０を一つ選択し、温度値を取得
する。 ２．（１３０２）前記温度値がカメラパラメータ補正を必要とするかどうかを
確かめる。 図２２の例では、補正が必要な温度は、０度以下もしくは４０度以上である。
３．（１３０３）もし補正が必要なら、温度補正テーブル１１１からカメラパ
ラメータ補正値を取得し、該温度センサ１１０に付随するカメラのカメラパラメ
ータを更新した結果を、カメラパラメータテーブル１０３に書き込む。（１３０
４）補正の必要がない場合は、レンズの焦点距離、歪み係数κ１、歪み係数κ２
をすべて初期設定値に戻した結果を、カメラパラメータテーブル１０３に書き込
む。 ４．（１３０５）全ての温度センサ１１０について、上記１から３までの処理
を終了していれば、カメラパラメータテーブル１０３更新処理を終了する。まだ
未チェックの温度センサ１１０があれば、該温度センサ１１０について、上記１
から３までの処理を実行する。 図１１は、図１０の例の温度補正テーブル１１１を用いて書き換えられたカメ
ラパラメータテーブル１０３の例である。図１１の例では、カメラ１、カメラ２
のみが、ある時点に直射日光を受けるなどして４０度以上の温度となり、それ以
外は０度から４０度未満の温度値を保っている場合を示している。図１１のカメ
ラパラメータテーブル１０３から分かる通り、カメラ１およびカメラ２のカメラ
パラメータが、温度が４０度以上の場合の温度補正処理によって、 ・レンズの焦点距離はｄｆ１増加 ・レンズ歪み係数κ１はκ１２増加 ・レンズ歪み係数κ２２ κ２２増加 していることが分かる。なお、前述の仮想カメラに関しては、温度によって焦点
距離やレンズ歪みが変化しない理想的なレンズとすることが可能であるので、本
補正処理の対象外とする。 また本例では、設置されるカメラのレンズがすべて同じ温度補正特性を持つも
のと仮定した場合を示しているが、実際には異なる特性を持つレンズが取付けら
れている場合もある。そのような場合は、カメラごとに独立してテーブルを持っ
ておき、温度補正対象となるカメラに応じてテーブルを使い分ければ良い。 前記カメラのレンズの材料としては、ガラスの他にプラスチックを用いること
も出来るが、プラスチックは温度変化に対して変形が激しいのが通常である。し
かし、上述したような補正により対応することができる。 本発明による空間再構成手段１０４は、キャリブレーション手段１０２によっ
て計算されたカメラパラメータに基づいて、前記カメラからの入力画像を構成す
る各々の画素を３次元空間の点に対応づけた空間データを作成する。すなわち、
空間再構成手段１０４では、カメラから撮影された画像に含まれる各々の物体が
、３次元空間のどこに存在するかを計算し、その計算結果としての空間データを
空間データバッファ１０５に格納する。 なお、前記カメラからの入力画像を構成するそれぞれの画素のすべてを利用し
て空間データを構成する必要はない。たとえば入力画像に水平線により上に位置
する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面に
マッピングする必要はない。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間デ
ータにマッピングすることにより処理を高速化することも考えられる。 さて、カメラで撮影された画像を構成する各々の画素の位置は、一般的にＣＣ
Ｄ画像面を含むＵ−Ｖ平面上の座標として表される。従って、入力画像を構成す
る各々の画素をワールド座標系の点に対応づけるためには、カメラで撮影された
画像の存在するＵ−Ｖ平面の点をワールド座標系内の点に対応づける計算式を求
めれば良い。 図８は、カメラで撮影された画像を含む平面（以下、視平面）に設定したＵ−
Ｖ座標系の点と、３次元空間座標系の点との対応づけの関係の例を表した概念図
である。図８の例に従うと該対応づけは以下の手順で行われる。 １．視平面がＺ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏｅを原
点とする）。 ２．図８における点Ｐｅの視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）
とし、その点が視平面に投影されたときのの点（この点がカメラ撮影画像の一画
素に対応する）の座標をＰｖ（ｕ，ｖ）とすると、ＰｅとＰｖの関係は、カメラ
の焦点距離ｆを用いて、式（１）式（２）のように表すことが出来る。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系の位置関係および向き関係を求める。ここ
でワールド座標系を中心にして、視平面座標系が空間的に以下のような関係にあ
るとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，
ｔｙ，ｔｚ）とする。つまり２つの座標系の位置的なずれは、（ｔｘ，ｔｙ，ｔ
ｚ）だけ平行移動することによって無くなる。 ・視平面座標系とワールド座標系の向きの関係は、図７の例における車両を中
心とした座標系（ワールド座標系に対応）と、車載カメラ（視平面座標系に対応
）と同じ関係になるようにすると、視平面座標系は、 「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」 「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」 とすることができる。但し、ここではカメラのレンズの光軸周りの回転はないも
のと仮定している。この場合、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚ
ｗ）で表し、また、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐ
ｅ（Ｘｅ，Ｙｅ，Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、
α、βの間には式（３）の関係が成り立つ。 以上で、視平面上での画素Ｐｖ（ｕ，ｖ）と、ワールド座標系での座標Ｐｗ（
Ｘｗ，Ｙｗ，Ｚｗ）を式（１）式（２）式（３）によって対応づけることが出来
た。 前記３つの式において未知の変数は、「ｔｘ，ｔｙ，ｔｚ，α，β，ｆ」の６
つであるので、視平面上での画素Ｐｖ（ｕ，ｖ）と、ワールド座標系での座標Ｐ
ｗ（Ｘｗ，Ｙｗ，Ｚｗ）の対応関係が既知の点の組が最低２組あれば、上記の未
知変数は求められる。 しかしながら、対応関係が既知である組のそれぞれの座標の計測には位置ずれ
を含むことが多く、計算結果には誤差が生じる場合がほとんどである。 そこで通常は、多数の組を計測して作った連立方程式を最小二乗法で解くなど
の方法が用いられる。なお、カメラの位置と向きが視平面座標系と一致するので
、すでにカメラパラメータが求まっていれば本処理３．を実行する必要はない。
４．ｔｘ，ｔｙ，ｔｚ，α，β，ｆの値が求まっている式（１）式（２）式（
３）を用いて、ワールド座標系のそれぞれの点Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を、視
平面の点Ｐｖ（ｕ，ｖ）と対応づける。 上記１〜４までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の点として対応づけることが可能
となる。 本発明による空間データは、かかる計算式によって対応づけされたデータで、
図１２は、該空間データを格納する本発明による空間データバッファ１０５の記
述例を表の形式で示したものである。空間データバッファ１０５には、カメラ画
像の点と空間内の点との対応づけデータが格納される。図１２の例では１行目を
除く各行に一つの空間データが記述されており、それぞれの空間データを構成す
る情報としての各列に以下の内容を含んでいる。 １列目：ワールド座標系で他の点と区別するための番号（ここでは説明の便宜
上Ａとした） ２列目：ワールド座標系での点のＸ座標 ３列目：ワールド座標系での点のＹ座標 ４列目：ワールド座標系での点のＺ座標 ５列目：前記点を含む画像が、どのカメラから撮影したものかを区別するフラ
グ ６列目：前記画像を含む視平面座標系での点のＵ座標 ７列目：前記画像を含む視平面座標系での点のＶ座標 ８列目：前記画像を含む視平面座標系での点の色のＲ成分（例えば０〜２５５
階調で量子化） ９列目：前記画像を含む視平面座標系での点の色のＧ成分（例えば０〜２５５
階調で量子化） １０列目：前記画像を含む視平面座標系での点の色のＢ成分（例えば０〜２５
５階調で量子化） １１列目：該空間データが取得された時刻 以下で空間データの記述内容を例を用いて説明するが、ここで図１３〜図１５
を説明の補助として用いる。 図１３〜図１５は、ワールド座標系内の平面としての路面上の特徴点と、車両
に設置したカメラで撮影した画像上での特徴点との対応関係を示す図で、図１３
は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との位置関係を上部からみた概念
図、図１４は、図１５の車載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影
した画像を表す概念図、図１５は、図１３の車載カメラ２で前記特徴点Ｃ、Ｄ、
Ｅを含む路面を撮影した画像を表す概念図である。そして、図１２の例の空間デ
ータバッファ１０５には、図１３〜図１５に記された５つの特徴点Ａ、Ｂ、Ｃ、
Ｄ、Ｅが空間データの例として記述されている。 まず、図１３、図１４における特徴点Ａに着目する。前述の空間再構成手段１
０４による対応づけ処理によって、図１３のワールド座標系上の点Ａと図１４の
視平面座標系上の点Ａが対応づけられているものとすると、図１２の表の３行目
が図１３、図１４における特徴点Ａに相当する空間データの例である。 すなわちワールド座標系上の点Ａは、座標（Ｘ３，０，Ｚ２）であり、それを
カメラ１から撮影したときには、撮像画像上での点Ａの座標は（Ｕ１，Ｖ１）で
色はＲＧＢ順に（８０，８０，８０）であり、本データが作成された時刻はｔ１
である、という意味である。 もし、ワールド座標系の点が、複数台のカメラから観測されたときは、それぞ
れを独立した空間データとして空間データバッファ１０５に格納する。例えば、
図１３〜図１５における点Ｃがその例に相当する。点Ｃは、図１４、図１５から
も明らかなように、図１３における２台のカメラ、すなわち、カメラ１およびカ
メラ２から観測されている。 そして、カメラ１での観測結果をもとに作成された空間データ、すなわち図１
２の７行目の空間データは、ワールド座標系上の点Ｃは、座標（０，０，Ｚ２）
を持ち、点Ｃをカメラ１から撮影したときには、撮像画像上での点Ｃの座標は（
Ｕ３，Ｖ３）で色はＲＧＢ順に（１４０，１４０，１４０）で、本データが作成
された時刻はｔ１である。 一方、カメラ２での観測結果をもとに作成された空間データ、すなわち図１２
の８行目の空間データは、ワールド座標系上の点Ｃは、座標（０，０，Ｚ２）を
持ち、点Ｃをカメラ２から撮影したときには、撮像画像上での点Ｃの座標は（Ｕ
４，Ｖ４）で色はＲＧＢ順に（１５０，１５０，１５０）で、本データが作成さ
れた時刻はｔ１である。 かくのごとく、各カメラで撮影された画像の各々の画素がワールド座標系の点
に対応づけ情報が、空間データという形式で空間データバッファ１０５に格納さ
れる。 本発明による視点変換手段１０６は、空間再構成手段１０４によって作成され
た空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成す
る。その方法の概要は、空間再構成手段１０４で行った処理の逆の処理を行うこ
とである。すなわち、空間再構成手段１０４によって形成されたワールド座標系
の点Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を、任意の視点にカメラを設置して撮影した画像
面Ｐｖ（ｕ，ｖ）に投影する変換を求めることに相当する。 従って、この変換を計算する式は、先に詳述した式（１）式（２）および式（
３）の逆変換に相当する式（４）で表すことが可能である。 すなわちＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）を入力し前記３つの式によってＰｖ（ｕ，
ｖ）を計算する。この計算では、カメラのカメラパラメータ「ｔｘ，ｔｙ，ｔｚ
，α，β，ｆ」は任意の所望の値を指定できる。つまりそれは所望の視点に所望
の角度でカメラを置くことができることを意味する。この際、前記任意視点にカ
メラを置いて見たときの画像を投影する画面上で、個々の画素の色をどのように
表現するかが問題となる。 しかしながら、本発明（請求項５、請求項６、請求項７に対応する）では、３
つの場合の色の表現方法を開示している。該方法の内容を、３つの場合に応じて
以下に説明する。 （１）前記視点から見た３次元空間内のある点Ｐが、ただ一つのカメラで撮影
した画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見た
ときの色は、前記カメラで点Ｐを見たときの色を用いて決める。最も単純な方法
は同じ色で置き換える方法であるが、点Ｐを観測しているカメラと設定した視点
位置・方向との関係から計算によって求めてもよい。 （２）前記視点から見た３次元空間内のある点Ｐが、複数台のカメラで撮影し
た画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たと
きの色は、前記複数台のカメラで点Ｐを見たときの色を用いて何らかの計算をし
、得られた結果としての色で決めるものとする。前記計算の方法としてはいくつ
か考えられるが、例えば、 ・全ての色を同じ割合で混合する ・最も明度の高いもしくは低いもしくは中間の色を取得する ・最も再度の高いもしくは低いもしくは中間の色を取得する などの方法がある。 （３）前記視点から見た３次元空間内のある点Ｐが、いずれのカメラで撮影し
た画像とも対応づけられていない場合：この場合は、設定した視点から点Ｐを見
たときの色は、点Ｐの周囲の点の色を用いて補間した色を計算で求めるか、もし
くは、物体が存在しない部分であると識別可能な色、例えば黒に置き換えるなど
すればよい。 本発明の最も大きな特徴は、該視点変換手段１０６によって、車両に設置され
ていない仮想のカメラからの画像を自由に再現できることにある。 例えば図１６〜図１９は、ワールド座標系内の路面上の特徴点を車両に設置し
たカメラで撮影した画像を用いて、適当な視点に仮想カメラを置いたときの画像
を合成した例を示した概念図で、図１６は、路面上の特徴点Ａ、Ｂ、Ｃと車両と
の位置関係を上部からみた概念図、図１７は、図１６の車載カメラ１で前記特徴
点Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８は、図１６の車載カメ
ラ２で前記特徴点Ｂ、Ｃを含む路面を撮影した画像を表す概念図、図１９は、図
１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明による視
点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概念図
である。 また図２０（ａ）は、前記仮想カメラの設置場所の例として、車両のほぼ中心
の上方にカメラを下向きに設置した場合を示した概念図である。この例のごとく
仮想カメラを設置した場合、仮想カメラで撮影された画像は車両の周囲の様子を
表すものとなる。あくまで、前記合成画像を構成する画像は、車載カメラによっ
て撮影されたものであるので、図７に示されたような配置の車載カメラ周囲を撮
影した場合、どのカメラ画像にも車体の屋根が含まれていない。 しかしながら、前記車体の屋根のように、存在場所や形状、色に関する情報の
分かっている物体については、予めそれらの情報をシステムに蓄積しておき、そ
れらの情報を必要に応じて用いれば、より違和感の少ない画像を合成することが
可能となる。 なお、図２０（ｂ）は仮想カメラを車の前方斜め上方に配置し、そこから車を
見る例を示す斜視図である。このように、仮想カメラは真上に限らず、斜めから
車を見るようにすることもできる。図２０（ｃ）はその図２０（ｂ）を利用して
作成した画像の合成図である。斜め上方から見た感じが現れている。 本発明による空間データ変換手段１１４は、本発明の請求項１に記載の画像生
成装置を車両に適用する場合に必要となる手段である。 一般的に車載カメラは、より良い視野を得るために通常車体上部に設置されて
いることが多い。ところが車体の形状が、例えば車体外部に向って凸面なカーブ
を形成しているような場合では、このような車体上部に位置するカメラで撮影し
た画像は、車体のすぐ周囲の路面部分は死角になる場合がほとんどである。 この問題を解決する単純な方法は、車体下部にもカメラを設置することである
が、カメラを追加することによって余分なコストが必要となる。本発明による前
記空間データ変換手段１１４は車体下部などにカメラを追加せずに前記問題を解
決する。もっともその解決には、車が移動することが前提である。 図２３は、空間データ変換手段１１４における処理の手順をフローチャートの
形式で示したもの、図２４は、空間データ変換手段１１４の説明の補助に用いる
概念図である。図２４は、ある一定時間の間に車両が移動したとき、前記一定時
間の開始時刻（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および
向きの関係を示している。図２３および図２４を用いてカメラから死角となる部
分の画像を合成する手順を説明する。 １．（１４０１）ある一定時間における車両の移動距離を検出する。本例では
移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の直線
距離で定義する。すなわち図２４におけるＯ１とＯ２の距離ということになる。
説明の都合上、図２４に記載のように、移動距離をＯ１からＯ２へのベクトル
を（ｔ’ｘ，０，ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイヤ
の回転数などによって計測する方法が用いられる。 ２．（１４０２）前記一定時間における車両の移動方向を検出する。本例では
移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向き
がどれだけ変化したかの変化量として定義する。説明の都合上、図２４に記載の
ように、向きの変化量をＺ１軸とＺ２軸とのなす角度Θで表す。移動方向の検出
方法としては、例えばハンドルの回転角度などによって計測する方法が用いられ
る。 ３．（１４０３）時刻ｔ１から時刻ｔ２に至る間の車両の移動距離および移動
方向を用いて、ｔ１において取得した空間データをｔ２における空間データに変
換する式（５）を作成する。但し式（５）では時刻ｔ１から時刻ｔ２に至る間の
車両移動においては、完全に垂直成分の変化がないもの、つまり路面が平坦であ
ることを仮定している。 式（５）において、ｘ１，ｙ１，ｚ１は、時刻ｔ１において車体を中心にした
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまりｘ１，ｙ１，ｚ１を式（
５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。 ４．（１４０４）式（５）を用いて、時刻ｔ１において合成した空間データを
、時刻ｔ２における空間データに変換する。作成した後の空間データについては
、どのカメラから見たかについての情報は必要ないので、図１２の表において、
５から７列目のデータは空白にしておいてよい。すなわち、時刻ｔ１における空
間データのうち、上記計算で書き換えられるのは図１２の表において１から４列
目のみで、８から１１列目のデータはそのまま利用する。 ここで問題となるのは、かくのごとく現在時間の空間データに過去の空間デー
タを加えていくと、限りある空間データバッファ１０５のオーバーフローがいつ
かは生じることである。この問題に対して本発明による空間データバッファ１０
５では、各空間データは該データの作成時刻の情報を持っているので、現在時刻
から溯って一定時間以上過去のデータは消去するようにすれば良い。 本発明による特徴点生成手段１０９は、カメラの視野内に３次元座標の同定が
可能な複数個の点を生成する。そして、本発明による特徴点抽出手段１０８は、
前記生成された特徴点を抽出する。図２１は、特徴点生成手段１０９、特徴点お
よび特徴点抽出手段１０８の実施例を示す概念図である。 図２１（ａ）は、特徴点生成手段１０９としてのパターン光照射装置を車体側
面上部に取付けた実施例で、本例では、ワールド座標系内の平面としての車両の
周囲の路面に、長方形のパターンを格子状に照射する場合を示している。 図２１（ｂ）は、該パターン光照射装置を車体上部に数箇所取り付けて、路面
にパターン光を照射した状態を車両上部から見た例である。 図２１（ｃ）はかくのごとく方法で路面に照射された長方形のパターン光をカ
メラから撮影した様子を示した例である。特徴点は、パターン光照射で作成され
た長方形の角や中心などの特徴を表すいくつかの点を用いれば良い。 図２１（ｃ）では、ＰＩ−１からＰＩ−８が特徴点の例である。前記特徴点は
ワールド座標系における座標が既知であると設定することが可能である。またこ
れらの特徴点は、視平面座標系での座標位置も既知で、ワールド座標系と視平面
座標系での対応関係が取れている。従って前述の式（１）式（２）および式（３
）を用いれば、本発明によるキャリブレーション手段１０２によってカメラパラ
メータｔｘ，ｔｙ，ｔｚ，α，β，ｆを計算することが可能となる。 本発明による補正指示手段は、本発明の請求項１に記載の画像生成装置を車両
に適用する場合に必要となる手段で、該補正指示手段では、カメラのキャリブレ
ーションが必要な状況を検知し、キャリブレーションが必要である場合に、運転
者にカメラキャリブレーションを指示する。また本発明による補正履歴記録手段
１１５では、キャリブレーションが必要な状況を検知するために必要なデータと
して、カメラキャリブレーションを行った日時および走行距離を記録する。 図２５は、補正履歴の記録を確認し、必要に応じて補正指示を出す処理の手順
をフローチャートの形式で示したものである。 １．（１６０１）前回カメラのキャリブレーションを行った日時から、現在ま
での経過時間までを計算する。 ２．（１６０２）あらかじめ設定しておいた所定の時間に対して、前記経過時
間の方が大きければ、（１６０５）カメラ補正指示手段１１６にてカメラキャリ
ブレーションを実施するように運転者に指示し、処理を終了する。但し、前記指
示によって運転者がカメラキャリブレーションを実施したら、補正履歴の記録を
更新しておく。前記所定の時間に対して、前記経過時間の方が小さければ、次の
処理３に進む。 ３．（１６０３）前回カメラのキャリブレーションを行った時から現在までの
総走行距離を計算する。 ４．（１６０４）あらかじめ設定しておいた所定の距離に対して、前記走行距
離の方が大きければ、（１６０５）カメラ補正指示手段１１６にてカメラキャリ
ブレーションを実施するように運転者に指示し、処理を終了する。但し、前記指
示によって運転者がカメラキャリブレーションを実施したら、補正履歴の記録を
更新しておく。前記所定の距離に対して、前記走行距離の方が小さければ、カメ
ラキャリブレーションに関する指示は、運転者に出さず、処理を終了する。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。 図２６は、本発明による画像生成装置を車両に適用した場合の全体の処理の流
れをフローチャートの形式で示したものである。なお画像生成装置の構成例とし
ては図６の構成を想定する。 １．（１７０１）本装置を正常に動作させるために、必要であれば最初にカメ
ラキャリブレーションを実施し、補正履歴の記録を更新しておく。カメラキャリ
ブレーションでは、カメラーパラメータを人手で入力するか、または本発明によ
る特徴点生成手段１０９で特徴点を車体周囲に生成し、前記特徴点を特徴点抽出
手段１０８にて抽出した結果を用いてキャリブレーション手段１０２にてカメラ
パラメータを計算しても良い。 ２．（１７０２）各カメラ毎に温度センサ１１０の温度値を逐次観測し、必要
に応じてカメラパラメータテーブル１０３の内容を更新する。 ３．（１７０３）補正履歴の記録を確認し、必要に応じて補正指示を出す。も
し補正が行われたら、補正履歴の記録を更新する。 ４．（１７０４）すでに空間データが空間データバッファ１０５に蓄積されて
いれば、空間データ変換手段１１４にて、車両の移動距離、移動方向に応じて前
記空間データを変換する。空間データバッファ１０５が空白であれば、本処理は
省略する。 ５．（１７０５）車載カメラで車両周囲の画像を撮影する。 ６．（１７０６）空間再構成手段１０４によって５．で撮影された画像を構成
する各々の画素をワールド座標系の点に対応づけた空間データを作成する。３の
空間データ変換手段１１４で変換された空間データで、ワールド座標系での座標
が一致する空間データがすでに存在している場合は、前記変換された空間データ
は破棄する。つまりワールド座標系におけるある点の空間データは、カメラから
一番最近に撮影されたデータのみを保持し、それより過去のデータ、もしくは時
間がある程度経過したデータは消去するようにする。 ７．（１７０７）６．の空間再構成手段１０４によって作成された空間データ
を参照して、所望の視点にカメラを設置して撮影した画像を作成する。この場合
、視点位置は、合成画像が運転補助に適したものである場所に固定していること
が望ましく、例えば図２０の例のように車体上方で車両周囲が見渡せるカメラ位
置などが良い。 ８．（１７０８）７．の処理で合成された画像を表示する。 ９．（１７０９）上記２．〜８．の処理を必要がなくなるまで繰り返す。例え
ば運転者が車両を駐車スペースに入れようとしている時は、前記２．〜８．の処
理を繰り返し、駐車が完了すれば本処理を終了すればよい。 さて、車の周囲の障害物などの物体のワールド座標系の３次元位置が、正確に
計測できれば、その物体に合わせて空間モデルを生成すればよいが、現実的には
通常は、無理である。 つまり、画像生成装置などのように簡易性を要求されるシステムでは、すべて
の物体の３次元位置・形状を正確に求めることは困難であり、また、運転の補助
としての画像を合成するという観点では、任意の仮想視点における画像を正確無
比に再現しなければならないというわけではなく、運転者に分かり易い画像であ
れば、多少クオリティが落ちても大きな問題にはなりにくい。 そこで本発明（請求項３の一例）では、物体の３次元情報は失われるものの、
高速に画像を合成でき、かつ合成した画像のクオリティをある程度保つことが可
能な、入力画像を構成する各々の画素と３次元空間の点の対応づけ方法を開示す
る。 該方法は、キャリブレーション手段１０２によって取り付け位置、取り付け角
度が既に知られているカメラから得られた画像を、３次元空間の一部をなす平面
の例として路面に投影するものである。すなわち、画像に含まれる各々の物体は
、すべて３次元空間座標系（以下ワールド座標系と呼ぶこともある）のＸ−Ｚ平
面に貼り付いており、Ｙ軸方向成分を持つ物体が存在しないと仮定し、視平面上
の画像をワールド座標系の路面に投影する。 この場合、本装置のこれまでの実施例の説明内容に対して変更する部分は、空
間再構成手段１０４で用いる式（３）を式（６）に置き換え、また、視点変換手
段１０６で用いる式（４）を式（７）に置き換えるだけでよい。 また、本実施例ではカメラを車両に取り付け、車両周囲を監視する装置につい
て説明をしたが、限られた台数のカメラからの画像を用いて任意の視点からの画
像を合成するという本技術は、車載カメラに限定するものではない。 例えば、店舗などにおいて多数の監視カメラを設置しておき、それらのカメラ
画像を用いて、真上から見た画像を合成することなども可能であり、幅広い用途
が期待できる。 なお、上述したキャリブレーション手段を遠隔地にある管理センターにおいて
おき、通信手段によって、それを利用する方法も可能である。 本発明の方法、及び装置はそのような遠隔地にその機能の一部を実現しておく
ことももちろん可能である。 あるいはさらに、キャリブレーションを行った結果のデータをフロッピー、Ｄ
ＶＤ等を利用して運んで利用することも、本発明の実施例である。 また、マッピングされた空間データを格納するバッファなどは、そのまま空間
データを処理する場合は特に必要ない。 なお、通常は、仮想視点は管理者や運転者などの人手によって指定するのでは
なく、監視や運転の補助として役立つ画像が得られる視点位置のうちの一つを選
び、そこからの画像を表示させるようしておく。それによって仮想視点位置の移
動操作をしなくてもよいため、利用者の作業負担のさらなる軽減が期待できる。
以上のように本発明によれば、限られた台数のカメラからの画像を用いて任意
の視点からの画像が合成できる。 本発明の画像生成装置（請求項８、請求項９および請求項１２に記載の発明を
合わせた例）では、各々のカメラについて、その特性を示すカメラパラメータを
容易に得ることが可能となる。もし、例えば激しい悪路を走行したことによって
カメラの位置などが若干ずれた場合でも、本発明により、カメラの位置の補正は
容易に可能となる。 本発明の画像生成装置（請求項１４の一例）では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つことが可能となる。例えば、温度上昇に
よって微妙に膨張したレンズに対しては、その膨張によって変わるレンズ歪み係
数を最適に制御する補正値を温度補正テーブルから得て、それに基づいてレンズ
歪みパラメータを変更すればよい。かかる方法によって、本発明ではどのような
気温でも歪みのない画像を得ることが可能となる。 本発明の画像生成装置（請求項１７の一例）では、カメラから死角となる部分
の画像を見る方法を提供する。例えば、カメラが車体の上部に取付けてあり、前
記カメラの取り付け位置下方の車体の形状が車体外部に向って凸面である場合、
カメラ直下の画像を見ることは物理的に不可能である。しかし、本発明では、車
両の移動方向および移動距離によって、以前に取得した画像を現在の位置から見
た画像に変換することが可能である。 本発明の画像生成装置（請求項１８の一例）では、カメラの特性を示すカメラ
パラメータの補正、すなわちカメラキャリブレーションを実施しなければならな
い状況を検知し、その旨を運転者に提示することが可能である。これにより運転
者がカメラパラメータの補正を長期間し忘れることを防ぐ効果が得られる。 次に、別の本発明の一実施例を説明する。 図２７，図２８は、本発明（請求
項３５、請求項３７）の一例を示す。 図２７（ａ）に示すように、本発明による画像生成装置は、基本構成の一例と
して、車両周囲の状況を把握するために取付けられた複数台のカメラ１０１Ａ、
前記カメラの特性を示すカメラパラメータを格納しておくカメラパラメータテー
ブル１０２Ａ、車両を基準とした座標系に空間モデルを作成する空間モデル作成
手段１０３Ａ、前記カメラより入力された画像を前記空間モデルにマッピングす
るマッピング手段１０４Ａ、視点を設定し、前記視点から見た一枚の画像を、前
記マッピング手段１０４Ａにて作成されたデータから合成する視点変換手段１０
５Ａ、前記視点変換手段１０５Ａにて変換された画像を表示する表示手段１０６
Ａからなる構成を有する。 図２７（ｂ）は本発明の画像生成装置の構成例を示したブロック図である。図
２７（ｂ）の例では、図２７（ａ）に示した画像生成装置に対して、さらに、車
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を計測す
る障害物検知手段１０８Ａを付加した構成となっている。 次に、本発明を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカメ
ラである。その詳細は、上記図７で詳しく説明した。 本発明によるカメラパラメータテーブル１０２Ａは、カメラパラメータを格納
するテーブルである（上述したカメラパラメータテーブル１０３と同様である）
。 カメラパラメータテーブル１０２Ａに格納されているデータは上述した図９と
同じである。 本発明では、視点変換手段１０５Ａで設定した所望の視点に仮想のカメラを設
置したと仮定し、その仮想カメラからの画像を計算によって求めることが可能で
ある。該計算方法については後で詳述する。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。 本発明による空間モデル作成手段１０３Ａは、たとえば、車両を基準とした座
標系に空間モデルを作成する。空間モデルとは、後述するマッピング手段１０４
Ａにおいて、カメラからの画像を３次元空間座標系にマッピングする平面もしく
は曲面もしくは平面および曲面からなるモデルである。図２８（ａ）〜（ｃ）は
、本発明による空間モデルを鳥瞰図的に示した概念図で、それぞれ、図２８（ａ
）および図２８（ｄ）は平面のみで構成された空間モデルの例、図２８（ｂ）は
曲面のみで構成された空間モデルの例、図２８（ｃ）は平面および曲面で構成さ
れた空間モデルの例、を表している。 図２８（ａ）の空間モデルでは以下に説明するように５つの平面からなる空間
モデルを示している。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：車両の前方に立てられた路面（平面１）に垂直な平面 平面３：車両の進行方向に向って左側方に立てられた路面（平面１）に垂直な平
面 平面４：車両の後方に立てられた路面（平面１）に垂直な平面 平面５：車両の進行方向に向って右側方に立てられた路面（平面１）に垂直な平
面 本空間モデルにおいては、平面２〜５は隙間なく立てられ、車載カメラから撮
影された画像は、該平面１〜平面５のいずれかにマッピングされる。また平面２
〜５については車両からどの程度の距離が必要か、またどの程度の高さが必要か
は、車載カメラの画角や設置場所に応じて決めれば良い。 図２８（ｂ）のモデルでは、お椀型をした曲面を空間モデルに用いている。車
両は、お椀型に形成された空間モデルにおいてお椀の底に当たる部分に設置され
、車載カメラから撮影された画像は、お椀の内側の面にマッピングされる。 お椀型のモデルとしては、球や、放物線の回転体、懸垂線の回転体などが考える
ことが、いずれにしろ空間モデルを少数の数式で表すことが出来れば、マッピン
グの計算は高速で行うことが可能となる。 図２８（ｃ）のモデルでは、以下で説明する平面と曲面を組み合わせて構成さ
れた空間モデルを示している。 平面：路面（すなわち車両のタイヤに接している）としての平面 曲面：車両を取り囲むように前記平面上に置かれた円柱状又は楕円柱状の壁 本空間モデルにおいて、曲面をどういう形状にするか、また車両からどの程度
の距離をおいて設置するかは、車載カメラの画角や設置場所に応じて決めれば良
い。 かくの例のごとく、車両の周囲に、車両を囲い込むごとく壁を立てた空間モデ
ルは、次に示す効果が得られる。すなわち、画像中の物体がすべて道路面上にあ
るものと仮定して、カメラ画像を路面上にマッピングすると、路面から上方に高
さ成分を持つ物体に関しては、大きくゆがんでしまうという問題があった。これ
に対し、本発明によって導入された空間モデルでは、まず路面に垂直もしくはほ
ぼ垂直な平面もしくは曲面によって車両を囲い込む。これらの面を車両から離れ
過ぎないように設定すれば、高さ成分を持つ物体がこれらの面にマッピングされ
るため、歪みを小さくすることが可能となる。しかもマッピングした際の歪みが
小さいため、２台のカメラ画像の接合部でのずれも少なくなることが期待できる
。 本発明によるマッピング手段１０４Ａは、カメラパラメータに基づいて、車載
カメラからの入力画像を構成する各々の画素を、本発明による空間モデル作成手
段１０３によって作成された空間モデルにマッピングする。すなわち、車載カメ
ラから撮影された各々の画像を空間モデルに透視投影する。 図２９は、画像を含む平面（以下、視平面という）に設定したＵ−Ｖ座標系の
点の座標を、ワールド座標系の点の座標に変換することにより、車載カメラ画像
を空間モデルを構成する面にマッピングする説明の補助として使用する図である
。 マッピングの説明をする前に、まず視平面座標をワールド座標へ変換する方法
について説明する。該変換は下記の手順で行われる。 １．視平面がＺ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。 これを視平面座標系と呼ぶ（Ｏｅを原点とする）。 ２．図２９における点Ｐｖ（ｕ，ｖ）（この点がカメラ撮影画像の一画素に対
応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅと
Ｐｖの関係は、カメラの焦点距離ｆを用いて、式（１）式（２）のように表すこ
とが出来る（但し、この場合はＺｅ＝ｆとなる）。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系とを対応づける計算式を求める。ここでワー
ルド座標系を中心にして、視平面座標系が空間的に以下のような関係にあるとす
る。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。つまり２つの座標系の位置的なずれは、（ｔｘ，ｔｙ，ｔｚ
）だけ平行移動することによって無くなる。 なお、ワールド座標系におけるカメラ位置が既知であれば、該位置の座標の符
号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系にぴったり合わせるため
の回転行列を とする。該回転行列は、カメラパラメータテーブル１０２Ａのうち、向きを表す
パラメータによって、Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合成
することによって容易に求めることが可能である。 さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また、視
平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ
）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、 （ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間には式（８）の関係が成り立つ。これ
ら式（１）式（２）式（８）を用いることにより、視平面上での画素Ｐｖ（ｕ，
ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換することが出
来る。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表される。入力画像を構成する各々の画素を前
記空間モデルにマッピングするためには、入力画像の全ての画素について、以下
の手順で処理を行えばよい。図３０は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３０に従ってマッピングの処理内容を説明する。 １．カメラ画像の映っている視平面に設定したＵ−Ｖ座標系の座標として表さ
れる前記画素を、ワールド座標系における座標に変換する。変換には、例えば直
前に示した式（１）式（２）式（８）を用いれば良い。 ２．カメラ視点の座標Ｏｅを端点とし、前記画素Ｐｗ（＝Ｐｅ）の座標を通る
半直線と前記空間モデルを形成する面との交点Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を求め
る。 ３．該交点Ｐｓに、前記画素の色をマッピングする。すでに他のカメラ画像か
らの色が点Ｐｓにマッピングされている場合、点Ｐｓの色を決める方法としては
例えば以下のような方法を用いれば良い。 ・すでにマッピングされている色とマッピングしようとする色を同じ割合で混
合する。 ・すでにマッピングされている色とマッピングしようとする色のうち、明度の
高いもしくは低いもしくは中間の色を用いる。 ・すでにマッピングされている色とマッピングしようとする色のうち、彩度の高
いもしくは低いもしくは中間の色を用いる。 上記１〜３までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の空間モデル上にマッピングする
ことができる。 本発明による視点変換手段１０５は、車載カメラの画像がマッピング手段１０
４によって空間モデルにマッピングされた結果を、任意の視点に設置したカメラ
から撮影した画像として合成する。その方法の概要は、マッピング手段１０４で
行った処理の逆の処理を行うことである。 すなわち、マッピングされた画像を構成する点Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を、
任意の視点にカメラを設置して撮影した画像面Ｐｖ（ｕ，ｖ）に投影する変換を
求めることに相当する。 従って、この変換を計算する式は、先に詳述した式（１）式（２）および式（
９）（式（８）の逆変換に相当する）で表すことが可能である。 すなわち、Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）を入力し前記３つの式によってＰｖ（ｕ
，ｖ）を計算する。この計算では、カメラのカメラパラメータは任意の所望の値
を指定できる。つまりそれは所望の視点に所望の角度でカメラを置くことができ
ることを意味する。 ところで、視点変換手段１０５Ａにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。 さて、図２８（ａ）〜（ｃ）の例では、車両を面で完全に囲い込む空間モデル
を示したが、実際には車両の全周囲を障害物が取り囲む場合は少なく、自車の周
囲に多くて数台の車両が存在する程度が普通である。係る状況を鑑みると、自車
の周囲を完全に囲い込む空間モデルを導入する代わりに、必要に応じて、すなわ
ち、自車の周囲に障害物が存在している状態が分かれば、その場合にのみ前記障
害物の前に、それをマッピングするついたてのような面を作成すればよい。 図２８（ｄ）は、該ついたて面を導入した空間モデルの一例を鳥瞰図的に示し
た概念図で、図２８（ｄ）の空間モデルでは、路面平面と、路面上に車両の左後
方及び右後方にそれぞれ一つづつ、ついたてとしての平面を立てた空間モデルを
示した概念図である。該ついたて面は、車両に対して予め決められた場所に立て
ておくことももちろん可能であるが、前述のごとく、車両の周囲に面から上方に
高さ成分を持つ障害物が発見された場合にのみ、ついたて面を立てるようにして
も良い。その際に、どの位置にどの向きについたて面を立てるかを決める必要が
あるが、その一例として障害物の検知結果に従ってついたて面を設置する方法を
次に示す。 係るついたて面設置の処理を実行するために、本発明による障害物検知手段１
０８は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距
離を距離センサ１０７Ａを用いて計測する。 距離センサ１０７Ａとしては様々なものがあるが、車載用としては、レーザー
光、超音波、ステレオ光学系、カメラのフォーカス（目標物体にフォーカスを合
わせた時の焦点距離から、カメラと前記物体までの距離を計算する）などを使用
することが可能である。該距離センサ１０７Ａ、レーザー光、超音波などを用い
る場合では、車両の周囲に多数取付けるのが望ましい。一方、ステレオ光学系や
カメラのフォーカスを用いる場合は、車載カメラに併設してもよいが、車載カメ
ラの一部をそのまま利用するとコストを安価にすることが可能となる。 次に該障害物検知手段１０８Ａの処理結果に基づいて、ついたて面を含む空間
モデルを作成する方法の一例を示す。図３１は障害物センサを用いて車両と該車
両の周囲に存在する障害物との距離に基づいて、３次元空間内についたて面を立
てる方法を示す概念図である。本例では、車載の各々のカメラに該障害物検知セ
ンサが併設されており、該障害物センサはカメラの視線と同じ方向を向き、該方
向に存在する障害物との距離を計測するものとする。また図３１において使用し
ているパラメータは以下の通りである。 （ｐｘ０，ｐｙ０，ｐｚ０）：距離センサ１０７ １の路面平面上での座標 （ｄｘ，ｄｙ，ｄｚ） ：距離センサ１０７ １のセンシングの向きを示
す方向ベクトル ｄｃ ：距離センサ１０７ １と障害物との路面平面上
での距離 （ｐｘ１，ｐｙ１，ｐｚ１）：（ｐｘ０，ｐｙ０，ｐｚ０）から（ｄｘ，ｄｙ
，ｄｚ）の方向に距離ｄｃだけ移動した点 以下、図３１に従って空間モデルを作成する手順を説明する。 １．障害物との距離ｄｃを計測し、その距離が予め設定されている所定の距離
より近いかどうかを調べる。 前記所定の距離より離れていれば何もしない。 ２．もし所定の距離内であれば、以下の手順でついたて平面を求める。 ２−１．予め分かっている距離センサ１０７Ａの座標値から（ｐｘ０，ｐｙ
０，ｐｚ０）を求める。 ２−２．予め分かってい名距離センサ１０７Ａの向き（ｄｘ，ｄｙ，ｄｚ）
と、障害物までの距離ｄｃから、（ｐｘ１，ｐｙ１，ｐｚ１）を求める。 ２−３．法線ベクトル（ｄｘ，ｄｙ，ｄｚ）を持ち、点（ｐｘ１，ｐｙ１，
ｐｚ１）を通る平面（式（１５））を、ついたて面とする。 ｄｘ（ｘ−ｐｘ１）＋ｄｙ（ｙ−ｐｙ１）＋ｄｚ（ｚ−ｐｚ１）＝０ 式
（１５） ３．前記ついたて面は、必要がなくななれば取り除く。 ４．全ての距離センサ１０７について、上記１から３までの処理を終了してい
れば、空間モデル作成処理を終了する。まだ未チェックの距離センサ１０７Ａが
あれば、該距離センサ１０７Ａについて、上記１から３までの処理を実行する。
図３１では、カメラ１、２から入力された画像が、それぞれ空間モデルを構成
するついたてとしての平面１、平面２にマッピングされている様子が示されてい
る。マッピングに際して、ついたて面の幅の値をいくらにするかが合成画像のク
オリティを決める重要な要素の一つとなる。障害物としてもっとも一般的なのは
他の車両なので、例えば自車と他の車両との距離がついたて面を作成する距離に
なったとき、前記他の車両の２／３以上がついたて面にマッピングされるように
幅を設定するという方針で、ついたての幅を決めるなどすればよい。 また、ついたて面を作成するかどうかを決める条件としての、自車から障害物
までの距離は、経験的に５０ｃｍ〜１ｍの値を設定すると良い。また、ついたて
面を取り除く場合の条件としては、以下に列挙するような方法を、単独で、もし
くは組み合わせて用いれば良い。 ・障害物との距離が所定の距離より遠ざかった場合 ・運転者が、なんらかの方法で該画像生成装置を初期化した場合 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。図
３２は、本発明による画像生成装置の全体の処理の流れをフローチャートの形式
で示したものである。なお画像生成装置の構成例としては図２７（ｂ）の構成を
想定する。 １．（９０１）本装置を正常に動作させるために、車載カメラのそれぞれにつ
いて、正しいカメラーパラメータをカメラパラメータテーブル１０２Ａに入力し
ておく。 ２．（９０２）車載カメラで車両周囲の画像を撮影する。 ３．（９０３）障害物検知手段１０８Ａにて、距離センサ１０７Ａで車両周囲
に存在する障害物までの距離を計測する。 ４．（９０４）空間モデル作成手段１０３Ａにて、空間モデルを作成する。 ５．（９０５）マッピング手段１０４Ａにて、車載カメラからの画像を、空間
モデルにマッピングする。 ６．（９０６）空間モデルにマッピングされた画像を参照して、運転者が設定
した視点から見た画像を合成する。 ７．（９０７）６．の処理で合成された画像を表示する。 ８．（９０８）上記２．〜７．の処理を必要がなくなるまで繰り返す。例えば
運転者が車両を駐車スペースに入れようとしている時は、前記２．〜７．の処理
を繰り返し、駐車が完了すれば本処理を終了すればよい。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、従来使用されてきた路面平面一つだ
けの空間モデル以外の空間のモデルを導入し、この空間モデルを用いることによ
り、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さ
をもつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデル
にマッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく
改善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合
成画像によって周囲の状況がよりいっそう認識しやすくなり、適確な運転操作を
行えることが期待できる。 なお、これまでの説明は、車両周囲の状況を車両から検知し、車両を基準とし
た座標系で説明してきたが、たとえば、駐車場等に設置のセンサが駐車場の状況
を検知し、駐車場を基準とした座標系での周囲状況と、車両の駐車場における位
置関係を、車両に通知することにより、これまで述べた処理を実施することが可
能である。 以下、別の本発明の一実施例を説明する。なお、本実施例においては、車両の
周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに設置
したモニターテレビに表示させる監視装置を対象として説明する。 図３３（ａ）は本発明（請求項３９の一例）に係る監視装置の基本構成例を示
したブロック図である。 本実施例による車両周囲監視装置は、基本構成として、車両周囲の状況を把握
するために取付けられた複数台のカメラ１０１Ｂ、前記カメラの特性を示すカメ
ラパラメータを格納しておくカメラパラメータテーブル１０２Ｂ、車両周囲の状
況として、例えば白線や路面に描かれた矢印、文字、また横断歩道など、路面上
の特徴を検知する路面特徴検出手段１０３Ｂ、たとえば車両を基準とした座標系
を設定し、該座標系に、前記路面特徴検出手段１０３Ｂの処理結果に応じた空間
モデルを作成する空間モデル作成手段１０４Ｂ、前記カメラより入力された画像
を前記空間モデルにマッピングするマッピング手段１０５Ｂ、視点を設定し、前
記視点から見た一枚の画像を、マッピング手段１０５Ｂにて作成されたデータか
ら合成する視点変換手段１０６Ｂ、視点変換手段１０６Ｂにて変換された画像を
表示する表示手段１０７Ｂからなる構成を有する。 図３３（ｂ）は、図３３（ａ）に示した監視装置に対して、さらに、車両の移
動方向を検出する移動方向検出手段１０９Ｂ、および車両の単位時間における移
動距離を検出する移動距離検出手段１０８Ｂでの処理結果を用いて、前記路面上
の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。 図３３（ｃ）は、図３３（ｂ）に示した監視装置に対して、さらに、表示手段
１０７Ｂにおいて路面特徴検出手段１０３Ｂにおける処理結果を表示しつつ前記
処理結果を修正する特徴修正手段１１０Ｂを備えた構成を有することにより、処
理の実行中に路面上の特徴がずれた場合に、該ずれを修正することが可能となる
。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。車両へのカメラの取り付け例は、図７で説明したと
おりである。 カメラパラメータテーブル１０２Ｂは、カメラパラメータを格納するテーブル
である。その内容は上述したとおりである。 カメラパラメータテーブル１０２Ｂに格納されているデータは表形式で示され
るが、それは図９に示すものである。 同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル１０２の
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。 本実施例では、視点変換手段１０６Ｂで設定した所望の視点に仮想のカメラを
設置したと仮定し、その仮想カメラからの画像を計算によって求めることが可能
である。該計算方法については後で詳述する。 また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。 そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。 空間モデル作成手段１０４Ｂは、車両を基準とした座標系を設定し、この座標
系に、路面特徴検出手段１０３Ｂの処理結果に応じた空間モデルを作成する。 図３４（ａ），（ｂ）は、本発明による空間モデルを示した概念図である。 本図では、路面上の特徴として、駐車場に引いてある駐車スペースを示す白線
の端点もしくは白線同士が交わって出来る角を検知し、それらの点を基準にして
図に示すような５つの平面を用いて空間モデルを構成している様子を示しており
、図３４（ａ）は該空間モデルを鳥瞰図的に示した概念図、図３４（ｂ）は図３
４（ａ）において、車両の上方から下向きに透視投影された図である。図３４（
ｂ）の例では、路面上の特徴の例として、特徴点１〜４までを示している。 以下、路面上の特徴もしくは特徴点は、これら４つの特徴点を示すものとする。
但し、４つのいずれかを指すときは「特徴点１」というように番号を付けて指
定する。そして本実施例では、該５つの平面をそれぞれ以下のように決めている
（ここでは、左右は車両の後ろ向き方向に対して決めている）。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：左端が平面２に接し平面１に垂直な平面 平面３：特徴点１と特徴点２を結ぶ線分に沿っており、平面１に垂直な平面 平面４：特徴点２と特徴点３を結ぶ線分に沿っており、平面１に垂直な平面 平面５：特徴点３と特徴点４を結ぶ線分に沿っており、平面１に垂直な平面 平面６：右端が平面５に接し平面１に垂直な平面 さて、空間モデル作成手段１０４Ｂにおいて、３次元空間にこれらの平面（但
し路面と一致する平面１を除く）を作成するにあたっては、前記特徴点を検出す
る必要がある。路面特徴検出手段１０３Ｂは、係る路面上の特徴を抽出するもの
である。 図３５（ａ）〜（ｄ）は、路面特徴検出手段１０３Ｂで特徴点を抽出する処理
の例を説明するための図、図３６は特徴点の抽出処理の流れを示すフローチャー
トであり、以下、これらの図を用いて、路面特徴検出手段１０３Ｂでの処理手順
を説明する。 処理７０１： 車載カメラのいずれかから駐車スペースを示す白線を含む画像
を撮影する。図３５（ａ）は、該撮影された画像を示している。 以下の２つの処理を行い、特徴点の位置を推定する。 処理７０２： 車載カメラから撮影された画像を適当なしきい値で２値化し、
それを横方向および縦方向に走査し、走査ラインにおける白線に対応する画素の
数を頻度とするヒストグラムを、縦方向、横方向のそれぞれについて得る。該ヒ
ストグラムの結果から特徴点の存在する位置を推定する。図３５（ｂ）はその処
理例を示したもので、 ・縦方向に走査して得られたヒストグラムから、特徴点のＹ座標を推定 ・横方向に走査して得られたヒストグラムから、特徴点のＸ座標を推定している
様子を示している。 処理７０３： 車載カメラから撮影された画像にエッジ抽出処理を行い、続い
て前記エッジ処理結果にさらに直線抽出処理を実施し、得られた直線の交点もし
くは端点を特徴点として推定する。図３５（ｃ）は、その処理例を示したもので
、エッジ抽出としては、例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。 処理７０４： 上記処理７０２、処理７０３で得られた特徴点の推定値を用い
て特徴点を決定する。特徴点の決定の仕方としては、例えば、処理７０２、処理
７０３のそれぞれの方法で得られた特徴点の中間点を取るなどすればよい。尚、
処理７０２、処理７０３はいずれを先に実行しても同じ結果が得られる。 処理７０５： カメラ画像から得られた特徴点の３次元座標系における座標を
求める。この座標から、前記空間モデルを構成する平面を求めることが可能とな
る。 マッピング手段１０５Ｂは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を、空間モデル作成手段１０４Ｂによって作成さ
れた空間モデルにマッピングする。すなわち、車載カメラから撮影された各々の
画像を空間モデルに透視投影する。 図２９は、画像を含む平面に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデルを構成する
面にマッピングする説明の補助として使用する図である。この詳細については、
すでに説明した。 なお、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。 視点変換手段１０６Ｂは、車載カメラの画像がマッピング手段１０５Ｂによっ
て空間モデルにマッピングされた結果を、任意の視点に設置したカメラから撮影
した画像として合成する。その方法の概要は、上述した視点変換手段１０５Ａに
関して説明した。 ところで、視点変換手段１０６Ｂにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。 さて、路面特徴検出手段１０３Ｂによって検出された特徴点の位置は、車両の
動きとともに変化する。空間モデルは特徴点の３次元座標を基に作成されるので
、車両の動きによって特徴点の位置が変化する毎に空間モデルを作り直す必要が
ある。すなわち車両が移動している間は常に、直前に説明した手法などで特徴点
の位置を求める必要があるが、画像から特徴点を求める処理は一般的に計算量が
多いため、コストが高くつく。これを回避するための方法として、車両の動く速
さと向きをつねに計測し、その計測結果を用いて特徴点の座標を計算すればよい
。 本発明（請求項４１の一例）の車両周囲監視装置は、係る処理を実行するため
に、車両の移動方向を検出する移動方向検出手段１０９Ｂと、車両の単位時間に
おける移動距離を検出する移動距離検出手段１０８Ｂを備え、移動方向検出手段
１０９Ｂおよび移動距離検出手段１０８Ｂでの処理結果を用いて、前記路面上の
特徴の現在位置を計算する。 図３７は、本発明（請求項４１の一例）の車両周囲監視装置において、車両の
動きにともなって特徴点の位置計算を行う処理の手順を示すフローチャート、図
３８は、前記処理の説明の補助に用いる概念図である。 図３８は、ある一定時間の間に車両が移動したとき、前記一定時間の開始時刻
（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および向きの関係を
示している。図３７および図３８を用いて前記処理の手順を説明する。 処理９０１： ある一定時間における車両の移動距離を検出する。本実施例で
は、移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の
直線距離で定義する。すなわち、図３８におけるＯ１とＯ２の距離ということに
なる。 説明の都合上、図３８に記載のように、移動距離をＯ１からＯ２へのベクトル
を（ｔ’ｘ，０， ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイ
ヤの回転数などによって計測する方法が用いられる。 処理９０２： 前記一定時間における車両の移動方向を検出する。本実施例で
は移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向
きがどれだけ変化したかの変化量として定義する。 説明の都合上、図３８に記載のように、向きの変化量をＺ１軸とＺ２軸とのな
す角度Θで表す。移動方向の検出方法としては、例えばハンドルの回転角度など
によって計測する方法が用いられる。 処理９０３： 時刻ｔ１から時刻ｔ２に至る間の車両の移動距離および移動方
向を用いて、ｔ１において取得した特徴点の座標をｔ２における特徴点の座標に
変換する上記式（５）を作成する。 但し、式（５）では時刻ｔ１から時刻ｔ２に至る間の車両移動においては、完
全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定している。
式（５）において、ｘ１，ｙ１，ｚ１は、時刻ｔ１において車体を中心にした
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。 処理９０４： 式（５）を用いて、時刻ｔ１において合成した特徴点の座標を
時刻ｔ２における特徴点の座標に変換する。 車両の移動方向と移動距離が誤差なく計測できれば、移動方向検出手段１０９
と移動距離検出手段と特徴位置計算手段を導入し、直前で説明した計算方法によ
って、常に特徴点の正確な座標を得ることができる。しかしながら、車両の移動
方向と移動距離を誤差なく計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。 特徴修正手段１１０Ｂは、表示手段１０７Ｂにおいて路面特徴検出手段１０３
Ｂにおける処理結果を表示しつつ、車両の乗員が特徴の修正を指示し、その指示
に従って路面の特徴位置を修正する。 図３９は、特徴修正処理を表示手段１０７Ｂに表示している様子を示した概念
図であり、また、図４０は、特徴修正処理における処理の流れを示すフローチャ
ートである。以下、これらの図を用いて、特徴修正手段１１０Ｂでの処理手順を
説明する。 処理１２０１：表示手段１０７Ｂにて、現在の特徴点の位置を表示する。図３
９の例では車載カメラから撮影された各々の画像と空間モデルとをスーパーイン
ポーズし、それを上方から下向きに透視投影した画像を表示している様子を示し
ている。 処理１２０２：位置のずれている特徴点を指定する。図３９の例では特徴点２
および特徴点４がずれている特徴点で、これらを指定する。指定にあたっては、
例えば表示装置にタッチパネルが装着されている場合は指で表示画面を触れるこ
とによって容易に場所の指定が可能である。 処理１２０３：前記ずれた特徴点の正しい場所を指定する。正しい特徴点の場
所はどういう場所であるかは、予め操作する人に知らせておく。 処理１２０４：修正すべき特徴点が残っていれば、上記処理１２０１〜１２０
３を引き続き繰り返し、なければ特徴点の修正処理を終了する。 以上、本発明による車両周囲監視装置を構成するそれぞれの手段の実施例を説
明した。次に、本発明による車両周囲監視装置の全体の処理の流れについて説明
する。図４１は、本発明による車両周囲監視装置の全体の処理の流れを示すフロ
ーチャートである。なお、車両周囲監視装置の構成例としては図３３（ｃ）の構
成に基づく。 処理１３０１： 本装置を正常に動作させるために、車載カメラのそれぞれに
ついて、正しいカメラーパラメータをカメラパラメータテーブル１０２Ｂに入力
しておく。 処理１３０２： 車載カメラで撮影した画像から路面上の特徴点を抽出する。
処理１３０３： 抽出した特徴点の画像内の座標とカメラパラメータから該特
徴点の３次元座標を計算する。但し、車両周囲監視装置処理が実行中ならば、車
両の移動方向および移動距離を検出した結果を用いて、特徴点の座標の現在位置
を計算する。 処理１３０４： 車載カメラで車両周囲の画像を撮影する。 処理１３０５： 空間モデル作成手段１０４Ｂによって処理４で撮影された画
像を内に空間モデル作成する。 処理１３０６： マッピング手段１０５Ｂにて、車載カメラからの画像を、空
間モデルにマッピングする。 処理１３０７： 空間モデルにマッピングされた画像を参照して、運転者が設
定した視点から見た画像を合成する。 処理１３０８： 処理１３０７で合成された画像を表示する。 処理１３０９： 表示画像において、特徴点の位置がずれているかどうかを確
認する。 処理１３１０： もしずれていれば特徴点修正の割り込みを入れ、特徴点の修
正処理を行う。特徴点の修正の必要がなければ、処理１３０３に戻り、処理を繰
り返す。例えば運転者が車両を駐車スペースに入れようとしている時は、前記処
理１３０２〜１３０８を繰り返し、駐車が完了すれば本処理を終了すればよい。
なお、本発明における車両の周囲の状況としては、上述した路面の特徴だけで
なく、たとえば駐車車両の状態等があげられる。その場合はその駐車車両の状態
に応じた空間モデルが生成される。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、単なる平面のモデルではなく、カメ
ラ画像から得られた路面上の特徴を利用して作成された汎用的な空間のモデルを
導入している。平面を用いた方法では、高さ成分がカメラ視線方向の奥行き成分
に変換されてしまうため、路面から上方に高さ成分を持つ物体は、路面に投影す
ると大きく歪むことが問題であったが、本発明の空間モデルを用いることにより
、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さを
もつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデルに
マッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく改
善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合成
画像によって周囲の状況がより一層認識しやすくなり、適確な運転操作を行える
ことが期待できる。また、前記空間モデルは単純な構成を有しているため、装置
のコストを低く押さえることも可能となる。 次に別の本発明の画像生成装置を説明する。 以下、図を用いて本発明の一実施例を説明する。図４２は本発明（請求項４５
の一例）に係る画像生成装置の構成例を示したブロック図である。 本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１Ｃ、カメラ１０１Ｃの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル１０２Ｃ、車両の周囲の状況
をモデル化した空間モデル１０３Ｃにカメラ１０１Ｃより入力された画像をマッ
ピングするマッピング手段１０４Ｃ、所望の仮想視点から見た一枚の画像を、マ
ッピング手段１０４Ｃにて作成されたデータから合成する視点変換手段１０５Ｃ
、カメラ１０１Ｃのパラメータを、各々のカメラで独立して修正するカメラパラ
メータ修正手段１０６Ｃ、視点変換手段１０５Ｃにて変換された画像を表示する
表示手段１０７Ｃからなる構成を有する。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラ１０１Ｃは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。図４３（ａ）は、車両へ３台のカメラを取り付けた例を示
した概念図であるが、図４３（ａ）の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にし、できるだけ画角が大き
いものを使うようにすると、視野が広くなりカメラの台数も少数で済む。また左
右のドアミラー部に後方を向いたカメラを設置し、それらのカメラからの画像を
車内に設置したモニタに表示することによりドアミラーの機能を果たすため、車
両からドアミラーを除去することが可能となり、デザイン的にも空力的にも優れ
た車を設計することが可能となる。 カメラパラメータテーブル１０２Ｃは、カメラパラメータを格納するテーブル
である。その詳細については上述したとおりである。 さて、まず該カメラパラメータテーブル１０２Ｃの詳細な説明の準備として、
車両を基準とした３次元空間座標系を定義する。図４４は車両を中心とする３次
元空間座標系を示した概念図である。図４４の例では３次元空間座標系の例とし
て、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義する。 また、本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ ・上記α、βの角度で回転した後の、カメラの光軸の周りの回転角度をγとして
、該α、β、γを用いて表すものとする。以下、特に断る場合を除いて、３次元
空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義による３
次元空間座標系を指すものとする。 図４５は、カメラパラメータテーブル１０２Ｃに格納されているデータを表形
式で示したものである。図４５に記載されている内容は、テーブルの左側の列か
ら順に以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項
目がカメラパラメータの例を示している。 ・１列目：図４４の車載カメラの番号 ・２列目：３次元空間座標系におけるカメラ位置のＸ座標 ・３列目：３次元空間座標系におけるカメラ位置のＹ座標 ・４列目：３次元空間座標系におけるカメラ位置のＺ座標 ・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離 ・９列目：レンズの半径方向の歪み係数κ１ ・１０列目：レンズの半径方向の歪み係数κ２ 例えば、図４４におけるカメラ１のパラメータは図４５のカメラパラメータテ
ーブル１０２Ｃの第２行目に記載されており、その内容は、カメラ１は、座標（
０、ｙ１、０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対
して−３０度の角度をなし、光軸周りの回転はなく、焦点距離はｆ１、レンズ歪
み係数κ１、κ２はともに０である、ということが記されている。 本実施例では、視点変換手段１０５Ｃ（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。この
際、仮想のカメラでは、レンズの歪みは考慮する必要がないので、レンズ歪み係
数κ１、κ２はいずれも０とすることができる。 図４６は、視点パラメータテーブル１０２Ｃに格納されているデータを表形式
で示したものである。図４６に記載されている内容は、テーブルの左側の列から
順に、２列目から９列目までの項目が視点パラメータの例を示している。その内
容は、仮想視点が、座標（０、０、ｚ２）の位置にあり、向きはＹ−Ｚ平面に対
して０度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周りの回転はなく、
焦点距離はｆ２、レンズ歪み係数κ１、κ２はともに０である、ということが記
されている。 マッピング手段１０４Ｃは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Ｃにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Ｃに透視投影する
。 ここで空間モデル１０３Ｃとは、マッピング手段１０４Ｃにおいて、カメラか
らの画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面
もしくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例で
は、説明を容易にするために、最も単純な空間モデル１０３Ｃの一例として路面
としての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピン
グする方法を説明する。 尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。 さて、マッピング手段１０４Ｃにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する。図４７は、画像
を含む平面（以下、視平面）に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデル１０３Ｃを
構成する面にマッピングする説明の補助として使用する図である。該変換は下記
の手順で行われる。 手順１：視平面が Ｚ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画
像の中心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏ
ｅを原点とする）。 手順２：図７における点Ｐｖ（ｕ，ｖ）（この点がカメラ撮影画像の一画素に
対応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅ
とＰｖの関係は、カメラの焦点距離ｆを用いて、上記式（１）式（２）のように
表すことが出来る（但し、この場合はＺｅ＝ｆとなる）。 前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 手順３：視平面座標系とワールド座標系とを対応づける計算式を求める。 ここで、ワールド座標系を中心にして、視平面座標系が空間的に以下のような
関係にあるとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。 つまり、２つの座標系の位置的なずれは、視平面座標系を（ｔｘ，ｔｙ，ｔｚ
）だけ平行移動することによって無くなる。尚、ワールド座標系におけるカメラ
位置が既知であれば、該位置の座標の符号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は
容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系に合わせるための回転行
列を上記式（１）とする。 該回転行列は、カメラパラメータテーブル１０２Ｃのうち、向きおよびカメラ
の光軸周りの回転を表すパラメータ（α、β、γ）によって、Ｘ，Ｙ，Ｚの各軸
まわりの回転行列を求め、それらを合成することによって容易に求めることがで
きる。さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また
、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，
Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ， Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の
間には式（８）の関係が成り立つ。 これらの式（１）式（２）式（８）を用いることにより、視平面上での画素Ｐ
ｖ（ｕ，ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換する
ことが出来る。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。 なお、図４７では空間モデル１０３Ｃを形成する面としてＸ−Ｚ平面を用いた
場合の例を示している。 視点変換手段１０５Ｃは、車載カメラの画像がマッピング手段１０４Ｃによっ
て空間モデル１０３Ｃにマッピングされた結果を、任意の仮想視点に設置したカ
メラから撮影した画像に合成する。その方法の概要は、上記視点変換手段１０５
Ａに関して説明した。 ところで、視点変換手段１０５Ｃにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Ｃの点に、色がマッピングされていない場合も考えられる。その場合は、 ・物体が存在しない部分であると識別可能な色、例えば黒に置き換える ・当該点の色を、色がマッピングされている周囲の点から、補間、補外などによ
って求めるなどすればよい。 カメラパラメータ修正手段１０６Ｃは、カメラのパラメータを、各々のカメラ
で独立して修正する。 図４８は、カメラパラメータ修正手段１０６Ｃによってカメラパラメータを修
正するための操作部の構成例を示した概念図である。 本実施例では、 ・修正の対象となるカメラを選択する、カメラ選択ボタン９０１Ｃ ・カメラの光軸方向に前後の移動をするズームボタン９０４Ｃ（前向き、後向き
）・カメラの光軸方向に垂直にカメラを平行移動する平行移動ボタン９０２Ｃ（
上下左右）・カメラの向きの変更と、カメラの光軸周りの回転を修正するジョイ
スティック９０３Ｃ から構成され、 （ａ）ズームボタン９０４Ｃ、平行移動ボタン９０２Ｃの操作、カメラの３次
元空間位置を、 （ｂ）ジョイスティック９０３Ｃによって、カメラの回転角度を、それぞれ変
更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当該カメラパ
ラメータの以下の情報が修正される。 （ａ）３次元空間座標系におけるカメラ位置のＸ、Ｙ、Ｚ座標 （ｂ）カメラの向きのうちＹ−Ｚ平面に対してなす角度α カメラの向きのうちＸ−Ｚ平面に対してなす角度β カメラの光軸の周りの回転角度γ 修正された結果は、即座に式（８）に反映する。すなわち、式（８）において
、式０に示す回転行列が、新たなカメラ角度を用いて再度計算されるとともに（
ｔｘ，ｔｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。さすれば、変更
後の式（８）を用いることによって修正操作の結果としての画像が合成され、操
作者は、自身の修正の操作が正しいかどうかを一目で確認することが可能である
。 ところで、ジョイスティック９０３Ｃの操作について、操作としては、 （１）ジョイスティック９０３Ｃの軸を上下左右に動かす、いわゆるカメラの
光軸の向きの調整に相当する操作 （２）ジョイスティック９０３Ｃの軸自身を回転させる、いわゆるカメラの光
軸周りの回転の調整に相当する操作 の２通りは少なくとも必要不可欠である。 これらのジョイスティック９０３Ｃの操作のうち、（１）については、ジョイ
スティック９０３Ｃの軸とカメラの光軸があたかも一致しているように、操作内
容とその結果の画面が表示できれば、操作者はカメラの向きを直感的に把握し易
い。 そのためには、ジョイスティック９０３Ｃの操作によって傾けられた軸の向き
と同じようにカメラの光軸を設定するのではなく、ジョイスティック９０３Ｃの
軸を動かした向きとは反対の方向に同じたけカメラの向きを動かし、その状態で
の向きを変更されたカメラの向きとしてカメラパラメータテーブル１０２Ｃに書
き込めばよい。 また、かかる修正をあたかもバックミラーを修正しているかのように行うため
には、実際にカメラが置いてある場所でカメラの向いている方向の画像を見なが
ら行うのが望ましい。そのために、本修正処理を行う際には、表示のために設置
する仮想視点は、修正しようとするカメラの修正前の位置および向きと一致させ
ることが望ましい。そのようにすれば、修正によってカメラの向きや位置が変わ
っていく様子が一目で把握でき、また修正が完了すれば、完了前の仮想視点位置
に戻せばよい。 図４９は本発明にかかる画像生成装置の関連する技術の構成例を示したブロッ
ク図である。 ここでは、図４２の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０８Ｃを備えている。 図５０は、マッピングテーブル１０８Ｃを表形式で示した概念図である。テー
ブルは、表示手段１０７Ｃにて表示する画面の画素数分のセルから構成されてい
る。すなわち、 ・表示画面の横画素数がテーブルの列数 ・表示画面の縦画素数がテーブルの行数 になるように、テーブルが構成される。そして、それぞれのセルは、 ・カメラ番号 ・前記カメラで撮影された画像の画素座標 をデータとして持つ。例えば図５０の左上のセルは表示画面での左上、すなわち
（０、０）の部分を示しており、マッピング手段１０４Ｃは、前記セルに格納さ
れているデータ内容（１、１０、１０）から、「１番カメラで撮影された画像の
画素（１０、１０）のデータを、表示画面（０、０）に表示する」という処理を
行う。 ところで、マッピングテーブル１０８Ｃを作成するためには、カメラ入力画像
と合成画像との間の画素の対応づけを計算する必要があるが、この計算は、マッ
ピング手段１０４Ｃおよび視点変換手段１０５Ｃによって容易に計算できる。よ
り具体的には、全てのカメラについて以下の１〜２の処理を行えば良い。 １．カメラを一つ決め、そのカメラ番号をＣｎとする。 ２．該カメラ画像を構成する全ての画素に対して以下の２．１〜２．３の処理を
実施する。 ２．１ マッピング手段１０４Ｃにより該画素（座標を座標１とする）を空間
モデル１０３Ｃにマッピングする。 ２．２ 視点変換手段１０５Ｃにより、２．１でマッピングされた画素を仮想
視点から見たときの視平面での座標（座標２とする）を求める。 ２．３ マッピングテーブル１０８Ｃの座標２に対応するセルに、（Ｃｎ、座
標１）を組にしたデータを書き込む。但し、それぞれのカメラ画像の表示領域が
決められていれば、座標２がＣｎの表示領域である場合にのみ、データを書き込
むようにする。 マッピングテーブル１０８Ｃが作成されている場合は、表示手段１０７Ｃは、
マッピング手段１０４Ｃおよび視点変換手段１０５Ｃでの処理結果を用いて、合
成画像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直
接置き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能
となる。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを説明する。 図５１は、カメラパラメータの修正処理の流れを示すフローチャート、図５２
及び図５３は、カメラパラメータの修正処理の説明の補助に使用する概念図で、
図５２（ａ），（ｂ）は、カメラパラメータ修正時の表示画面を、図５３（ａ）
，（ｂ）は、カメラパラメータ修正時以外（すなわち通常時）の表示画面を示す
。 処理１２０１：カメラ選択ボタン９０１Ｃなどで修正対象となるカメラを選択
する。その際には画面上には、図５３（ａ）のごとく、合成画像がずれている様
子が表示されている。 処理１２０２：仮想視点を、選択されたカメラの位置・向きにあわせて変更し
、画像を合成する。仮想視点が変更されると、画面は図５２（ａ）のごとく、選
択されたカメラの視点位置からの画像が表示され、該視点位置からのカメラのず
れの様子が把握できるようになる。 処理１２０３：ズームボタン９０４Ｃ、平行移動ボタン９０２Ｃ、ジョイステ
ィック９０３Ｃを用いて、カメラの３次元空間位置とカメラの向きを修正する。
該修正処理中は、仮想視点は固定したままにする。修正がうまくできれば、画面
は、図５２（ｂ）のごとく、ずれのない様子が表示される。 処理１２０４：当該カメラの修正が終了すると、修正後のカメラパラメータを
カメラパラメータテーブル１０２Ｃに書き込む。 処理１２０５：他に修正の必要があるカメラがあれば、続いて前記カメラを選
択し、上記処理１２０１〜１２０４を繰り返す。無ければ次の処理１２０６に進
む。 処理１２０６：処理１２０２で変更された仮想視点を、該カメラ修正処理前の
仮想視点に戻し、画像を合成する。その合成の結果、画面は、図５２（ｂ）のご
とく、ずれのない画像が表示されており、その確認でもってカメラパラメータ修
正処理を終了する。 なお、図５２，図５３の概念図に示したごとく、各々の車載カメラからの画像
を接合する部分においては、該接合部分に、見た目に違和感を与えない程度のマ
ーカ（例えば線）などを印しておくと、どのカメラの画像がどこに表示されてい
るかが分かり易くなる。 以上のように、本発明によれば、限られた台数のカメラからの画像を用いて任
意の仮想視点からの画像を合成する。車両走行中の振動などにより、カメラの位
置、向きがずれた場合、従来では、前記ずれを修正することが困難であったが、
本発明では、視点を修正するカメラパラメータ修正手段によって、あたかもバッ
クミラーを調整するかの如く、運転者は、自身で表示画像を都度確認しながら、
ずれの生じたカメラの画像のみに対して、視点の位置の移動、向きの変更などに
よって最適の画像を得る。 従って、運転者は例え合成画像の一部にずれが生じた場合でも、その調整のた
めに多大な費用と手間を要することなく、容易にずれの修正を行うことが可能と
なる。 しかも本発明では、運転者の視点修正操作中は、視点変換手段によって、仮想
視点を、修正しようとする車載カメラの位置に切り替えて画像を合成するため、
車載カメラの向き・位置修正を、バックミラーを修正するかのごとく行うことが
可能である。 また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのカメラパラメータを修正するので、カメラの向きを変更
する機構が必要でなくなり、装置のコストを低価格に押さえることが可能となる
。 図５４は本発明の別の実施の形態を示すブロック図であり、図４２と同じ手段
には同じ番号を付して説明を省略する。新しい点は、カメラの特性を示すカメラ
パラメータを修正する際にガイドとなるガイドデータを格納するガイドデータ記
憶手段１１０Ｃを有する点である。このガイドデータは画像合成手段１０９Ｃに
よって、入力画像と重畳され、表示手段１０７Ｃによって表示される。このガイ
ドデータは任意の生成方法で生成できるが、たとえば次に説明するような方法で
生成し、利用する。 図５５は、図５４の構成に加えて、車両の所定場所に点光源を発生させる特徴
発生手段１１１Ｃと、その特徴を抽出できる特徴抽出手段１１２Ｃをさらに備え
、その特徴抽出結果を上記ガイドデータとして、記憶手段１１０Ｃに格納できる
ようになっている。 たとえば、図５６は点光源を特徴とするものであり、車両の前方にいくつかの
ランプ１１３Ｃを取り付けている（ａ）。このランプ１１３Ｃが特徴発生手段１
１１Ｃに対応する。さらに、車両の前側に取り付けられたカメラ１，２（ｆ）か
らその車体の前部を撮影した画像を示す（ｂ，ｃ）。特徴抽出手段１１２Ｃはそ
の画像から、光っている特徴を画像処理して抽出する（ｄ，ｅ）。 図５７（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、特徴として、車体の一部
の線分を取り上げた例を示す。つまり、車体の右後ろの隅部の線分を画像処理し
て取り出している。 これらの点光源や、線分は車が移動してもいつもそのカメラに対して位置関係
が不変である。そこで、カメラの方向等が振動によって変化した場合、この不変
の特徴を利用して、カメラのパラメータを修正できるものである。その具体的や
り方を次に説明する。 図５８において、黒丸は本来の点光源のあるべき画像を示す。白丸はカメラが
ずれた場合の撮影した点光源を示す。そこで、（ａ）のように、ずれた状態の画
像が得られる。そこで、上述したようにしてジョイスティック９０３Ｃを利用し
てパラメータを修正して一致させる（ｂ，ｃ）。これによって、簡単にキャリブ
レーションを行うことができる。 図５９の（ａ，ｂ，ｃ）は、上述して線分を利用してキャリブレーションを実
行した例を示している。 なお、上記特徴の発生は、パターン光を照射する等、他の方法でももちろん発
生できる。 次に、別の本発明の一実施例を説明する。 図６０は本発明（請求項５５の一例）の画像生成装置の構成例を示したブロッ
ク図である。 本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１Ｄ、カメラ１０１Ｄの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル１０２Ｄ、車両の周囲の状況
をモデル化した空間モデル１０３Ｄにカメラ１０１Ｄより入力された画像をマッ
ピングするマッピング手段１０４Ｄ、少なくとも位置、向きを含む視点パラメー
タを格納する視点パラメータテーブル１０８Ｄ、所望の仮想視点から見た一枚の
画像を、マッピング手段１０４Ｄにて作成されたデータから合成する視点変換手
段１０５Ｄ、前記仮想視点のパラメータを修正する視点パラメータ修正手段１０
６Ｄ、視点変換手段１０５Ｄにて変換された画像を接合して表示する表示手段１
０７Ｄを備えた構成を有する。 次に、本実施例を構成する各構成要素についての詳細を説明する。 カメラ１０１Ｄは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。このカメラは図４３に示したように車両に取り付けられる
。 カメラパラメータテーブル１０２Ｄは、カメラパラメータを格納するテーブル
である。カメラパラメータについては、上述したとおりである。 さて、まずカメラパラメータテーブル１０２Ｄの詳細な説明の準備として、車
両を基準とした３次元空間座標系を定義する。それは図４４で説明した通りであ
る。 カメラパラメータテーブル１０２Ｄに格納されているデータは、図４５のもの
と同じである。 本実施例では、視点変換手段１０５Ｄ（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。 図６１は、視点パラメータテーブル１０８Ｄに格納されているデータを表形式
で示したものである。図６１では、視点パラメータはそれぞれ３つずつ格納され
ているが、３つのそれぞれが、それぞれ３台の車載カメラと一対一に対応づけら
れている。 例えば、カメラ１で撮影された画像は、仮想視点１から見た画像へと視点変換
され、カメラ２で撮影された画像は、仮想視点２から見た画像へと視点変換され
る。 このようにカメラ１台ごとに仮想視点を設定すれば、もしカメラの位置ずれな
どによって、表示画面上で他のカメラの画像と該カメラからの画像との接合部分
がずれた場合に、ずれたカメラ画像を見ている仮想視点のパラメータのみを変更
することによって、直感的にずれを修正することが可能となる。修正方法の詳細
は後の視点パラメータ修正手段の説明において説明する。 さて、図６１に記載されている内容は、２列目から９列目までの項目が視点パ
ラメータの具体例を示しており、テーブルの左側の列から順に次の通りである。
すなわち、図６１の２行目を例にとると、仮想視点１とは、座標（０、０、ｚ
２）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−９０
度の角度をなし、視線の中心軸周りの回転はなく、焦点距離はｆ２、レンズ歪み
係数κ１、κ２はともに０である、ということが記されている。 マッピング手段１０４Ｄは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Ｄにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Ｄに透視投影する
。 ここで空間モデル１０３Ｄとは、マッピング手段１０４Ｄにおいて、カメラか
らの画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面
もしくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例で
は、説明を容易にするために、最も単純な空間モデル１０３Ｄの一例として路面
としての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピン
グする方法を説明する。 尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。 さて、マッピング手段１０４Ｄにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する必要があるが、そ
れはすでに、図４７に関して説明したのと同様である。 さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に’２３３の図７に
おいて説明した。 視点変換手段１０５Ｄは、車載カメラの画像がマッピング手段１０４Ｄによっ
て空間モデル１０３Ｄにマッピングされた結果を、任意の仮想視点に設置したカ
メラから撮影した画像に合成する。その方法の概要は、視点変換手段１０５Ａに
関して説明した。 ところで、視点変換手段１０５Ｄにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Ｄの点に、色がマッピングされていない場合も考えられる。その場合につい
ては、すでに説明した。 図６２は、マッピング手段１０４Ｄによって車載カメラからの入力画像を構成
する各々の画素を空間モデル１０３Ｄとしての平面にマッピングし、該平面にマ
ッピングされた結果を、仮想視点に設置したカメラから撮影した画像に合成する
様子を示した概念図である。 視点パラメータ修正手段１０６Ｄは、それぞれのカメラ毎に設けられている仮
想視点のパラメータを、それぞれ独立して修正できる。 図６３は、視点パラメータ修正手段１０６Ｄによって仮想視点パラメータを修
正するための操作部の構成例を示したものである。本実施例では、 ・修正の対象となる仮想視点を選択する、視点選択ボタン１００１ ・仮想視点からの視線の中心軸上を前後に移動する、ズームボタン１００４（前
向き、後向き） ・仮想視点からの視線方向に垂直に視点位置を平行移動する平行移動ボタン１０
０２（画像面に対して上下左右の動き） ・仮想視点からの視線方向の変更と、仮想視点からの視線方向周りの回転を修正
するジョイスティック１００３Ｄから構成され、 （ａ）ズームボタン１００４Ｄ、平行移動ボタン１００２Ｄの操作によって、仮
想視点の３次元空間位置を、 （ｂ）ジョイスティック１００３Ｄによって、仮想視点からの視線方向を、それ
ぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当該仮
想視点パラメータの以下の情報が修正され、視点パラメータテーブル１０８に上
書きされる。 （ａ）３次元空間座標系における仮想視点位置のＸ、Ｙ、Ｚ座標 （ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対してなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映する。すなわち、式（８）に
おいて、式Ｏに示す回転行列が、新たな視線方向を用いて再度計算されるととも
に（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で置き換える。 その結果、変更後の式（８）を用いることによって修正操作の結果としての画
像が合成され、操作者は該合成画像を見ることにより、自身の修正の操作が正し
いかどうかを一目で確認することが可能である。 ところで、仮想視点のパラメータ修正の操作のうち、仮想視点の向き・位置・
回転の操作を変更する操作は、操作の内容と操作結果画像の振る舞いが一致して
いる方が、操作者にとって直感的に分かりやすい。そのためには、パラメータ修
正の操作のうちの次の操作、すなわち、 （１）ジョイスティック１００３Ｄの軸を上下左右に動かす、いわゆるカメラの
光軸の向きの調整に相当する操作 （２）ジョイスティック１００３Ｄの軸自身を回転させる、いわゆるカメラの光
軸周りの回転の調整に相当する操作 （３）平行移動ボタン１００２Ｄの操作によって、仮想視点からの視線方向に垂
直に視点位置を平行移動する操作の３通りの操作は、本発明の請求項５７に記載
のごとく、仮想視点の向き・位置・回転の操作を変更する操作方向と、実際の視
点パラメータの変更方向の関係を、互いに逆方向とする。 すなわち、例えばジョイスティック１００３Ｄを例に挙げると、ジョイスティ
ック１００３Ｄの操作によって傾けられた軸の向きと同じように視線の中心軸を
設定するのではなく、ジョイスティック１００３Ｄの軸を動かした向きとは反対
の方向に同じだけ視線方向を動かし、動かした後の状態を変更された視線方向と
して視線パラメータテーブル１０２Ｄに書き込めばよい。例えば、ジョイスティ
ック１００３Ｄを右に１０度傾けたとすると、その時の視点パラメータ値は、視
線方向が現在の視線に対して左に１０度傾いた値とする。同様に、ジョイスティ
ック１００３Ｄを時計回りに５度回転させたとすると、その時の視点パラメータ
値は、視線の中心軸周りの回転角度を、反時計回りに５度回転させた値とする。
平行移動ボタン１００４Ｄの操作についても同様である。 図６４は本発明の画像生成装置に関連のある技術の構成例を示したブロック図
である。 ここでは、図６０の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０９Ｄを備えている。 このマッピングテーブル１０９Ｄを表形式で示した概念図は、図５０と同じ内
容であるので詳細は省略する。テーブルは、表示手段１０７Ｄにて表示する画面
の画素数分のセルから構成されている。 このような画像生成装置では、視点パラメータ修正手段によって、視点パラメ
ータが修正されたら、カメラ入力画像と合成画像との間の画素の対応づけ関係の
うち、該修正によって変更の生じる部分を、上記手順に従って再度計算し書き換
えればよい。 マッピングテーブル１０９Ｄが作成されている場合は、表示手段１０７Ｄは、
マッピング手段１０４Ｄおよび視点変換手段１０５Ｄでの処理結果を用いて、合
成画像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直
接置き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能
となる。 さらに、前記視点パラメータ修正手段によって、仮想視点の位置、向きなどが
変更された場合の、他のマッピングテーブルの高速な修正方法を示す。 図６５（ａ）は本発明の画像生成装置に関連する技術の構成例を示したブロッ
ク図、（ｂ）は視点パラメータ修正前の車載カメラ合成画像例を示す概念図、（
ｃ）は視点パラメータ修正後の車載カメラ合成画像例を示す概念図である。 本画像生成装置では、先の装置に、さらに、視点パラメータ修正手段での処理
によって変更された視点パラメータを用いて、前記マッピングテーブルを再計算
するマッピングテーブル修正手段１１０Ｄ、マッピングテーブル修正手段１１０
Ｄの処理途中のデータを一時的に格納するバッファ１１１Ｄを備えた構成となる
。 このマッピングテーブル修正手段１１０Ｄにより、視点パラメータの修正結果
を式（８）に反映させて、この式（８）の複雑な計算をすることなく、上記マッ
ピングテーブルの内容を変更することが可能である。以下で該マッピングテーブ
ルの変更方法を手順を追って説明する。 尚、図６６（ａ）〜（ｃ）は、該マッピングテーブルの変更方法の説明の補助
に使用する概念図であり、灰色で示されている平行四辺形は仮想視点修正前の画
像面、白色で示されている平行四辺形は仮想視点修正後の画像面を表している。
また、仮想視点パラメータを修正するための操作部の構成が図６３のようである
とする。 処理１．：マッピングテーブルの変更結果を一時的に格納するバッファ１１１Ｄ
を予め設けておく。 処理２．：視点パラメータ修正手段によって、平行移動、方向、回転、ズームの
いずれかの視点パラメータ修正情報を得、この情報内容に応じて以下の４つのい
ずれかの処理により、仮想視点修正前の表示座標（ｕ，ｖ）と修正後の表示座標
（ｕ’，ｖ’）の対応関係のデータ（以下、テーブル変換データ）を計算し、バ
ッファ１１１Ｄに書き込む。 （１）平行移動ボタン操作 平行移動の場合、図６６（ａ）に示すように、平行移動ボタンによって移動前
と移動後の画素単位での移動距離（ｄｕ，ｄｖ）を獲得し、式（１０）によって
、変更前の座標Ｐ１と変更後の座標Ｐ１’の関係を求め、上記関係をバッファ１
１１Ｄに書き込む。 （２）ジョイスティックによる方向修正操作 仮想視点からの視線方向の場合、図６６（ｂ）に示すように、変更前と変更後
の角度の変位分（θ，φ）を獲得し、式（１１）および式（１２）によって、変
更前の座標Ｐ２と変更後の座標Ｐ２’の関係を求め、上記関係をバッファ１１１
Ｄに書き込む。 （３）ジョイスティックによる回転操作 仮想視点からの視線方向周りの回転を修正する場合、図６６（ｃ）に示すよう
に、変更前と変更後の回転角度ρを獲得し、式（１３）によって、変更前の座標
Ｐ３と変更後の座標Ｐ３’の関係を求め、上記関係をバッファ１１１Ｄに書き込
む。 （４）ズームボタン操作 ズーム（倍率）を修正する場合、ズームボタンによって変更前に対する変更後
の倍率ｋを獲得し、式（１４）によって、変更前の座標Ｐ４と変更後の座標Ｐ４
’の関係を求め、上記関係をバッファ１１１Ｄに書き込む。 処理３．：バッファ１１１Ｄを参照しマッピングテーブルを変更する。 上記処理２．によって、マッピングテーブルの各セルの座標１の変更内容が、例
えば以下のようなテーブル変換データとして、バッファ１１１Ｄに書き込まれて
いる。 （修正前の座標：Ｐ、修正後の座標：Ｐ’） 該データを参照し、マッピングテーブルのすべてのセルについて、下記の（ａ
）（ｂ）の条件を満たせば、該セルの修正前の座標１：Ｐを、前記テーブル変換
データの修正後の座標Ｐ’に変更する。 （ａ）セルのカメラ番号が修正対象となった仮想視点に対応する車載カメラ番号
と一致する。 （ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換データの左側の項の座標
と一致する。 なお、カメラ番号が修正対象となった仮想視点に対応する車載カメラ番号と一
致するが、座標１の修正の行われなかったセルは、修正された仮想視点から見た
ときの視野範囲外になっていると考えられるため、表示手段における表示エリア
外の座標値を書き込む。またその場合は、表示手段では、表示できない座標値が
入力されたら視野外を示す色として、例えば黒を表示するなどとすればよい。 以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを図を用いて説
明する。 図６７は、本発明の画像生成装置における視点パラメータの修正処理の流れを
示すフローチャート、図６８（ａ）〜（ｃ）は、視点パラメータの修正処理の説
明の補助に使用する概念図である。 １．（処理１５０１）視点選択ボタン１００１Ｄなどで修正対象となる仮想視点
を選択する。その際には画面上には、図６８（ａ）のごとく、合成画像がずれて
いる様子が表示されている。 ２．（処理１５０２）本発明の請求項５８に記載のごとく、修正中の仮想視点を
仮の仮想視点（例えば修正前の視点）に置き換え固定する。 ３．（処理１５０３）ズームボタン１００４Ｄ、平行移動ボタン１００２Ｄ、ジ
ョイスティック１００３Ｄを用いて、仮想視点の３次元空間位置と、視線の向き
を修正する。修正処理中は、上記２の処理によって視点が固定されているため、
あたかも視点部分においたカメラを手で調整しているかのごとく、視点修正の作
業を行うことができる。修正がうまくできれば、例えば図６８（ｂ）の画面を経
て、図６８（ｃ）のごとく、ずれのない様子が表示される。 ４．（処理１５０４）当該仮想視点の修正が終了すると、修正後の視点パラメー
タを視点パラメータテーブル１０８に書き込む。 ５．（処理１５０５）他に修正の必要があるカメラがあれば、続いて前記カメラ
を選択し、上記処理１５０１〜１５０４を繰り返す。無ければ次の処理１５０６
に進む。 ６．（処理１５０６）仮想視点の仮の仮想視点に固定する状態を解除する。 その合成結果、画面は、図６８（ｃ）のごとく、ずれのない画像が表示されてお
り、その確認でもって視点パラメータ修正処理を終了する。 尚、図６８（ａ）〜（ｃ）の概念図に示したごとく、各々の車載カメラからの
画像を接合する部分においては、本発明（請求項５９の一例）のように、該接合
部分に、見た目に違和感を与えない程度のマーカ（例えば点線）などを印してお
くと、どのカメラの画像がどこに表示されているかが分かり易くなる。 以上のように、本発明では限られた台数のカメラからの画像を用いて任意の仮
想視点からの画像を合成する。車両走行中の振動などにより、カメラの位置、向
きがずれた場合、従来では、カメラそのものの微調整によってずれを元通りにす
るという方法をとっていたため、前記ずれた画像を他の画像に合せ込む作業が困
難であった。しかし本発明では、仮想視点という概念を導入し、該仮想視点から
見た画像を見ながら、視点パラメータ修正手段によって、ずれの生じた画像のみ
を、あたかも仮想視点においたカメラを調整するかのごとく、修正することがで
きる。その際、視点の位置の移動、向きの変更後の状態を、都度画像としてフィ
ードバックするため、修正作業者は、表示画像を都度確認しながら最適の画像を
得ることができるため、従来に比べて、画像のずれの合せ込み作業が格段に容易
になるし、微少なずれであれば、大規模な装置を用いてのカメラパラメータの再
調整も必要ではなくなる。 また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのパラメータを修正するので、カメラの向きを変更する機
構が必要でなくなり、装置のコストを低価格に押さえることが可能となる。 産業上の利用可能性 本発明の画像生成装置は、車両周囲監視、店舗内監視等の分野に応用でき、そ
れぞれのカメラから撮影された画像を用いて、あたかも仮想視点から実際見てい
るような感覚を持つ合成画像を簡単に作り出すことが出来る。 また、カメラの方向がずれた場合でも、画像上容易に修正できるという長所を
有する。
【図１】
本発明（請求項１）の画像生成装置の基本構成例を示したブロック図
【図２】
請求項９および請求項１２の本発明を組み合わせた画像生成装置の構成例を示
したブロック図
したブロック図
【図３】
本発明（請求項１４）の画像生成装置の構成例を示したブロック図
【図４】
本発明（請求項１７）の画像生成装置の構成例を示したブロック図
【図５】
本発明（請求項１８）の画像生成装置の構成例を示したブロック図
【図６】
図１〜図５を統合した画像生成装置を示したブロック図
【図７】
車両へのカメラの取り付け例を示した概念図
【図８】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図９】
カメラパラメータテーブル１０３に格納されているデータを表形式で示した図
【図１０】
温度補正テーブル１１１の例を表形式で示した図
【図１１】
度補正テーブルを用いて書き換えられたカメラパラメータテーブル１０３の例
を表形式で示した図
を表形式で示した図
【図１２】
空間データを格納する空間データバッファ１０５の記述例を表の形式で示した
図
図
【図１３】
路面上の特徴点と車両との位置関係を上部からみた概念図
【図１４】
図１３の車載カメラ１で前記特徴点を含む路面を撮影した画像を表す概念図
【図１５】
図１３の車載カメラ２で前記特徴点を含む路面を撮影した画像を表す概念図
【図１６】
路面上の特徴点Ａ，Ｂ，Ｃと車両との位置関係を上部から見た概念図
【図１７】
図１６の車載カメラ１で前記特徴点Ａ，Ｂを含む路面を撮影した画像を表す概
念図
念図
【図１８】
図１６の車載カメラ２で前記特徴点Ｂ，Ｃを含む路面を撮影した画像を表す概
念図
念図
【図１９】
図１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明によ
る視点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概
念図
る視点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概
念図
【図２０】
（Ａ）仮想カメラの設置場所の例として、車両のほぼ中心の上方にカメラを下
向きに設置した場合を示した概念図 （Ｂ）仮想カメラの設置場所の例として、車両のほぼ前方斜め上方にカメラを
車の方へ向けて設置した場合を示した概念図 （Ｃ）上記（Ｂ）の場合の合成画像の例を示す概念図
向きに設置した場合を示した概念図 （Ｂ）仮想カメラの設置場所の例として、車両のほぼ前方斜め上方にカメラを
車の方へ向けて設置した場合を示した概念図 （Ｃ）上記（Ｂ）の場合の合成画像の例を示す概念図
【図２１】
（ａ）特徴点生成手段１０９としてのパターン光照射装置を車体側面上部に取
付けた様子を示す概念図 （ｂ）パターン光照射装置を車体上部に数箇所取り付けて、路面にパターン光
を照射した状態を車両上部から見た様子を示す概念図 （ｃ）路面に照射された長方形のパターン光をカメラから撮影した様子を示す
概念図
付けた様子を示す概念図 （ｂ）パターン光照射装置を車体上部に数箇所取り付けて、路面にパターン光
を照射した状態を車両上部から見た様子を示す概念図 （ｃ）路面に照射された長方形のパターン光をカメラから撮影した様子を示す
概念図
【図２２】
キャリブレーション手段１０２において、温度によってカメラパラメータテー
ブル１０３の更新処理を行う手順を示すフローチャート
ブル１０３の更新処理を行う手順を示すフローチャート
【図２３】
空間データ変換手段１１４における処理の手順を示すフローチャート
【図２４】
空間データ変換手段１１４の説明の補助に用いる概念図
【図２５】
補正履歴の記録を確認し、必要に応じて補正指示を出す処理の手順を示すフロ
ーチャート
ーチャート
【図２６】
本発明による画像生成装置の全体の処理の流れを示すフローチャート
【図２７】
（ａ）本発明（請求項３４）の画像生成装置の基本構成例を示したブロック図
（ｂ）本発明（請求項３７）の画像生成装置の構成例を示したブロック図
（ｂ）本発明（請求項３７）の画像生成装置の構成例を示したブロック図
【図２８】
（ａ）〜（ｄ）空間モデルを鳥瞰図的に示した概念図
【図２９】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図３０】
マッピング手段１０４Ａにおけるマッピング処理の手順を示すフローチャート
【図３１】
車両と該車両の周囲に存在する障害物との距離に基づいて、３次元空間内につ
いたて面を立てる方法を示す概念図
いたて面を立てる方法を示す概念図
【図３２】
本発明による画像生成装置の全体の処理の流れを示すフローチャート
【図３３】
（ａ）本発明（請求項３９）の車両周囲監視装置の構成例を示したブロック図
（ｂ）本発明（請求項４１）の車両周囲監視装置の構成例を示したブロック図
（ｃ）本発明（請求項４４）の車両周囲監視装置の構成例を示したブロック図
（ｂ）本発明（請求項４１）の車両周囲監視装置の構成例を示したブロック図
（ｃ）本発明（請求項４４）の車両周囲監視装置の構成例を示したブロック図
【図３４】
（ａ）本発明による空間モデルを鳥瞰図的に示した概念図
（ｂ）本発明による空間モデルを車両の上方から下向きに透視投影した概念図
【図３５】
（ａ）〜（ｄ）本発明による路面特徴検出手段１０３Ｂで特徴点を抽出する処
理の例を示す図
理の例を示す図
【図３６】
特徴点の抽出処理の流れを示すフローチャート
【図３７】
本発明（請求項４１）の車両周囲監視装置において、車両の動きにともなって
特徴点の位置計算を行う処理の手順を示すフローチャート
特徴点の位置計算を行う処理の手順を示すフローチャート
【図３８】
特徴位置計算手段における処理を示す図
【図３９】
特徴修正処理を表示手段１０７Ｂに表示している様子を示した概念図
【図４０】
特徴修正処理における処理の流れを示すフローチャート
【図４１】
本発明による車両周囲監視装置の全体の処理の流れを示すフローチャート
【図４２】
本発明（請求項４５）に係る画像生成装置の構成例を示したブロック図
【図４３】
（ａ）車両への車載カメラの設置例を示した概念図
（ｂ）それぞれの車載カメラ画像のモニタへの表示領域を示した概念図
【図４４】
車両を中心とする３次元空間座標系を示した概念図
【図４５】
カメラパラメータテーブル１０２Ｃに格納されているデータを表形式で示した
図
図
【図４６】
視点パラメータテーブルに格納されているデータを表形式で示した図
【図４７】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図４８】
カメラパラメータ修正手段１０６Ｃによってカメラパラメータを修正するため
の操作部の構成例を示した概念図
の操作部の構成例を示した概念図
【図４９】
本発明に係る画像生成装置に関連する技術の一構成例を示したブロック図
【図５０】
マッピングテーブル１０８Ｃを表形式で示した概念図
【図５１】
カメラパラメータの修正処理の流れを示すフローチャート
【図５２】
（ａ），（ｂ）カメラパラメータ修正時の表示画面例を示す概念図
【図５３】
（ａ），（ｂ）カメラパラメータ修正時以外（すなわち通常時）の表示画面を
示す概念図
示す概念図
【図５４】
本発明（請求項５１）に係る画像生成装置の基本構成例を示したブロック図
【図５５】
本発明（請求項５４）に係る画像生成装置の基本構成例を示したブロック図
【図５６】
点光源を用いてガイドデータを生成する場合を示す概念図
【図５７】
車体の線分を用いてガイドデータを生成する場合を示す概念図
【図５８】
点光源を用いたガイドデータを利用してキャリブレーションを行う様子を示す
概念図
概念図
【図５９】
線分を用いたガイドデータを利用してキャリブレーションを行う様子を示す概
念図
念図
【図６０】
本発明（請求項５５）の画像生成装置の構成例を示したブロック図
【図６１】
視点パラメータテーブル１０８Ｄに格納されているデータを表形式で示した図
【図６２】
車載カメラからの画像を仮想視点からの画像に変換する様子を示した概念図
【図６３】
視点パラメータ修正手段１０６Ｄによって視点パラメータを修正するための操
作部の構成例を示した概念図
作部の構成例を示した概念図
【図６４】
本発明の画像生成装置に関連する技術の一構成例を示したブロック図
【図６５】
（ａ）本発明の画像生成装置に関連する技術の一構成例を示したブロック図
（ｂ）視点パラメータ修正前の車載カメラ合成画像例を示す概念図
（ｃ）視点パラメータ修正後の車載カメラ合成画像例を示す概念図
【図６６】
（ａ）〜（ｃ）マッピングテーブル１０９Ｄの変更方法を示す概念図
【図６７】
視点パラメータの修正処理の流れを示すフローチャート
【図６８】
（ａ）〜（ｃ）視点パラメータの修正処理を示す概念図
【図６９】
従来の画像生成装置の構成例を示したブロック図
【図７０】
従来の車両周囲監視装置の構成例を示したブロック図
１０１ カメラ
１０２ キャリブレーション手段
１０３ カメラパラメータテーブル
１０４ 空間再構成手段
１０５ 空間データバッファ
１０６ 視点変換手段
１０７ 表示手段
１０８ 特徴点抽出手段
１０９ 特徴点生成手段
１１０ 温度センサ
１１１ 温度補正テーブル
１１２ 移動方向検出手段
１１３ 移動距離検出手段
１１４ 空間データ変換手段
１１５ 補正履歴記録手段
１１６ カメラ補正指示手段
１０１Ａ カメラ
１０２Ａ カメラパラメータテーブル
１０３Ａ 空間モデル作成手段
１０４Ａ マッピング手段
１０５Ａ 視点変換手段
１０６Ａ 表示手段
１０７Ａ 距離センサ
１０８Ａ 障書物検知手段
１０１Ｂ カメラ
１０２Ｂ カメラパラメータテーブル
１０３Ｂ 路面特徴検出手段
１０４Ｂ 空間モデル作成手段
１０５Ｂ マッピング手段
１０６Ｂ 視点変換手段
１０７Ｂ 表示手段
１０８Ｂ 移動距離検出手段
１０９Ｂ 移動方向検出手段
１１０Ｂ 特徴修正手段
１０１Ｃ カメラ
１０２Ｃ カメラパラメータテーブル
１０３Ｃ 空間モデル
１０４Ｃ マッピング手段
１０５Ｃ 視点変換手段
１０６Ｃ カメラパラメータ修正手段
１０７Ｃ 表示手段
１０８Ｃ マッピングテーブル
９０１Ｃ カメラ選択ボタン
９０２Ｃ 平行移動ボタン
９０３Ｃ ジョイスティック
９０４Ｃ ズームボタン
１０１Ｄ カメラ
１０２Ｄ カメラパラメータテーブル
１０３Ｄ 空間モデル
１０４Ｄ マッピング手段
１０５Ｄ 視点変換手段
１０６Ｄ 視点パラメータ修正手段
１０７Ｄ 表示手段
１０８Ｄ 視点パラメータテーブル
１０９Ｄ マッピングテーブル
１１０Ｄ マッピングテーブル修正手段
１１１Ｄ バッファ
１００１Ｄ カメラ選択ボタン
１００２Ｄ 平行移動ボタン
１００３Ｄ ジョイスティック
１００４Ｄ ズームボタン
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年９月１４日（２０００．９．１４）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項１
【補正方法】変更
【補正内容】
【請求項１】（補正後）一台もしくは複数台のカメラと、前記カメラからの入力
画像を、予め決められた３次元空間を表す空間モデルにマッピングする空間再構
成手段と、前記空間再構成手段によってマッピングされた空間データを参照して
、前記所定の３次元空間における任意の仮想視点から見た画像を作成する視点変
換手段と、前記視点変換手段にて変換された画像を表示する表示手段とを備えた
ことを特徴とする画像生成装置。
画像を、予め決められた３次元空間を表す空間モデルにマッピングする空間再構
成手段と、前記空間再構成手段によってマッピングされた空間データを参照して
、前記所定の３次元空間における任意の仮想視点から見た画像を作成する視点変
換手段と、前記視点変換手段にて変換された画像を表示する表示手段とを備えた
ことを特徴とする画像生成装置。
【手続補正書】
【提出日】平成１３年３月２８日（２００１．３．２８）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【発明の名称】画像表示装置、画像表示方法
【特許請求の範囲】
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、数台のカメラで撮影された複数枚の画像について、画像を互いに独
立して表示するのではなく、前記数台のカメラで撮影しているエリアの全体の様
子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関
し、たとえば、店舗におけるモニター装置、あるいは車両運転の際の安全確認の
補助としての車両周囲モニター装置等に関する。
立して表示するのではなく、前記数台のカメラで撮影しているエリアの全体の様
子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関
し、たとえば、店舗におけるモニター装置、あるいは車両運転の際の安全確認の
補助としての車両周囲モニター装置等に関する。
【０００２】
【従来の技術】
従来の一般的な監視カメラ装置は、店舗などにおいて、監視対象となる部分を
１台もしくは数台のカメラで撮影し、その画像をモニタ画面に表示する構成が一
般的である。この際、例えば数台のカメラが設置してあれば、通常モニタ画面も
前記カメラ台数分だけ準備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメラ画像を１枚分の画像に
統合して表示させる、もしくは、カメラ画像を順次切り替えるなどの方法が取ら
れる。しかし、これら従来の装置では、それぞれのカメラからの画像を監視する
には、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの
問題があった。
１台もしくは数台のカメラで撮影し、その画像をモニタ画面に表示する構成が一
般的である。この際、例えば数台のカメラが設置してあれば、通常モニタ画面も
前記カメラ台数分だけ準備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメラ画像を１枚分の画像に
統合して表示させる、もしくは、カメラ画像を順次切り替えるなどの方法が取ら
れる。しかし、これら従来の装置では、それぞれのカメラからの画像を監視する
には、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの
問題があった。
【０００３】
この問題を解決する方法として、複数台カメラからの画像が端の部分で重なる
ように設置し、複数台カメラからの画像を、前記重なり部分を重ねることによっ
て一枚に統合した画像を表示することで、前記連続性の問題を解決した監視装置
としては、例えば特開平１０−１６４５６６号公報などがある。
ように設置し、複数台カメラからの画像を、前記重なり部分を重ねることによっ
て一枚に統合した画像を表示することで、前記連続性の問題を解決した監視装置
としては、例えば特開平１０−１６４５６６号公報などがある。
【０００４】
また、監視装置の別の応用例として、車両に設置した場合がある。その従来例
としては次のようなものがある。つまり、車両の周囲を監視するカメラを設置し
、前記カメラで獲得した画像を運転席近くに設置したモニターテレビに表示させ
る監視装置である。例えば車両後方のように、運転者が目視もしくはミラーで見
ることが出来ない場所を、前記カメラで撮影し前記モニターテレビで表示させる
装置が知られている。特に、大型トラック、ワンボックスワゴンなど、目視およ
びミラーで確認できる視野が狭い車両には多数使用されている。
としては次のようなものがある。つまり、車両の周囲を監視するカメラを設置し
、前記カメラで獲得した画像を運転席近くに設置したモニターテレビに表示させ
る監視装置である。例えば車両後方のように、運転者が目視もしくはミラーで見
ることが出来ない場所を、前記カメラで撮影し前記モニターテレビで表示させる
装置が知られている。特に、大型トラック、ワンボックスワゴンなど、目視およ
びミラーで確認できる視野が狭い車両には多数使用されている。
【０００５】
図６９は、監視カメラを車両に設置した場合の従来例を示したものである。図
６９の例では、分割アダプタを介して、車体に取付けられた４つの監視カメラ（
Ｃ１〜Ｃ４)からの画像を一枚の画像に合成し、該画像をモニタテレビで分割表 示 （Ｄ１〜Ｄ４）する方法である。特に後部カメラからの画像に関しては、画 像に撮っている物体の位置関係をミラーで見たときと同じ様にするため、左右反
転した画像を表示するなどの工夫がされている。さらにカメラの画角の制限のた
め見ることが出来ない場所については、運転者の手動操作によって各々のカメラ
を回転させ、所望の場所の画像を得ることを可能としている。なお、上記に示し
た監視装置としては、例えば特開平５−３１００７８号公報に開示の装置などが
ある。
６９の例では、分割アダプタを介して、車体に取付けられた４つの監視カメラ（
Ｃ１〜Ｃ４)からの画像を一枚の画像に合成し、該画像をモニタテレビで分割表 示 （Ｄ１〜Ｄ４）する方法である。特に後部カメラからの画像に関しては、画 像に撮っている物体の位置関係をミラーで見たときと同じ様にするため、左右反
転した画像を表示するなどの工夫がされている。さらにカメラの画角の制限のた
め見ることが出来ない場所については、運転者の手動操作によって各々のカメラ
を回転させ、所望の場所の画像を得ることを可能としている。なお、上記に示し
た監視装置としては、例えば特開平５−３１００７８号公報に開示の装置などが
ある。
【０００６】
しかしながら上記の例のような従来の監視装置については、各々のカメラから
入力された画像を、互いに無関係に表示するので、カメラが撮影している空間全
体の様子を、それぞれの画像を見ながら管理者が一度に把握することは困難であ
る。
入力された画像を、互いに無関係に表示するので、カメラが撮影している空間全
体の様子を、それぞれの画像を見ながら管理者が一度に把握することは困難であ
る。
【０００７】
一方それぞれのカメラ画像を一枚に統合する場合も、カメラに撮影されている
物体が空間内のどの位置に存在するかを計算するものではないので、例えば管理
者が状況に応じて所望の視点からの統合画像を見たいという要求があった場合に
、対処できない。
物体が空間内のどの位置に存在するかを計算するものではないので、例えば管理
者が状況に応じて所望の視点からの統合画像を見たいという要求があった場合に
、対処できない。
【０００８】
車両に設置された監視装置についても同様の問題が生じる。すなわち上記の例
のように従来の監視装置については、各々のカメラから入力された画像を、互い
に無関係に表示させるものである。従って例えば車両を駐車スペースに入れよう
とする場合の補助として前記表示された画像を用いる際にも、前記画像は見えな
い場所を見るだけの役割しか果たさない。つまり運転者は、従来の目視およびミ
ラーを使った場合と比べて見えない場所が少なくなっただけにすぎない。
のように従来の監視装置については、各々のカメラから入力された画像を、互い
に無関係に表示させるものである。従って例えば車両を駐車スペースに入れよう
とする場合の補助として前記表示された画像を用いる際にも、前記画像は見えな
い場所を見るだけの役割しか果たさない。つまり運転者は、従来の目視およびミ
ラーを使った場合と比べて見えない場所が少なくなっただけにすぎない。
【０００９】
なお、視野が狭い点を解決するための方法としては、広角レンズを用いる事が
一般的である。広角レンズからの画像ではある特定部分の詳細はつかめないが、
逆に広角レンズを用いる事で視野が広まり、車両の周囲の全体的な状況を把握し
易くなる。
一般的である。広角レンズからの画像ではある特定部分の詳細はつかめないが、
逆に広角レンズを用いる事で視野が広まり、車両の周囲の全体的な状況を把握し
易くなる。
【００１０】
しかしながら、通常のレンズを広角レンズに置き換えるのみでは、結局、カメ
ラからの画像は、車体にカメラが設置されている場所に依存し、カメラが設置さ
れていない場所からの仮想的な画像を見ることはできない。すなわち、広角レン
ズ設置したカメラを用いて得られる効果は、カメラの台数が減るという点のみで
ある。
ラからの画像は、車体にカメラが設置されている場所に依存し、カメラが設置さ
れていない場所からの仮想的な画像を見ることはできない。すなわち、広角レン
ズ設置したカメラを用いて得られる効果は、カメラの台数が減るという点のみで
ある。
【００１１】
さらに、別の従来例として、特開平３−９９９５２号公報に開示されている装
置がある。図７０は、その従来の車両周囲監視装置の実施例を示したブロック図
である。画像変換部2202 に入力されたカメラ１〜Ｎ2201 からの画像が、変換に
より他の座標に変換され、画像表示部2203 で１枚の画像に合成される。そして 運転席に設置されたＴＶモニタ2204に表示する。画像表示部では、ギア位置、車
速、ウインカ動作に応じた信号により、自車表示位置を画面の中心よりずらすな
どし、見ようとする車両周囲環境領域を広くとるようにするなどの工夫も可能で
ある。
である。画像変換部2202 に入力されたカメラ１〜Ｎ2201 からの画像が、変換に
より他の座標に変換され、画像表示部2203 で１枚の画像に合成される。そして 運転席に設置されたＴＶモニタ2204に表示する。画像表示部では、ギア位置、車
速、ウインカ動作に応じた信号により、自車表示位置を画面の中心よりずらすな
どし、見ようとする車両周囲環境領域を広くとるようにするなどの工夫も可能で
ある。
【００１２】
また、これをさらに発展させた他の従来例が特開平７−１８６８３３号公報に
開示されている。この例では、周囲の状況を運転者に提示する際に、路面部分と
それ以外の部分を予め区別し、路面部分は座標変換によって車両中心上方に下向
きに視点を置いたときに観測される画像に変換し、また路面外部分は、前記変換
画像にカメラからの映像をそのまま適切な場所で適切な大きさに変更して重ねあ
わせ表示する。これにより車両の周囲の障害物の状況、特に車両後方から接近す
る他の車両などを正確に知らせるものである。
開示されている。この例では、周囲の状況を運転者に提示する際に、路面部分と
それ以外の部分を予め区別し、路面部分は座標変換によって車両中心上方に下向
きに視点を置いたときに観測される画像に変換し、また路面外部分は、前記変換
画像にカメラからの映像をそのまま適切な場所で適切な大きさに変更して重ねあ
わせ表示する。これにより車両の周囲の障害物の状況、特に車両後方から接近す
る他の車両などを正確に知らせるものである。
【００１３】
【発明が解決しようとする課題】
しかしながら、上記別の従来の車両周囲監視装置においては、得られる合成画
像と実在の物体との対応づけが困難になる場合があるという問題があった。
像と実在の物体との対応づけが困難になる場合があるという問題があった。
【００１４】
また上記他の従来例では、路面と路面外とを分割することにより、路面外物体
を画像に映った状態で切り出し合成画像に貼り付けるという方法を用いているが
、路面外物体の切り出しは画像認識の分野でも難しい問題の一つであり、実用化
は困難である。
を画像に映った状態で切り出し合成画像に貼り付けるという方法を用いているが
、路面外物体の切り出しは画像認識の分野でも難しい問題の一つであり、実用化
は困難である。
【００１５】
一方、走行中にカメラが動いてしまい、合成画像にずれが生じるという問題が
あるが、それを解決する従来例としては、例えば特開平５−３１００７８号公報
に開示されている方法がある。該方法では、カメラの向きを変更する機構を備え
ることにより、運転者が合成画面を見ながら、手で所望の向きにカメラを動かす
方法である。しかし、この場合の問題は、向きを変更する機構をカメラの台数と
同じ数だけ取付ける必要があり、コストが高くなる点である。
あるが、それを解決する従来例としては、例えば特開平５−３１００７８号公報
に開示されている方法がある。該方法では、カメラの向きを変更する機構を備え
ることにより、運転者が合成画面を見ながら、手で所望の向きにカメラを動かす
方法である。しかし、この場合の問題は、向きを変更する機構をカメラの台数と
同じ数だけ取付ける必要があり、コストが高くなる点である。
【００１６】
本発明は、かかる課題を解決するものであり、例えば車両に設置された装置で
は、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだ
け現実に近いように分かり易く一枚の画像として合成し、運転者に表示すること
を目的とする。
は、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだ
け現実に近いように分かり易く一枚の画像として合成し、運転者に表示すること
を目的とする。
【００１７】
また、本発明は、前記合成のために必要な、カメラの取り付け位置、取り付け
角度などのカメラパラメータを容易に求める方法、さらには、前記カメラパラメ
ータが、走行時の振動や温度などによってずれたときに、それを検知し修正する
装置および方法も提供する
角度などのカメラパラメータを容易に求める方法、さらには、前記カメラパラメ
ータが、走行時の振動や温度などによってずれたときに、それを検知し修正する
装置および方法も提供する
【００１８】
【課題を解決するための手段】
上記課題を解決するために、本発明は、一台もしくは複数台のカメラと、前
記カメラからの入力画像を、所定の３次元空間の所定の空間モデルにマッピング
する空間再構成手段と、前記空間再構成手段によってマッピングされた空間デー
タを参照して、前記所定の３次元空間における任意の仮想視点から見た画像を作
成する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示手
段とを備えたことを特徴とする画像生成装置である。
する空間再構成手段と、前記空間再構成手段によってマッピングされた空間デー
タを参照して、前記所定の３次元空間における任意の仮想視点から見た画像を作
成する視点変換手段と、前記視点変換手段にて変換された画像を表示する表示手
段とを備えたことを特徴とする画像生成装置である。
【００１９】
また、上記課題を解決するために、本発明の画像生成方法は所定の３次元空間
に存在するカメラからの入力画像を、前記所定の３次元空間の所定の空間モデル
にマッピングして空間データを作成する空間再構成工程と、前記空間データを参
照して、前記三次元空間における任意の仮想視点から見た画像を作成する視点変
換工程とを備え得たことを特徴とする画像生成方法である。
に存在するカメラからの入力画像を、前記所定の３次元空間の所定の空間モデル
にマッピングして空間データを作成する空間再構成工程と、前記空間データを参
照して、前記三次元空間における任意の仮想視点から見た画像を作成する視点変
換工程とを備え得たことを特徴とする画像生成方法である。
【００２０】
上記課題を解決するために、本発明の装置は次の構成を有する。
【００２１】
本発明の基本構成は、車両に設置された一台もしくは複数台のカメラから画像
を入力する画像入力手段と、前記カメラ特性を示すカメラパラメータを格納する
カメラパラメータテーブルと、車両を基準とした座標系に空間モデルを作成する
空間モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッ
ピングするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、
前記マッピング手段にて作成されたデータから合成する視点変換手段と、前記視
点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする
。
を入力する画像入力手段と、前記カメラ特性を示すカメラパラメータを格納する
カメラパラメータテーブルと、車両を基準とした座標系に空間モデルを作成する
空間モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッ
ピングするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、
前記マッピング手段にて作成されたデータから合成する視点変換手段と、前記視
点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする
。
【００２２】
本発明による監視装置の第１の応用構成は、距離を計測する距離センサと、車
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を前記距
離センサを用いて計測する障害物検知手段とを備えたことを特徴とする。
両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を前記距
離センサを用いて計測する障害物検知手段とを備えたことを特徴とする。
【００２３】
本発明による装置では、予め適当に設定した空間モデル、もしくは、障害物検
知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間
モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に
設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前
記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点
から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する
。この際、車両の乗員は、所望の視点からの画像を表示することが可能である。
知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間
モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に
設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前
記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点
から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する
。この際、車両の乗員は、所望の視点からの画像を表示することが可能である。
【００２４】
上記課題を解決するために、本発明の基本構成は、車両に設置された一台もし
くは複数台のカメラから画像を入力する画像入力手段と、前記カメラ特性を示す
カメラパラメータを格納するカメラパラメータテーブルと、車両周囲の状況とし
て、路面上の特徴を検知する路面特徴検出手段と、車両を基準として設定された
座標系に、前記路面特徴検出手段の処理結果に応じた空間モデルを作成する空間
モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッピン
グするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、前記
マッピング手段にて作成されたデータから合成する視点変換手段と、前記視点変
換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。
くは複数台のカメラから画像を入力する画像入力手段と、前記カメラ特性を示す
カメラパラメータを格納するカメラパラメータテーブルと、車両周囲の状況とし
て、路面上の特徴を検知する路面特徴検出手段と、車両を基準として設定された
座標系に、前記路面特徴検出手段の処理結果に応じた空間モデルを作成する空間
モデル作成手段と、前記カメラより入力された画像を前記空間モデルにマッピン
グするマッピング手段と、視点を設定し、前記視点から見た一枚の画像を、前記
マッピング手段にて作成されたデータから合成する視点変換手段と、前記視点変
換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。
【００２５】
また、本発明の第１の応用構成は、車両の移動方向を検出する移動方向検出手
段と、車両の単位時間における移動距離を検出する移動距離検出手段を備え、前
記移動方向検出手段および前記移動距離検出手段での処理結果を用いて、前記路
面上の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空
間モデルを逐次修正することを特徴とする。
段と、車両の単位時間における移動距離を検出する移動距離検出手段を備え、前
記移動方向検出手段および前記移動距離検出手段での処理結果を用いて、前記路
面上の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空
間モデルを逐次修正することを特徴とする。
【００２６】
また、第２の応用構成は、前記表示手段において前記路面特徴検出手段におけ
る処理結果を表示しつつ前記処理結果を修正する特徴修正手段を備えたことを特
徴とする。
る処理結果を表示しつつ前記処理結果を修正する特徴修正手段を備えたことを特
徴とする。
【００２７】
本発明では、白線などの路面上の特徴を路面特徴検出手段にて検出し、空間モ
デル作成手段で前記検出された特徴に合わせて空間モデルを作成する。画像入力
手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピン
グ手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段に
て決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示
手段にて表示する。車両が移動した場合は車両と路面特徴との位置関係が変化す
るので、該変化に応じて空間モデルを修正し、修正後の空間モデルを用いて画像
を合成し表示する。
デル作成手段で前記検出された特徴に合わせて空間モデルを作成する。画像入力
手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピン
グ手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段に
て決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示
手段にて表示する。車両が移動した場合は車両と路面特徴との位置関係が変化す
るので、該変化に応じて空間モデルを修正し、修正後の空間モデルを用いて画像
を合成し表示する。
【００２８】
上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、前記車両の周囲の状況をモデル
化した空間モデルに前記カメラより入力された画像をマッピングするマッピング
手段と、所望の仮想視点から見た一枚の画像を、前記マッピング手段にて作成さ
れたデータから合成する視点変換手段と、前記カメラのパラメータを、各々のカ
メラで独立して修正するカメラパラメータ修正手段と、前記視点変換手段にて変
換された画像を表示する表示手段とを備えたことを特徴とする。
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、前記車両の周囲の状況をモデル
化した空間モデルに前記カメラより入力された画像をマッピングするマッピング
手段と、所望の仮想視点から見た一枚の画像を、前記マッピング手段にて作成さ
れたデータから合成する視点変換手段と、前記カメラのパラメータを、各々のカ
メラで独立して修正するカメラパラメータ修正手段と、前記視点変換手段にて変
換された画像を表示する表示手段とを備えたことを特徴とする。
【００２９】
また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時と通常
動作時とで仮想視点を切り替えることを特徴とする。
動作時とで仮想視点を切り替えることを特徴とする。
【００３０】
また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を車載カメラのいずれかのカメラパラメータと一致させることを特徴とす
る。
想視点を車載カメラのいずれかのカメラパラメータと一致させることを特徴とす
る。
【００３１】
また、前記視点変換手段は、前記カメラパラメータ修正手段での処理時は、仮
想視点を、該修正を行っているカメラの、修正処理前のカメラパラメータと一致
させることを特徴とする。
想視点を、該修正を行っているカメラの、修正処理前のカメラパラメータと一致
させることを特徴とする。
【００３２】
また、前記視点変換手段において、視点の向きを変更する操作の向きと、前記
視点の向きとの関係を互いに逆方向とすることを特徴とする。
視点の向きとの関係を互いに逆方向とすることを特徴とする。
【００３３】
また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。
【００３４】
上記目的を達成するために、本発明は、車両に設置された一台もしくは複数台
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、車両の周囲の状況をモデル化し
た空間モデルに前記カメラより入力された画像をマッピングするマッピング手段
と、少なくとも位置、向きを含む視点パラメータを格納する視点パラメータテー
ブルと、前記マッピング手段でのマッピング処理の結果を用いて、所望の仮想視
点から見た画像を合成する視点変換手段と、前記仮想視点のパラメータを修正す
る視点パラメータ修正手段と、前記視点変換手段にて変換された画像を接合して
表示する表示手段とを備えたことを特徴とする。
のカメラから画像を入力する画像入力手段と、前記カメラ特性を示すカメラパラ
メータを格納するカメラパラメータテーブルと、車両の周囲の状況をモデル化し
た空間モデルに前記カメラより入力された画像をマッピングするマッピング手段
と、少なくとも位置、向きを含む視点パラメータを格納する視点パラメータテー
ブルと、前記マッピング手段でのマッピング処理の結果を用いて、所望の仮想視
点から見た画像を合成する視点変換手段と、前記仮想視点のパラメータを修正す
る視点パラメータ修正手段と、前記視点変換手段にて変換された画像を接合して
表示する表示手段とを備えたことを特徴とする。
【００３５】
また、前記一組の視点パラメータは、車両に設置されたカメラのいずれか一つ
と対となるよう区別して前記視点パラメータテーブルに格納することを特徴とす
る。
と対となるよう区別して前記視点パラメータテーブルに格納することを特徴とす
る。
【００３６】
また、視点パラメータ修正手段において、仮想視点パラメータ変更操作のうち
、少なくとも向き・位置・回転の操作については、操作方向と実際の視点パラメ
ータの変更との関係を、互いに逆とすることを特徴とする。
、少なくとも向き・位置・回転の操作については、操作方向と実際の視点パラメ
ータの変更との関係を、互いに逆とすることを特徴とする。
【００３７】
また、視点パラメータ修正手段において、視点パラメータ修正する際は固定し
た仮の仮想視点を設け、当該修正中の仮想視点での修正経過を、前記仮の仮想視
点からの画像として逐次合成表示することを特徴とする。
た仮の仮想視点を設け、当該修正中の仮想視点での修正経過を、前記仮の仮想視
点からの画像として逐次合成表示することを特徴とする。
【００３８】
また、前記表示手段は、各々のカメラからの画像を表示する際に、各々の画像
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。
の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示すること
を特徴とする。
【００３９】
また、カメラ入力画像と合成画像との間の画素の対応づけ関係を保持するマッ
ピングテーブルを備え、前記マッピング手段および視点変換手段での処理によっ
て得られた前記対応づけ関係を前記マッピングテーブルに格納することを特徴と
する。
ピングテーブルを備え、前記マッピング手段および視点変換手段での処理によっ
て得られた前記対応づけ関係を前記マッピングテーブルに格納することを特徴と
する。
【００４０】
また、視点パラメータ修正手段での処理によって変更された視点パラメータを
用いて、前記マッピングテーブルを再計算するマッピングテーブル修正手段を備
えたことを特徴とする。
用いて、前記マッピングテーブルを再計算するマッピングテーブル修正手段を備
えたことを特徴とする。
【００４１】
【発明の実施の形態】
本発明の基本的構成は、一台もしくは複数台のカメラと、前記カメラの特性を
示すカメラパラメータを格納するカメラパラメータテーブルと、前記カメラパラ
メータに基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッ
ピングして空間データを作成する空間再構成手段と、前記空間再構成手段にて作
成された空間データを一時的に格納する空間データバッファと、前記空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段と、前記視点変換
手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。
示すカメラパラメータを格納するカメラパラメータテーブルと、前記カメラパラ
メータに基づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッ
ピングして空間データを作成する空間再構成手段と、前記空間再構成手段にて作
成された空間データを一時的に格納する空間データバッファと、前記空間データ
を参照して、任意の視点から見た画像を作成する視点変換手段と、前記視点変換
手段にて変換された画像を表示する表示手段とを備えたことを特徴とする。
【００４２】
本発明による画像生成装置の第１の応用構成は、カメラ特性を示すカメラパラ
メータを、入力もしくは計算によって得るキャリブレーション手段を備えたこと
を特徴とする。
メータを、入力もしくは計算によって得るキャリブレーション手段を備えたこと
を特徴とする。
【００４３】
本発明による画像生成装置の第２の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成手段と、それらの特徴点を抽出す
る特徴点抽出手段とを備えたことを特徴とする。
同定が可能な複数個の点を生成する特徴点生成手段と、それらの特徴点を抽出す
る特徴点抽出手段とを備えたことを特徴とする。
【００４４】
本発明による画像生成装置の第３の応用構成は、温度センサ、温度補正テーブ
ルを備えたことを特徴とする。
ルを備えたことを特徴とする。
【００４５】
本発明による画像生成装置の第４の応用構成は、車両の移動方向を検出する移
動方向検出手段と、車両の単位時間における移動距離を検出する移動距離検出手
段と、車両の移動方向および移動距離を用いて、前記空間データバッファに格納
された空間データを変換する空間データ変換手段とを備えたことを特徴とする。
動方向検出手段と、車両の単位時間における移動距離を検出する移動距離検出手
段と、車両の移動方向および移動距離を用いて、前記空間データバッファに格納
された空間データを変換する空間データ変換手段とを備えたことを特徴とする。
【００４６】
本発明による画像生成装置の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知した場合に運転者にカメラキャリブレーションの指示を行う
カメラ補正指示手段と、カメラキャリブレーションを行った日時および走行距離
を記録する補正履歴記録手段とを備えたことを特徴とする。
が必要な状況を検知した場合に運転者にカメラキャリブレーションの指示を行う
カメラ補正指示手段と、カメラキャリブレーションを行った日時および走行距離
を記録する補正履歴記録手段とを備えたことを特徴とする。
【００４７】
また、本発明の画像生成方法は、カメラ特性を示すカメラパラメータに基づい
てカメラからの入力画像を構成する各々の画素を３次元空間の点に対応づけた空
間データを作成する空間再構成工程と、前記空間データを参照して任意の視点か
ら見た画像を作成する視点変換工程とを包含することを特徴とする。
てカメラからの入力画像を構成する各々の画素を３次元空間の点に対応づけた空
間データを作成する空間再構成工程と、前記空間データを参照して任意の視点か
ら見た画像を作成する視点変換工程とを包含することを特徴とする。
【００４８】
本発明による画像生成方法の第１の応用構成は、前記カメラ特性を示すカメラ
パラメータを入力もしくは計算によって獲得し、また必要であれば温度に応じて
前記カメラパラメータを補正するキャリブレーション工程を包含することを特徴
とする。
パラメータを入力もしくは計算によって獲得し、また必要であれば温度に応じて
前記カメラパラメータを補正するキャリブレーション工程を包含することを特徴
とする。
【００４９】
本発明による画像生成方法の第２の応用構成は、前記キャリブレーション手段
で前記カメラパラメータの計算に必要な複数個の特徴点を抽出する特徴点抽出工
程を包含することを特徴とする。
で前記カメラパラメータの計算に必要な複数個の特徴点を抽出する特徴点抽出工
程を包含することを特徴とする。
【００５０】
本発明による画像生成方法の第３の応用構成は、カメラ視野内に３次元座標の
同定が可能な複数個の点を生成する特徴点生成工程を包含することを特徴とする
。
同定が可能な複数個の点を生成する特徴点生成工程を包含することを特徴とする
。
【００５１】
本発明による画像生成方法の第４の応用構成は、車両の移動方向を検出する移
動方向検出工程と、車両の単位時間における移動距離を検出する移動距離検出工
程と、前記移動方向検出工程によって検出された車両の移動方向、および移動距
離検出工程によって検出された車両の移動距離を用いて、前記空間データを変換
する空間データ変換工程とを包含することを特徴とする。
動方向検出工程と、車両の単位時間における移動距離を検出する移動距離検出工
程と、前記移動方向検出工程によって検出された車両の移動方向、および移動距
離検出工程によって検出された車両の移動距離を用いて、前記空間データを変換
する空間データ変換工程とを包含することを特徴とする。
【００５２】
本発明による画像生成方法の第５の応用構成は、カメラのキャリブレーション
が必要な状況を検知し、キャリブレーションが必要である場合に、運転者にカメ
ラキャリブレーションの指示を行うカメラ補正指示工程と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録工程とを包含するこ
とを特徴とする。
が必要な状況を検知し、キャリブレーションが必要である場合に、運転者にカメ
ラキャリブレーションの指示を行うカメラ補正指示工程と、カメラキャリブレー
ションを行った日時および走行距離を記録する補正履歴記録工程とを包含するこ
とを特徴とする。
【００５３】
本発明（請求項１の一例）の画像生成装置では、以下の３ステップからなる手
順によって、複数台設置されているそれぞれのカメラ視野を統合し、一枚の画像
として合成する。
順によって、複数台設置されているそれぞれのカメラ視野を統合し、一枚の画像
として合成する。
【００５４】
１．空間再構成手段において、カメラから得られた画像を構成する各々の画素
と、３次元座標系の点との対応関係を計算し、空間データを作成する。前記計算
は各々のカメラから得られた画像のすべての画素に対して実施する。
と、３次元座標系の点との対応関係を計算し、空間データを作成する。前記計算
は各々のカメラから得られた画像のすべての画素に対して実施する。
【００５５】
２．視点変換手段において、所望の視点を指定する。すなわち、前記３次元座
標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定
する。
標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定
する。
【００５６】
３．同じく視点変換手段において、前記視点からの画像を、前記空間データか
ら再現し、表示手段にて表示する。
ら再現し、表示手段にて表示する。
【００５７】
請求項８、請求項９および請求項１２に記載の発明を組み合わせた画像生成装
置の一例では、特徴点生成手段によって車体の周囲などに３次元座標の同定が可
能な複数個の点を生成し、それらの特徴点を特徴点抽出手段で抽出することによ
り、各々のカメラについて、その特性を示すカメラパラメータを自動で得る。
置の一例では、特徴点生成手段によって車体の周囲などに３次元座標の同定が可
能な複数個の点を生成し、それらの特徴点を特徴点抽出手段で抽出することによ
り、各々のカメラについて、その特性を示すカメラパラメータを自動で得る。
【００５８】
本発明（請求項１４の一例）の画像生成装置では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つ。
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つ。
【００５９】
また、本発明（請求項１７の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラから死角となる部分の画像を見る方法を提供する。す
なわち車両の移動方向および移動距離を検出し、検出結果から導かれた計算式を
用いて、以前に取得した画像を現在の位置から見た画像に変換する。具体的には
、以前に見えていたが現在見えていない場所についての空間データは、前記場所
を撮影した画像が空間データとして空間データバッファに格納されている場合、
その空間データを空間データ変換手段で変換することによって補われる。
への応用例として、カメラから死角となる部分の画像を見る方法を提供する。す
なわち車両の移動方向および移動距離を検出し、検出結果から導かれた計算式を
用いて、以前に取得した画像を現在の位置から見た画像に変換する。具体的には
、以前に見えていたが現在見えていない場所についての空間データは、前記場所
を撮影した画像が空間データとして空間データバッファに格納されている場合、
その空間データを空間データ変換手段で変換することによって補われる。
【００６０】
また、本発明（請求項１８の一例）の画像生成装置では、画像生成装置の車両
への応用例として、カメラの特性を示すカメラパラメータの補正、すなわちカメ
ラキャリブレーションを実施しなければならない状況を検知し、その旨を運転者
に指示する。
への応用例として、カメラの特性を示すカメラパラメータの補正、すなわちカメ
ラキャリブレーションを実施しなければならない状況を検知し、その旨を運転者
に指示する。
【００６１】
以下、図を用いて本発明の一実施例を説明する。なお本実施例においては、車
両の周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに
設置したモニターテレビに表示させる画像生成装置を対象として説明する。
両の周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに
設置したモニターテレビに表示させる画像生成装置を対象として説明する。
【００６２】
図１は本発明（請求項１）の画像生成装置の基本構成の一例を示したブロック
図である。
図である。
【００６３】
本発明による画像生成装置は、基本構成例として、監視対象領域の状況を把握
するために取付けられた複数台のカメラ101 、前記カメラの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル103 、カメラパラメータに基
づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッピングした
空間データを作成する空間再構成手段104 、空間再構成手段104 にて作成された
空間データを一時的に格納する空間データバッファ105 、空間データを参照して
、任意の視点から見た画像を作成する視点変換手段106 、視点変換手段106 にて
変換された画像を表示する表示手段107からなる。
するために取付けられた複数台のカメラ101 、前記カメラの特性を示すカメラパ
ラメータを格納しておくカメラパラメータテーブル103 、カメラパラメータに基
づいて、前記カメラからの入力画像を３次元空間の空間モデルにマッピングした
空間データを作成する空間再構成手段104 、空間再構成手段104 にて作成された
空間データを一時的に格納する空間データバッファ105 、空間データを参照して
、任意の視点から見た画像を作成する視点変換手段106 、視点変換手段106 にて
変換された画像を表示する表示手段107からなる。
【００６４】
図２は請求項８、請求項９および請求項１２に記載の本発明を組み合わせた画
像生成装置の構成の一例を示したブロック図である。
像生成装置の構成の一例を示したブロック図である。
【００６５】
図２の例では、図１に示した画像生成装置に対して、さらに、カメラの取り付
け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの
焦点距離などといった、前記カメラ特性を表すカメラパラメータを、入力もしく
は計算によって得るキャリブレーション手段102 、前記カメラの視野内に３次元
座標の同定が可能な複数個の点を生成する特徴点生成手段109 とそれらの特徴点
を抽出する特徴点抽出手段108とを付加し、各々のにカメラについて、その特性 を示 すカメラパラメータを容易に得ることを可能としている。
け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの
焦点距離などといった、前記カメラ特性を表すカメラパラメータを、入力もしく
は計算によって得るキャリブレーション手段102 、前記カメラの視野内に３次元
座標の同定が可能な複数個の点を生成する特徴点生成手段109 とそれらの特徴点
を抽出する特徴点抽出手段108とを付加し、各々のにカメラについて、その特性 を示 すカメラパラメータを容易に得ることを可能としている。
【００６６】
特徴点生成手段109 および特徴点抽出手段108の振る舞いによってカメラパラ
メータを得るための方法についての詳細は後述する。
メータを得るための方法についての詳細は後述する。
【００６７】
図３は本発明（請求項１４の一例）の画像生成装置の構成例を示したブロック
図である。図３の例では、図１に示した画像生成装置に対して、更に温度センサ
110、温度補 正テーブル111 を設置することにより、気温上昇・下降にともなっ
て微妙に変化するレンズ歪みを補正し、レンズを常に最適に保つことが可能とな
る。キャリブレーション手段102 において温度によるレンズ歪みの補正を行う方
法についての詳細は後述する。
図である。図３の例では、図１に示した画像生成装置に対して、更に温度センサ
110、温度補 正テーブル111 を設置することにより、気温上昇・下降にともなっ
て微妙に変化するレンズ歪みを補正し、レンズを常に最適に保つことが可能とな
る。キャリブレーション手段102 において温度によるレンズ歪みの補正を行う方
法についての詳細は後述する。
【００６８】
図４は本発明（請求項１７の一例）の画像生成装置の構成例を示したブロック
図である。図４は車両への応用例としての画像生成装置の構成例で、図１に示し
た画像生成装置に対して、さらに車両の移動方向を検出する移動方向検出手段11
2 と、車両の単位時間における移動距離を検出する移動距離検出手段113 と、車
両の移動方向および移動距離を用いて、前記空間データバッファ105 に格納され
た空間データを変換する空間データ変換手段114 とを付加している。
図である。図４は車両への応用例としての画像生成装置の構成例で、図１に示し
た画像生成装置に対して、さらに車両の移動方向を検出する移動方向検出手段11
2 と、車両の単位時間における移動距離を検出する移動距離検出手段113 と、車
両の移動方向および移動距離を用いて、前記空間データバッファ105 に格納され
た空間データを変換する空間データ変換手段114 とを付加している。
【００６９】
これらの手段を用いることにより、現在見えていない場所について、以前に見
えており、かつ、その見えていた画像が空間データとして空間データバッファ10
5 に格納されていれば、その空間データを本発明を構成する空間データ変換手段
114 で変換することによって補うことができる。補うための方法についての詳細
は後述する。
えており、かつ、その見えていた画像が空間データとして空間データバッファ10
5 に格納されていれば、その空間データを本発明を構成する空間データ変換手段
114 で変換することによって補うことができる。補うための方法についての詳細
は後述する。
【００７０】
図５は本発明（請求項１８の一例）の車両への応用例としての画像生成装置で
、その構成例を示したブロック図である。
、その構成例を示したブロック図である。
【００７１】
図５の画像生成装置の例では、図１に示した画像生成装置に対して、さらにカ
メラのキャリブレーションが必要な状況を検知した場合に、運転者にカメラキャ
リブレーションの指示を行うカメラ補正指示手段116 と、カメラキャリブレーシ
ョンを行った日時および走行距離を記録する補正履歴記録手段115 を付加してい
る。これらの手段を用いることにより、カメラの特性を示すカメラパラメータの
補正、すなわちカメラキャリブレーションを実施しなければならない状況を検知
し、その旨を運転者に提示する。
メラのキャリブレーションが必要な状況を検知した場合に、運転者にカメラキャ
リブレーションの指示を行うカメラ補正指示手段116 と、カメラキャリブレーシ
ョンを行った日時および走行距離を記録する補正履歴記録手段115 を付加してい
る。これらの手段を用いることにより、カメラの特性を示すカメラパラメータの
補正、すなわちカメラキャリブレーションを実施しなければならない状況を検知
し、その旨を運転者に提示する。
【００７２】
図６は、図１〜図５を統合した画像生成装置を示したブロック図であり、図１
から図５の画像生成装置を一つにまとめた場合の構成例で、それぞれの構成で得
られる効果を統合して利用することが可能である。本実施例の最後で、本図６の
構成例を用いて、本発明による画像生成装置の動作例を示す。
から図５の画像生成装置を一つにまとめた場合の構成例で、それぞれの構成で得
られる効果を統合して利用することが可能である。本実施例の最後で、本図６の
構成例を用いて、本発明による画像生成装置の動作例を示す。
【００７３】
次に、本発明を構成する各構成要素についての詳細を説明する。
【００７４】
カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。図７は、車両へのカメラの取り付け例を示した概念
図である。
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。図７は、車両へのカメラの取り付け例を示した概念
図である。
【００７５】
図７では、車両の屋根に、車両から周囲を見渡すようにカメラが６台設置され
ている例を示している。図７の例のように、車両への取り付け位置としては、車
体屋根と側面もしくは屋根と後面の境界部分にすると、視野が広くなりカメラの
台数も少数で済む。
ている例を示している。図７の例のように、車両への取り付け位置としては、車
体屋根と側面もしくは屋根と後面の境界部分にすると、視野が広くなりカメラの
台数も少数で済む。
【００７６】
本発明によるキャリブレーション手段102 は、カメラキャリブレーションを行
う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについて
の、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角度
、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、前記カ
メラ特性を表すカメラパラメータを決定、補正することである。
う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについて
の、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角度
、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、前記カ
メラ特性を表すカメラパラメータを決定、補正することである。
【００７７】
本発明によるカメラパラメータテーブル103 は、キャリブレーション手段102
(処理の詳細は後述)によって得られたカメラパラメータを格納するテーブルであ
る。
(処理の詳細は後述)によって得られたカメラパラメータを格納するテーブルであ
る。
【００７８】
まず該カメラパラメータテーブル103 の詳細な説明の準備として、３次元空間
座標系を定義する。前出の図７は、車両にカメラを設置した様子を示した概念図
であるが、図７において車両を中心とする３次元空間座標系を示している。図７
の例では３次元空間座標系の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義し、また本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特にことわりがない限り、３
次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義によ
る３次元空間座標系を指すものとする。
座標系を定義する。前出の図７は、車両にカメラを設置した様子を示した概念図
であるが、図７において車両を中心とする３次元空間座標系を示している。図７
の例では３次元空間座標系の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義し、また本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特にことわりがない限り、３
次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義によ
る３次元空間座標系を指すものとする。
【００７９】
図９は、カメラパラメータテーブル103 に格納されているデータを表形式で示
したものである。図９に記載されている内容は、テーブルの左側の列から順に以
下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項目がカメ
ラパラメータの例を示している。
したものである。図９に記載されている内容は、テーブルの左側の列から順に以
下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項目がカメ
ラパラメータの例を示している。
【００８０】
１列目：図７の車載カメラの番号
２列目：３次元空間座標系におけるカメラ位置のＸ座標
３列目：３次元空間座標系におけるカメラ位置のＹ座標
４列目：３次元空間座標系におけるカメラ位置のＺ座標
５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α
６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β
７列目：３次元空間座標系におけるカメラの焦点距離
８列目：レンズの半径方向の歪み係数κ１
９列目：レンズの半径方向の歪み係数κ２
例えば、図７におけるカメラ１のパラメータは図９のカメラパラメータテーブ
ル103 の２行目に記載されており、その内容は、カメラ１は、座標(x1、y1、０)
の位置にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面に対して−３０度
の角度をなし、焦点距離はf1、レンズ歪み係数κ１、κ２はともに０である、と
いうことが分かる。
ル103 の２行目に記載されており、その内容は、カメラ１は、座標(x1、y1、０)
の位置にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面に対して−３０度
の角度をなし、焦点距離はf1、レンズ歪み係数κ１、κ２はともに０である、と
いうことが分かる。
【００８１】
同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル103 の８
行目に記載されており、その内容は、仮想カメラとは、座標(０、y1、０)の位置
にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の角度を
なし、焦点距離はf、レンズ歪み係数κ１、κ２はともに０である、ということ
が分かる。
行目に記載されており、その内容は、仮想カメラとは、座標(０、y1、０)の位置
にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の角度を
なし、焦点距離はf、レンズ歪み係数κ１、κ２はともに０である、ということ
が分かる。
【００８２】
この仮想カメラは、本発明に導入される概念である。すなわち従来の画像生成
装置では、実際に設置されているカメラから得られた画像のみしか表示できなか
ったが、本発明による画像生成装置では、後で詳述する空間再構成手段104 、視
点変換手段106 により、仮想のカメラを自由に設置し、その仮想カメラからの画
像を計算によって求めることが可能となる。該計算方法についても後で詳述する
。
装置では、実際に設置されているカメラから得られた画像のみしか表示できなか
ったが、本発明による画像生成装置では、後で詳述する空間再構成手段104 、視
点変換手段106 により、仮想のカメラを自由に設置し、その仮想カメラからの画
像を計算によって求めることが可能となる。該計算方法についても後で詳述する
。
【００８３】
本発明によるキャリブレーション手段102 は、カメラキャリブレーションを行
う。それはすなわち前記カメラパラメータを決定することであり、その決定方法
としては、例えばキーボードやマウスなどの入力装置によって全てのデータを人
手で直接入力する方法、キャリブレーションデータのいくつかを計算によって求
める方法などがある。
う。それはすなわち前記カメラパラメータを決定することであり、その決定方法
としては、例えばキーボードやマウスなどの入力装置によって全てのデータを人
手で直接入力する方法、キャリブレーションデータのいくつかを計算によって求
める方法などがある。
【００８４】
カメラパラメータとは、ある基準の座標系におけるカメラの取り付け位置およ
びカメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距
離などといった、前記カメラ特性を表すパラメータである。カメラで撮影した画
像の特徴点と、前記特徴点の前記基準座標系内での位置との対応関係が取れてい
る点の組が多数分かっていれば、前記パラメータを計算によって近似的に求める
ことが可能となる。つまり、カメラパラメータを計算によって求める場合、カメ
ラで撮影した画像の点と、その点の３次元空間座標系内での位置との対応関係が
取れている点の組が、複数個必要となる。その組が最低いくつ必要であるかは、
どのような計算方法を用いるかに依存する。例えば図９の例で用いたカメラパラ
メータを計算によって求める方法に関しては、文献「松山、久野、井宮、”コン
ピュータビジョン：技術評論と将来展望”、新技術コミュニケーションズ、pp.3
7-53、１９９８年６月」に開示されている。この他にもカメラパラメータを求め
る技術が、前記文献に多数開示されているので、ここでは該技術に関する説明は
省略する。
びカメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距
離などといった、前記カメラ特性を表すパラメータである。カメラで撮影した画
像の特徴点と、前記特徴点の前記基準座標系内での位置との対応関係が取れてい
る点の組が多数分かっていれば、前記パラメータを計算によって近似的に求める
ことが可能となる。つまり、カメラパラメータを計算によって求める場合、カメ
ラで撮影した画像の点と、その点の３次元空間座標系内での位置との対応関係が
取れている点の組が、複数個必要となる。その組が最低いくつ必要であるかは、
どのような計算方法を用いるかに依存する。例えば図９の例で用いたカメラパラ
メータを計算によって求める方法に関しては、文献「松山、久野、井宮、”コン
ピュータビジョン：技術評論と将来展望”、新技術コミュニケーションズ、pp.3
7-53、１９９８年６月」に開示されている。この他にもカメラパラメータを求め
る技術が、前記文献に多数開示されているので、ここでは該技術に関する説明は
省略する。
【００８５】
しかし、いずれの方法でカメラパラメータの計算をする場合においても、前記
対応関係の組をどのようにして見つけるかが問題となる。本発明では、前記対応
関係の取れた点の組を自動で作成し、その組を用いて計算によっていくつかのカ
メラパラメータを求める方法について開示していおり、該方法については後述す
る。
対応関係の組をどのようにして見つけるかが問題となる。本発明では、前記対応
関係の取れた点の組を自動で作成し、その組を用いて計算によっていくつかのカ
メラパラメータを求める方法について開示していおり、該方法については後述す
る。
【００８６】
また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
【００８７】
そこで、レンズの歪みの変化は、激しい温度変化がない限りは起こらないと仮
定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の対
応関係をあらかじめ計算しておく。そして前記計算結果をテーブルやマトリクス
などのデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。
定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の対
応関係をあらかじめ計算しておく。そして前記計算結果をテーブルやマトリクス
などのデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。
【００８８】
温度などによってレンズ歪みがどのように変化するかが予め分かっていれば、
そのデータは本発明による温度補正テーブル111 などの形式で持っておき、気温
の上昇や下降によってレンズ歪みに変化が生じた場合に、キャリブレーション手
段102 によって前記テーブルのデータを参照して補正する。
そのデータは本発明による温度補正テーブル111 などの形式で持っておき、気温
の上昇や下降によってレンズ歪みに変化が生じた場合に、キャリブレーション手
段102 によって前記テーブルのデータを参照して補正する。
【００８９】
図１０は本発明による温度補正テーブル111 の例を表形式で示した図である。
図１０に示すように、温度補正テーブル111 は、温度に応じて変化する前記カメ
ラパラメータの変化量をデータとして格納するもので、本例では、温度によって
、 ・レンズの焦点距離 (テーブル２列目) ・レンズ歪み係数κ１(テーブル３列目) ・レンズ歪み係数κ２(テーブル４列目) が変わる度合いのデータを格納した場合を示しており、テーブルの示す具体的な
内容は以下の通りである。
図１０に示すように、温度補正テーブル111 は、温度に応じて変化する前記カメ
ラパラメータの変化量をデータとして格納するもので、本例では、温度によって
、 ・レンズの焦点距離 (テーブル２列目) ・レンズ歪み係数κ１(テーブル３列目) ・レンズ歪み係数κ２(テーブル４列目) が変わる度合いのデータを格納した場合を示しており、テーブルの示す具体的な
内容は以下の通りである。
【００９０】
o 温度が０度以下のとき(テーブル２行目)
・現在のレンズの焦点距離にdf1を加える。
【００９１】
・現在のレンズ歪み係数にκ11を加える。
【００９２】
・現在のレンズ歪み係数にκ21を加える。
【００９３】
o 温度が４０度以上のとき(テーブル３行目)
・現在のレンズの焦点距離にdf2を加える。
【００９４】
・現在のレンズ歪み係数にκ12を加える。
【００９５】
・現在のレンズ歪み係数にκ22を加える。
【００９６】
本発明（請求項１４の一例）のキャリブレーション手段102では、各カメラ毎
に温度センサ110 の温度値を逐次観測し、必要に応じてカメラパラメータテーブ
ル103 の内容を更新する。
ル103 の内容を更新する。
【００９７】
図２２は、キャリブレーション手段102 において、温度によってカメラパラメ
ータテーブル103 の更新処理を行う手順をフローチャートの形式で示したもので
、図２２を用いてその詳細を説明する。
ータテーブル103 の更新処理を行う手順をフローチャートの形式で示したもので
、図２２を用いてその詳細を説明する。
【００９８】
但し、本例では図３に示したごとく、カメラ１台について、それに１台の温度
センサ110 が対になって付随しており、温度センサ110 で検知した温度が、カメ
ラのレンズ温度とほぼ等しいということを仮定する。
センサ110 が対になって付随しており、温度センサ110 で検知した温度が、カメ
ラのレンズ温度とほぼ等しいということを仮定する。
【００９９】
１．(1301)未チェックの温度センサ110 を一つ選択し、温度値を取得する。
【０１００】
２．(1302)前記温度値がカメラパラメータ補正を必要とするかどうかを確かめ
る。
る。
【０１０１】
図２２の例では、補正が必要な温度は、０度以下もしくは４０度以上である。
【０１０２】
３．(1303)もし補正が必要なら、温度補正テーブル111 からカメラパラメータ
補正値を取得し、該温度センサ110 に付随するカメラのカメラパラメータを更新
した結果を、カメラパラメータテーブル103 に書き込む。(1304)補正の必要がな
い場合は、レンズの焦点距離、歪み係数κ１、歪み係数κ２をすべて初期設定値
に戻した結果を、カメラパラメータテーブル103 に書き込む。
補正値を取得し、該温度センサ110 に付随するカメラのカメラパラメータを更新
した結果を、カメラパラメータテーブル103 に書き込む。(1304)補正の必要がな
い場合は、レンズの焦点距離、歪み係数κ１、歪み係数κ２をすべて初期設定値
に戻した結果を、カメラパラメータテーブル103 に書き込む。
【０１０３】
４．(1305)全ての温度センサ110 について、上記１から３までの処理を終了し
ていれば、カメラパラメータテーブル103 更新処理を終了する。まだ未チェック
の温度センサ110 があれば、該温度センサ110 について、上記１から３までの処
理を実行する。
ていれば、カメラパラメータテーブル103 更新処理を終了する。まだ未チェック
の温度センサ110 があれば、該温度センサ110 について、上記１から３までの処
理を実行する。
【０１０４】
図１１は、図１０の例の温度補正テーブル111 を用いて書き換えられたカメラ
パラメータテーブル103 の例である。図１１の例では、カメラ１、カメラ２のみ
が、ある時点に直射日光を受けるなどして４０度以上の温度となり、それ以外は
０度から４０度未満の温度値を保っている場合を示している。図１１のカメラパ
ラメータテーブル103 から分かる通り、カメラ１およびカメラ２のカメラパラメ
ータが、温度が４０度以上の場合の温度補正処理によって、 ・レンズの焦点距離は df1 増加 ・レンズ歪み係数κ１は κ12 増加 ・レンズ歪み係数κ２２ κ22 増加 していることが分かる。なお、前述の仮想カメラに関しては、温度によって焦点
距離やレンズ歪みが変化しない理想的なレンズとすることが可能であるので、本
補正処理の対象外とする。
パラメータテーブル103 の例である。図１１の例では、カメラ１、カメラ２のみ
が、ある時点に直射日光を受けるなどして４０度以上の温度となり、それ以外は
０度から４０度未満の温度値を保っている場合を示している。図１１のカメラパ
ラメータテーブル103 から分かる通り、カメラ１およびカメラ２のカメラパラメ
ータが、温度が４０度以上の場合の温度補正処理によって、 ・レンズの焦点距離は df1 増加 ・レンズ歪み係数κ１は κ12 増加 ・レンズ歪み係数κ２２ κ22 増加 していることが分かる。なお、前述の仮想カメラに関しては、温度によって焦点
距離やレンズ歪みが変化しない理想的なレンズとすることが可能であるので、本
補正処理の対象外とする。
【０１０５】
また本例では、設置されるカメラのレンズがすべて同じ温度補正特性を持つも
のと仮定した場合を示しているが、実際には異なる特性を持つレンズが取付けら
れている場合もある。そのような場合は、カメラごとに独立してテーブルを持っ
ておき、温度補正対象となるカメラに応じてテーブルを使い分ければ良い。
のと仮定した場合を示しているが、実際には異なる特性を持つレンズが取付けら
れている場合もある。そのような場合は、カメラごとに独立してテーブルを持っ
ておき、温度補正対象となるカメラに応じてテーブルを使い分ければ良い。
【０１０６】
前記カメラのレンズの材料としては、ガラスの他にプラスチックを用いること
も出来るが、プラスチックは温度変化に対して変形が激しいのが通常である。し
かし、上述したような補正により対応することができる。
も出来るが、プラスチックは温度変化に対して変形が激しいのが通常である。し
かし、上述したような補正により対応することができる。
【０１０７】
本発明による空間再構成手段104 は、キャリブレーション手段102 によって計
算されたカメラパラメータに基づいて、前記カメラからの入力画像を構成する各
々の画素を３次元空間の点に対応づけた空間データを作成する。すなわち、空間
再構成手段104 では、カメラから撮影された画像に含まれる各々の物体が、３次
元空間のどこに存在するかを計算し、その計算結果としての空間データを空間デ
ータバッファ105 に格納する。
算されたカメラパラメータに基づいて、前記カメラからの入力画像を構成する各
々の画素を３次元空間の点に対応づけた空間データを作成する。すなわち、空間
再構成手段104 では、カメラから撮影された画像に含まれる各々の物体が、３次
元空間のどこに存在するかを計算し、その計算結果としての空間データを空間デ
ータバッファ105 に格納する。
【０１０８】
なお、前記カメラからの入力画像を構成するそれぞれの画素のすべてを利用し
て空間データを構成する必要はない。たとえば入力画像に水平線により上に位置
する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面に
マッピングする必要はない。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間デ
ータにマッピングすることにより処理を高速化することも考えられる。
て空間データを構成する必要はない。たとえば入力画像に水平線により上に位置
する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面に
マッピングする必要はない。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間デ
ータにマッピングすることにより処理を高速化することも考えられる。
【０１０９】
さて、カメラで撮影された画像を構成する各々の画素の位置は、一般的にＣＣ
Ｄ画像面を含むＵ−Ｖ平面上の座標として表される。従って、入力画像を構成す
る各々の画素をワールド座標系の点に対応づけるためには、カメラで撮影された
画像の存在するＵ−Ｖ平面の点をワールド座標系内の点に対応づける計算式を求
めれば良い。
Ｄ画像面を含むＵ−Ｖ平面上の座標として表される。従って、入力画像を構成す
る各々の画素をワールド座標系の点に対応づけるためには、カメラで撮影された
画像の存在するＵ−Ｖ平面の点をワールド座標系内の点に対応づける計算式を求
めれば良い。
【０１１０】
図８は、カメラで撮影された画像を含む平面(以下、視平面)に設定したＵ−Ｖ
座標系の点と、３次元空間座標系の点との対応づけの関係の例を表した概念図で
ある。図８の例に従うと該対応づけは以下の手順で行われる。
座標系の点と、３次元空間座標系の点との対応づけの関係の例を表した概念図で
ある。図８の例に従うと該対応づけは以下の手順で行われる。
【０１１１】
１．視平面が Ｚ＝ｆ(カメラの焦点距離)で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ(Ｏeを原点
とする)。
心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ(Ｏeを原点
とする)。
【０１１２】
２．図８における点Ｐeの視平面座標系での座標をＰe(Ｘe,Ｙe,Ｚe)とし、そ
の点が視平面に投影されたときのの点(この点がカメラ撮影画像の一画素に対応
する)の座標をＰv(u,v)とすると、ＰeとＰvの関係は、カメラの焦点距離ｆを用
いて、式(1)式(2)のように表すことが出来る。
の点が視平面に投影されたときのの点(この点がカメラ撮影画像の一画素に対応
する)の座標をＰv(u,v)とすると、ＰeとＰvの関係は、カメラの焦点距離ｆを用
いて、式(1)式(2)のように表すことが出来る。
【０１１３】
【式１】
【０１１４】
【式２】
【０１１５】
前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。
面座標系における座標を決めることができる。
【０１１６】
３．視平面座標系とワールド座標系の位置関係および向き関係を求める。ここ
でワールド座標系を中心にして、視平面座標系が空間的に以下のような関係にあ
るとする。
でワールド座標系を中心にして、視平面座標系が空間的に以下のような関係にあ
るとする。
【０１１７】
・視平面座標系原点Ｏeからワールド座標系原点Ｏwへのベクトルを(ｔx,ｔy,
ｔz)とする。つまり２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平行移
動することによって無くなる。
ｔz)とする。つまり２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平行移
動することによって無くなる。
【０１１８】
・視平面座標系とワールド座標系の向きの関係は、図７の例における車両を中
心とした座標系(ワールド座標系に対応)と、車載カメラ(視平面座標系に対応)と
同じ関係になるようにすると、視平面座標系は、 「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」 「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」 とすることができる。但し、ここではカメラのレンズの光軸周りの回転はないも
のと仮定している。この場合、ある点をワールド座標系でＰw(Ｘw,Ｙw,Ｚw)で表
し、また、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、
Ｐw(Ｘw,Ｙw,Ｚw)、(ｔx,ｔy,ｔz)、α、β の間には式(3)の関係が成り立つ。
心とした座標系(ワールド座標系に対応)と、車載カメラ(視平面座標系に対応)と
同じ関係になるようにすると、視平面座標系は、 「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」 「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」 とすることができる。但し、ここではカメラのレンズの光軸周りの回転はないも
のと仮定している。この場合、ある点をワールド座標系でＰw(Ｘw,Ｙw,Ｚw)で表
し、また、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、
Ｐw(Ｘw,Ｙw,Ｚw)、(ｔx,ｔy,ｔz)、α、β の間には式(3)の関係が成り立つ。
【０１１９】
【式３】
【０１２０】
以上で、視平面上での画素Ｐv(u,v)と、ワールド座標系での座標Ｐw(Ｘw,Ｙw,
Ｚw)を式(1)式(2)式(3)によって対応づけることが出来た。
Ｚw)を式(1)式(2)式(3)によって対応づけることが出来た。
【０１２１】
前記３つの式において未知の変数は、「ｔx,ｔy,ｔz,α,β,ｆ」の６つである
ので、視平面上での画素Ｐv(u,v)と、ワールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)
の対応関係が既知の点の組が最低２組あれば、上記の未知変数は求められる。
ので、視平面上での画素Ｐv(u,v)と、ワールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)
の対応関係が既知の点の組が最低２組あれば、上記の未知変数は求められる。
【０１２２】
しかしながら、対応関係が既知である組のそれぞれの座標の計測には位置ずれ
を含むことが多く、計算結果には誤差が生じる場合がほとんどである。
を含むことが多く、計算結果には誤差が生じる場合がほとんどである。
【０１２３】
そこで通常は、多数の組を計測して作った連立方程式を最小二乗法で解くなど
の方法が用いられる。なお、カメラの位置と向きが視平面座標系と一致するので
、すでにカメラパラメータが求まっていれば本処理３．を実行する必要はない。
の方法が用いられる。なお、カメラの位置と向きが視平面座標系と一致するので
、すでにカメラパラメータが求まっていれば本処理３．を実行する必要はない。
【０１２４】
４．ｔx,ｔy,ｔz,α,β,f の値が求まっている式(1)式(2)式(3)を用いて、ワ
ールド座標系のそれぞれの点Ｐw(Ｘw,Ｙw,Ｚw)を、視平面の点Ｐv(u,v)と対応づ
ける。
ールド座標系のそれぞれの点Ｐw(Ｘw,Ｙw,Ｚw)を、視平面の点Ｐv(u,v)と対応づ
ける。
【０１２５】
上記１〜４までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の点として対応づけることが可能
となる。
カメラからの画像を、同じ一つの３次元空間内の点として対応づけることが可能
となる。
【０１２６】
本発明による空間データは、かかる計算式によって対応づけされたデータで、
図１２は、該空間データを格納する本発明による空間データバッファ105 の記述
例を表の形式で示したものである。空間データバッファ105 には、カメラ画像の
点と空間内の点との対応づけデータが格納される。図１２の例では１行目を除く
各行に一つの空間データが記述されており、それぞれの空間データを構成する情
報としての各列に以下の内容を含んでいる。
図１２は、該空間データを格納する本発明による空間データバッファ105 の記述
例を表の形式で示したものである。空間データバッファ105 には、カメラ画像の
点と空間内の点との対応づけデータが格納される。図１２の例では１行目を除く
各行に一つの空間データが記述されており、それぞれの空間データを構成する情
報としての各列に以下の内容を含んでいる。
【０１２７】
１列目：ワールド座標系で他の点と区別するための番号(ここでは説明の便宜
上Ａとした) ２列目：ワールド座標系での点のＸ座標 ３列目：ワールド座標系での点のＹ座標 ４列目：ワールド座標系での点のＺ座標 ５列目：前記点を含む画像が、どのカメラから撮影したものかを区別するフラ
グ ６列目：前記画像を含む視平面座標系での点のＵ座標 ７列目：前記画像を含む視平面座標系での点のＶ座標 ８列目：前記画像を含む視平面座標系での点の色のＲ成分(例えば０〜２５５
階調で量子化) ９列目：前記画像を含む視平面座標系での点の色のＧ成分(例えば０〜２５５
階調で量子化) １０列目：前記画像を含む視平面座標系での点の色のＢ成分(例えば０〜２５
５階調で量子化) １１列目：該空間データが取得された時刻 以下で空間データの記述内容を例を用いて説明するが、ここで図１３〜図１５
を説明の補助として用いる。
上Ａとした) ２列目：ワールド座標系での点のＸ座標 ３列目：ワールド座標系での点のＹ座標 ４列目：ワールド座標系での点のＺ座標 ５列目：前記点を含む画像が、どのカメラから撮影したものかを区別するフラ
グ ６列目：前記画像を含む視平面座標系での点のＵ座標 ７列目：前記画像を含む視平面座標系での点のＶ座標 ８列目：前記画像を含む視平面座標系での点の色のＲ成分(例えば０〜２５５
階調で量子化) ９列目：前記画像を含む視平面座標系での点の色のＧ成分(例えば０〜２５５
階調で量子化) １０列目：前記画像を含む視平面座標系での点の色のＢ成分(例えば０〜２５
５階調で量子化) １１列目：該空間データが取得された時刻 以下で空間データの記述内容を例を用いて説明するが、ここで図１３〜図１５
を説明の補助として用いる。
【０１２８】
図１３〜図１５は、ワールド座標系内の平面としての路面上の特徴点と、車両
に設置したカメラで撮影した画像上での特徴点との対応関係を示す図で、図１３
は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との位置関係を上部からみた概念
図、図１４は、図１５の車載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影
した画像を表す概念図、図１５は、図１３の車載カメラ２で前記特徴点Ｃ、Ｄ、
Ｅを含む路面を撮影した画像を表す概念図である。そして、図１２の例の空間デ
ータバッファ105 には、図１３〜図１５に記された５つの特徴点Ａ、Ｂ、Ｃ、Ｄ
、Ｅが空間データの例として記述されている。
に設置したカメラで撮影した画像上での特徴点との対応関係を示す図で、図１３
は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との位置関係を上部からみた概念
図、図１４は、図１５の車載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影
した画像を表す概念図、図１５は、図１３の車載カメラ２で前記特徴点Ｃ、Ｄ、
Ｅを含む路面を撮影した画像を表す概念図である。そして、図１２の例の空間デ
ータバッファ105 には、図１３〜図１５に記された５つの特徴点Ａ、Ｂ、Ｃ、Ｄ
、Ｅが空間データの例として記述されている。
【０１２９】
まず、図１３、図１４における特徴点Ａに着目する。前述の空間再構成手段10
4 による対応づけ処理によって、図１３のワールド座標系上の点Ａと図１４の視
平面座標系上の点Ａが対応づけられているものとすると、図１２の表の３行目が
図１３、図１４における特徴点Ａに相当する空間データの例である。
4 による対応づけ処理によって、図１３のワールド座標系上の点Ａと図１４の視
平面座標系上の点Ａが対応づけられているものとすると、図１２の表の３行目が
図１３、図１４における特徴点Ａに相当する空間データの例である。
【０１３０】
すなわちワールド座標系上の点Ａは、座標(Ｘ3,０,Ｚ2)であり、それをカメラ
１から撮影したときには、撮像画像上での点Ａの座標は(Ｕ1,Ｖ1)で色はＲＧＢ
順に(８０,８０,８０)であり、本データが作成された時刻は t1 である、という
意味である。
１から撮影したときには、撮像画像上での点Ａの座標は(Ｕ1,Ｖ1)で色はＲＧＢ
順に(８０,８０,８０)であり、本データが作成された時刻は t1 である、という
意味である。
【０１３１】
もし、ワールド座標系の点が、複数台のカメラから観測されたときは、それぞ
れを独立した空間データとして空間データバッファ105 に格納する。例えば、図
１３〜図１５における点Ｃがその例に相当する。点Ｃは、図１４、図１５からも
明らかなように、図１３における２台のカメラ、すなわち、カメラ１およびカメ
ラ２から観測されている。
れを独立した空間データとして空間データバッファ105 に格納する。例えば、図
１３〜図１５における点Ｃがその例に相当する。点Ｃは、図１４、図１５からも
明らかなように、図１３における２台のカメラ、すなわち、カメラ１およびカメ
ラ２から観測されている。
【０１３２】
そして、カメラ１での観測結果をもとに作成された空間データ、すなわち図１
２の７行目の空間データは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を持
ち、点Ｃをカメラ１から撮影したときには、撮像画像上での点Ｃの座標は(Ｕ3,
Ｖ3)で色はＲＧＢ順に(１４０,１４０,１４０)で、本データが作成された時刻
は t1 である。
２の７行目の空間データは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を持
ち、点Ｃをカメラ１から撮影したときには、撮像画像上での点Ｃの座標は(Ｕ3,
Ｖ3)で色はＲＧＢ順に(１４０,１４０,１４０)で、本データが作成された時刻
は t1 である。
【０１３３】
一方、カメラ２での観測結果をもとに作成された空間データ、すなわち図１２
の８行目の空間データは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を持ち
、点Ｃをカメラ２から撮影したときには、撮像画像上での点Ｃの座標は(Ｕ4，Ｖ
4)で色はＲＧＢ順に(１５０,１５０,１５０)で、本データが作成された時刻は t
1 である。
の８行目の空間データは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を持ち
、点Ｃをカメラ２から撮影したときには、撮像画像上での点Ｃの座標は(Ｕ4，Ｖ
4)で色はＲＧＢ順に(１５０,１５０,１５０)で、本データが作成された時刻は t
1 である。
【０１３４】
かくのごとく、各カメラで撮影された画像の各々の画素がワールド座標系の点
に対応づけ情報が、空間データという形式で空間データバッファ105 に格納され
る。
に対応づけ情報が、空間データという形式で空間データバッファ105 に格納され
る。
【０１３５】
本発明による視点変換手段106 は、空間再構成手段104 によって作成された空
間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。
その方法の概要は、空間再構成手段104 で行った処理の逆の処理を行うことであ
る。すなわち、空間再構成手段104 によって形成されたワールド座標系の点Ｐw(
Ｘw,Ｙw,Ｚw)を、任意の視点にカメラを設置して撮影した画像面Ｐv(u,v)に投影
する変換を求めることに相当する。
間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。
その方法の概要は、空間再構成手段104 で行った処理の逆の処理を行うことであ
る。すなわち、空間再構成手段104 によって形成されたワールド座標系の点Ｐw(
Ｘw,Ｙw,Ｚw)を、任意の視点にカメラを設置して撮影した画像面Ｐv(u,v)に投影
する変換を求めることに相当する。
【０１３６】
従って、この変換を計算する式は、先に詳述した式(1)式(2)および式(3)の逆
変換に相当する式(4)で表すことが可能である。
変換に相当する式(4)で表すことが可能である。
【０１３７】
【式４】
【０１３８】
すなわちＰw(Ｘw,Ｙw,Ｚw)を入力し前記３つの式によってＰv(u,v)を計算する
。この計算では、カメラのカメラパラメータ「ｔx,ｔy,ｔz,α,β,ｆ」は任意の
所望の値を指定できる。つまりそれは所望の視点に所望の角度でカメラを置くこ
とができることを意味する。この際、前記任意視点にカメラを置いて見たときの
画像を投影する画面上で、個々の画素の色をどのように表現するかが問題となる
。
。この計算では、カメラのカメラパラメータ「ｔx,ｔy,ｔz,α,β,ｆ」は任意の
所望の値を指定できる。つまりそれは所望の視点に所望の角度でカメラを置くこ
とができることを意味する。この際、前記任意視点にカメラを置いて見たときの
画像を投影する画面上で、個々の画素の色をどのように表現するかが問題となる
。
【０１３９】
しかしながら、本発明（請求項５、請求項６、請求項７に対応する）では、３
つの場合の色の表現方法を開示している。該方法の内容を、３つの場合に応じて
以下に説明する。
つの場合の色の表現方法を開示している。該方法の内容を、３つの場合に応じて
以下に説明する。
【０１４０】
(1) 前記視点から見た３次元空間内のある点Ｐが、ただ一つのカメラで撮影し
た画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たと
きの色は、前記カメラで点Ｐを見たときの色を用いて決める。最も単純な方法は
同じ色で置き換える方法であるが、点Ｐを観測しているカメラと設定した視点位
置・方向との関係から計算によって求めてもよい。
た画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たと
きの色は、前記カメラで点Ｐを見たときの色を用いて決める。最も単純な方法は
同じ色で置き換える方法であるが、点Ｐを観測しているカメラと設定した視点位
置・方向との関係から計算によって求めてもよい。
【０１４１】
(2) 前記視点から見た３次元空間内のある点Ｐが、複数台のカメラで撮影した
画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たとき
の色は、前記複数台のカメラで点Ｐを見たときの色を用いて何らかの計算をし、
得られた結果としての色で決めるものとする。前記計算の方法としてはいくつか
考えられるが、例えば、 ・全ての色を同じ割合で混合する ・最も明度の高いもしくは低いもしくは中間の色を取得する ・最も再度の高いもしくは低いもしくは中間の色を取得する などの方法がある。
画像と対応づけられている場合：この場合は、設定した視点から点Ｐを見たとき
の色は、前記複数台のカメラで点Ｐを見たときの色を用いて何らかの計算をし、
得られた結果としての色で決めるものとする。前記計算の方法としてはいくつか
考えられるが、例えば、 ・全ての色を同じ割合で混合する ・最も明度の高いもしくは低いもしくは中間の色を取得する ・最も再度の高いもしくは低いもしくは中間の色を取得する などの方法がある。
【０１４２】
(3) 前記視点から見た３次元空間内のある点Ｐが、いずれのカメラで撮影した
画像とも対応づけられていない場合：この場合は、設定した視点から点Ｐを見た
ときの色は、点Ｐの周囲の点の色を用いて補間した色を計算で求めるか、もしく
は、物体が存在しない部分であると識別可能な色、例えば黒に置き換えるなどす
ればよい。
画像とも対応づけられていない場合：この場合は、設定した視点から点Ｐを見た
ときの色は、点Ｐの周囲の点の色を用いて補間した色を計算で求めるか、もしく
は、物体が存在しない部分であると識別可能な色、例えば黒に置き換えるなどす
ればよい。
【０１４３】
本発明の最も大きな特徴は、該視点変換手段106 によって、車両に設置されて
いない仮想のカメラからの画像を自由に再現できることにある。
いない仮想のカメラからの画像を自由に再現できることにある。
【０１４４】
例えば図１６〜図１９は、ワールド座標系内の路面上の特徴点を車両に設置し
たカメラで撮影した画像を用いて、適当な視点に仮想カメラを置いたときの画像
を合成した例を示した概念図で、図１６は、路面上の特徴点Ａ、Ｂ、Ｃと車両と
の位置関係を上部からみた概念図、図１７は、図１６の車載カメラ１で前記特徴
点Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８は、図１６の車載カメ
ラ２で前記特徴点Ｂ、Ｃを含む路面を撮影した画像を表す概念図、図１９は、図
１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明による視
点変換手段106 によって仮想カメラから見た画像を合成した様子を表す概念図で
ある。
たカメラで撮影した画像を用いて、適当な視点に仮想カメラを置いたときの画像
を合成した例を示した概念図で、図１６は、路面上の特徴点Ａ、Ｂ、Ｃと車両と
の位置関係を上部からみた概念図、図１７は、図１６の車載カメラ１で前記特徴
点Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８は、図１６の車載カメ
ラ２で前記特徴点Ｂ、Ｃを含む路面を撮影した画像を表す概念図、図１９は、図
１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明による視
点変換手段106 によって仮想カメラから見た画像を合成した様子を表す概念図で
ある。
【０１４５】
また図２０（ａ）は、前記仮想カメラの設置場所の例として、車両のほぼ中心
の上方にカメラを下向きに設置した場合を示した概念図である。この例のごとく
仮想カメラを設置した場合、仮想カメラで撮影された画像は車両の周囲の様子を
表すものとなる。あくまで、前記合成画像を構成する画像は、車載カメラによっ
て撮影されたものであるので、図７に示されたような配置の車載カメラ周囲を撮
影した場合、どのカメラ画像にも車体の屋根が含まれていない。
の上方にカメラを下向きに設置した場合を示した概念図である。この例のごとく
仮想カメラを設置した場合、仮想カメラで撮影された画像は車両の周囲の様子を
表すものとなる。あくまで、前記合成画像を構成する画像は、車載カメラによっ
て撮影されたものであるので、図７に示されたような配置の車載カメラ周囲を撮
影した場合、どのカメラ画像にも車体の屋根が含まれていない。
【０１４６】
しかしながら、前記車体の屋根のように、存在場所や形状、色に関する情報の
分かっている物体については、予めそれらの情報をシステムに蓄積しておき、そ
れらの情報を必要に応じて用いれば、より違和感の少ない画像を合成することが
可能となる。
分かっている物体については、予めそれらの情報をシステムに蓄積しておき、そ
れらの情報を必要に応じて用いれば、より違和感の少ない画像を合成することが
可能となる。
【０１４７】
なお、図２０（ｂ）は仮想カメラを車の前方斜め上方に配置し、そこから車を
見る例を示す斜視図である。このように、仮想カメラは真上に限らず、斜めから
車を見るようにすることもできる。図２０（ｃ）はその図２０（ｂ）を利用して
作成した画像の合成図である。斜め上方から見た感じが現れている。
見る例を示す斜視図である。このように、仮想カメラは真上に限らず、斜めから
車を見るようにすることもできる。図２０（ｃ）はその図２０（ｂ）を利用して
作成した画像の合成図である。斜め上方から見た感じが現れている。
【０１４８】
本発明による空間データ変換手段114 は、本発明の請求項１に記載の画像生成
装置を車両に適用する場合に必要となる手段である。
装置を車両に適用する場合に必要となる手段である。
【０１４９】
一般的に車載カメラは、より良い視野を得るために通常車体上部に設置されて
いることが多い。ところが車体の形状が、例えば車体外部に向って凸面なカーブ
を形成しているような場合では、このような車体上部に位置するカメラで撮影し
た画像は、車体のすぐ周囲の路面部分は死角になる場合がほとんどである。
いることが多い。ところが車体の形状が、例えば車体外部に向って凸面なカーブ
を形成しているような場合では、このような車体上部に位置するカメラで撮影し
た画像は、車体のすぐ周囲の路面部分は死角になる場合がほとんどである。
【０１５０】
この問題を解決する単純な方法は、車体下部にもカメラを設置することである
が、カメラを追加することによって余分なコストが必要となる。本発明による前
記空間データ変換手段114 は車体下部などにカメラを追加せずに前記問題を解決
する。もっともその解決には、車が移動することが前提である。
が、カメラを追加することによって余分なコストが必要となる。本発明による前
記空間データ変換手段114 は車体下部などにカメラを追加せずに前記問題を解決
する。もっともその解決には、車が移動することが前提である。
【０１５１】
図２３は、空間データ変換手段114 における処理の手順をフローチャートの形
式で示したもの、図２４は、空間データ変換手段114 の説明の補助に用いる概念
図である。図２４は、ある一定時間の間に車両が移動したとき、前記一定時間の
開始時刻(以下t1)と終了時刻(以下t2)における車両の位置、および向きの関係を
示している。図２３および図２４を用いてカメラから死角となる部分の画像を合
成する手順を説明する。
式で示したもの、図２４は、空間データ変換手段114 の説明の補助に用いる概念
図である。図２４は、ある一定時間の間に車両が移動したとき、前記一定時間の
開始時刻(以下t1)と終了時刻(以下t2)における車両の位置、および向きの関係を
示している。図２３および図２４を用いてカメラから死角となる部分の画像を合
成する手順を説明する。
【０１５２】
１．(1401) ある一定時間における車両の移動距離を検出する。本例では移動
距離は、時刻t1 と時刻t2 のそれぞれの時刻における車両位置の間の直線距離で
定義する。すなわち図２４におけるＯ1とＯ2の距離ということになる。
距離は、時刻t1 と時刻t2 のそれぞれの時刻における車両位置の間の直線距離で
定義する。すなわち図２４におけるＯ1とＯ2の距離ということになる。
【０１５３】
説明の都合上、図２４に記載のように、移動距離をＯ1からＯ2へのベクトルを
(t'x,0, t'z)で表す。移動距離の検出方法としては、例えばタイヤの回転数など
によって計測する方法が用いられる。
(t'x,0, t'z)で表す。移動距離の検出方法としては、例えばタイヤの回転数など
によって計測する方法が用いられる。
【０１５４】
２．(1402) 前記一定時間における車両の移動方向を検出する。本例では移動
方向を、時刻t1における車両の向きに対して時刻t2における車両の向きがどれだ
け変化したかの変化量として定義する。説明の都合上、図２４に記載のように、
向きの変化量をＺ1軸とＺ2軸とのなす角度Θで表す。移動方向の検出方法として
は、例えばハンドルの回転角度などによって計測する方法が用いられる。
方向を、時刻t1における車両の向きに対して時刻t2における車両の向きがどれだ
け変化したかの変化量として定義する。説明の都合上、図２４に記載のように、
向きの変化量をＺ1軸とＺ2軸とのなす角度Θで表す。移動方向の検出方法として
は、例えばハンドルの回転角度などによって計測する方法が用いられる。
【０１５５】
３．(1403) 時刻t1から時刻t2に至る間の車両の移動距離および移動方向を用
いて、ｔ1において取得した空間データをｔ2における空間データに変換する式(
５)を作成する。但し式(５)では時刻t1 から時刻t2に至る間の車両移動において
は、完全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定して
いる。
いて、ｔ1において取得した空間データをｔ2における空間データに変換する式(
５)を作成する。但し式(５)では時刻t1 から時刻t2に至る間の車両移動において
は、完全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定して
いる。
【０１５６】
【式５】
【０１５７】
式(５)において、x1, y1, z1 は、時刻t1において車体を中心にしたＸ1-Ｙ1-
Ｚ1ワールド座標系(原点Ｏ1)におけるある点の座標で、x2, y2, z2 は、前記点
の時刻t2において車体を中心にしたＸ2-Ｙ2-Ｚ2ワールド座標系(原点Ｏ2)におけ
る座標を表す。つまり x1, y1, z1 を式(５)の右辺に代入して計算した結果が x
2, y2, z2 となる。
Ｚ1ワールド座標系(原点Ｏ1)におけるある点の座標で、x2, y2, z2 は、前記点
の時刻t2において車体を中心にしたＸ2-Ｙ2-Ｚ2ワールド座標系(原点Ｏ2)におけ
る座標を表す。つまり x1, y1, z1 を式(５)の右辺に代入して計算した結果が x
2, y2, z2 となる。
【０１５８】
４．(1404)式(５)を用いて、時刻t1において合成した空間データを、時刻t2に
おける空間データに変換する。作成した後の空間データについては、どのカメラ
から見たかについての情報は必要ないので、図１２の表において、５から７列目
のデータは空白にしておいてよい。すなわち、時刻t1 における空間データのう
ち、上記計算で書き換えられるのは図１２の表において１から４列目のみで、８
から１１列目のデータはそのまま利用する。
おける空間データに変換する。作成した後の空間データについては、どのカメラ
から見たかについての情報は必要ないので、図１２の表において、５から７列目
のデータは空白にしておいてよい。すなわち、時刻t1 における空間データのう
ち、上記計算で書き換えられるのは図１２の表において１から４列目のみで、８
から１１列目のデータはそのまま利用する。
【０１５９】
ここで問題となるのは、かくのごとく現在時間の空間データに過去の空間デー
タを加えていくと、限りある空間データバッファ105 のオーバーフローがいつか
は生じることである。この問題に対して本発明による空間データバッファ105 で
は、各空間データは該データの作成時刻の情報を持っているので、現在時刻から
溯って一定時間以上過去のデータは消去するようにすれば良い。
タを加えていくと、限りある空間データバッファ105 のオーバーフローがいつか
は生じることである。この問題に対して本発明による空間データバッファ105 で
は、各空間データは該データの作成時刻の情報を持っているので、現在時刻から
溯って一定時間以上過去のデータは消去するようにすれば良い。
【０１６０】
本発明による特徴点生成手段109 は、カメラの視野内に３次元座標の同定が可
能な複数個の点を生成する。そして、本発明による特徴点抽出手段108は、前記
生成された特徴点を抽出する。図２１は、特徴点生成手段109 、特徴点および特
徴点抽出手段108の実施例を示す概念図である。
能な複数個の点を生成する。そして、本発明による特徴点抽出手段108は、前記
生成された特徴点を抽出する。図２１は、特徴点生成手段109 、特徴点および特
徴点抽出手段108の実施例を示す概念図である。
【０１６１】
図２１(a)は、特徴点生成手段109 としてのパターン光照射装置を車体側面上
部に取付けた実施例で、本例では、ワールド座標系内の平面としての車両の周囲
の路面に、長方形のパターンを格子状に照射する場合を示している。
部に取付けた実施例で、本例では、ワールド座標系内の平面としての車両の周囲
の路面に、長方形のパターンを格子状に照射する場合を示している。
【０１６２】
図２１(b)は、該パターン光照射装置を車体上部に数箇所取り付けて、路面に
パターン光を照射した状態を車両上部から見た例である。
パターン光を照射した状態を車両上部から見た例である。
【０１６３】
図２１(c)はかくのごとく方法で路面に照射された長方形のパターン光をカメ
ラから撮影した様子を示した例である。特徴点は、パターン光照射で作成された
長方形の角や中心などの特徴を表すいくつかの点を用いれば良い。
ラから撮影した様子を示した例である。特徴点は、パターン光照射で作成された
長方形の角や中心などの特徴を表すいくつかの点を用いれば良い。
【０１６４】
図２１(c)では、PI-1 から PI-8 が特徴点の例である。前記特徴点はワールド
座標系における座標が既知であると設定することが可能である。またこれらの特
徴点は、視平面座標系での座標位置も既知で、ワールド座標系と視平面座標系で
の対応関係が取れている。従って前述の式(1)式(2)および式(3)を用いれば、本
発明によるキャリブレーション手段102 によってカメラパラメータ ｔx,ｔy,ｔz
,α,β,f を計算することが可能となる。
座標系における座標が既知であると設定することが可能である。またこれらの特
徴点は、視平面座標系での座標位置も既知で、ワールド座標系と視平面座標系で
の対応関係が取れている。従って前述の式(1)式(2)および式(3)を用いれば、本
発明によるキャリブレーション手段102 によってカメラパラメータ ｔx,ｔy,ｔz
,α,β,f を計算することが可能となる。
【０１６５】
本発明による補正指示手段は、本発明の請求項１に記載の画像生成装置を車両
に適用する場合に必要となる手段で、該補正指示手段では、カメラのキャリブレ
ーションが必要な状況を検知し、キャリブレーションが必要である場合に、運転
者にカメラキャリブレーションを指示する。また本発明による補正履歴記録手段
115 では、キャリブレーションが必要な状況を検知するために必要なデータとし
て、カメラキャリブレーションを行った日時および走行距離を記録する。
に適用する場合に必要となる手段で、該補正指示手段では、カメラのキャリブレ
ーションが必要な状況を検知し、キャリブレーションが必要である場合に、運転
者にカメラキャリブレーションを指示する。また本発明による補正履歴記録手段
115 では、キャリブレーションが必要な状況を検知するために必要なデータとし
て、カメラキャリブレーションを行った日時および走行距離を記録する。
【０１６６】
図２５は、補正履歴の記録を確認し、必要に応じて補正指示を出す処理の手順
をフローチャートの形式で示したものである。
をフローチャートの形式で示したものである。
【０１６７】
１．(1601)前回カメラのキャリブレーションを行った日時から、現在までの経
過時間までを計算する。
過時間までを計算する。
【０１６８】
２．(1602)あらかじめ設定しておいた所定の時間に対して、前記経過時間の方
が大きければ、(1605)カメラ補正指示手段116 にてカメラキャリブレーションを
実施するように運転者に指示し、処理を終了する。但し、前記指示によって運転
者がカメラキャリブレーションを実施したら、補正履歴の記録を更新しておく。
前記所定の時間に対して、前記経過時間の方が小さければ、次の処理３に進む。
が大きければ、(1605)カメラ補正指示手段116 にてカメラキャリブレーションを
実施するように運転者に指示し、処理を終了する。但し、前記指示によって運転
者がカメラキャリブレーションを実施したら、補正履歴の記録を更新しておく。
前記所定の時間に対して、前記経過時間の方が小さければ、次の処理３に進む。
【０１６９】
３．(1603)前回カメラのキャリブレーションを行った時から現在までの総走行
距離を計算する。
距離を計算する。
【０１７０】
４．(1604)あらかじめ設定しておいた所定の距離に対して、前記走行距離の方
が大きければ、(1605)カメラ補正指示手段116 にてカメラキャリブレーションを
実施するように運転者に指示し、処理を終了する。但し、前記指示によって運転
者がカメラキャリブレーションを実施したら、補正履歴の記録を更新しておく。
前記所定の距離に対して、前記走行距離の方が小さければ、カメラキャリブレー
ションに関する指示は、運転者に出さず、処理を終了する。
が大きければ、(1605)カメラ補正指示手段116 にてカメラキャリブレーションを
実施するように運転者に指示し、処理を終了する。但し、前記指示によって運転
者がカメラキャリブレーションを実施したら、補正履歴の記録を更新しておく。
前記所定の距離に対して、前記走行距離の方が小さければ、カメラキャリブレー
ションに関する指示は、運転者に出さず、処理を終了する。
【０１７１】
以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。
【０１７２】
図２６は、本発明による画像生成装置を車両に適用した場合の全体の処理の流
れをフローチャートの形式で示したものである。なお画像生成装置の構成例とし
ては図６の構成を想定する。
れをフローチャートの形式で示したものである。なお画像生成装置の構成例とし
ては図６の構成を想定する。
【０１７３】
１．(1701) 本装置を正常に動作させるために、必要であれば最初にカメラキ
ャリブレーションを実施し、補正履歴の記録を更新しておく。カメラキャリブレ
ーションでは、カメラーパラメータを人手で入力するか、または本発明による特
徴点生成手段109 で特徴点を車体周囲に生成し、前記特徴点を特徴点抽出手段10
8 にて抽出した結果を用いてキャリブレーション手段102 にてカメラパラメータ
を計算しても良い。
ャリブレーションを実施し、補正履歴の記録を更新しておく。カメラキャリブレ
ーションでは、カメラーパラメータを人手で入力するか、または本発明による特
徴点生成手段109 で特徴点を車体周囲に生成し、前記特徴点を特徴点抽出手段10
8 にて抽出した結果を用いてキャリブレーション手段102 にてカメラパラメータ
を計算しても良い。
【０１７４】
２．(1702) 各カメラ毎に温度センサ110 の温度値を逐次観測し、必要に応じ
てカメラパラメータテーブル103 の内容を更新する。
てカメラパラメータテーブル103 の内容を更新する。
【０１７５】
３．(1703) 補正履歴の記録を確認し、必要に応じて補正指示を出す。もし補
正が行われたら、補正履歴の記録を更新する。
正が行われたら、補正履歴の記録を更新する。
【０１７６】
４．(1704) すでに空間データが空間データバッファ105 に蓄積されていれば
、空間データ変換手段114 にて、車両の移動距離、移動方向に応じて前記空間デ
ータを変換する。空間データバッファ105 が空白であれば、本処理は省略する。
ータを変換する。空間データバッファ105 が空白であれば、本処理は省略する。
【０１７７】
５．(1705) 車載カメラで車両周囲の画像を撮影する。
【０１７８】
６．(1706) 空間再構成手段104 によって５．で撮影された画像を構成する各
々の画素をワールド座標系の点に対応づけた空間データを作成する。３の空間デ
ータ変換手段114 で変換された空間データで、ワールド座標系での座標が一致す
る空間データがすでに存在している場合は、前記変換された空間データは破棄す
る。つまりワールド座標系におけるある点の空間データは、カメラから一番最近
に撮影されたデータのみを保持し、それより過去のデータ、もしくは時間がある
程度経過したデータは消去するようにする。
々の画素をワールド座標系の点に対応づけた空間データを作成する。３の空間デ
ータ変換手段114 で変換された空間データで、ワールド座標系での座標が一致す
る空間データがすでに存在している場合は、前記変換された空間データは破棄す
る。つまりワールド座標系におけるある点の空間データは、カメラから一番最近
に撮影されたデータのみを保持し、それより過去のデータ、もしくは時間がある
程度経過したデータは消去するようにする。
【０１７９】
７．(1707) ６．の空間再構成手段104 によって作成された空間データを参照
して、所望の視点にカメラを設置して撮影した画像を作成する。この場合、視点
位置は、合成画像が運転補助に適したものである場所に固定していることが望ま
しく、例えば図２０の例のように車体上方で車両周囲が見渡せるカメラ位置など
が良い。
して、所望の視点にカメラを設置して撮影した画像を作成する。この場合、視点
位置は、合成画像が運転補助に適したものである場所に固定していることが望ま
しく、例えば図２０の例のように車体上方で車両周囲が見渡せるカメラ位置など
が良い。
【０１８０】
８．(1708) ７．の処理で合成された画像を表示する。
【０１８１】
９．(1709) 上記２．〜８．の処理を必要がなくなるまで繰り返す。例えば運
転者が車両を駐車スペースに入れようとしている時は、前記２．〜８．の処理を
繰り返し、駐車が完了すれば本処理を終了すればよい。
転者が車両を駐車スペースに入れようとしている時は、前記２．〜８．の処理を
繰り返し、駐車が完了すれば本処理を終了すればよい。
【０１８２】
さて、車の周囲の障害物などの物体のワールド座標系の３次元位置が、正確に
計測できれば、その物体に合わせて空間モデルを生成すればよいが、現実的には
通常は、無理である。
計測できれば、その物体に合わせて空間モデルを生成すればよいが、現実的には
通常は、無理である。
【０１８３】
つまり、画像生成装置などのように簡易性を要求されるシステムでは、すべて
の物体の３次元位置・形状を正確に求めることは困難であり、また、運転の補助
としての画像を合成するという観点では、任意の仮想視点における画像を正確無
比に再現しなければならないというわけではなく、運転者に分かり易い画像であ
れば、多少クオリティが落ちても大きな問題にはなりにくい。
の物体の３次元位置・形状を正確に求めることは困難であり、また、運転の補助
としての画像を合成するという観点では、任意の仮想視点における画像を正確無
比に再現しなければならないというわけではなく、運転者に分かり易い画像であ
れば、多少クオリティが落ちても大きな問題にはなりにくい。
【０１８４】
そこで本発明（請求項３の一例）では、物体の３次元情報は失われるものの、
高速に画像を合成でき、かつ合成した画像のクオリティをある程度保つことが可
能な、入力画像を構成する各々の画素と３次元空間の点の対応づけ方法を開示す
る。
高速に画像を合成でき、かつ合成した画像のクオリティをある程度保つことが可
能な、入力画像を構成する各々の画素と３次元空間の点の対応づけ方法を開示す
る。
【０１８５】
該方法は、キャリブレーション手段102 によって取り付け位置、取り付け角度
が既に知られているカメラから得られた画像を、３次元空間の一部をなす平面の
例として路面に投影するものである。すなわち、画像に含まれる各々の物体は、
すべて３次元空間座標系(以下ワールド座標系と呼ぶこともある)のＸ−Ｚ平面に
貼り付いており、Ｙ軸方向成分を持つ物体が存在しないと仮定し、視平面上の画
像をワールド座標系の路面に投影する。
が既に知られているカメラから得られた画像を、３次元空間の一部をなす平面の
例として路面に投影するものである。すなわち、画像に含まれる各々の物体は、
すべて３次元空間座標系(以下ワールド座標系と呼ぶこともある)のＸ−Ｚ平面に
貼り付いており、Ｙ軸方向成分を持つ物体が存在しないと仮定し、視平面上の画
像をワールド座標系の路面に投影する。
【０１８６】
この場合、本装置のこれまでの実施例の説明内容に対して変更する部分は、空
間再構成手段104 で用いる式(３)を式(６)に置き換え、また、視点変換手段106
で用いる式(４)を式(７)に置き換えるだけでよい。
間再構成手段104 で用いる式(３)を式(６)に置き換え、また、視点変換手段106
で用いる式(４)を式(７)に置き換えるだけでよい。
【０１８７】
【式６】
【０１８８】
【式７】
【０１８９】
また、本実施例ではカメラを車両に取り付け、車両周囲を監視する装置につい
て説明をしたが、限られた台数のカメラからの画像を用いて任意の視点からの画
像を合成するという本技術は、車載カメラに限定するものではない。
て説明をしたが、限られた台数のカメラからの画像を用いて任意の視点からの画
像を合成するという本技術は、車載カメラに限定するものではない。
【０１９０】
例えば、店舗などにおいて多数の監視カメラを設置しておき、それらのカメラ
画像を用いて、真上から見た画像を合成することなども可能であり、幅広い用途
が期待できる。
画像を用いて、真上から見た画像を合成することなども可能であり、幅広い用途
が期待できる。
【０１９１】
なお、上述したキャリブレーション手段を遠隔地にある管理センターにおいてお
き、通信手段によって、それを利用する方法も可能である。
【０１９２】
本発明の方法、及び装置はそのような遠隔地にその機能の一部を実現しておく
ことももちろん可能である。
ことももちろん可能である。
【０１９３】
あるいはさらに、キャリブレーションを行った結果のデータをフロッピー、Ｄ
ＶＤ等を利用して運んで利用することも、本発明の実施例である。
ＶＤ等を利用して運んで利用することも、本発明の実施例である。
【０１９４】
また、マッピングされた空間データを格納するバッファなどは、そのまま空間
データを処理する場合は特に必要ない。
データを処理する場合は特に必要ない。
【０１９５】
なお、通常は、仮想視点は管理者や運転者などの人手によって指定するのでは
なく、監視や運転の補助として役立つ画像が得られる視点位置のうちの一つを選
び、そこからの画像を表示させるようしておく。それによって仮想視点位置の移
動操作をしなくてもよいため、利用者の作業負担のさらなる軽減が期待できる。
なく、監視や運転の補助として役立つ画像が得られる視点位置のうちの一つを選
び、そこからの画像を表示させるようしておく。それによって仮想視点位置の移
動操作をしなくてもよいため、利用者の作業負担のさらなる軽減が期待できる。
【０１９６】
以上のように本発明によれば、限られた台数のカメラからの画像を用いて任意
の視点からの画像が合成できる。
の視点からの画像が合成できる。
【０１９７】
本発明の画像生成装置（請求項８、請求項９および請求項１２に記載の発明を
合わせた例）では、各々のカメラについて、その特性を示すカメラパラメータを
容易に得ることが可能となる。もし、例えば激しい悪路を走行したことによって
カメラの位置などが若干ずれた場合でも、本発明により、カメラの位置の補正は
容易に可能となる。
合わせた例）では、各々のカメラについて、その特性を示すカメラパラメータを
容易に得ることが可能となる。もし、例えば激しい悪路を走行したことによって
カメラの位置などが若干ずれた場合でも、本発明により、カメラの位置の補正は
容易に可能となる。
【０１９８】
本発明の画像生成装置（請求項１４の一例）では、温度センサ、温度補正テー
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つことが可能となる。例えば、温度上昇に
よって微妙に膨張したレンズに対しては、その膨張によって変わるレンズ歪み係
数を最適に制御する補正値を温度補正テーブルから得て、それに基づいてレンズ
歪みパラメータを変更すればよい。かかる方法によって、本発明ではどのような
気温でも歪みのない画像を得ることが可能となる。
ブルを設置することにより、気温上昇・下降にともなって微妙に変化するレンズ
歪みを補正し、レンズを常に最適に保つことが可能となる。例えば、温度上昇に
よって微妙に膨張したレンズに対しては、その膨張によって変わるレンズ歪み係
数を最適に制御する補正値を温度補正テーブルから得て、それに基づいてレンズ
歪みパラメータを変更すればよい。かかる方法によって、本発明ではどのような
気温でも歪みのない画像を得ることが可能となる。
【０１９９】
本発明の画像生成装置（請求項１７の一例）では、カメラから死角となる部分
の画像を見る方法を提供する。例えば、カメラが車体の上部に取付けてあり、前
記カメラの取り付け位置下方の車体の形状が車体外部に向って凸面である場合、
カメラ直下の画像を見ることは物理的に不可能である。しかし、本発明では、車
両の移動方向および移動距離によって、以前に取得した画像を現在の位置から見
た画像に変換することが可能である。
の画像を見る方法を提供する。例えば、カメラが車体の上部に取付けてあり、前
記カメラの取り付け位置下方の車体の形状が車体外部に向って凸面である場合、
カメラ直下の画像を見ることは物理的に不可能である。しかし、本発明では、車
両の移動方向および移動距離によって、以前に取得した画像を現在の位置から見
た画像に変換することが可能である。
【０２００】
本発明の画像生成装置（請求項１８の一例）では、カメラの特性を示すカメラ
パラメータの補正、すなわちカメラキャリブレーションを実施しなければならな
い状況を検知し、その旨を運転者に提示することが可能である。これにより運転
者がカメラパラメータの補正を長期間し忘れることを防ぐ効果が得られる。
パラメータの補正、すなわちカメラキャリブレーションを実施しなければならな
い状況を検知し、その旨を運転者に提示することが可能である。これにより運転
者がカメラパラメータの補正を長期間し忘れることを防ぐ効果が得られる。
【０２０１】
次に、別の本発明の一実施例を説明する。 図２７，図２８は、本発明（請求
項３５、請求項３７）の一例を示す。
項３５、請求項３７）の一例を示す。
【０２０２】
図２７（ａ）に示すように、本発明による画像生成装置は、基本構成の一例と
して、車両周囲の状況を把握するために取付けられた複数台のカメラ101A、前記
カメラの特性を示すカメラパラメータを格納しておくカメラパラメータテーブル
102A 、車両を基準とした座標系に空間モデルを作成する空間モデル作成手段 1
03A、前記カメラより入力された画像を前記空間モデルにマッピングするマッピ ング手段104A 、視点を設定し、前記視点から見た一枚の画像を、前記マッピン グ手段104Aにて作成されたデータから合成する視点変換手段105A、前記視点変換
手段105Aにて変換された画像を表示する表示手段106Aからなる構成を有する。
して、車両周囲の状況を把握するために取付けられた複数台のカメラ101A、前記
カメラの特性を示すカメラパラメータを格納しておくカメラパラメータテーブル
102A 、車両を基準とした座標系に空間モデルを作成する空間モデル作成手段 1
03A、前記カメラより入力された画像を前記空間モデルにマッピングするマッピ ング手段104A 、視点を設定し、前記視点から見た一枚の画像を、前記マッピン グ手段104Aにて作成されたデータから合成する視点変換手段105A、前記視点変換
手段105Aにて変換された画像を表示する表示手段106Aからなる構成を有する。
【０２０３】
図２７(b)は本発明の画像生成装置の構成例を示したブロック図である。図２
７(b)の例では、図２７(a)に示した画像生成装置に対して、さらに、車両周囲の
状況として、少なくとも車両周囲に存在する障害物までの距離を計測する障害物
検知手段108A を付加した構成となっている。
状況として、少なくとも車両周囲に存在する障害物までの距離を計測する障害物
検知手段108A を付加した構成となっている。
【０２０４】
次に、本発明を構成する各構成要素についての詳細を説明する。
カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカメ
ラである。その詳細は、上記図７で詳しく説明した。
ラである。その詳細は、上記図７で詳しく説明した。
【０２０５】
本発明によるカメラパラメータテーブル102Aは、カメラパラメータを格納する
テーブルである（上述したカメラパラメータテーブル103と同様である）。
テーブルである（上述したカメラパラメータテーブル103と同様である）。
【０２０６】
カメラパラメータテーブル102Aに格納されているデータは上述した図９と同じ
である。
である。
【０２０７】
本発明では、視点変換手段105Aで設定した所望の視点に仮想のカメラを設置し
たと仮定し、その仮想カメラからの画像を計算によって求めることが可能である
。該計算方法については後で詳述する。
たと仮定し、その仮想カメラからの画像を計算によって求めることが可能である
。該計算方法については後で詳述する。
【０２０８】
また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
【０２０９】
そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。
【０２１０】
本発明による空間モデル作成手段 103Aは、たとえば、車両を基準とした座標
系に空間モデルを作成する。空間モデルとは、後述するマッピング手段104Aにお
いて、カメラからの画像を３次元空間座標系にマッピングする平面もしくは曲面
もしくは平面および曲面からなるモデルである。図２８(a)〜(c)は、本発明によ
る空間モデルを鳥瞰図的に示した概念図で、それぞれ、図２８(a)および図２８(
d)は平面のみで構成された空間モデルの例、図２８(b)は曲面のみで構成された 空間モデルの例、図２８(c)は平面および曲面で構成された空間モデルの例、を 表している。
いて、カメラからの画像を３次元空間座標系にマッピングする平面もしくは曲面
もしくは平面および曲面からなるモデルである。図２８(a)〜(c)は、本発明によ
る空間モデルを鳥瞰図的に示した概念図で、それぞれ、図２８(a)および図２８(
d)は平面のみで構成された空間モデルの例、図２８(b)は曲面のみで構成された 空間モデルの例、図２８(c)は平面および曲面で構成された空間モデルの例、を 表している。
【０２１１】
図２８(a)の空間モデルでは以下に説明するように５つの平面からなる空間モ
デルを示している。
平面１：路面（すなわち車両のタイヤに接している）としての平面
平面２：車両の前方に立てられた路面（平面１）に垂直な平面
平面３：車両の進行方向に向って左側方に立てられた路面(平面１)に垂直な平面
平面４：車両の後方に立てられた路面（平面１）に垂直な平面 平面５：車両の進行方向に向って右側方に立てられた路面(平面１)に垂直な平面
本空間モデルにおいては、平面２〜５は隙間なく立てられ、車載カメラから撮
影された画像は、該平面１〜平面５のいずれかにマッピングされる。また平面２
〜５については車両からどの程度の距離が必要か、またどの程度の高さが必要か
は、車載カメラの画角や設置場所に応じて決めれば良い。
平面４：車両の後方に立てられた路面（平面１）に垂直な平面 平面５：車両の進行方向に向って右側方に立てられた路面(平面１)に垂直な平面
本空間モデルにおいては、平面２〜５は隙間なく立てられ、車載カメラから撮
影された画像は、該平面１〜平面５のいずれかにマッピングされる。また平面２
〜５については車両からどの程度の距離が必要か、またどの程度の高さが必要か
は、車載カメラの画角や設置場所に応じて決めれば良い。
【０２１２】
図２８(b)のモデルでは、お椀型をした曲面を空間モデルに用いている。
車両は、お椀型に形成された空間モデルにおいてお椀の底に当たる部分に設置さ
れ、車載カメラから撮影された画像は、お椀の内側の面にマッピングされる。 お椀型のモデルとしては、球や、放物線の回転体、懸垂線の回転体などが考える
ことが、いずれにしろ空間モデルを少数の数式で表すことが出来れば、マッピン
グの計算は高速で行うことが可能となる。
れ、車載カメラから撮影された画像は、お椀の内側の面にマッピングされる。 お椀型のモデルとしては、球や、放物線の回転体、懸垂線の回転体などが考える
ことが、いずれにしろ空間モデルを少数の数式で表すことが出来れば、マッピン
グの計算は高速で行うことが可能となる。
【０２１３】
図２８(ｃ)のモデルでは、以下で説明する平面と曲面を組み合わせて構成され
た空間モデルを示している。
た空間モデルを示している。
【０２１４】
平面：路面（すなわち車両のタイヤに接している）としての平面
曲面：車両を取り囲むように前記平面上に置かれた円柱状又は楕円柱状の壁
本空間モデルにおいて、曲面をどういう形状にするか、また車両からどの程度
の距離をおいて設置するかは、車載カメラの画角や設置場所に応じて決めれば良
い。
の距離をおいて設置するかは、車載カメラの画角や設置場所に応じて決めれば良
い。
【０２１５】
かくの例のごとく、車両の周囲に、車両を囲い込むごとく壁を立てた空間モデ
ルは、次に示す効果が得られる。すなわち、画像中の物体がすべて道路面上にあ
るものと仮定して、カメラ画像を路面上にマッピングすると、路面から上方に高
さ成分を持つ物体に関しては、大きくゆがんでしまうという問題があった。これ
に対し、本発明によって導入された空間モデルでは、まず路面に垂直もしくはほ
ぼ垂直な平面もしくは曲面によって車両を囲い込む。これらの面を車両から離れ
過ぎないように設定すれば、高さ成分を持つ物体がこれらの面にマッピングされ
るため、歪みを小さくすることが可能となる。しかもマッピングした際の歪みが
小さいため、２台のカメラ画像の接合部でのずれも少なくなることが期待できる
。
ルは、次に示す効果が得られる。すなわち、画像中の物体がすべて道路面上にあ
るものと仮定して、カメラ画像を路面上にマッピングすると、路面から上方に高
さ成分を持つ物体に関しては、大きくゆがんでしまうという問題があった。これ
に対し、本発明によって導入された空間モデルでは、まず路面に垂直もしくはほ
ぼ垂直な平面もしくは曲面によって車両を囲い込む。これらの面を車両から離れ
過ぎないように設定すれば、高さ成分を持つ物体がこれらの面にマッピングされ
るため、歪みを小さくすることが可能となる。しかもマッピングした際の歪みが
小さいため、２台のカメラ画像の接合部でのずれも少なくなることが期待できる
。
【０２１６】
本発明によるマッピング手段 104Aは、カメラパラメータに基づいて、車載カ
メラからの入力画像を構成する各々の画素を、本発明による空間モデル作成手段
103によって作成された空間モデルにマッピングする。すなわち、車載カメラか
ら撮影された各々の画像を空間モデルに透視投影する。
103によって作成された空間モデルにマッピングする。すなわち、車載カメラか
ら撮影された各々の画像を空間モデルに透視投影する。
【０２１７】
図２９は、画像を含む平面(以下、視平面という)に設定したＵ−Ｖ座標系の点
の座標を、ワールド座標系の点の座標に変換することにより、車載カメラ画像を
空間モデルを構成する面にマッピングする説明の補助として使用する図である。
の座標を、ワールド座標系の点の座標に変換することにより、車載カメラ画像を
空間モデルを構成する面にマッピングする説明の補助として使用する図である。
【０２１８】
マッピングの説明をする前に、まず視平面座標をワールド座標へ変換する方法
について説明する。該変換は下記の手順で行われる。
について説明する。該変換は下記の手順で行われる。
【０２１９】
１．視平面が Ｚ＝ｆ(カメラの焦点距離)で、該平面上にあるカメラ画像の中
心をＺ軸が通るような座標系を設定する。
【０２２０】
これを視平面座標系と呼ぶ(Ｏeを原点とする)。
【０２２１】
２．図２９における点Ｐv(u,v)(この点がカメラ撮影画像の一画素に対応する)
の視平面座標系での座標をＰe(Ｘe,Ｙe,Ｚe)とすると、ＰeとＰvの関係は、カメ
ラの焦点距離ｆを用いて、式(1)式(2)のように表すことが出来る（但し、この場
合はＺe＝ｆとなる）。
の視平面座標系での座標をＰe(Ｘe,Ｙe,Ｚe)とすると、ＰeとＰvの関係は、カメ
ラの焦点距離ｆを用いて、式(1)式(2)のように表すことが出来る（但し、この場
合はＺe＝ｆとなる）。
【０２２２】
前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系とを対応づける計算式を求める。ここでワー
ルド座標系を中心にして、視平面座標系が空間的に以下のような関係にあるとす
る。 ・視平面座標系原点Ｏeからワールド座標系原点Ｏwへのベクトルを(ｔx,ｔy,ｔz
)とする。つまり２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平行移動す
ることによって無くなる。
面座標系における座標を決めることができる。 ３．視平面座標系とワールド座標系とを対応づける計算式を求める。ここでワー
ルド座標系を中心にして、視平面座標系が空間的に以下のような関係にあるとす
る。 ・視平面座標系原点Ｏeからワールド座標系原点Ｏwへのベクトルを(ｔx,ｔy,ｔz
)とする。つまり２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平行移動す
ることによって無くなる。
【０２２３】
なお、ワールド座標系におけるカメラ位置が既知であれば、該位置の座標の符
号を反転すれば(ｔx,ｔy,ｔz)は容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系にぴったり合わせるため
の回転行列を
号を反転すれば(ｔx,ｔy,ｔz)は容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系にぴったり合わせるため
の回転行列を
【０２２４】
【式０】
【０２２５】
とする。該回転行列は、カメラパラメータテーブル102Aのうち、向きを表すパラ
メータによって、Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合成する
ことによって容易に求めることが可能である。
メータによって、Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合成する
ことによって容易に求めることが可能である。
【０２２６】
さて、ある点をワールド座標系でＰw(Ｘw,Ｙw,Ｚw)で表し、また、視平面座標
系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚw)、 (ｔx,ｔy,ｔz)、前記回転行列の間には式(8)の関係が成り立つ。 これら式(1)式(2)式(8)を用いることにより、視平面上での画素Ｐv(u,v)を、ワ ールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)に変換することが出来る。
系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚw)、 (ｔx,ｔy,ｔz)、前記回転行列の間には式(8)の関係が成り立つ。 これら式(1)式(2)式(8)を用いることにより、視平面上での画素Ｐv(u,v)を、ワ ールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)に変換することが出来る。
【０２２７】
【式１】
【０２２８】
【式２】
【０２２９】
【式８】
【０２３０】
【式９】
【０２３１】
さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表される。入力画像を構成する各々の画素を前
記空間モデルにマッピングするためには、入力画像の全ての画素について、以下
の手順で処理を行えばよい。図３０は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３０に従ってマッピングの処理内容を説明する。
画像面を含む平面上の座標として表される。入力画像を構成する各々の画素を前
記空間モデルにマッピングするためには、入力画像の全ての画素について、以下
の手順で処理を行えばよい。図３０は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３０に従ってマッピングの処理内容を説明する。
【０２３２】
１．カメラ画像の映っている視平面に設定したＵ−Ｖ座標系の座標として表さ
れる前記画素を、ワールド座標系における座標に変換する。変換には、例えば直
前に示した式(1)式(2)式(8)を用いれば良い。
れる前記画素を、ワールド座標系における座標に変換する。変換には、例えば直
前に示した式(1)式(2)式(8)を用いれば良い。
【０２３３】
２．カメラ視点の座標Ｏeを端点とし、前記画素Ｐw（＝Ｐe）の座標を通る半
直線と前記空間モデルを形成する面との交点Ｐs(Ｘs,Ｙs,Ｚs)を求める。
【０２３４】
３．該交点Ｐsに、前記画素の色をマッピングする。すでに他のカメラ画像か
らの色が点Ｐsにマッピングされている場合、点Ｐsの色を決める方法としては例
えば以下のような方法を用いれば良い。
えば以下のような方法を用いれば良い。
【０２３５】
・すでにマッピングされている色とマッピングしようとする色を同じ割合で混
合する。
合する。
【０２３６】
・すでにマッピングされている色とマッピングしようとする色のうち、明度の
高いもしくは低いもしくは中間の色を用いる。 ・すでにマッピングされている色とマッピングしようとする色のうち、彩度の高
いもしくは低いもしくは中間の色を用いる。
高いもしくは低いもしくは中間の色を用いる。 ・すでにマッピングされている色とマッピングしようとする色のうち、彩度の高
いもしくは低いもしくは中間の色を用いる。
【０２３７】
上記１〜３までの処理を、全てのカメラについて実施すれば、独立した全ての
カメラからの画像を、同じ一つの３次元空間内の空間モデル上にマッピングする
ことができる。
カメラからの画像を、同じ一つの３次元空間内の空間モデル上にマッピングする
ことができる。
【０２３８】
本発明による視点変換手段 105 は、車載カメラの画像がマッピング手段 104
によって空間モデルにマッピングされた結果を、任意の視点に設置したカメラか
ら撮影した画像として合成する。その方法の概要は、マッピング手段 104 で行 った処理の逆の処理を行うことである。
によって空間モデルにマッピングされた結果を、任意の視点に設置したカメラか
ら撮影した画像として合成する。その方法の概要は、マッピング手段 104 で行 った処理の逆の処理を行うことである。
【０２３９】
すなわち、マッピングされた画像を構成する点Ｐs(Ｘs,Ｙs,Ｚs)を、任意の視
点にカメラを設置して撮影した画像面Ｐv(u,v)に投影する変換を求めることに相
当する。
点にカメラを設置して撮影した画像面Ｐv(u,v)に投影する変換を求めることに相
当する。
【０２４０】
従って、この変換を計算する式は、先に詳述した式(1)式(2)および式(9)（式(
8)の逆変換に相当する）で表すことが可能である。
8)の逆変換に相当する）で表すことが可能である。
【０２４１】
すなわち、Ｐs(Ｘs,Ｙs,Ｚs)を入力し前記３つの式によってＰv(u,v)を計算す
る。この計算では、カメラのカメラパラメータは任意の所望の値を指定できる。
つまりそれは所望の視点に所望の角度でカメラを置くことができることを意味す
る。
る。この計算では、カメラのカメラパラメータは任意の所望の値を指定できる。
つまりそれは所望の視点に所望の角度でカメラを置くことができることを意味す
る。
【０２４２】
ところで、視点変換手段１０５Aにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。
【０２４３】
さて、図２８(a)〜(c)の例では、車両を面で完全に囲い込む空間モデルを示し
たが、実際には車両の全周囲を障害物が取り囲む場合は少なく、自車の周囲に多
くて数台の車両が存在する程度が普通である。係る状況を鑑みると、自車の周囲
を完全に囲い込む空間モデルを導入する代わりに、必要に応じて、すなわち、自
車の周囲に障害物が存在している状態が分かれば、その場合にのみ前記障害物の
前に、それをマッピングするついたてのような面を作成すればよい。
たが、実際には車両の全周囲を障害物が取り囲む場合は少なく、自車の周囲に多
くて数台の車両が存在する程度が普通である。係る状況を鑑みると、自車の周囲
を完全に囲い込む空間モデルを導入する代わりに、必要に応じて、すなわち、自
車の周囲に障害物が存在している状態が分かれば、その場合にのみ前記障害物の
前に、それをマッピングするついたてのような面を作成すればよい。
【０２４４】
図２８(ｄ)は、該ついたて面を導入した空間モデルの一例を鳥瞰図的に示した
概念図で、図２８(ｄ)の空間モデルでは、路面平面と、路面上に車両の左後方及
び右後方にそれぞれ一つづつ、ついたてとしての平面を立てた空間モデルを示し
た概念図である。該ついたて面は、車両に対して予め決められた場所に立ててお
くことももちろん可能であるが、前述のごとく、車両の周囲に面から上方に高さ
成分を持つ障害物が発見された場合にのみ、ついたて面を立てるようにしても良
い。その際に、どの位置にどの向きについたて面を立てるかを決める必要がある
が、その一例として障害物の検知結果に従ってついたて面を設置する方法を次に
示す。
概念図で、図２８(ｄ)の空間モデルでは、路面平面と、路面上に車両の左後方及
び右後方にそれぞれ一つづつ、ついたてとしての平面を立てた空間モデルを示し
た概念図である。該ついたて面は、車両に対して予め決められた場所に立ててお
くことももちろん可能であるが、前述のごとく、車両の周囲に面から上方に高さ
成分を持つ障害物が発見された場合にのみ、ついたて面を立てるようにしても良
い。その際に、どの位置にどの向きについたて面を立てるかを決める必要がある
が、その一例として障害物の検知結果に従ってついたて面を設置する方法を次に
示す。
【０２４５】
係るついたて面設置の処理を実行するために、本発明による障害物検知手段 1
08 は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距 離を距離センサ 107Aを用いて計測する。
08 は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距 離を距離センサ 107Aを用いて計測する。
【０２４６】
距離センサ 107Aとしては様々なものがあるが、車載用としては、レーザー光
、超音波、ステレオ光学系、カメラのフォーカス（目標物体にフォーカスを合わ
せた時の焦点距離から、カメラと前記物体までの距離を計算する）などを使用す
ることが可能である。該距離センサ107A、レーザー光、超音波などを用いる場合
では、車両の周囲に多数取付けるのが望ましい。一方、ステレオ光学系やカメラ
のフォーカスを用いる場合は、車載カメラに併設してもよいが、車載カメラの一
部をそのまま利用するとコストを安価にすることが可能となる。
せた時の焦点距離から、カメラと前記物体までの距離を計算する）などを使用す
ることが可能である。該距離センサ107A、レーザー光、超音波などを用いる場合
では、車両の周囲に多数取付けるのが望ましい。一方、ステレオ光学系やカメラ
のフォーカスを用いる場合は、車載カメラに併設してもよいが、車載カメラの一
部をそのまま利用するとコストを安価にすることが可能となる。
【０２４７】
次に該障害物検知手段 108Aの処理結果に基づいて、ついたて面を含む空間モ
デルを作成する方法の一例を示す。図３１は障害物センサを用いて車両と該車両
の周囲に存在する障害物との距離に基づいて、３次元空間内についたて面を立て
る方法を示す概念図である。本例では、車載の各々のカメラに該障害物検知セン
サが併設されており、該障害物センサはカメラの視線と同じ方向を向き、該方向
に存在する障害物との距離を計測するものとする。また図３１において使用して
いるパラメータは以下の通りである。
の周囲に存在する障害物との距離に基づいて、３次元空間内についたて面を立て
る方法を示す概念図である。本例では、車載の各々のカメラに該障害物検知セン
サが併設されており、該障害物センサはカメラの視線と同じ方向を向き、該方向
に存在する障害物との距離を計測するものとする。また図３１において使用して
いるパラメータは以下の通りである。
【０２４８】
(px0,py0,pz0)：距離センサ 107 １の路面平面上での座標
(dx,dy,dz) ：距離センサ 107 １のセンシングの向きを示す方向ベクトル
dc ：距離センサ 107 １と障害物との路面平面上での距離
(px1,py1,pz1)：(px0,py0,pz0)から(dx,dy,dz)の方向に距離dcだけ移動した点
以下、図３１に従って空間モデルを作成する手順を説明する。
以下、図３１に従って空間モデルを作成する手順を説明する。
【０２４９】
１．障害物との距離dcを計測し、その距離が予め設定されている所定の距離よ
り近いかどうかを調べる。 前記所定の距離より離れていれば何もしない。
り近いかどうかを調べる。 前記所定の距離より離れていれば何もしない。
【０２５０】
２．もし所定の距離内であれば、以下の手順でついたて平面を求める。
【０２５１】
２-１．予め分かっている距離センサ107Aの座標値から(px0,py0,pz0)を求め
る。
る。
【０２５２】
２-２．予め分かっている距離センサ 107Aの向き(dx,dy,dz)と、障害物まで
の距離dcから、(px1,py1,pz1)を求める。
の距離dcから、(px1,py1,pz1)を求める。
【０２５３】
２-３．法線ベクトル(dx,dy,dz)を持ち、点(px1,py1,pz1)を通る平面（式(1
5)）を、ついたて面とする。 dx(x-px1) + dy(y-py1) + dz(z-pz1) = 0 式(15) ３．前記ついたて面は、必要がなくななれば取り除く。
5)）を、ついたて面とする。 dx(x-px1) + dy(y-py1) + dz(z-pz1) = 0 式(15) ３．前記ついたて面は、必要がなくななれば取り除く。
【０２５４】
４．全ての距離センサ 107 について、上記１から３までの処理を終了してい
れば、空間モデル作成処理を終了する。まだ未チェックの距離センサ 107Aがあ
れば、該距離センサ 107Aについて、上記１から３までの処理を実行する。
【０２５５】
図３１では、カメラ１、２から入力された画像が、それぞれ空間モデルを構成
するついたてとしての平面１、平面２にマッピングされている様子が示されてい
る。マッピングに際して、ついたて面の幅の値をいくらにするかが合成画像のク
オリティを決める重要な要素の一つとなる。障害物としてもっとも一般的なのは
他の車両なので、例えば自車と他の車両との距離がついたて面を作成する距離に
なったとき、前記他の車両の２／３以上がついたて面にマッピングされるように
幅を設定するという方針で、ついたての幅を決めるなどすればよい。
するついたてとしての平面１、平面２にマッピングされている様子が示されてい
る。マッピングに際して、ついたて面の幅の値をいくらにするかが合成画像のク
オリティを決める重要な要素の一つとなる。障害物としてもっとも一般的なのは
他の車両なので、例えば自車と他の車両との距離がついたて面を作成する距離に
なったとき、前記他の車両の２／３以上がついたて面にマッピングされるように
幅を設定するという方針で、ついたての幅を決めるなどすればよい。
【０２５６】
また、ついたて面を作成するかどうかを決める条件としての、自車から障害物
までの距離は、経験的に 50cm〜1m の値を設定すると良い。また、ついたて面を
取り除く場合の条件としては、以下に列挙するような方法を、単独で、もしくは
組み合わせて用いれば良い。
までの距離は、経験的に 50cm〜1m の値を設定すると良い。また、ついたて面を
取り除く場合の条件としては、以下に列挙するような方法を、単独で、もしくは
組み合わせて用いれば良い。
【０２５７】
・障害物との距離が所定の距離より遠ざかった場合
・運転者が、なんらかの方法で該画像生成装置を初期化した場合
以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。図
３２は、本発明による画像生成装置の全体の処理の流れをフローチャートの形式
で示したものである。なお画像生成装置の構成例としては図２７(b)の構成を想 定する。
た。次に、本発明による画像生成装置の全体の処理の流れについて説明する。図
３２は、本発明による画像生成装置の全体の処理の流れをフローチャートの形式
で示したものである。なお画像生成装置の構成例としては図２７(b)の構成を想 定する。
【０２５８】
１．(901) 本装置を正常に動作させるために、車載カメラのそれぞれについて
、正しいカメラーパラメータをカメラパラメータテーブル102Aに入力しておく。
、正しいカメラーパラメータをカメラパラメータテーブル102Aに入力しておく。
【０２５９】
２．(902) 車載カメラで車両周囲の画像を撮影する。
【０２６０】
３．(903) 障害物検知手段 108Aにて、距離センサ107Aで車両周囲に存在する
障害物までの距離を計測する。
【０２６１】
４．(904) 空間モデル作成手段103Aにて、空間モデルを作成する。
【０２６２】
５．(905) マッピング手段104Aにて、車載カメラからの画像を、空間モデルに
マッピングする。
マッピングする。
【０２６３】
６．(906) 空間モデルにマッピングされた画像を参照して、運転者が設定した
視点から見た画像を合成する。
視点から見た画像を合成する。
【０２６４】
７．(907) ６．の処理で合成された画像を表示する。
【０２６５】
８．(908) 上記２．〜７．の処理を必要がなくなるまで繰り返す。例えば運転
者が車両を駐車スペースに入れようとしている時は、前記２．〜７．の処理を繰
り返し、駐車が完了すれば本処理を終了すればよい。
者が車両を駐車スペースに入れようとしている時は、前記２．〜７．の処理を繰
り返し、駐車が完了すれば本処理を終了すればよい。
【０２６６】
以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、従来使用されてきた路面平面一つだ
けの空間モデル以外の空間のモデルを導入し、この空間モデルを用いることによ
り、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さ
をもつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデル
にマッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく
改善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合
成画像によって周囲の状況がよりいっそう認識しやすくなり、適確な運転操作を
行えることが期待できる。
点からの画像が合成する。その合成の際に、従来使用されてきた路面平面一つだ
けの空間モデル以外の空間のモデルを導入し、この空間モデルを用いることによ
り、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さ
をもつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデル
にマッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく
改善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合
成画像によって周囲の状況がよりいっそう認識しやすくなり、適確な運転操作を
行えることが期待できる。
【０２６７】
なお、これまでの説明は、車両周囲の状況を車両から検知し、車両を基準とし
た座標系で説明してきたが、たとえば、駐車場等に設置のセンサが駐車場の状況
を検知し、駐車場を基準とした座標系での周囲状況と、車両の駐車場における位
置関係を、車両に通知することにより、これまで述べた処理を実施することが可
能である。
た座標系で説明してきたが、たとえば、駐車場等に設置のセンサが駐車場の状況
を検知し、駐車場を基準とした座標系での周囲状況と、車両の駐車場における位
置関係を、車両に通知することにより、これまで述べた処理を実施することが可
能である。
【０２６８】
以下、別の本発明の一実施例を説明する。なお、本実施例においては、車両の
周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに設置
したモニターテレビに表示させる監視装置を対象として説明する。
周囲を監視するカメラを設置し、前記カメラで獲得した画像を運転席近くに設置
したモニターテレビに表示させる監視装置を対象として説明する。
【０２６９】
図３３（ａ）は本発明（請求項３９の一例）に係る監視装置の基本構成例を示
したブロック図である。
したブロック図である。
【０２７０】
本実施例による車両周囲監視装置は、基本構成として、車両周囲の状況を把握
するために取付けられた複数台のカメラ１０１B、前記カメラの特性を示すカメ ラパラメータを格納しておくカメラパラメータテーブル１０２B、車両周囲の状 況として、例えば白線や路面に描かれた矢印、文字、また横断歩道など、路面上
の特徴を検知する路面特徴検出手段１０３B、たとえば車両を基準とした座標系 を設定し、該座標系に、前記路面特徴検出手段１０３Bの処理結果に応じた空間 モデルを作成する空間モデル作成手段１０４B、前記カメラより入力された画像 を前記空間モデルにマッピングするマッピング手段１０５B、視点を設定し、前 記視点から見た一枚の画像を、マッピング手段１０５Bにて作成されたデータか ら合成する視点変換手段１０６B、視点変換手段１０６Bにて変換された画像を表
示する表示手段１０７Bからなる構成を有する。
するために取付けられた複数台のカメラ１０１B、前記カメラの特性を示すカメ ラパラメータを格納しておくカメラパラメータテーブル１０２B、車両周囲の状 況として、例えば白線や路面に描かれた矢印、文字、また横断歩道など、路面上
の特徴を検知する路面特徴検出手段１０３B、たとえば車両を基準とした座標系 を設定し、該座標系に、前記路面特徴検出手段１０３Bの処理結果に応じた空間 モデルを作成する空間モデル作成手段１０４B、前記カメラより入力された画像 を前記空間モデルにマッピングするマッピング手段１０５B、視点を設定し、前 記視点から見た一枚の画像を、マッピング手段１０５Bにて作成されたデータか ら合成する視点変換手段１０６B、視点変換手段１０６Bにて変換された画像を表
示する表示手段１０７Bからなる構成を有する。
【０２７１】
図３３（ｂ）は、図３３（ａ）に示した監視装置に対して、さらに、車両の移
動方向を検出する移動方向検出手段１０９B、および車両の単位時間における移 動距離を検出する移動距離検出手段１０８Bでの処理結果を用いて、前記路面上 の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。
動方向を検出する移動方向検出手段１０９B、および車両の単位時間における移 動距離を検出する移動距離検出手段１０８Bでの処理結果を用いて、前記路面上 の特徴の現在位置を計算し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。
【０２７２】
図３３（ｃ）は、図３３（ｂ）に示した監視装置に対して、さらに、表示手段
１０７Bにおいて路面特徴検出手段１０３Bにおける処理結果を表示しつつ前記処
理結果を修正する特徴修正手段１１０Bを備えた構成を有することにより、処理 の実行中に路面上の特徴がずれた場合に、該ずれを修正することが可能となる。
１０７Bにおいて路面特徴検出手段１０３Bにおける処理結果を表示しつつ前記処
理結果を修正する特徴修正手段１１０Bを備えた構成を有することにより、処理 の実行中に路面上の特徴がずれた場合に、該ずれを修正することが可能となる。
【０２７３】
次に、本実施例を構成する各構成要素についての詳細を説明する。
【０２７４】
カメラは、車両の周囲の状況など、監視すべき空間の画像を撮り込むテレビカ
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。車両へのカメラの取り付け例は、図７で説明したと
おりである。
メラである。このカメラは、大きな視野を得ることができるよう、通常、画角が
大きいものを使うのが良い。車両へのカメラの取り付け例は、図７で説明したと
おりである。
【０２７５】
カメラパラメータテーブル１０２Bは、カメラパラメータを格納するテーブル
である。その内容は上述したとおりである。
【０２７６】
カメラパラメータテーブル１０２Bに格納されているデータは表形式で示され
るが、それは図９に示すものである。
【０２７７】
同様に、仮想カメラのパラメータは図９のカメラパラメータテーブル１０２の
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。
８行目に記載されており、その内容は、仮想カメラとは、座標（０、ｙ１、０）
の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−２０度の
角度をなし、焦点距離はｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。
【０２７８】
本実施例では、視点変換手段１０６Bで設定した所望の視点に仮想のカメラを
設置したと仮定し、その仮想カメラからの画像を計算によって求めることが可能
である。該計算方法については後で詳述する。
である。該計算方法については後で詳述する。
【０２７９】
また、前記レンズ歪み係数を用いてカメラ入力画像に対してレンズ歪み補正を
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
行う場合、通常、多くの計算が必要になり、実時間処理には向かない。
【０２８０】
そこで、レンズ歪みは、画像合成時に問題が生じるほどの変化は起こらないと
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。
仮定し、歪み補正前の画像と、歪み補正後の画像で、それぞれの画素の座標値の
対応関係を予め計算しておく。そして前記計算結果をテーブルやマトリクスなど
のデータ形式でメモリ内に保持し、それを用いて歪み補正を行うなどの方法が、
高速な補正処理として有効である。
【０２８１】
空間モデル作成手段１０４Bは、車両を基準とした座標系を設定し、この座標
系に、路面特徴検出手段１０３Bの処理結果に応じた空間モデルを作成する。
【０２８２】
図３４（ａ），（ｂ）は、本発明による空間モデルを示した概念図である。
【０２８３】
本図では、路面上の特徴として、駐車場に引いてある駐車スペースを示す白線
の端点もしくは白線同士が交わって出来る角を検知し、それらの点を基準にして
図に示すような５つの平面を用いて空間モデルを構成している様子を示しており
、図３４（ａ）は該空間モデルを鳥瞰図的に示した概念図、図３４（ｂ）は図３
４（ａ）において、車両の上方から下向きに透視投影された図である。図３４（
ｂ）の例では、路面上の特徴の例として、特徴点１〜４までを示している。 以下、路面上の特徴もしくは特徴点は、これら４つの特徴点を示すものとする。
の端点もしくは白線同士が交わって出来る角を検知し、それらの点を基準にして
図に示すような５つの平面を用いて空間モデルを構成している様子を示しており
、図３４（ａ）は該空間モデルを鳥瞰図的に示した概念図、図３４（ｂ）は図３
４（ａ）において、車両の上方から下向きに透視投影された図である。図３４（
ｂ）の例では、路面上の特徴の例として、特徴点１〜４までを示している。 以下、路面上の特徴もしくは特徴点は、これら４つの特徴点を示すものとする。
【０２８４】
但し、４つのいずれかを指すときは「特徴点１」というように番号を付けて指
定する。そして本実施例では、該５つの平面をそれぞれ以下のように決めている
（ここでは、左右は車両の後ろ向き方向に対して決めている）。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：左端が平面２に接し平面１に垂直な平面 平面３：特徴点１と特徴点２を結ぶ線分に沿っており、平面１に垂直な平面 平面４：特徴点２と特徴点３を結ぶ線分に沿っており、平面１に垂直な平面 平面５：特徴点３と特徴点４を結ぶ線分に沿っており、平面１に垂直な平面 平面６：右端が平面５に接し平面１に垂直な平面 さて、空間モデル作成手段１０４Bにおいて、３次元空間にこれらの平面（但 し路面と一致する平面１を除く）を作成するにあたっては、前記特徴点を検出す
る必要がある。路面特徴検出手段１０３Bは、係る路面上の特徴を抽出するもの である。
定する。そして本実施例では、該５つの平面をそれぞれ以下のように決めている
（ここでは、左右は車両の後ろ向き方向に対して決めている）。 平面１：路面（すなわち車両のタイヤに接している）としての平面 平面２：左端が平面２に接し平面１に垂直な平面 平面３：特徴点１と特徴点２を結ぶ線分に沿っており、平面１に垂直な平面 平面４：特徴点２と特徴点３を結ぶ線分に沿っており、平面１に垂直な平面 平面５：特徴点３と特徴点４を結ぶ線分に沿っており、平面１に垂直な平面 平面６：右端が平面５に接し平面１に垂直な平面 さて、空間モデル作成手段１０４Bにおいて、３次元空間にこれらの平面（但 し路面と一致する平面１を除く）を作成するにあたっては、前記特徴点を検出す
る必要がある。路面特徴検出手段１０３Bは、係る路面上の特徴を抽出するもの である。
【０２８５】
図３５（ａ）〜（ｄ）は、路面特徴検出手段１０３Bで特徴点を抽出する処理
の例を説明するための図、図３６は特徴点の抽出処理の流れを示すフローチャー
トであり、以下、これらの図を用いて、路面特徴検出手段１０３Bでの処理手順 を説明する。
トであり、以下、これらの図を用いて、路面特徴検出手段１０３Bでの処理手順 を説明する。
【０２８６】
処理７０１： 車載カメラのいずれかから駐車スペースを示す白線を含む画像
を撮影する。図３５（ａ）は、該撮影された画像を示している。
を撮影する。図３５（ａ）は、該撮影された画像を示している。
【０２８７】
以下の２つの処理を行い、特徴点の位置を推定する。
【０２８８】
処理７０２： 車載カメラから撮影された画像を適当なしきい値で２値化し、
それを横方向および縦方向に走査し、走査ラインにおける白線に対応する画素の
数を頻度とするヒストグラムを、縦方向、横方向のそれぞれについて得る。該ヒ
ストグラムの結果から特徴点の存在する位置を推定する。図３５（ｂ）はその処
理例を示したもので、 ・縦方向に走査して得られたヒストグラムから、特徴点のＹ座標を推定 ・横方向に走査して得られたヒストグラムから、特徴点のＸ座標を推定 している様子を示している。
それを横方向および縦方向に走査し、走査ラインにおける白線に対応する画素の
数を頻度とするヒストグラムを、縦方向、横方向のそれぞれについて得る。該ヒ
ストグラムの結果から特徴点の存在する位置を推定する。図３５（ｂ）はその処
理例を示したもので、 ・縦方向に走査して得られたヒストグラムから、特徴点のＹ座標を推定 ・横方向に走査して得られたヒストグラムから、特徴点のＸ座標を推定 している様子を示している。
【０２８９】
処理７０３： 車載カメラから撮影された画像にエッジ抽出処理を行い、続い
て前記エッジ処理結果にさらに直線抽出処理を実施し、得られた直線の交点もし
くは端点を特徴点として推定する。図３５（ｃ）は、その処理例を示したもので
、エッジ抽出としては、例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。
て前記エッジ処理結果にさらに直線抽出処理を実施し、得られた直線の交点もし
くは端点を特徴点として推定する。図３５（ｃ）は、その処理例を示したもので
、エッジ抽出としては、例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。
【０２９０】
処理７０４： 上記処理７０２、処理７０３で得られた特徴点の推定値を用い
て特徴点を決定する。特徴点の決定の仕方としては、例えば、処理７０２、処理
７０３のそれぞれの方法で得られた特徴点の中間点を取るなどすればよい。尚、
処理７０２、処理７０３はいずれを先に実行しても同じ結果が得られる。
て特徴点を決定する。特徴点の決定の仕方としては、例えば、処理７０２、処理
７０３のそれぞれの方法で得られた特徴点の中間点を取るなどすればよい。尚、
処理７０２、処理７０３はいずれを先に実行しても同じ結果が得られる。
【０２９１】
処理７０５： カメラ画像から得られた特徴点の３次元座標系における座標を
求める。この座標から、前記空間モデルを構成する平面を求めることが可能とな
る。
求める。この座標から、前記空間モデルを構成する平面を求めることが可能とな
る。
【０２９２】
マッピング手段１０５Bは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を、空間モデル作成手段１０４Bによって作成さ
れた空間モデルにマッピングする。すなわち、車載カメラから撮影された各々の
画像を空間モデルに透視投影する。
画像を空間モデルに透視投影する。
【０２９３】
図２９は、画像を含む平面に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデルを構成する
面にマッピングする説明の補助として使用する図である。この詳細については、
すでに説明した。
標系の点の座標に変換することにより、車載カメラ画像を空間モデルを構成する
面にマッピングする説明の補助として使用する図である。この詳細については、
すでに説明した。
【０２９４】
なお、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。
【０２９５】
視点変換手段１０６Bは、車載カメラの画像がマッピング手段１０５Bによって
空間モデルにマッピングされた結果を、任意の視点に設置したカメラから撮影し
た画像として合成する。その方法の概要は、上述した視点変換手段１０５Aに関 して説明した。
空間モデルにマッピングされた結果を、任意の視点に設置したカメラから撮影し
た画像として合成する。その方法の概要は、上述した視点変換手段１０５Aに関 して説明した。
【０２９６】
ところで、視点変換手段１０６Bにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデルの
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。
点に、色がマッピングされていない場合も考えられる。その場合は、物体が存在
しない部分であると識別可能な色、例えば黒に置き換えるなどすればよい。
【０２９７】
さて、路面特徴検出手段１０３Bによって検出された特徴点の位置は、車両の
動きとともに変化する。空間モデルは特徴点の３次元座標を基に作成されるので
、車両の動きによって特徴点の位置が変化する毎に空間モデルを作り直す必要が
ある。すなわち車両が移動している間は常に、直前に説明した手法などで特徴点
の位置を求める必要があるが、画像から特徴点を求める処理は一般的に計算量が
多いため、コストが高くつく。これを回避するための方法として、車両の動く速
さと向きをつねに計測し、その計測結果を用いて特徴点の座標を計算すればよい
。
、車両の動きによって特徴点の位置が変化する毎に空間モデルを作り直す必要が
ある。すなわち車両が移動している間は常に、直前に説明した手法などで特徴点
の位置を求める必要があるが、画像から特徴点を求める処理は一般的に計算量が
多いため、コストが高くつく。これを回避するための方法として、車両の動く速
さと向きをつねに計測し、その計測結果を用いて特徴点の座標を計算すればよい
。
【０２９８】
本発明（請求項４１の一例）の車両周囲監視装置は、係る処理を実行するため
に、車両の移動方向を検出する移動方向検出手段１０９Bと、車両の単位時間に おける移動距離を検出する移動距離検出手段１０８Bを備え、移動方向検出手段 １０９Bおよび移動距離検出手段１０８Bでの処理結果を用いて、前記路面上の特
徴の現在位置を計算する。
に、車両の移動方向を検出する移動方向検出手段１０９Bと、車両の単位時間に おける移動距離を検出する移動距離検出手段１０８Bを備え、移動方向検出手段 １０９Bおよび移動距離検出手段１０８Bでの処理結果を用いて、前記路面上の特
徴の現在位置を計算する。
【０２９９】
図３７は、本発明（請求項４１の一例）の車両周囲監視装置において、車両の
動きにともなって特徴点の位置計算を行う処理の手順を示すフローチャート、図
３８は、前記処理の説明の補助に用いる概念図である。
動きにともなって特徴点の位置計算を行う処理の手順を示すフローチャート、図
３８は、前記処理の説明の補助に用いる概念図である。
【０３００】
図３８は、ある一定時間の間に車両が移動したとき、前記一定時間の開始時刻
（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および向きの関係を
示している。図３７および図３８を用いて前記処理の手順を説明する。
（以下ｔ１）と終了時刻（以下ｔ２）における車両の位置、および向きの関係を
示している。図３７および図３８を用いて前記処理の手順を説明する。
【０３０１】
処理９０１： ある一定時間における車両の移動距離を検出する。本実施例で
は、移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の
直線距離で定義する。すなわち、図３８におけるＯ１とＯ２の距離ということに
なる。
は、移動距離は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両位置の間の
直線距離で定義する。すなわち、図３８におけるＯ１とＯ２の距離ということに
なる。
【０３０２】
説明の都合上、図３８に記載のように、移動距離をＯ１からＯ２へのベクトル
を（ｔ’ｘ，０， ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイ
ヤの回転数などによって計測する方法が用いられる。
を（ｔ’ｘ，０， ｔ’ｚ）で表す。移動距離の検出方法としては、例えばタイ
ヤの回転数などによって計測する方法が用いられる。
【０３０３】
処理９０２： 前記一定時間における車両の移動方向を検出する。本実施例で
は移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向
きがどれだけ変化したかの変化量として定義する。
は移動方向を、時刻ｔ１における車両の向きに対して時刻ｔ２における車両の向
きがどれだけ変化したかの変化量として定義する。
【０３０４】
説明の都合上、図３８に記載のように、向きの変化量をＺ１軸とＺ２軸とのな
す角度Θで表す。移動方向の検出方法としては、例えばハンドルの回転角度など
によって計測する方法が用いられる。
す角度Θで表す。移動方向の検出方法としては、例えばハンドルの回転角度など
によって計測する方法が用いられる。
【０３０５】
処理９０３： 時刻ｔ１から時刻ｔ２に至る間の車両の移動距離および移動方
向を用いて、ｔ１において取得した特徴点の座標をｔ２における特徴点の座標に
変換する上記式（５）を作成する。
向を用いて、ｔ１において取得した特徴点の座標をｔ２における特徴点の座標に
変換する上記式（５）を作成する。
【０３０６】
但し、式（５）では時刻ｔ１から時刻ｔ２に至る間の車両移動においては、完
全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定している。
全に垂直成分の変化がないもの、つまり路面が平坦であることを仮定している。
【０３０７】
式（５）において、ｘ１，ｙ１，ｚ１は、時刻ｔ１において車体を中心にした
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。
Ｘ１−Ｙ１−Ｚ１ワールド座標系（原点Ｏ１）におけるある点の座標で、ｘ２，
ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中心にしたＸ２−Ｙ２−Ｚ２ワ
ールド座標系（原点Ｏ２）における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ２となる。
【０３０８】
処理９０４： 式（５）を用いて、時刻ｔ１において合成した特徴点の座標を
時刻ｔ２における特徴点の座標に変換する。
時刻ｔ２における特徴点の座標に変換する。
【０３０９】
車両の移動方向と移動距離が誤差なく計測できれば、移動方向検出手段１０９
と移動距離検出手段と特徴位置計算手段を導入し、直前で説明した計算方法によ
って、常に特徴点の正確な座標を得ることができる。しかしながら、車両の移動
方向と移動距離を誤差なく計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。
と移動距離検出手段と特徴位置計算手段を導入し、直前で説明した計算方法によ
って、常に特徴点の正確な座標を得ることができる。しかしながら、車両の移動
方向と移動距離を誤差なく計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。
【０３１０】
特徴修正手段１１０Bは、表示手段１０７Bにおいて路面特徴検出手段１０３B
における処理結果を表示しつつ、車両の乗員が特徴の修正を指示し、その指示に
従って路面の特徴位置を修正する。
従って路面の特徴位置を修正する。
【０３１１】
図３９は、特徴修正処理を表示手段１０７Bに表示している様子を示した概念
図であり、また、図４０は、特徴修正処理における処理の流れを示すフローチャ
ートである。以下、これらの図を用いて、特徴修正手段１１０Bでの処理手順を 説明する。
ートである。以下、これらの図を用いて、特徴修正手段１１０Bでの処理手順を 説明する。
【０３１２】
処理１２０１：表示手段１０７Bにて、現在の特徴点の位置を表示する。図３
９の例では車載カメラから撮影された各々の画像と空間モデルとをスーパーイン
ポーズし、それを上方から下向きに透視投影した画像を表示している様子を示し
ている。
ポーズし、それを上方から下向きに透視投影した画像を表示している様子を示し
ている。
【０３１３】
処理１２０２：位置のずれている特徴点を指定する。図３９の例では特徴点２
および特徴点４がずれている特徴点で、これらを指定する。指定にあたっては、
例えば表示装置にタッチパネルが装着されている場合は指で表示画面を触れるこ
とによって容易に場所の指定が可能である。
および特徴点４がずれている特徴点で、これらを指定する。指定にあたっては、
例えば表示装置にタッチパネルが装着されている場合は指で表示画面を触れるこ
とによって容易に場所の指定が可能である。
【０３１４】
処理１２０３：前記ずれた特徴点の正しい場所を指定する。正しい特徴点の場
所はどういう場所であるかは、予め操作する人に知らせておく。
所はどういう場所であるかは、予め操作する人に知らせておく。
【０３１５】
処理１２０４：修正すべき特徴点が残っていれば、上記処理１２０１〜１２０
３を引き続き繰り返し、なければ特徴点の修正処理を終了する。
３を引き続き繰り返し、なければ特徴点の修正処理を終了する。
【０３１６】
以上、本発明による車両周囲監視装置を構成するそれぞれの手段の実施例を説
明した。次に、本発明による車両周囲監視装置の全体の処理の流れについて説明
する。図４１は、本発明による車両周囲監視装置の全体の処理の流れを示すフロ
ーチャートである。なお、車両周囲監視装置の構成例としては図３３（ｃ）の構
成に基づく。
明した。次に、本発明による車両周囲監視装置の全体の処理の流れについて説明
する。図４１は、本発明による車両周囲監視装置の全体の処理の流れを示すフロ
ーチャートである。なお、車両周囲監視装置の構成例としては図３３（ｃ）の構
成に基づく。
【０３１７】
処理１３０１： 本装置を正常に動作させるために、車載カメラのそれぞれに
ついて、正しいカメラーパラメータをカメラパラメータテーブル１０２Bに入力 しておく。
ついて、正しいカメラーパラメータをカメラパラメータテーブル１０２Bに入力 しておく。
【０３１８】
処理１３０２： 車載カメラで撮影した画像から路面上の特徴点を抽出する。
【０３１９】
処理１３０３： 抽出した特徴点の画像内の座標とカメラパラメータから該特
徴点の３次元座標を計算する。但し、車両周囲監視装置処理が実行中ならば、車
両の移動方向および移動距離を検出した結果を用いて、特徴点の座標の現在位置
を計算する。
徴点の３次元座標を計算する。但し、車両周囲監視装置処理が実行中ならば、車
両の移動方向および移動距離を検出した結果を用いて、特徴点の座標の現在位置
を計算する。
【０３２０】
処理１３０４： 車載カメラで車両周囲の画像を撮影する。
【０３２１】
処理１３０５： 空間モデル作成手段１０４Bによって処理４で撮影された画
像を内に空間モデル作成する。
【０３２２】
処理１３０６： マッピング手段１０５Bにて、車載カメラからの画像を、空
間モデルにマッピングする。
【０３２３】
処理１３０７： 空間モデルにマッピングされた画像を参照して、運転者が設
定した視点から見た画像を合成する。
定した視点から見た画像を合成する。
【０３２４】
処理１３０８： 処理１３０７で合成された画像を表示する。
【０３２５】
処理１３０９： 表示画像において、特徴点の位置がずれているかどうかを確
認する。
認する。
【０３２６】
処理１３１０： もしずれていれば特徴点修正の割り込みを入れ、特徴点の修
正処理を行う。特徴点の修正の必要がなければ、処理１３０３に戻り、処理を繰
り返す。例えば運転者が車両を駐車スペースに入れようとしている時は、前記処
理１３０２〜１３０８を繰り返し、駐車が完了すれば本処理を終了すればよい。
正処理を行う。特徴点の修正の必要がなければ、処理１３０３に戻り、処理を繰
り返す。例えば運転者が車両を駐車スペースに入れようとしている時は、前記処
理１３０２〜１３０８を繰り返し、駐車が完了すれば本処理を終了すればよい。
【０３２７】
なお、本発明における車両の周囲の状況としては、上述した路面の特徴だけで
なく、たとえば駐車車両の状態等があげられる。その場合はその駐車車両の状態
に応じた空間モデルが生成される。
なく、たとえば駐車車両の状態等があげられる。その場合はその駐車車両の状態
に応じた空間モデルが生成される。
【０３２８】
以上のように、本発明では限られた台数のカメラからの画像を用いて任意の視
点からの画像が合成する。その合成の際に、単なる平面のモデルではなく、カメ
ラ画像から得られた路面上の特徴を利用して作成された汎用的な空間のモデルを
導入している。平面を用いた方法では、高さ成分がカメラ視線方向の奥行き成分
に変換されてしまうため、路面から上方に高さ成分を持つ物体は、路面に投影す
ると大きく歪むことが問題であったが、本発明の空間モデルを用いることにより
、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さを
もつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデルに
マッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく改
善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合成
画像によって周囲の状況がより一層認識しやすくなり、適確な運転操作を行える
ことが期待できる。また、前記空間モデルは単純な構成を有しているため、装置
のコストを低く押さえることも可能となる。
点からの画像が合成する。その合成の際に、単なる平面のモデルではなく、カメ
ラ画像から得られた路面上の特徴を利用して作成された汎用的な空間のモデルを
導入している。平面を用いた方法では、高さ成分がカメラ視線方向の奥行き成分
に変換されてしまうため、路面から上方に高さ成分を持つ物体は、路面に投影す
ると大きく歪むことが問題であったが、本発明の空間モデルを用いることにより
、高さをもつ物体も歪みを少なくして空間にマッピングされる。従って、高さを
もつ物体が２台のカメラ画像に映っている場合、それぞれの画像を空間モデルに
マッピングしたときの前記物体の重なりのずれは、平面モデルに比べて大きく改
善され、視点変換して合成した画像のクオリティが向上し、運転者は、前記合成
画像によって周囲の状況がより一層認識しやすくなり、適確な運転操作を行える
ことが期待できる。また、前記空間モデルは単純な構成を有しているため、装置
のコストを低く押さえることも可能となる。
【０３２９】
次に別の本発明の画像生成装置を説明する。
【０３３０】
以下、図を用いて本発明の一実施例を説明する。図４２は本発明（請求項４５
の一例）に係る画像生成装置の構成例を示したブロック図である。
の一例）に係る画像生成装置の構成例を示したブロック図である。
【０３３１】
本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１C、カメラ１０１Cの特性を示すカメラパラ
メータを格納しておくカメラパラメータテーブル１０２C、車両の周囲の状況を モデル化した空間モデル１０３Cにカメラ１０１Cより入力された画像をマッピン
グするマッピング手段１０４C、所望の仮想視点から見た一枚の画像を、マッピ ング手段１０４Cにて作成されたデータから合成する視点変換手段１０５C、カメ
ラ１０１Cのパラメータを、各々のカメラで独立して修正するカメラパラメータ 修正手段１０６C、視点変換手段１０５Cにて変換された画像を表示する表示手段
１０７Cからなる構成を有する。
に取付けられた複数台のカメラ１０１C、カメラ１０１Cの特性を示すカメラパラ
メータを格納しておくカメラパラメータテーブル１０２C、車両の周囲の状況を モデル化した空間モデル１０３Cにカメラ１０１Cより入力された画像をマッピン
グするマッピング手段１０４C、所望の仮想視点から見た一枚の画像を、マッピ ング手段１０４Cにて作成されたデータから合成する視点変換手段１０５C、カメ
ラ１０１Cのパラメータを、各々のカメラで独立して修正するカメラパラメータ 修正手段１０６C、視点変換手段１０５Cにて変換された画像を表示する表示手段
１０７Cからなる構成を有する。
【０３３２】
次に、本実施例を構成する各構成要素についての詳細を説明する。
【０３３３】
カメラ１０１Cは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。図４３（ａ）は、車両へ３台のカメラを取り付けた例を示
した概念図であるが、図４３（ａ）の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にし、できるだけ画角が大き
いものを使うようにすると、視野が広くなりカメラの台数も少数で済む。また左
右のドアミラー部に後方を向いたカメラを設置し、それらのカメラからの画像を
車内に設置したモニタに表示することによりドアミラーの機能を果たすため、車
両からドアミラーを除去することが可能となり、デザイン的にも空力的にも優れ
た車を設計することが可能となる。
した概念図であるが、図４３（ａ）の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にし、できるだけ画角が大き
いものを使うようにすると、視野が広くなりカメラの台数も少数で済む。また左
右のドアミラー部に後方を向いたカメラを設置し、それらのカメラからの画像を
車内に設置したモニタに表示することによりドアミラーの機能を果たすため、車
両からドアミラーを除去することが可能となり、デザイン的にも空力的にも優れ
た車を設計することが可能となる。
【０３３４】
カメラパラメータテーブル１０２Cは、カメラパラメータを格納するテーブル
である。その詳細については上述したとおりである。
【０３３５】
さて、まず該カメラパラメータテーブル１０２Cの詳細な説明の準備として、
車両を基準とした３次元空間座標系を定義する。図４４は車両を中心とする３次
元空間座標系を示した概念図である。図４４の例では３次元空間座標系の例とし
て、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義する。
元空間座標系を示した概念図である。図４４の例では３次元空間座標系の例とし
て、 ・車両の後面直下にある後面に平行な路面上の直線をＸ軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ軸 とする３次元空間座標系を定義する。
【０３３６】
また、本座標系においてカメラの向きは、
・Ｙ−Ｚ平面に対してなす角度をα
・Ｘ−Ｚ平面に対してなす角度をβ
・上記α、βの角度で回転した後の、カメラの光軸の周りの回転角度をγ
として、該α、β、γを用いて表すものとする。以下、特に断る場合を除いて、
３次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義に
よる３次元空間座標系を指すものとする。
３次元空間座標系もしくはワールド座標系もしくは単に３次元空間は、本定義に
よる３次元空間座標系を指すものとする。
【０３３７】
図４５は、カメラパラメータテーブル１０２Cに格納されているデータを表形
式で示したものである。図４５に記載されている内容は、テーブルの左側の列か
ら順に以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項
目がカメラパラメータの例を示している。 ・１列目：図４４の車載カメラの番号 ・２列目：３次元空間座標系におけるカメラ位置のＸ座標 ・３列目：３次元空間座標系におけるカメラ位置のＹ座標 ・４列目：３次元空間座標系におけるカメラ位置のＺ座標 ・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離 ・９列目：レンズの半径方向の歪み係数κ１ ・１０列目：レンズの半径方向の歪み係数κ２ 例えば、図４４におけるカメラ１のパラメータは図４５のカメラパラメータテ
ーブル１０２Cの第２行目に記載されており、その内容は、カメラ１は、座標（ ０、ｙ１、０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対
して−３０度の角度をなし、光軸周りの回転はなく、焦点距離はｆ１、レンズ歪
み係数κ１、κ２はともに０である、ということが記されている。
ら順に以下の通りで、下記のごとく本テーブルでは、２列目から９列目までの項
目がカメラパラメータの例を示している。 ・１列目：図４４の車載カメラの番号 ・２列目：３次元空間座標系におけるカメラ位置のＸ座標 ・３列目：３次元空間座標系におけるカメラ位置のＹ座標 ・４列目：３次元空間座標系におけるカメラ位置のＺ座標 ・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離 ・９列目：レンズの半径方向の歪み係数κ１ ・１０列目：レンズの半径方向の歪み係数κ２ 例えば、図４４におけるカメラ１のパラメータは図４５のカメラパラメータテ
ーブル１０２Cの第２行目に記載されており、その内容は、カメラ１は、座標（ ０、ｙ１、０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対
して−３０度の角度をなし、光軸周りの回転はなく、焦点距離はｆ１、レンズ歪
み係数κ１、κ２はともに０である、ということが記されている。
【０３３８】
本実施例では、視点変換手段１０５C（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。この
際 、仮想のカメラでは、レンズの歪みは考慮する必要がないので、レンズ歪み係数
κ１、κ２はいずれも０とすることができる。
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。この
際 、仮想のカメラでは、レンズの歪みは考慮する必要がないので、レンズ歪み係数
κ１、κ２はいずれも０とすることができる。
【０３３９】
図４６は、視点パラメータテーブル102Cに格納されているデータを表形式で示
したものである。図４６に記載されている内容は、テーブルの左側の列から順に
、２列目から９列目までの項目が視点パラメータの例を示している。その内容は
、仮想視点が、座標（０、０、ｚ２）の位置にあり、向きはＹ−Ｚ平面に対して
０度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周りの回転はなく、焦点
距離はｆ２、レンズ歪み係数κ１、κ２はともに０である、ということが記され
ている。
したものである。図４６に記載されている内容は、テーブルの左側の列から順に
、２列目から９列目までの項目が視点パラメータの例を示している。その内容は
、仮想視点が、座標（０、０、ｚ２）の位置にあり、向きはＹ−Ｚ平面に対して
０度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周りの回転はなく、焦点
距離はｆ２、レンズ歪み係数κ１、κ２はともに０である、ということが記され
ている。
【０３４０】
マッピング手段１０４Cは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Cにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Cに透視投影する
。
【０３４１】
ここで空間モデル１０３Cとは、マッピング手段１０４Cにおいて、カメラから
の画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面も
しくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例では
、説明を容易にするために、最も単純な空間モデル１０３Cの一例として路面と しての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピング
する方法を説明する。
の画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面も
しくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例では
、説明を容易にするために、最も単純な空間モデル１０３Cの一例として路面と しての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピング
する方法を説明する。
【０３４２】
尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。
【０３４３】
さて、マッピング手段１０４Cにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する。図４７は、画像
を含む平面（以下、視平面）に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデル１０３Cを 構成する面にマッピングする説明の補助として使用する図である。該変換は下記
の手順で行われる。
を含む平面（以下、視平面）に設定したＵ−Ｖ座標系の点の座標を、ワールド座
標系の点の座標に変換することにより、車載カメラ画像を空間モデル１０３Cを 構成する面にマッピングする説明の補助として使用する図である。該変換は下記
の手順で行われる。
【０３４４】
手順１：視平面が Ｚ＝ｆ（カメラの焦点距離）で、該平面上にあるカメラ画
像の中心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏ
ｅを原点とする）。
像の中心をＺ軸が通るような座標系を設定する。これを視平面座標系と呼ぶ（Ｏ
ｅを原点とする）。
【０３４５】
手順２：図７における点Ｐｖ（ｕ，ｖ）（この点がカメラ撮影画像の一画素に
対応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅ
とＰｖの関係は、カメラの焦点距離ｆを用いて、上記式（１）式（２）のように
表すことが出来る（但し、この場合はＺｅ＝ｆとなる）。
対応する）の視平面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とすると、Ｐｅ
とＰｖの関係は、カメラの焦点距離ｆを用いて、上記式（１）式（２）のように
表すことが出来る（但し、この場合はＺｅ＝ｆとなる）。
【０３４６】
前記２つの式により、視平面上に投影された画像の各々の画素について、視平
面座標系における座標を決めることができる。
面座標系における座標を決めることができる。
【０３４７】
手順３：視平面座標系とワールド座標系とを対応づける計算式を求める。
【０３４８】
ここで、ワールド座標系を中心にして、視平面座標系が空間的に以下のような
関係にあるとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。
関係にあるとする。 ・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへのベクトルを（ｔｘ，ｔ
ｙ，ｔｚ）とする。
【０３４９】
つまり、２つの座標系の位置的なずれは、視平面座標系を（ｔｘ，ｔｙ，ｔｚ
）だけ平行移動することによって無くなる。尚、ワールド座標系におけるカメラ
位置が既知であれば、該位置の座標の符号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は
容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系に合わせるための回転行
列を上記式（１）とする。
）だけ平行移動することによって無くなる。尚、ワールド座標系におけるカメラ
位置が既知であれば、該位置の座標の符号を反転すれば（ｔｘ，ｔｙ，ｔｚ）は
容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系に合わせるための回転行
列を上記式（１）とする。
【０３５０】
該回転行列は、カメラパラメータテーブル１０２Cのうち、向きおよびカメラ
の光軸周りの回転を表すパラメータ（α、β、γ）によって、Ｘ，Ｙ，Ｚの各軸
まわりの回転行列を求め、それらを合成することによって容易に求めることがで
きる。さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また
、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，
Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間
には式（８）の関係が成り立つ。
まわりの回転行列を求め、それらを合成することによって容易に求めることがで
きる。さて、ある点をワールド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また
、視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとすると、Ｐｅ（Ｘｅ，Ｙｅ，
Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間
には式（８）の関係が成り立つ。
【０３５１】
これらの式（１）式（２）式（８）を用いることにより、視平面上での画素Ｐ
ｖ（ｕ，ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換する
ことが出来る。
ｖ（ｕ，ｖ）を、ワールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換する
ことが出来る。
【０３５２】
さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。
画像面を含む平面上の座標として表されるが、その詳細は既に図３０において説
明した。
【０３５３】
なお、図４７では空間モデル１０３Cを形成する面としてＸ−Ｚ平面を用いた
場合の例を示している。
【０３５４】
視点変換手段１０５Cは、車載カメラの画像がマッピング手段１０４Cによって
空間モデル１０３Cにマッピングされた結果を、任意の仮想視点に設置したカメ ラから撮影した画像に合成する。その方法の概要は、上記視点変換手段１０５Ａ
に関して説明した。
空間モデル１０３Cにマッピングされた結果を、任意の仮想視点に設置したカメ ラから撮影した画像に合成する。その方法の概要は、上記視点変換手段１０５Ａ
に関して説明した。
【０３５５】
ところで、視点変換手段１０５Cにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Cの点に、色がマッピングされていない場合も考えられる。その場合は、 ・物体が存在しない部分であると識別可能な色、例えば黒に置き換える ・当該点の色を、色がマッピングされている周囲の点から、補間、補外などによ
って求めるなどすればよい。
０３Cの点に、色がマッピングされていない場合も考えられる。その場合は、 ・物体が存在しない部分であると識別可能な色、例えば黒に置き換える ・当該点の色を、色がマッピングされている周囲の点から、補間、補外などによ
って求めるなどすればよい。
【０３５６】
カメラパラメータ修正手段１０６Cは、カメラのパラメータを、各々のカメラ
で独立して修正する。
【０３５７】
図４８は、カメラパラメータ修正手段１０６Cによってカメラパラメータを修
正するための操作部の構成例を示した概念図である。
【０３５８】
本実施例では、
・修正の対象となるカメラを選択する、カメラ選択ボタン９０１C
・カメラの光軸方向に前後の移動をするズームボタン９０４C（前向き、後向き
）・カメラの光軸方向に垂直にカメラを平行移動する平行移動ボタン９０２C（
上下左右）・カメラの向きの変更と、カメラの光軸周りの回転を修正するジョイ
スティック９０３C から構成され、 （ａ）ズームボタン９０４C、平行移動ボタン９０２Cの操作、カメラの３次元
空間位置を、 （ｂ）ジョイスティック９０３Cによって、カメラの回転角度を、 それぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当
該カメラパラメータの以下の情報が修正される。
スティック９０３C から構成され、 （ａ）ズームボタン９０４C、平行移動ボタン９０２Cの操作、カメラの３次元
空間位置を、 （ｂ）ジョイスティック９０３Cによって、カメラの回転角度を、 それぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ当
該カメラパラメータの以下の情報が修正される。
【０３５９】
（ａ）３次元空間座標系におけるカメラ位置のＸ、Ｙ、Ｚ座標
（ｂ）カメラの向きのうちＹ−Ｚ平面に対してなす角度α
カメラの向きのうちＸ−Ｚ平面に対してなす角度β
カメラの光軸の周りの回転角度γ
修正された結果は、即座に式（８）に反映する。すなわち、式（８）において
、式０に示す回転行列が、新たなカメラ角度を用いて再度計算されるとともに（
ｔｘ，ｔｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。さすれば、変更
後の式（８）を用いることによって修正操作の結果としての画像が合成され、操
作者は、自身の修正の操作が正しいかどうかを一目で確認することが可能である
。
、式０に示す回転行列が、新たなカメラ角度を用いて再度計算されるとともに（
ｔｘ，ｔｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。さすれば、変更
後の式（８）を用いることによって修正操作の結果としての画像が合成され、操
作者は、自身の修正の操作が正しいかどうかを一目で確認することが可能である
。
【０３６０】
ところで、ジョイスティック９０３Cの操作について、操作としては、
（１）ジョイスティック９０３Cの軸を上下左右に動かす、いわゆるカメラの
光軸の向きの調整に相当する操作
（２）ジョイスティック９０３Cの軸自身を回転させる、いわゆるカメラの光
軸周りの回転の調整に相当する操作
の２通りは少なくとも必要不可欠である。
【０３６１】
これらのジョイスティック９０３Cの操作のうち、（１）については、ジョイ
スティック９０３Cの軸とカメラの光軸があたかも一致しているように、操作内
容とその結果の画面が表示できれば、操作者はカメラの向きを直感的に把握し易
い。
い。
【０３６２】
そのためには、ジョイスティック９０３Cの操作によって傾けられた軸の向き
と同じようにカメラの光軸を設定するのではなく、ジョイスティック９０３Cの
軸を動かした向きとは反対の方向に同じだけカメラの向きを動かし、その状態で
の向きを変更されたカメラの向きとしてカメラパラメータテーブル１０２Cに書 き込めばよい。
の向きを変更されたカメラの向きとしてカメラパラメータテーブル１０２Cに書 き込めばよい。
【０３６３】
また、かかる修正をあたかもバックミラーを修正しているかのように行うため
には、実際にカメラが置いてある場所でカメラの向いている方向の画像を見なが
ら行うのが望ましい。そのために、本修正処理を行う際には、表示のために設置
する仮想視点は、修正しようとするカメラの修正前の位置および向きと一致させ
ることが望ましい。そのようにすれば、修正によってカメラの向きや位置が変わ
っていく様子が一目で把握でき、また修正が完了すれば、完了前の仮想視点位置
に戻せばよい。
には、実際にカメラが置いてある場所でカメラの向いている方向の画像を見なが
ら行うのが望ましい。そのために、本修正処理を行う際には、表示のために設置
する仮想視点は、修正しようとするカメラの修正前の位置および向きと一致させ
ることが望ましい。そのようにすれば、修正によってカメラの向きや位置が変わ
っていく様子が一目で把握でき、また修正が完了すれば、完了前の仮想視点位置
に戻せばよい。
【０３６４】
図４９は本発明にかかる画像生成装置の関連する技術の構成例を示したブロッ
ク図である。
ク図である。
【０３６５】
ここでは、図４２の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０８Cを備えている。
の画素の対応づけ関係を保持するマッピングテーブル１０８Cを備えている。
【０３６６】
図５０は、マッピングテーブル１０８Cを表形式で示した概念図である。テー
ブルは、表示手段１０７Cにて表示する画面の画素数分のセルから構成されてい
る。すなわち、
・表示画面の横画素数がテーブルの列数
・表示画面の縦画素数がテーブルの行数
になるように、テーブルが構成される。そして、それぞれのセルは、
・カメラ番号
・前記カメラで撮影された画像の画素座標
をデータとして持つ。例えば図５０の左上のセルは表示画面での左上、すなわち
（０、０）の部分を示しており、マッピング手段１０４Cは、前記セルに格納さ れているデータ内容（１、１０、１０）から、「１番カメラで撮影された画像の
画素（１０、１０）のデータを、表示画面（０、０）に表示する」という処理を
行う。
（０、０）の部分を示しており、マッピング手段１０４Cは、前記セルに格納さ れているデータ内容（１、１０、１０）から、「１番カメラで撮影された画像の
画素（１０、１０）のデータを、表示画面（０、０）に表示する」という処理を
行う。
【０３６７】
ところで、マッピングテーブル１０８Cを作成するためには、カメラ入力画像
と合成画像との間の画素の対応づけを計算する必要があるが、この計算は、マッ
ピング手段１０４Cおよび視点変換手段１０５Cによって容易に計算できる。より
具体的には、全てのカメラについて以下の１〜２の処理を行えば良い。 １．カメラを一つ決め、そのカメラ番号をＣｎとする。 ２．該カメラ画像を構成する全ての画素に対して以下の２．１〜２．３の処理を
実施する。
ピング手段１０４Cおよび視点変換手段１０５Cによって容易に計算できる。より
具体的には、全てのカメラについて以下の１〜２の処理を行えば良い。 １．カメラを一つ決め、そのカメラ番号をＣｎとする。 ２．該カメラ画像を構成する全ての画素に対して以下の２．１〜２．３の処理を
実施する。
【０３６８】
２．１ マッピング手段１０４Cにより該画素（座標を座標１とする）を空間
モデル１０３Cにマッピングする。
【０３６９】
２．２ 視点変換手段１０５Cにより、２．１でマッピングされた画素を仮想
視点から見たときの視平面での座標（座標２とする）を求める。
【０３７０】
２．３ マッピングテーブル１０８Cの座標２に対応するセルに、（Ｃｎ、座
標１）を組にしたデータを書き込む。但し、それぞれのカメラ画像の表示領域が
決められていれば、座標２がＣｎの表示領域である場合にのみ、データを書き込
むようにする。
決められていれば、座標２がＣｎの表示領域である場合にのみ、データを書き込
むようにする。
【０３７１】
マッピングテーブル１０８Cが作成されている場合は、表示手段１０７Cは、マ
ッピング手段１０４Cおよび視点変換手段１０５Cでの処理結果を用いて、合成画
像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直接置
き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能とな
る。
ッピング手段１０４Cおよび視点変換手段１０５Cでの処理結果を用いて、合成画
像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直接置
き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能とな
る。
【０３７２】
以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを説明する。
た。最後に、本発明による画像生成装置における修正処理の流れを説明する。
【０３７３】
図５１は、カメラパラメータの修正処理の流れを示すフローチャート、図５２
及び図５３は、カメラパラメータの修正処理の説明の補助に使用する概念図で、
図５２(ａ)，(ｂ)は、カメラパラメータ修正時の表示画面を、図５３(ａ)，(ｂ)
は、カメラパラメータ修正時以外（すなわち通常時）の表示画面を示す。
及び図５３は、カメラパラメータの修正処理の説明の補助に使用する概念図で、
図５２(ａ)，(ｂ)は、カメラパラメータ修正時の表示画面を、図５３(ａ)，(ｂ)
は、カメラパラメータ修正時以外（すなわち通常時）の表示画面を示す。
【０３７４】
処理１２０１：カメラ選択ボタン９０１Cなどで修正対象となるカメラを選択
する。その際には画面上には、図５３（ａ）のごとく、合成画像がずれている様
子が表示されている。
子が表示されている。
【０３７５】
処理１２０２：仮想視点を、選択されたカメラの位置・向きにあわせて変更し
、画像を合成する。仮想視点が変更されると、画面は図５２（ａ）のごとく、選
択されたカメラの視点位置からの画像が表示され、該視点位置からのカメラのず
れの様子が把握できるようになる。
、画像を合成する。仮想視点が変更されると、画面は図５２（ａ）のごとく、選
択されたカメラの視点位置からの画像が表示され、該視点位置からのカメラのず
れの様子が把握できるようになる。
【０３７６】
処理１２０３：ズームボタン９０４C、平行移動ボタン９０２C、ジョイスティ
ック９０３Cを用いて、カメラの３次元空間位置とカメラの向きを修正する。該 修正処理中は、仮想視点は固定したままにする。修正がうまくできれば、画面は
、図５２（ｂ）のごとく、ずれのない様子が表示される。
ック９０３Cを用いて、カメラの３次元空間位置とカメラの向きを修正する。該 修正処理中は、仮想視点は固定したままにする。修正がうまくできれば、画面は
、図５２（ｂ）のごとく、ずれのない様子が表示される。
【０３７７】
処理１２０４：当該カメラの修正が終了すると、修正後のカメラパラメータを
カメラパラメータテーブル１０２Cに書き込む。
カメラパラメータテーブル１０２Cに書き込む。
【０３７８】
処理１２０５：他に修正の必要があるカメラがあれば、続いて前記カメラを選
択し、上記処理１２０１〜１２０４を繰り返す。無ければ次の処理１２０６に進
む。
択し、上記処理１２０１〜１２０４を繰り返す。無ければ次の処理１２０６に進
む。
【０３７９】
処理１２０６：処理１２０２で変更された仮想視点を、該カメラ修正処理前の
仮想視点に戻し、画像を合成する。その合成の結果、画面は、図５２（ｂ）のご
とく、ずれのない画像が表示されており、その確認でもってカメラパラメータ修
正処理を終了する。
仮想視点に戻し、画像を合成する。その合成の結果、画面は、図５２（ｂ）のご
とく、ずれのない画像が表示されており、その確認でもってカメラパラメータ修
正処理を終了する。
【０３８０】
なお、図５２，図５３の概念図に示したごとく、各々の車載カメラからの画像
を接合する部分においては、該接合部分に、見た目に違和感を与えない程度のマ
ーカ（例えば線）などを印しておくと、どのカメラの画像がどこに表示されてい
るかが分かり易くなる。
を接合する部分においては、該接合部分に、見た目に違和感を与えない程度のマ
ーカ（例えば線）などを印しておくと、どのカメラの画像がどこに表示されてい
るかが分かり易くなる。
【０３８１】
以上のように、本発明によれば、限られた台数のカメラからの画像を用いて任
意の仮想視点からの画像を合成する。車両走行中の振動などにより、カメラの位
置、向きがずれた場合、従来では、前記ずれを修正することが困難であったが、
本発明では、視点を修正するカメラパラメータ修正手段によって、あたかもバッ
クミラーを調整するかの如く、運転者は、自身で表示画像を都度確認しながら、
ずれの生じたカメラの画像のみに対して、視点の位置の移動、向きの変更などに
よって最適の画像を得る。
意の仮想視点からの画像を合成する。車両走行中の振動などにより、カメラの位
置、向きがずれた場合、従来では、前記ずれを修正することが困難であったが、
本発明では、視点を修正するカメラパラメータ修正手段によって、あたかもバッ
クミラーを調整するかの如く、運転者は、自身で表示画像を都度確認しながら、
ずれの生じたカメラの画像のみに対して、視点の位置の移動、向きの変更などに
よって最適の画像を得る。
【０３８２】
従って、運転者は例え合成画像の一部にずれが生じた場合でも、その調整のた
めに多大な費用と手間を要することなく、容易にずれの修正を行うことが可能と
なる。
めに多大な費用と手間を要することなく、容易にずれの修正を行うことが可能と
なる。
【０３８３】
しかも本発明では、運転者の視点修正操作中は、視点変換手段によって、仮想
視点を、修正しようとする車載カメラの位置に切り替えて画像を合成するため、
車載カメラの向き・位置修正を、バックミラーを修正するかのごとく行うことが
可能である。
視点を、修正しようとする車載カメラの位置に切り替えて画像を合成するため、
車載カメラの向き・位置修正を、バックミラーを修正するかのごとく行うことが
可能である。
【０３８４】
また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのカメラパラメータを修正するので、カメラの向きを変更
する機構が必要でなくなり、装置のコストを低価格に押さえることが可能となる
。
視点の向き、位置などのカメラパラメータを修正するので、カメラの向きを変更
する機構が必要でなくなり、装置のコストを低価格に押さえることが可能となる
。
【０３８５】
図５４は本発明の別の実施の形態を示すブロック図であり、図４２と同じ手段
には同じ番号を付して説明を省略する。新しい点は、カメラの特性を示すカメラ
パラメータを修正する際にガイドとなるガイドデータを格納するガイドデータ記
憶手段１１０Cを有する点である。このガイドデータは画像合成手段１０９Cによ
って、入力画像と重畳され、表示手段１０７Cによって表示される。このガイド データは任意の生成方法で生成できるが、たとえば次に説明するような方法で生
成し、利用する。
には同じ番号を付して説明を省略する。新しい点は、カメラの特性を示すカメラ
パラメータを修正する際にガイドとなるガイドデータを格納するガイドデータ記
憶手段１１０Cを有する点である。このガイドデータは画像合成手段１０９Cによ
って、入力画像と重畳され、表示手段１０７Cによって表示される。このガイド データは任意の生成方法で生成できるが、たとえば次に説明するような方法で生
成し、利用する。
【０３８６】
図５５は、図５４の構成に加えて、車両の所定場所に点光源を発生させる特徴
発生手段１１１Cと、その特徴を抽出できる特徴抽出手段１１２Cをさらに備え、
その特徴抽出結果を上記ガイドデータとして、記憶手段１１０Cに格納できるよ うになっている。
発生手段１１１Cと、その特徴を抽出できる特徴抽出手段１１２Cをさらに備え、
その特徴抽出結果を上記ガイドデータとして、記憶手段１１０Cに格納できるよ うになっている。
【０３８７】
たとえば、図５６は点光源を特徴とするものであり、車両の前方にいくつかの
ランプ１１３Cを取り付けている(a)。このランプ１１３Cが特徴発生手段１１１C
に対応する。さらに、車両の前側に取り付けられたカメラ１，２(f)からその車 体の前部を撮影した画像を示す(b,c)。特徴抽出手段１１２Cはその画像から、光
っている特徴を画像処理して抽出する（d,e）。
ランプ１１３Cを取り付けている(a)。このランプ１１３Cが特徴発生手段１１１C
に対応する。さらに、車両の前側に取り付けられたカメラ１，２(f)からその車 体の前部を撮影した画像を示す(b,c)。特徴抽出手段１１２Cはその画像から、光
っている特徴を画像処理して抽出する（d,e）。
【０３８８】
図５７(a),(b),(c),(d),(e)は、特徴として、車体の一部の線分を取り上げた
例を示す。つまり、車体の右後ろの隅部の線分を画像処理して取り出している。
【０３８９】
これらの点光源や、線分は車が移動してもいつもそのカメラに対して位置関係
が不変である。そこで、カメラの方向等が振動によって変化した場合、この不変
の特徴を利用して、カメラのパラメータを修正できるものである。その具体的や
り方を次に説明する。
が不変である。そこで、カメラの方向等が振動によって変化した場合、この不変
の特徴を利用して、カメラのパラメータを修正できるものである。その具体的や
り方を次に説明する。
【０３９０】
図５８において、黒丸は本来の点光源のあるべき画像を示す。白丸はカメラが
ずれた場合の撮影した点光源を示す。そこで、(a)のように、ずれた状態の画像 が得られる。そこで、上述したようにしてジョイスティック９０３Cを利用して パラメータを修正して一致させる(b,c)。これによって、簡単にキャリブレーシ ョンを行うことができる。
ずれた場合の撮影した点光源を示す。そこで、(a)のように、ずれた状態の画像 が得られる。そこで、上述したようにしてジョイスティック９０３Cを利用して パラメータを修正して一致させる(b,c)。これによって、簡単にキャリブレーシ ョンを行うことができる。
【０３９１】
図５９の(a,b,c,)は、上述して線分を利用してキャリブレーションを実行した
例を示している。
例を示している。
【０３９２】
なお、上記特徴の発生は、パターン光を照射する等、他の方法でももちろん発
生できる。
生できる。
【０３９３】
次に、別の本発明の一実施例を説明する。
【０３９４】
図６０は本発明（請求項５５の一例）の画像生成装置の構成例を示したブロッ
ク図である。
ク図である。
【０３９５】
本実施例の画像生成装置は、基本構成として、車両周囲の状況を把握するため
に取付けられた複数台のカメラ１０１D、カメラ１０１Dの特性を示すカメラパラ
メータを格納しておくカメラパラメータテーブル１０２D、車両の周囲の状況を モデル化した空間モデル１０３Dにカメラ１０１Dより入力された画像をマッピン
グするマッピング手段１０４D、少なくとも位置、向きを含む視点パラメータを 格納する視点パラメータテーブル１０８D、所望の仮想視点から見た一枚の画像 を、マッピング手段１０４Dにて作成されたデータから合成する視点変換手段１ ０５D、前記仮想視点のパラメータを修正する視点パラメータ修正手段１０６D、
視点変換手段１０５Dにて変換された画像を接合して表示する表示手段１０７Dを
備えた構成を有する。
に取付けられた複数台のカメラ１０１D、カメラ１０１Dの特性を示すカメラパラ
メータを格納しておくカメラパラメータテーブル１０２D、車両の周囲の状況を モデル化した空間モデル１０３Dにカメラ１０１Dより入力された画像をマッピン
グするマッピング手段１０４D、少なくとも位置、向きを含む視点パラメータを 格納する視点パラメータテーブル１０８D、所望の仮想視点から見た一枚の画像 を、マッピング手段１０４Dにて作成されたデータから合成する視点変換手段１ ０５D、前記仮想視点のパラメータを修正する視点パラメータ修正手段１０６D、
視点変換手段１０５Dにて変換された画像を接合して表示する表示手段１０７Dを
備えた構成を有する。
【０３９６】
次に、本実施例を構成する各構成要素についての詳細を説明する。
【０３９７】
カメラ１０１Dは、車両の周囲の状況など、監視すべき空間の画像を撮り込む
テレビカメラである。このカメラは図４３に示したように車両に取り付けられる
。
。
【０３９８】
カメラパラメータテーブル１０２Dは、カメラパラメータを格納するテーブル
である。カメラパラメータについては、上述したとおりである。
【０３９９】
さて、まずカメラパラメータテーブル１０２Dの詳細な説明の準備として、車
両を基準とした３次元空間座標系を定義する。それは図４４で説明した通りであ
る。
る。
【０４００】
カメラパラメータテーブル１０２Dに格納されているデータは、図４５のもの
と同じである。
【０４０１】
本実施例では、視点変換手段１０５D（後で詳細を説明）によって、車載カメ
ラから撮影した画像を所望の仮想視点から見た画像に変換することが可能である
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。
。仮想視点から見た画像とは、具体的には所望の場所に好きな向きに仮にカメラ
を置いた場合に見えるはずの画像のことである。従って仮想視点の視点パラメー
タは、前述のカメラパラメータと同じものを用いて表すことが可能である。
【０４０２】
図６１は、視点パラメータテーブル１０８Dに格納されているデータを表形式
で示したものである。図６１では、視点パラメータはそれぞれ３つずつ格納され
ているが、３つのそれぞれが、それぞれ３台の車載カメラと一対一に対応づけら
れている。
ているが、３つのそれぞれが、それぞれ３台の車載カメラと一対一に対応づけら
れている。
【０４０３】
例えば、カメラ１で撮影された画像は、仮想視点１から見た画像へと視点変換
され、カメラ２で撮影された画像は、仮想視点２から見た画像へと視点変換され
る。
され、カメラ２で撮影された画像は、仮想視点２から見た画像へと視点変換され
る。
【０４０４】
このようにカメラ１台ごとに仮想視点を設定すれば、もしカメラの位置ずれな
どによって、表示画面上で他のカメラの画像と該カメラからの画像との接合部分
がずれた場合に、ずれたカメラ画像を見ている仮想視点のパラメータのみを変更
することによって、直感的にずれを修正することが可能となる。修正方法の詳細
は後の視点パラメータ修正手段の説明において説明する。
どによって、表示画面上で他のカメラの画像と該カメラからの画像との接合部分
がずれた場合に、ずれたカメラ画像を見ている仮想視点のパラメータのみを変更
することによって、直感的にずれを修正することが可能となる。修正方法の詳細
は後の視点パラメータ修正手段の説明において説明する。
【０４０５】
さて、図６１に記載されている内容は、２列目から９列目までの項目が視点パ
ラメータの具体例を示しており、テーブルの左側の列から順に次の通りである。
ラメータの具体例を示しており、テーブルの左側の列から順に次の通りである。
【０４０６】
すなわち、図６１の２行目を例にとると、仮想視点１とは、座標（０、０、ｚ
２）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−９０
度の角度をなし、視線の中心軸周りの回転はなく、焦点距離はｆ２、レンズ歪み
係数κ１、κ２はともに０である、ということが記されている。
２）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−９０
度の角度をなし、視線の中心軸周りの回転はなく、焦点距離はｆ２、レンズ歪み
係数κ１、κ２はともに０である、ということが記されている。
【０４０７】
マッピング手段１０４Dは、カメラパラメータに基づいて、車載カメラからの
入力画像を構成する各々の画素を空間モデル１０３Dにマッピングする。すなわ
ち、車載カメラから撮影された各々の画像を空間モデル１０３Dに透視投影する
。
【０４０８】
ここで空間モデル１０３Dとは、マッピング手段１０４Dにおいて、カメラから
の画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面も
しくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例では
、説明を容易にするために、最も単純な空間モデル１０３Dの一例として路面と しての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピング
する方法を説明する。
の画像を３次元空間座標系にマッピングする立体モデルを指し、例えば、平面も
しくは曲面もしくは平面および曲面からなるモデルが使用される。本実施例では
、説明を容易にするために、最も単純な空間モデル１０３Dの一例として路面と しての平面モデルを用い、車載カメラからの画像を、該平面モデルにマッピング
する方法を説明する。
【０４０９】
尚、実用に際しては該単純なモデルでは、高さ成分を持つ物体の歪みが大きく
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。
なるなどの問題が生じるため、平面をいくつか組み合わせた空間モデル、平面と
曲面を組み合わせた空間モデルなどを用いるとよい。さらには、車両の周囲の障
害物の正確な立体モデルを実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。
【０４１０】
さて、マッピング手段１０４Dにおけるマッピング処理の説明をする前に、ま
ず視平面座標をワールド座標へ変換する方法について説明する必要があるが、そ
れはすでに、図４７に関して説明したのと同様である。
れはすでに、図４７に関して説明したのと同様である。
【０４１１】
さて、車載カメラで撮影された画像を構成する各々の画素の位置は、一般的に
画像面を含む平面上の座標として表されるが、その詳細は既に’２３３の図７に
おいて説明した。
画像面を含む平面上の座標として表されるが、その詳細は既に’２３３の図７に
おいて説明した。
【０４１２】
視点変換手段１０５Dは、車載カメラの画像がマッピング手段１０４Dによって
空間モデル１０３Dにマッピングされた結果を、任意の仮想視点に設置したカメ ラから撮影した画像に合成する。その方法の概要は、視点変換手段１０５Aに関 して説明した。
空間モデル１０３Dにマッピングされた結果を、任意の仮想視点に設置したカメ ラから撮影した画像に合成する。その方法の概要は、視点変換手段１０５Aに関 して説明した。
【０４１３】
ところで、視点変換手段１０５Dにおいて、前記任意視点にカメラを置いて見
たときの画像を合成する際に、前記合成画像のある画素に対応する空間モデル１
０３Dの点に、色がマッピングされていない場合も考えられる。その場合につい ては、すでに説明した。
０３Dの点に、色がマッピングされていない場合も考えられる。その場合につい ては、すでに説明した。
【０４１４】
図６２は、マッピング手段１０４Dによって車載カメラからの入力画像を構成
する各々の画素を空間モデル１０３Dとしての平面にマッピングし、該平面にマ
ッピングされた結果を、仮想視点に設置したカメラから撮影した画像に合成する
様子を示した概念図である。
様子を示した概念図である。
【０４１５】
視点パラメータ修正手段１０６Dは、それぞれのカメラ毎に設けられている仮
想視点のパラメータを、それぞれ独立して修正できる。
【０４１６】
図６３は、視点パラメータ修正手段１０６Dによって仮想視点パラメータを修
正するための操作部の構成例を示したものである。本実施例では、
・修正の対象となる仮想視点を選択する、視点選択ボタン１００１
・仮想視点からの視線の中心軸上を前後に移動する、ズームボタン１００４（前
向き、後向き） ・仮想視点からの視線方向に垂直に視点位置を平行移動する平行移動ボタン１０
０２（画像面に対して上下左右の動き） ・仮想視点からの視線方向の変更と、仮想視点からの視線方向周りの回転を修正
するジョイスティック１００３Dから構成され、 （ａ）ズームボタン１００４D、平行移動ボタン１００２Dの操作によって、仮想
視点の３次元空間位置を、 （ｂ）ジョイスティック１００３Dによって、仮想視点からの視線方向を、 それぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ 当該仮想視点パラメータの以下の情報が修正され、視点パラメータテーブル１０
８に上書きされる。 （ａ）３次元空間座標系における仮想視点位置のＸ、Ｙ、Ｚ座標 （ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対してなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映する。すなわち、式（８）に
おいて、式０に示す回転行列が、新たな視線方向を用いて再度計算されるととも
に（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で置き換える。
向き、後向き） ・仮想視点からの視線方向に垂直に視点位置を平行移動する平行移動ボタン１０
０２（画像面に対して上下左右の動き） ・仮想視点からの視線方向の変更と、仮想視点からの視線方向周りの回転を修正
するジョイスティック１００３Dから構成され、 （ａ）ズームボタン１００４D、平行移動ボタン１００２Dの操作によって、仮想
視点の３次元空間位置を、 （ｂ）ジョイスティック１００３Dによって、仮想視点からの視線方向を、 それぞれ変更することができ、上記（ａ）、（ｂ）の操作によって、それぞれ 当該仮想視点パラメータの以下の情報が修正され、視点パラメータテーブル１０
８に上書きされる。 （ａ）３次元空間座標系における仮想視点位置のＸ、Ｙ、Ｚ座標 （ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対してなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映する。すなわち、式（８）に
おいて、式０に示す回転行列が、新たな視線方向を用いて再度計算されるととも
に（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で置き換える。
【０４１７】
その結果、変更後の式（８）を用いることによって修正操作の結果としての画
像が合成され、操作者は該合成画像を見ることにより、自身の修正の操作が正し
いかどうかを一目で確認することが可能である。
像が合成され、操作者は該合成画像を見ることにより、自身の修正の操作が正し
いかどうかを一目で確認することが可能である。
【０４１８】
ところで、仮想視点のパラメータ修正の操作のうち、仮想視点の向き・位置・
回転の操作を変更する操作は、操作の内容と操作結果画像の振る舞いが一致して
いる方が、操作者にとって直感的に分かりやすい。そのためには、パラメータ修
正の操作のうちの次の操作、すなわち、 （１）ジョイスティック１００３Dの軸を上下左右に動かす、いわゆるカメラの 光軸の向きの調整に相当する操作 （２）ジョイスティック１００３Dの軸自身を回転させる、いわゆるカメラの光 軸周りの回転の調整に相当する操作 （３）平行移動ボタン１００２Dの操作によって、仮想視点からの視線方向に垂 直に視点位置を平行移動する操作の３通りの操作は、本発明の請求項５７に記載
のごとく、仮想視点の向き・位置・回転の操作を変更する操作方向と、実際の視
点パラメータの変更方向の関係を、互いに逆方向とする。
回転の操作を変更する操作は、操作の内容と操作結果画像の振る舞いが一致して
いる方が、操作者にとって直感的に分かりやすい。そのためには、パラメータ修
正の操作のうちの次の操作、すなわち、 （１）ジョイスティック１００３Dの軸を上下左右に動かす、いわゆるカメラの 光軸の向きの調整に相当する操作 （２）ジョイスティック１００３Dの軸自身を回転させる、いわゆるカメラの光 軸周りの回転の調整に相当する操作 （３）平行移動ボタン１００２Dの操作によって、仮想視点からの視線方向に垂 直に視点位置を平行移動する操作の３通りの操作は、本発明の請求項５７に記載
のごとく、仮想視点の向き・位置・回転の操作を変更する操作方向と、実際の視
点パラメータの変更方向の関係を、互いに逆方向とする。
【０４１９】
すなわち、例えばジョイスティック１００３Dを例に挙げると、ジョイスティ
ック１００３Dの操作によって傾けられた軸の向きと同じように視線の中心軸を
設定するのではなく、ジョイスティック１００３Dの軸を動かした向きとは反対
の方向に同じだけ視線方向を動かし、動かした後の状態を変更された視線方向と
して視線パラメータテーブル１０２Dに書き込めばよい。例えば、ジョイスティ ック１００３Dを右に１０度傾けたとすると、その時の視点パラメータ値は、視 線方向が現在の視線に対して左に１０度傾いた値とする。同様に、ジョイスティ
ック１００３Dを時計回りに５度回転させたとすると、その時の視点パラメータ 値は、視線の中心軸周りの回転角度を、反時計回りに５度回転させた値とする。
平行移動ボタン１００４Dの操作についても同様である。
して視線パラメータテーブル１０２Dに書き込めばよい。例えば、ジョイスティ ック１００３Dを右に１０度傾けたとすると、その時の視点パラメータ値は、視 線方向が現在の視線に対して左に１０度傾いた値とする。同様に、ジョイスティ
ック１００３Dを時計回りに５度回転させたとすると、その時の視点パラメータ 値は、視線の中心軸周りの回転角度を、反時計回りに５度回転させた値とする。
平行移動ボタン１００４Dの操作についても同様である。
【０４２０】
図６４は本発明の画像生成装置に関連のある技術の構成例を示したブロック図
である。
である。
【０４２１】
ここでは、図６０の構成に対して、さらに、カメラ入力画像と合成画像との間
の画素の対応づけ関係を保持するマッピングテーブル１０９Dを備えている。
の画素の対応づけ関係を保持するマッピングテーブル１０９Dを備えている。
【０４２２】
このマッピングテーブル１０９Dを表形式で示した概念図は、図５０と同じ内
容であるので詳細は省略する。テーブルは、表示手段１０７Dにて表示する画面
の画素数分のセルから構成されている。
【０４２３】
このような画像生成装置では、視点パラメータ修正手段によって、視点パラメ
ータが修正されたら、カメラ入力画像と合成画像との間の画素の対応づけ関係の
うち、該修正によって変更の生じる部分を、上記手順に従って再度計算し書き換
えればよい。
ータが修正されたら、カメラ入力画像と合成画像との間の画素の対応づけ関係の
うち、該修正によって変更の生じる部分を、上記手順に従って再度計算し書き換
えればよい。
【０４２４】
マッピングテーブル１０９Dが作成されている場合は、表示手段１０７Dは、マ
ッピング手段１０４Dおよび視点変換手段１０５Dでの処理結果を用いて、合成画
像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直接置
き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能とな
る。
ッピング手段１０４Dおよび視点変換手段１０５Dでの処理結果を用いて、合成画
像を表示するのではなく、該テーブルを用いて、カメラ画像を表示画像に直接置
き換えるようにする。これにより複数カメラ画像の合成処理の高速化が可能とな
る。
【０４２５】
さらに、前記視点パラメータ修正手段によって、仮想視点の位置、向きなどが
変更された場合の、他のマッピングテーブルの高速な修正方法を示す。
変更された場合の、他のマッピングテーブルの高速な修正方法を示す。
【０４２６】
図６５（ａ）は本発明の画像生成装置に関連する技術の構成例を示したブロッ
ク図、（ｂ）は視点パラメータ修正前の車載カメラ合成画像例を示す概念図、（
ｃ）は視点パラメータ修正後の車載カメラ合成画像例を示す概念図である。
ク図、（ｂ）は視点パラメータ修正前の車載カメラ合成画像例を示す概念図、（
ｃ）は視点パラメータ修正後の車載カメラ合成画像例を示す概念図である。
【０４２７】
本画像生成装置では、先の装置に、さらに、視点パラメータ修正手段での処理
によって変更された視点パラメータを用いて、前記マッピングテーブルを再計算
するマッピングテーブル修正手段１１０D、マッピングテーブル修正手段１１０D
の処理途中のデータを一時的に格納するバッファ１１１Dを備えた構成となる。
によって変更された視点パラメータを用いて、前記マッピングテーブルを再計算
するマッピングテーブル修正手段１１０D、マッピングテーブル修正手段１１０D
の処理途中のデータを一時的に格納するバッファ１１１Dを備えた構成となる。
【０４２８】
このマッピングテーブル修正手段１１０Dにより、視点パラメータの修正結果
を式（８）に反映させて、この式（８）の複雑な計算をすることなく、上記マッ
ピングテーブルの内容を変更することが可能である。以下で該マッピングテーブ
ルの変更方法を手順を追って説明する。
ピングテーブルの内容を変更することが可能である。以下で該マッピングテーブ
ルの変更方法を手順を追って説明する。
【０４２９】
尚、図６６（ａ）〜（ｃ）は、該マッピングテーブルの変更方法の説明の補助
に使用する概念図であり、灰色で示されている平行四辺形は仮想視点修正前の画
像面、白色で示されている平行四辺形は仮想視点修正後の画像面を表している。
また、仮想視点パラメータを修正するための操作部の構成が図６３のようである
とする。
に使用する概念図であり、灰色で示されている平行四辺形は仮想視点修正前の画
像面、白色で示されている平行四辺形は仮想視点修正後の画像面を表している。
また、仮想視点パラメータを修正するための操作部の構成が図６３のようである
とする。
【０４３０】
処理１．：マッピングテーブルの変更結果を一時的に格納するバッファ１１１D
を予め設けておく。
を予め設けておく。
【０４３１】
処理２．：視点パラメータ修正手段によって、平行移動、方向、回転、ズーム
のいずれかの視点パラメータ修正情報を得、この情報内容に応じて以下の４つの
いずれかの処理により、仮想視点修正前の表示座標（ｕ，ｖ）と修正後の表示座
標（ｕ’，ｖ’）の対応関係のデータ（以下、テーブル変換データ）を計算し、
バッファ１１１Dに書き込む。
いずれかの処理により、仮想視点修正前の表示座標（ｕ，ｖ）と修正後の表示座
標（ｕ’，ｖ’）の対応関係のデータ（以下、テーブル変換データ）を計算し、
バッファ１１１Dに書き込む。
【０４３２】
（１）平行移動ボタン操作
平行移動の場合、図６６（ａ）に示すように、平行移動ボタンによって移動前
と移動後の画素単位での移動距離（ｄｕ，ｄｖ）を獲得し、式（１０）によって
、変更前の座標Ｐ１と変更後の座標Ｐ１’の関係を求め、上記関係をバッファ１
１１Dに書き込む。
と移動後の画素単位での移動距離（ｄｕ，ｄｖ）を獲得し、式（１０）によって
、変更前の座標Ｐ１と変更後の座標Ｐ１’の関係を求め、上記関係をバッファ１
１１Dに書き込む。
【０４３３】
【式１０】
【０４３４】
（２）ジョイスティックによる方向修正操作
仮想視点からの視線方向の場合、図６６（ｂ）に示すように、変更前と変更後
の角度の変位分（θ，φ）を獲得し、式（１１）および式（１２）によって、変
更前の座標Ｐ２と変更後の座標Ｐ２’の関係を求め、上記関係をバッファ１１１
Dに書き込む。
の角度の変位分（θ，φ）を獲得し、式（１１）および式（１２）によって、変
更前の座標Ｐ２と変更後の座標Ｐ２’の関係を求め、上記関係をバッファ１１１
Dに書き込む。
【０４３５】
【式１１】
【０４３６】
【式１２】
【０４３７】
（３）ジョイスティックによる回転操作
仮想視点からの視線方向周りの回転を修正する場合、図６６（ｃ）に示すよう
に、変更前と変更後の回転角度ρを獲得し、式（１３）によって、変更前の座標
Ｐ３と変更後の座標Ｐ３’の関係を求め、上記関係をバッファ１１１Dに書き込 む。
に、変更前と変更後の回転角度ρを獲得し、式（１３）によって、変更前の座標
Ｐ３と変更後の座標Ｐ３’の関係を求め、上記関係をバッファ１１１Dに書き込 む。
【０４３８】
【式１３】
【０４３９】
（４）ズームボタン操作
ズーム（倍率）を修正する場合、ズームボタンによって変更前に対する変更後
の倍率ｋを獲得し、式（１４）によって、変更前の座標Ｐ４と変更後の座標Ｐ４
’の関係を求め、上記関係をバッファ１１１Dに書き込む。
の倍率ｋを獲得し、式（１４）によって、変更前の座標Ｐ４と変更後の座標Ｐ４
’の関係を求め、上記関係をバッファ１１１Dに書き込む。
【０４４０】
【式１４】
【０４４１】
処理３．：バッファ１１１Dを参照しマッピングテーブルを変更する。
上記処理２．によって、マッピングテーブルの各セルの座標１の変更内容が、例
えば以下のようなテーブル変換データとして、バッファ１１１Dに書き込まれて いる。
えば以下のようなテーブル変換データとして、バッファ１１１Dに書き込まれて いる。
【０４４２】
（修正前の座標：Ｐ、修正後の座標：Ｐ’）
該データを参照し、マッピングテーブルのすべてのセルについて、下記の（ａ
）（ｂ）の条件を満たせば、該セルの修正前の座標１：Ｐを、前記テーブル変換
データの修正後の座標Ｐ’に変更する。 （ａ）セルのカメラ番号が修正対象となった仮想視点に対応する車載カメラ番号
と一致する。 （ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換データの左側の項の座標
と一致する。
）（ｂ）の条件を満たせば、該セルの修正前の座標１：Ｐを、前記テーブル変換
データの修正後の座標Ｐ’に変更する。 （ａ）セルのカメラ番号が修正対象となった仮想視点に対応する車載カメラ番号
と一致する。 （ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換データの左側の項の座標
と一致する。
【０４４３】
なお、カメラ番号が修正対象となった仮想視点に対応する車載カメラ番号と一
致するが、座標１の修正の行われなかったセルは、修正された仮想視点から見た
ときの視野範囲外になっていると考えられるため、表示手段における表示エリア
外の座標値を書き込む。またその場合は、表示手段では、表示できない座標値が
入力されたら視野外を示す色として、例えば黒を表示するなどとすればよい。
致するが、座標１の修正の行われなかったセルは、修正された仮想視点から見た
ときの視野範囲外になっていると考えられるため、表示手段における表示エリア
外の座標値を書き込む。またその場合は、表示手段では、表示できない座標値が
入力されたら視野外を示す色として、例えば黒を表示するなどとすればよい。
【０４４４】
以上、本発明による画像生成装置を構成するそれぞれの手段の実施例を説明し
た。最後に、本発明による画像生成装置における修正処理の流れを図を用いて説
明する。
た。最後に、本発明による画像生成装置における修正処理の流れを図を用いて説
明する。
【０４４５】
図６７は、本発明の画像生成装置における視点パラメータの修正処理の流れを
示すフローチャート、図６８（ａ）〜（ｃ）は、視点パラメータの修正処理の説
明の補助に使用する概念図である。
示すフローチャート、図６８（ａ）〜（ｃ）は、視点パラメータの修正処理の説
明の補助に使用する概念図である。
【０４４６】
１．（処理１５０１）視点選択ボタン１００１Dなどで修正対象となる仮想視点
を選択する。その際には画面上には、図６８（ａ）のごとく、合成画像がずれて
いる様子が表示されている。
を選択する。その際には画面上には、図６８（ａ）のごとく、合成画像がずれて
いる様子が表示されている。
【０４４７】
２．（処理１５０２）本発明の請求項５８に記載のごとく、修正中の仮想視点
を仮の仮想視点（例えば修正前の視点）に置き換え固定する。
【０４４８】
３．（処理１５０３）ズームボタン１００４D、平行移動ボタン１００２D、ジ
ョイスティック１００３Dを用いて、仮想視点の３次元空間位置と、視線の向き
を修正する。修正処理中は、上記２の処理によって視点が固定されているため、
あたかも視点部分においたカメラを手で調整しているかのごとく、視点修正の作
業を行うことができる。修正がうまくできれば、例えば図６８（ｂ）の画面を経
て、図６８（ｃ）のごとく、ずれのない様子が表示される。
あたかも視点部分においたカメラを手で調整しているかのごとく、視点修正の作
業を行うことができる。修正がうまくできれば、例えば図６８（ｂ）の画面を経
て、図６８（ｃ）のごとく、ずれのない様子が表示される。
【０４４９】
４．（処理１５０４）当該仮想視点の修正が終了すると、修正後の視点パラメ
ータを視点パラメータテーブル１０８に書き込む。
【０４５０】
５．（処理１５０５）他に修正の必要があるカメラがあれば、続いて前記カメ
ラを選択し、上記処理１５０１〜１５０４を繰り返す。無ければ次の処理１５０
６に進む。
６に進む。
【０４５１】
６．（処理１５０６）仮想視点の仮の仮想視点に固定する状態を解除する。そ
の合成結果、画面は、図６８（ｃ）のごとく、ずれのない画像が表示されており
、その確認でもって視点パラメータ修正処理を終了する。
、その確認でもって視点パラメータ修正処理を終了する。
【０４５２】
尚、図６８（ａ）〜（ｃ）の概念図に示したごとく、各々の車載カメラからの
画像を接合する部分においては、本発明（請求項５９の一例）のように、該接合
部分に、見た目に違和感を与えない程度のマーカ（例えば点線）などを印してお
くと、どのカメラの画像がどこに表示されているかが分かり易くなる。
画像を接合する部分においては、本発明（請求項５９の一例）のように、該接合
部分に、見た目に違和感を与えない程度のマーカ（例えば点線）などを印してお
くと、どのカメラの画像がどこに表示されているかが分かり易くなる。
【０４５３】
以上のように、本発明では限られた台数のカメラからの画像を用いて任意の仮
想視点からの画像を合成する。車両走行中の振動などにより、カメラの位置、向
きがずれた場合、従来では、カメラそのものの微調整によってずれを元通りにす
るという方法をとっていたため、前記ずれた画像を他の画像に合せ込む作業が困
難であった。しかし本発明では、仮想視点という概念を導入し、該仮想視点から
見た画像を見ながら、視点パラメータ修正手段によって、ずれの生じた画像のみ
を、あたかも仮想視点においたカメラを調整するかのごとく、修正することがで
きる。その際、視点の位置の移動、向きの変更後の状態を、都度画像としてフィ
ードバックするため、修正作業者は、表示画像を都度確認しながら最適の画像を
得ることができるため、従来に比べて、画像のずれの合せ込み作業が格段に容易
になるし、微少なずれであれば、大規模な装置を用いてのカメラパラメータの再
調整も必要ではなくなる。
想視点からの画像を合成する。車両走行中の振動などにより、カメラの位置、向
きがずれた場合、従来では、カメラそのものの微調整によってずれを元通りにす
るという方法をとっていたため、前記ずれた画像を他の画像に合せ込む作業が困
難であった。しかし本発明では、仮想視点という概念を導入し、該仮想視点から
見た画像を見ながら、視点パラメータ修正手段によって、ずれの生じた画像のみ
を、あたかも仮想視点においたカメラを調整するかのごとく、修正することがで
きる。その際、視点の位置の移動、向きの変更後の状態を、都度画像としてフィ
ードバックするため、修正作業者は、表示画像を都度確認しながら最適の画像を
得ることができるため、従来に比べて、画像のずれの合せ込み作業が格段に容易
になるし、微少なずれであれば、大規模な装置を用いてのカメラパラメータの再
調整も必要ではなくなる。
【０４５４】
また、本発明では、実際のカメラの向きを調整するのではなく、仮想に設けた
視点の向き、位置などのパラメータを修正するので、カメラの向きを変更する機
構が必要でなくなり、装置のコストを低価格に押さえることが可能となる。
視点の向き、位置などのパラメータを修正するので、カメラの向きを変更する機
構が必要でなくなり、装置のコストを低価格に押さえることが可能となる。
【０４５５】
【発明の効果】
本発明の画像生成装置は、車両周囲監視、店舗内監視等の分野に応用でき、そ
れぞれのカメラから撮影された画像を用いて、あたかも仮想視点から実際見てい
るような感覚を持つ合成画像を簡単に作り出すことが出来る。
れぞれのカメラから撮影された画像を用いて、あたかも仮想視点から実際見てい
るような感覚を持つ合成画像を簡単に作り出すことが出来る。
【０４５６】
また、カメラの方向がずれた場合でも、画像上容易に修正できるという長所を
有する。
有する。
【図面の簡単な説明】
【図１】
本発明（請求項１）の画像生成装置の基本構成例を示したブロック図
【図２】
請求項９および請求項１２の本発明を組み合わせた画像生成装置の構成例を示
したブロック図
したブロック図
【図３】
本発明（請求項１４）の画像生成装置の構成例を示したブロック図
【図４】
本発明（請求項１７）の画像生成装置の構成例を示したブロック図
【図５】
本発明（請求項１８）の画像生成装置の構成例を示したブロック図
【図６】
図１〜図５を統合した画像生成装置を示したブロック図
【図７】
車両へのカメラの取り付け例を示した概念図
【図８】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図９】
カメラパラメータテーブル103に格納されているデータを表形式で示した図
【図１０】
温度補正テーブル111 の例を表形式で示した図
【図１１】
度補正テーブルを用いて書き換えられたカメラパラメータテーブル103 の例を
表形式で示した図
表形式で示した図
【図１２】
空間データを格納する空間データバッファ105 の記述例を表の形式で示した図
【図１３】
路面上の特徴点と車両との位置関係を上部からみた概念図
【図１４】
図１３の車載カメラ１で前記特徴点を含む路面を撮影した画像を表す概念図
【図１５】
図１３の車載カメラ２で前記特徴点を含む路面を撮影した画像を表す概念図
【図１６】
路面上の特徴点Ａ，Ｂ，Ｃと車両との位置関係を上部から見た概念図
【図１７】
図１６の車載カメラ１で前記特徴点Ａ，Ｂを含む路面を撮影した画像を表す概
念図
念図
【図１８】
図１６の車載カメラ２で前記特徴点Ｂ，Ｃを含む路面を撮影した画像を表す概
念図
念図
【図１９】
図１６の車載カメラ１および車載カメラ２で撮影した画像を用い、本発明によ
る視点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概
念図
る視点変換手段１０６によって仮想カメラから見た画像を合成した様子を表す概
念図
【図２０】
（Ａ）仮想カメラの設置場所の例として、車両のほぼ中心の上方にカメラを下
向きに設置した場合を示した概念図 （Ｂ）仮想カメラの設置場所の例として、車両のほぼ前方斜め上方にカメラを
車の方へ向けて設置した場合を示した概念図 （Ｃ）上記（Ｂ）の場合の合成画像の例を示す概念図
向きに設置した場合を示した概念図 （Ｂ）仮想カメラの設置場所の例として、車両のほぼ前方斜め上方にカメラを
車の方へ向けて設置した場合を示した概念図 （Ｃ）上記（Ｂ）の場合の合成画像の例を示す概念図
【図２１】
（ａ）特徴点生成手段１０９としてのパターン光照射装置を車体側面上部に取
付けた様子を示す概念図 （ｂ）パターン光照射装置を車体上部に数箇所取り付けて、路面にパターン光
を照射した状態を車両上部から見た様子を示す概念図 （ｃ）路面に照射された長方形のパターン光をカメラから撮影した様子を示す
概念図
付けた様子を示す概念図 （ｂ）パターン光照射装置を車体上部に数箇所取り付けて、路面にパターン光
を照射した状態を車両上部から見た様子を示す概念図 （ｃ）路面に照射された長方形のパターン光をカメラから撮影した様子を示す
概念図
【図２２】
キャリブレーション手段102 において、温度によってカメラパラメータテーブ
ル103 の更新処理を行う手順を示すフローチャート
ル103 の更新処理を行う手順を示すフローチャート
【図２３】
空間データ変換手段114 における処理の手順を示すフローチャート
【図２４】
空間データ変換手段114 の説明の補助に用いる概念図
【図２５】
補正履歴の記録を確認し、必要に応じて補正指示を出す処理の手順を示すフロ
ーチャート
ーチャート
【図２６】
本発明による画像生成装置の全体の処理の流れを示すフローチャート
【図２７】
（ａ）本発明(請求項３４)の画像生成装置の基本構成例を示したブロック図
（ｂ）本発明(請求項３７)の画像生成装置の構成例を示したブロック図
【図２８】
（ａ）〜（ｄ）空間モデルを鳥瞰図的に示した概念図
【図２９】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図３０】
マッピング手段１０４Aにおけるマッピング処理の手順を示すフローチャート
【図３１】
車両と該車両の周囲に存在する障害物との距離に基づいて、３次元空間内につ
いたて面を立てる方法を示す概念図
いたて面を立てる方法を示す概念図
【図３２】
本発明による画像生成装置の全体の処理の流れを示すフローチャート
【図３３】
（ａ）本発明(請求項３９)の車両周囲監視装置の構成例を示したブロック図
（ｂ）本発明(請求項４１）の車両周囲監視装置の構成例を示したブロック図
（ｃ）本発明(請求項４４)の車両周囲監視装置の構成例を示したブロック図
【図３４】
（ａ）本発明による空間モデルを鳥瞰図的に示した概念図
（ｂ）本発明による空間モデルを車両の上方から下向きに透視投影した概念図
【図３５】
（ａ）〜（ｄ）本発明による路面特徴検出手段１０３Bで特徴点を抽出する処
理の例を示す図
【図３６】
特徴点の抽出処理の流れを示すフローチャート
【図３７】
本発明（請求項４１）の車両周囲監視装置において、車両の動きにともなって
特徴点の位置計算を行う処理の手順を示すフローチャート
特徴点の位置計算を行う処理の手順を示すフローチャート
【図３８】
特徴位置計算手段における処理を示す図
【図３９】
特徴修正処理を表示手段１０７Bに表示している様子を示した概念図
【図４０】
特徴修正処理における処理の流れを示すフローチャート
【図４１】
本発明による車両周囲監視装置の全体の処理の流れを示すフローチャート
【図４２】
本発明（請求項４５）に係る画像生成装置の構成例を示したブロック図
【図４３】
（ａ）車両への車載カメラの設置例を示した概念図
（ｂ）それぞれの車載カメラ画像のモニタへの表示領域を示した概念図
【図４４】
車両を中心とする３次元空間座標系を示した概念図
【図４５】
カメラパラメータテーブル１０２Cに格納されているデータを表形式で示した
図
【図４６】
視点パラメータテーブルに格納されているデータを表形式で示した図
【図４７】
カメラで撮影された画像を含む平面に設定したＵ−Ｖ座標系の点と、３次元空
間座標系の点との対応づけの関係を表した概念図
間座標系の点との対応づけの関係を表した概念図
【図４８】
カメラパラメータ修正手段１０６Cによってカメラパラメータを修正するため
の操作部の構成例を示した概念図
【図４９】
本発明に係る画像生成装置に関連する技術の一構成例を示したブロック図
【図５０】
マッピングテーブル１０８Cを表形式で示した概念図
【図５１】
カメラパラメータの修正処理の流れを示すフローチャート
【図５２】
（ａ），（ｂ）カメラパラメータ修正時の表示画面例を示す概念図
【図５３】
（ａ），（ｂ）カメラパラメータ修正時以外（すなわち通常時）の表示画面を
示す概念図
示す概念図
【図５４】
本発明（請求項５１）に係る画像生成装置の基本構成例を示したブロック図
【図５５】
本発明（請求項５４）に係る画像生成装置の基本構成例を示したブロック図
【図５６】
点光源を用いてガイドデータを生成する場合を示す概念図
【図５７】
車体の線分を用いてガイドデータを生成する場合を示す概念図
【図５８】
点光源を用いたガイドデータを利用してキャリブレーションを行う様子を示す
概念図
概念図
【図５９】
線分を用いたガイドデータを利用してキャリブレーションを行う様子を示す概
念図
念図
【図６０】
本発明（請求項５５）の画像生成装置の構成例を示したブロック図
【図６１】
視点パラメータテーブル１０８Dに格納されているデータを表形式で示した図
【図６２】
車載カメラからの画像を仮想視点からの画像に変換する様子を示した概念図
【図６３】
視点パラメータ修正手段１０６Dによって視点パラメータを修正するための操
作部の構成例を示した概念図
【図６４】
本発明の画像生成装置に関連する技術の一構成例を示したブロック図
【図６５】
（ａ）本発明の画像生成装置に関連する技術の一構成例を示したブロック図
（ｂ）視点パラメータ修正前の車載カメラ合成画像例を示す概念図
（ｃ）視点パラメータ修正後の車載カメラ合成画像例を示す概念図
【図６６】
（ａ）〜（ｃ）マッピングテーブル１０９Dの変更方法を示す概念図
【図６７】
視点パラメータの修正処理の流れを示すフローチャート
【図６８】
（ａ）〜（ｃ）視点パラメータの修正処理を示す概念図
【図６９】
従来の画像生成装置の構成例を示したブロック図
【図７０】
従来の車両周囲監視装置の構成例を示したブロック図
【符号の説明】
１０１ カメラ
１０２ キャリブレーション手段
１０３ カメラパラメータテーブル
１０４ 空間再構成手段
１０５ 空間データバッファ
１０６ 視点変換手段
１０７ 表示手段
１０８ 特徴点抽出手段
１０９ 特徴点生成手段
１１０ 温度センサ
１１１ 温度補正テーブル
１１２ 移動方向検出手段
１１３ 移動距離検出手段
１１４ 空間データ変換手段
１１５ 補正履歴記録手段
１１６ カメラ補正指示手段
１０１A カメラ
１０２A カメラパラメータテーブル
１０３A 空間モデル作成手段
１０４A マッピング手段
１０５A 視点変換手段
１０６A 表示手段
１０７A 距離センサ
１０８A 障害物検知手段
１０１B カメラ
１０２B カメラパラメータテーブル
１０３B 路面特徴検出手段
１０４B 空間モデル作成手段
１０５B マッピング手段
１０６B 視点変換手段
１０７B 表示手段
１０８B 移動距離検出手段
１０９B 移動方向検出手段
１１０B 特徴修正手段
１０１C カメラ
１０２C カメラパラメータテーブル
１０３C 空間モデル
１０４C マッピング手段
１０５C 視点変換手段
１０６C カメラパラメータ修正手段
１０７C 表示手段
１０８C マッピングテーブル
９０１C カメラ選択ボタン
９０２C 平行移動ボタン
９０３C ジョイスティック
９０４C ズームボタン
１０１D カメラ
１０２D カメラパラメータテーブル
１０３D 空間モデル
１０４D マッピング手段
１０５D 視点変換手段
１０６D 視点パラメータ修正手段
１０７D 表示手段
１０８D 視点パラメータテーブル
１０９D マッピングテーブル
１１０D マッピングテーブル修正手段
１１１D バッファ
１００１D カメラ選択ボタン
１００２D 平行移動ボタン
１００３D ジョイスティック
１００４D ズームボタン
─────────────────────────────────────────────────────
フロントページの続き
(31)優先権主張番号 特願平10−317407
(32)優先日 平成10年11月９日(1998．11．9)
(33)優先権主張国 日本（ＪＰ）
(31)優先権主張番号 特願平10−324701
(32)優先日 平成10年11月16日(1998．11．16)
(33)優先権主張国 日本（ＪＰ）
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，
ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ
Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＪＰ，Ｋ
Ｒ，ＵＳ
(72)発明者 森村 淳
大阪府門真市大字門真1006番地 松下電器
産業株式会社内
（注）この公表は、国際事務局（ＷＩＰＯ）により国際公開された公報を基に作
成したものである。
なおこの公表に係る日本語特許出願（日本語実用新案登録出願）の国際公開の
効果は、特許法第１８４条の１０第１項（実用新案法第４８条の１３第２項）に
より生ずるものであり、本掲載とは関係ありません。
Claims (60)
- 【請求項１】一台もしくは複数台のカメラと、前記カメラからの入力画像を、所
定の３次元空間の所定の空間モデルにマッピングする空間再構成手段と、前記空
間再構成手段によってマッピングされた空間データを参照して、前記所定の３次
元空間における任意の仮想視点から見た画像を作成する視点変換手段と、前記視
点変換手段にて変換された画像を表示する表示手段とを備えたことを特徴とする
画像生成装置。 - 【請求項２】前記カメラの特性を示すカメラパラメータを格納するカメラパラメ
ータテーブルとを備え、前記空間再構成手段は前記カメラパラメータに基づいて
、マッピングを行うことを特徴とする請求項１記載の画像生成装置。 - 【請求項３】前記空間モデルは、前記３次元空間における所定の平面であること
を特徴とする請求項１記載の画像生成装置。 - 【請求項４】前記カメラは車両に取り付けられており、前記所定の平面はその車
両の下の路面であることを特徴とする請求項３記載の画像生成装置。 - 【請求項５】前記視点変換手段は、前記空間モデルの所定の点Ｐを、前記仮想視
点からの画素として構成する際に、前記点Ｐが、唯一のカメラで撮影した画像に
対応づけられている場合、前記画素の色を、そのカメラからの画像の画素の色を
用いて決めることを特徴とする請求項１記載の画像生成装置。 - 【請求項６】前記視点変換手段は、前記空間モデルの所定の点Ｐを、前記仮想視
点からの画素として構成する際に、前記点Ｐが、前記複数台のカメラで撮影した
画像と対応づけられている場合、前記画素の色を、それらの複数台のカメラで撮
影した画像の画素の色を用いて決めることを特徴とする請求項１記載の画像生成
装置。 - 【請求項７】前記視点変換手段は、前記空間モデルの所定の点Ｐを、前記仮想視
点からの画素として構成する際に、前記点Ｐがいずれのカメラで撮影した画像と
も対応づけられていない場合、前記画素の色を、前記点Ｐの周囲の点の色を用い
て補間した色を用いて、もしくは物体が存在しない部分であると識別可能な色を
用いて決めることを特徴とする請求項１記載の画像生成装置。 - 【請求項８】前記カメラ特性を示すカメラパラメータを、入力もしくは計算によ
って、得るキャリブレーション手段を備えたことを特徴とする請求項２に記載の
画像生成装置。 - 【請求項９】前記計算によってカメラパラメータを得るために必要な複数個の特
徴点を、人手入力もしくは自動抽出によって獲得する特徴点抽出手段が備えられ
、 前記キャリブレーション手段は、前記特徴点抽出手段において抽出された特徴
点を用いて、各種カメラパラメータのうち、少なくとも、カメラの取り付け位置
、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距
離のいずれかを計算することを特徴とする請求項８記載の画像生成装置。 - 【請求項１０】前記特徴点抽出手段は、前記３次元空間における座標値が既知の
複数個の特徴点を抽出する機能を含み、 前記キャリブレーション手段は、前記複数個の特徴点を用いて、前記カメラパ
ラメータを計算することを特徴とする請求項９記載の画像生成装置。 - 【請求項１１】前記カメラは車両に取り付けられており、その車両の一部に設け
られたマーカが、前記３次元空間における座標値が既知の複数個の特徴点として
用いられることを特徴とする請求項１０記載の画像生成装置。 - 【請求項１２】前記カメラの視野内に、前記３次元空間における座標値が既知の
複数個の特徴点を生成する特徴点生成手段を備えたことを特徴とする請求項１０
に記載の画像生成装置。 - 【請求項１３】前記特徴点生成手段は、前記カメラの視野内に、前記特徴点とし
てのパターン光を照射する機能を有することを特徴とする請求項１２記載の画像
生成装置。 - 【請求項１４】温度を測定する温度センサーと、温度に応じて変化する前記カメ
ラパラメータの変化量を格納する温度補正テーブルとを備え、 前記キャリブレーション手段は、前記温度センサーの温度を逐次監視し、温度
変化に応じて、前記温度補正テーブルに基づいて前記カメラパラメータを修正す
る機能を有することを特徴とする請求項８〜１３のいずれかに記載の画像生成装
置。 - 【請求項１５】前記カメラのそれぞれに対して、前記温度センサーは、前記カメ
ラの近くもしくは付随して取付けられていることを特徴とする請求項１４記載の
画像生成装置。 - 【請求項１６】前記カメラは車両に取付けられていることを特徴とする請求項１
、２、３、又は５〜１０のいずれか、又は１２〜１５のいずれかに記載の画像生
成装置。 - 【請求項１７】前記空間再構成手段にて作成された空間データは一時的に空間デ
ータバッファに格納されており、前記車両の移動方向を検出する移動方向検出手
段と、車両の単位時間における移動距離を検出する移動距離検出手段と、前記移
動方向検出手段によって検出された車両の移動方向、および前記移動距離検出手
段によって検出された車両の移動距離を用いて、前記空間データバッファに格納
された空間データを変換する空間データ変換手段と、を備えたことを特徴とする
請求項４，１１又は１６に記載の画像生成装置。 - 【請求項１８】前記カメラは車両に取り付けられており、そのカメラのキャリブ
レーションが必要な状況を検知し、キャリブレーションが必要である場合に、カ
メラキャリブレーションの指示を行うカメラ補正指示手段と、前記カメラキャリ
ブレーションを行った日時又は走行距離を記録する補正履歴記録手段とを備える
ことを特徴とする請求項１に記載の画像生成装置。 - 【請求項１９】前記カメラ補正指示手段は、前記補正履歴記録手段を参照し、前
回のキャリブレーションの日時から一定以上の日時が経過したとき、又は、前回
のキャリブレーションから一定以上の距離を走行したとき、運転者にカメラキャ
リブレーションを実施するよう指示する機能を有することを特徴とする請求項１
８記載の画像生成装置。 - 【請求項２０】カメラのキャリブレーションを行った日時又は走行距離を記録す
る補正履歴記録手段と、前記補正履歴記録手段を参照し、前回のキャリブレーシ
ョンの日時から一定以上の日時が経過したとき、又は、前回のキャリブレーショ
ンから一定以上の距離を走行したとき、運転者にカメラキャリブレーションを実
施するよう指示するカメラ補正指示手段とを備え、カメラキャリブレーションの
必要性を適切に指示することを特徴とするカメラキャリブレーション指示装置。 - 【請求項２１】少なくとも一台のカメラと、温度を測定する温度センサと、前記
温度センサが測定した温度に基づいて、カメラ特性を示すカメラパラメータを決
定するキャリブレーション手段と、を備えたことを特徴とするカメラキャリブレ
ーション装置。 - 【請求項２２】前記キャリブレーション手段は、前記カメラパラメータを格納す
るカメラパラメータテーブルと、温度の変化に応じて変化する前記カメラパラメ
ータの変化量を格納した温度補正テーブルとを有し、温度の変化に応じて、前記
温度補正テーブルを参照して、前記カメラパラメータを変更することを特徴とす
る請求項２０記載のカメラキャリブレーション装置。 - 【請求項２３】少なくとも一台のカメラと、前記カメラが位置づけられた３次元
空間における座標値が既知の複数個の特徴点を、前記カメラの視野内に生成する
特徴点生成手段と、前記複数個の特徴点を抽出する特徴点抽出手段と、前記抽出
された複数個の特徴点を用いて、前記カメラの特性を表すカメラパラメータを計
算するキャリブレーション手段とを備えたことを特徴とするカメラキャリブレー
ション装置。 - 【請求項２４】前記特徴点生成手段は、前記カメラの視野内に、前記特徴点とし
てのパターン光を照射する機能を有することを特徴とする請求項２３記載のカメ
ラキャリブレーション装置。 - 【請求項２５】所定の３次元空間に存在するカメラからの入力画像を、前記所定
の３次元空間の所定の空間モデルにマッピングして空間データを作成する空間再
構成工程と、前記空間データを参照して、前記三次元空間における任意の仮想視
点から見た画像を作成する視点変換工程とを備え得たことを特徴とする画像生成
方法。 - 【請求項２６】前記空間モデルは、前記３次元空間の一部をなす平面であること
を特徴とする請求項１６記載の画像生成方法。 - 【請求項２７】前記カメラの特性を表すカメラパラメータを用いて前記マッピン
グが行われることを特徴とする請求項２５記載の画像生成方法。 - 【請求項２８】前記カメラ特性を示すカメラパラメータを、入力または計算によ
って得るキャリブレーション工程を備えたことを特徴とする請求項２７記載の画
像生成方法。 - 【請求項２９】前記キャリブレーション工程は、計算によってカメラパラメータ
を得るものであって、そのために、前記カメラパラメータの計算に必要な複数個
の特徴点を、人手による入力もしくは自動抽出によって、獲得する特徴点抽出工
程を有することを特徴とする請求項２８記載の画像生成方法。 - 【請求項３０】前記カメラの視野内に、前記３次元空間における座標値が既知の
複数個の特徴点を生成する特徴点生成工程を備えたことを特徴とする請求項２９
記載の画像生成方法。 - 【請求項３１】前記特徴点生成工程は、前記カメラの視野内に、前記特徴点とし
てのパターン光を照射するステップを少なくとも含むことを特徴とする請求項３
０記載の画像生成方法。 - 【請求項３２】前記カメラは車両に取り付けられており、 前記車両の移動方向を検出する移動方向検出工程と、前記車両の単位時間にお
ける移動距離を検出する移動距離検出工程と、前記移動方向検出工程によって検
出された車両の移動方向、および前記移動距離検出工程によって検出された車両
の移動距離を用いて、前記空間データを変換する空間データ変換工程とを包含す
ることを特徴とする請求項２５に記載の画像生成方法。 - 【請求項３３】前記カメラは車両に取り付けられており、 前記カメラのキャリブレーションが必要な状況を検知し、キャリブレーション
が必要である場合に、カメラキャリブレーションの指示を行うカメラ補正指示工
程と、カメラキャリブレーションを行った日時又は走行距離を記録する補正履歴
記録工程とを包含することを特徴とする請求項２５に記載の画像生成方法。 - 【請求項３４】前記カメラは車両に取り付けられており、前記空間再構成手段は
、前記空間モデルを作成する空間モデル作成手段を有することを特徴とする請求
項１記載の画像生成装置。 - 【請求項３５】前記空間モデルは、１つ以上の平面モデル、もしくは１つ以上の
曲面モデル、もしくは１つ以上の平面と１つ以上の曲面との組み合わせた空間モ
デルであることを特徴とする請求項１記載の画像生成装置。 - 【請求項３６】前記空間モデル作成手段は、少なくとも路面としての第１の平面
と、前記第１の平面と交わる少なくとも１つ以上の第２の平面とを空間モデルと
して作成することを特徴とする請求項１に記載の画像生成装置。 - 【請求項３７】距離を計測する距離センサと、車両周囲の状況として、少なくと
も車両周囲に存在する障害物までの距離を前記距離センサを用いて計測する障害
物検知手段を備え、 前記空間モデル作成手段において作成される前記第２の平面は、前記障害物検
知手段にて検知された、車両から障害物までの距離が所定の値より小さい場合に
、作成されることを特徴とする請求項３６に記載の画像生成装置。 - 【請求項３８】前記空間モデル作成手段において作成された前記第２の平面は、
前記車両から障害物までの距離が前記所定の値より大きくなった場合に、前記空
間モデルから除去されることを特徴とする請求項３７に記載の画像生成装置。 - 【請求項３９】前記空間モデル作成手段は、前記車両の周囲の状況に応じた空間
モデルを作成することを特徴とする請求項３４記載の画像生成装置。 - 【請求項４０】距離を計測する距離センサと、前記車両の周囲の状況として、少
なくとも車両周囲に存在する障害物までの距離を前記距離センサを用いて計測す
る障害物検知手段とを備えたことを特徴とする請求項３９記載の画像生成装置。 - 【請求項４１】前記車両状況は、前記車両の周囲の路面の状態であり、その路面
の状態の特徴を検知する路面特徴検出手段が備えられていることを特徴とする請
求項３９記載の画像生成装置。 - 【請求項４２】前記路面の状態の特徴として、駐車スペースを示す白線、若しく
は白線の端点、もしくは白線の交わる角を利用することを特徴とする請求項４１
記載の画像生成装置。 - 【請求項４３】前記車両の移動方向を検出する移動方向検出手段と、前記車両の
単位時間における移動距離を検出する移動距離検出手段をさらに備え、前記移動
方向検出手段および前記移動距離検出手段での処理結果を用いて求めた前記路面
上の特徴の現在位置にもとづいて、前記空間モデルを逐次修正することを特徴と
する請求項３９記載の画像生成装置。 - 【請求項４４】前記表示手段において前記路面特徴検出手段における処理結果を
表示しつつ、前記処理結果を修正する特徴修正手段を備えたことを特徴とする請
求項３９または４１記載の画像生成装置。 - 【請求項４５】一台もしくは複数台のカメラと、前記カメラの特性を示すカメラ
パラメータを格納するカメラパラメータテーブルと、前記カメラからの入力画像
を前記カメラパラメータを用いて３次元空間の所定の空間モデルにマッピングす
るマッピング手段と、少なくとも位置と向きに関するデータを含む仮想視点パラ
メータを複数視点分格納する視点パラメータテーブルと、前記マッピング手段に
よってマッピングされた空間データを参照して、前記所定の３次元空間における
前記複数の仮想視点から見た画像をそれぞれ作成する視点変換手段と、前記カメ
ラのパラメータを修正するカメラパラメータ修正手段とを備えたことを特徴とす
る画像生成装置。 - 【請求項４６】前記視点変換手段は、前記カメラパラメータ修正手段での処理時
と通常動作時とで前記仮想視点を切り替えることを特徴とする請求項４５記載の
画像生成装置。 - 【請求項４７】前記視点変換手段は、前記カメラパラメータ修正手段での処理時
は、前記仮想視点を、前記カメラのいずれかのカメラのパラメータに基づいて決
定することを特徴とする請求項４６記載の画像生成装置。 - 【請求項４８】前記視点変換手段は、前記カメラパラメータ修正手段での処理時
は、前記仮想視点を、該修正を行っているカメラの、修正処理前のカメラパラメ
ータに基づいて決定することを特徴とする請求項４７記載の画像生成装置。 - 【請求項４９】前記視点変換手段において、視点の向きを変更する操作の向きと
、前記視点の向きとの関係を、互いに逆方向とすることを特徴とする請求項４５
〜４８のいずれかに記載の画像生成装置。 - 【請求項５０】前記表示手段は、各々のカメラからの画像を表示する際に、各々
の画像の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示す
ることを特徴とする請求項４５〜４９のいずれかに記載の画像生成装置。 - 【請求項５１】前記カメラパラメータを修正するためのガイドとなるガイドデー
タを格納するガイドデータ記憶手段と、前記カメラからの入力画像と前記ガイド
データを重畳して表示する表示手段とを備えたことを特徴とする請求項４５記載
の画像生成装置。 - 【請求項５２】前記カメラは車両に取り付けられていることを特徴とする請求項
４５〜５１のいずれかに記載の画像生成装置。 - 【請求項５３】前記ガイドデータは、前記車両のボディの特徴を点及び／又は線
分で表したものであることを特徴とする請求項５２記載の画像生成装置。 - 【請求項５４】前記カメラが位置づけられた３次元空間における座標値が既知の
複数個の特徴点を、前記カメラの視野内に生成する特徴点生成手段と、前記複数
個の特徴点を抽出する特徴点抽出手段と、前記抽出された複数個の特徴点を用い
て、前記ガイドデータが得られることを特徴とする請求項５２記載の画像生成装
置。 - 【請求項５５】一台もしくは複数台のカメラと、前記カメラから画像を入力する
画像入力手段と、前記カメラ特性を示すカメラパラメータを格納するカメラパラ
メータテーブルと、前記カメラパラメータを用いて、前記入力画像を構成する各
々の画素を、前記車両の周囲の状況をモデル化した、所定の３次元空間における
所定の空間モデルに、マッピングするマッピング手段と、少なくとも位置及び向
きデータを含む仮想視点パラメータを複数視点分格納する視点パラメータテーブ
ルと、前記マッピング手段によってマッピングされた空間データを参照して、前
記所定の３次元空間における、前記視点パラメータテーブルの前記複数個の仮想
視点から見た画像をそれぞれ作成する視点変換手段と、前記視点パラメータテー
ブルの内容を修正する視点パラメータ修正手段と、前記視点変換手段によって変
換された画像を表示する表示手段とを備えたことを特徴とする画像生成装置。 - 【請求項５６】前記複数の仮想視点は、前記カメラにそれぞれ対応していること
を特徴とする請求項５５記載の画像生成装置。 - 【請求項５７】前記視点パラメータ修正手段における、前記仮想視点パラメータ
の変更操作のうち、少なくとも向き・位置・回転の操作については、操作方向と
実際の視点パラメータの変更との関係を、互いに逆とすることを特徴とする請求
項５５または５６記載の画像生成装置。 - 【請求項５８】前記視点パラメータ修正手段によって前記仮想視点パラメータ修
正する際は、固定した仮の仮想視点を設け、当該修正中の仮想視点での修正経過
を、前記仮の仮想視点からの画像として逐次合成表示することを特徴とする請求
項５５〜５７のいずれかに記載の画像生成装置。 - 【請求項５９】前記表示手段は、各々のカメラからの画像を表示する際に、各々
の画像の接する境界部分で、境界を示すマークを合成画像に重ね合わせて表示す
ることを特徴とする請求項５５〜５８のいずれかに記載の画像生成装置。 - 【請求項６０】前記カメラは車両に取り付けられていることを特徴とする請求項
５５〜５９のいずれかに記載の画像生成装置。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21726198 | 1998-07-31 | ||
| JP28623398 | 1998-10-08 | ||
| JP31740798 | 1998-11-09 | ||
| JP31739398 | 1998-11-09 | ||
| JP32470198 | 1998-11-16 | ||
| JP10-286233 | 1998-11-16 | ||
| JP10-217261 | 1998-11-16 | ||
| JP10-317407 | 1998-11-16 | ||
| JP10-324701 | 1998-11-16 | ||
| JP10-317393 | 1998-11-16 | ||
| PCT/JP1999/004061 WO2000007373A1 (en) | 1998-07-31 | 1999-07-29 | Method and apparatus for displaying image |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001244548A Division JP2002135765A (ja) | 1998-07-31 | 2001-08-10 | カメラキャリブレーション指示装置及びカメラキャリブレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2000007373A1 true JPWO2000007373A1 (ja) | 2001-10-09 |
| JP3286306B2 JP3286306B2 (ja) | 2002-05-27 |
Family
ID=27529636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000563072A Expired - Lifetime JP3286306B2 (ja) | 1998-07-31 | 1999-07-29 | 画像生成装置、画像生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7307655B1 (ja) |
| EP (4) | EP2267656A3 (ja) |
| JP (1) | JP3286306B2 (ja) |
| WO (1) | WO2000007373A1 (ja) |
Families Citing this family (304)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| JP3655119B2 (ja) * | 1999-03-09 | 2005-06-02 | 株式会社東芝 | 状況情報提供装置及びその方法 |
| DE10037130B4 (de) * | 1999-09-13 | 2015-10-29 | Volkswagen Ag | Einpark- und/oder Rangierhilfeeinrichtung für Pkw oder Lkw |
| JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
| US6542840B2 (en) | 2000-01-27 | 2003-04-01 | Matsushita Electric Industrial Co., Ltd. | Calibration system, target apparatus and calibration method |
| JP4439668B2 (ja) * | 2000-03-31 | 2010-03-24 | パナソニック株式会社 | 画像合成装置 |
| EP1148461B1 (en) | 2000-04-05 | 2004-09-22 | Matsushita Electric Industrial Co., Ltd. | Driving operation assisting method and system |
| JP3606816B2 (ja) * | 2000-04-05 | 2005-01-05 | 松下電器産業株式会社 | 運転操作補助装置 |
| EP1150252B1 (en) * | 2000-04-28 | 2018-08-15 | Panasonic Intellectual Property Management Co., Ltd. | Synthesis of image from a plurality of camera views |
| JP3552212B2 (ja) * | 2000-05-24 | 2004-08-11 | 松下電器産業株式会社 | 描画装置 |
| JP4537537B2 (ja) * | 2000-05-25 | 2010-09-01 | パナソニック株式会社 | 運転支援装置 |
| JP2001334869A (ja) * | 2000-05-25 | 2001-12-04 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP3599639B2 (ja) * | 2000-05-26 | 2004-12-08 | 松下電器産業株式会社 | 画像処理装置 |
| JP4433575B2 (ja) * | 2000-06-16 | 2010-03-17 | 株式会社豊田中央研究所 | 車載撮像装置 |
| US6999602B2 (en) | 2000-06-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Image generation for assistance of drivers of vehicles |
| JP3830025B2 (ja) * | 2000-06-30 | 2006-10-04 | 松下電器産業株式会社 | 描画装置 |
| JP3625059B2 (ja) * | 2000-06-30 | 2005-03-02 | 松下電器産業株式会社 | 描画装置 |
| JP3269056B2 (ja) * | 2000-07-04 | 2002-03-25 | 松下電器産業株式会社 | 監視システム |
| JP4156181B2 (ja) * | 2000-07-12 | 2008-09-24 | 日産自動車株式会社 | 駐車支援装置 |
| EP1303140A4 (en) * | 2000-07-19 | 2007-01-17 | Matsushita Electric Industrial Co Ltd | CONTROL SYSTEM |
| JP3372944B2 (ja) * | 2000-07-19 | 2003-02-04 | 松下電器産業株式会社 | 監視システム |
| JP3753681B2 (ja) * | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | 監視システム |
| JP4505968B2 (ja) * | 2000-09-14 | 2010-07-21 | 日産自動車株式会社 | 駐車時の自車位置検出装置及び自車位置検出方法 |
| JP2002117496A (ja) * | 2000-10-12 | 2002-04-19 | Matsushita Electric Ind Co Ltd | 車載後方確認支援装置と車載ナビゲーション装置 |
| JP3695319B2 (ja) * | 2000-11-30 | 2005-09-14 | トヨタ自動車株式会社 | 車両周辺モニタ装置 |
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
| JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
| JP5083443B2 (ja) * | 2001-03-28 | 2012-11-28 | パナソニック株式会社 | 運転支援装置および方法、ならびに演算装置 |
| JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
| JP2002316602A (ja) * | 2001-04-24 | 2002-10-29 | Matsushita Electric Ind Co Ltd | 車載カメラの撮像画像表示方法及びその装置 |
| JP4006959B2 (ja) * | 2001-04-28 | 2007-11-14 | 節男 黒木 | 視認カメラ装着車 |
| JP4860835B2 (ja) * | 2001-06-11 | 2012-01-25 | クラリオン株式会社 | パノラマ画像表示方法及びパノラマ画像表示装置 |
| JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
| JP4512293B2 (ja) | 2001-06-18 | 2010-07-28 | パナソニック株式会社 | 監視システムおよび監視方法 |
| JP4071463B2 (ja) * | 2001-07-16 | 2008-04-02 | 株式会社デンソー | 車両周辺画像処理装置 |
| US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| JP4786076B2 (ja) * | 2001-08-09 | 2011-10-05 | パナソニック株式会社 | 運転支援表示装置 |
| CN1568618A (zh) | 2001-10-10 | 2005-01-19 | 松下电器产业株式会社 | 图像处理装置 |
| JP4593070B2 (ja) * | 2001-12-12 | 2010-12-08 | 株式会社エクォス・リサーチ | 車両の画像処理装置 |
| JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| US9428186B2 (en) * | 2002-04-09 | 2016-08-30 | Intelligent Technologies International, Inc. | Exterior monitoring for vehicles |
| ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
| JP3670647B2 (ja) * | 2003-01-14 | 2005-07-13 | 松下電器産業株式会社 | 画像処理装置 |
| JP4256702B2 (ja) * | 2003-03-20 | 2009-04-22 | クラリオン株式会社 | 画像表示方法、画像表示装置及び画像処理装置 |
| US7450165B2 (en) * | 2003-05-02 | 2008-11-11 | Grandeye, Ltd. | Multiple-view processing in wide-angle video camera |
| US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
| FI117217B (fi) * | 2003-10-01 | 2006-07-31 | Nokia Corp | Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi |
| JP2005124010A (ja) * | 2003-10-20 | 2005-05-12 | Nissan Motor Co Ltd | 撮像装置 |
| JP2005242606A (ja) * | 2004-02-26 | 2005-09-08 | Olympus Corp | 画像生成装置、画像生成プログラム、及び画像生成方法 |
| JP2005269010A (ja) * | 2004-03-17 | 2005-09-29 | Olympus Corp | 画像生成装置、画像生成プログラム、及び画像生成方法 |
| JP2005258792A (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corp | 画像生成装置、画像生成方法、および画像生成プログラム |
| WO2005088970A1 (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7369041B2 (en) * | 2004-04-27 | 2008-05-06 | Matsushita Electric Industrial Co., Ltd. | Vehicle surrounding display device |
| US8063936B2 (en) * | 2004-06-01 | 2011-11-22 | L-3 Communications Corporation | Modular immersive surveillance processing system and method |
| AU2005251372B2 (en) * | 2004-06-01 | 2008-11-20 | L-3 Communications Corporation | Modular immersive surveillance processing system and method |
| JP2006026790A (ja) * | 2004-07-15 | 2006-02-02 | Fanuc Ltd | 教示モデル生成装置 |
| JP2006050263A (ja) * | 2004-08-04 | 2006-02-16 | Olympus Corp | 画像生成方法および装置 |
| JP2006054662A (ja) * | 2004-08-11 | 2006-02-23 | Mitsubishi Electric Corp | 運転支援装置 |
| JP2006119843A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 画像生成方法およびその装置 |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| EP1850595B1 (en) * | 2005-02-15 | 2016-07-13 | Panasonic Intellectual Property Management Co., Ltd. | Periphery supervising device, and periphery supervising method |
| JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
| US7920959B1 (en) * | 2005-05-01 | 2011-04-05 | Christopher Reed Williams | Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera |
| JP4601505B2 (ja) * | 2005-07-20 | 2010-12-22 | アルパイン株式会社 | トップビュー画像生成装置及びトップビュー画像表示方法 |
| JP4677847B2 (ja) * | 2005-08-01 | 2011-04-27 | 日産自動車株式会社 | 車両用周囲監視装置及び車両周囲監視方法 |
| JP2007099261A (ja) * | 2005-09-12 | 2007-04-19 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2007124609A (ja) * | 2005-09-28 | 2007-05-17 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
| JP4810953B2 (ja) * | 2005-10-07 | 2011-11-09 | 日産自動車株式会社 | 車両用死角映像表示装置 |
| FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
| JP4762698B2 (ja) * | 2005-11-30 | 2011-08-31 | アルパイン株式会社 | 車両周辺画像表示装置 |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| US8238695B1 (en) * | 2005-12-15 | 2012-08-07 | Grandeye, Ltd. | Data reduction techniques for processing wide-angle video |
| JP2007174113A (ja) * | 2005-12-20 | 2007-07-05 | Sumitomo Electric Ind Ltd | 障害物検出システム及び障害物検出方法 |
| JP2007180803A (ja) * | 2005-12-27 | 2007-07-12 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
| JP4104631B2 (ja) | 2006-03-27 | 2008-06-18 | 三洋電機株式会社 | 運転支援装置 |
| CN101438590B (zh) * | 2006-05-09 | 2011-07-13 | 日产自动车株式会社 | 车辆周围图像提供装置和车辆周围图像提供方法 |
| JP4812510B2 (ja) | 2006-05-17 | 2011-11-09 | アルパイン株式会社 | 車両周辺画像生成装置および撮像装置の測光調整方法 |
| JP4910529B2 (ja) * | 2006-07-14 | 2012-04-04 | 住友電気工業株式会社 | 障害物検出システム及び障害物検出方法 |
| US8339402B2 (en) * | 2006-07-16 | 2012-12-25 | The Jim Henson Company | System and method of producing an animated performance utilizing multiple cameras |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| US7728879B2 (en) * | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
| JP4642723B2 (ja) | 2006-09-26 | 2011-03-02 | クラリオン株式会社 | 画像生成装置および画像生成方法 |
| JP4257356B2 (ja) | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
| JP2007102798A (ja) * | 2006-10-11 | 2007-04-19 | Denso Corp | 車両周辺監視システム |
| JP4862774B2 (ja) | 2006-12-20 | 2012-01-25 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法及び運転支援装置 |
| US7865285B2 (en) * | 2006-12-27 | 2011-01-04 | Caterpillar Inc | Machine control system and method |
| WO2008087709A1 (ja) * | 2007-01-16 | 2008-07-24 | Pioneer Corporation | 車両用画像処理装置、車両用撮像装置、車両用画像処理プログラム、車両用画像調整方法 |
| WO2008087707A1 (ja) * | 2007-01-16 | 2008-07-24 | Pioneer Corporation | 車両用画像処理装置及び車両用画像処理プログラム |
| JP4928956B2 (ja) * | 2007-01-18 | 2012-05-09 | 三洋電機株式会社 | 俯瞰画像提供装置、車両、および俯瞰画像提供方法 |
| US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
| DE102007049821A1 (de) | 2007-10-16 | 2009-04-23 | Daimler Ag | Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit |
| JP2009101718A (ja) * | 2007-10-19 | 2009-05-14 | Toyota Industries Corp | 映像表示装置及び映像表示方法 |
| US7912283B1 (en) * | 2007-10-31 | 2011-03-22 | The United States Of America As Represented By The Secretary Of The Air Force | Image enhancement using object profiling |
| JP5053043B2 (ja) * | 2007-11-09 | 2012-10-17 | アルパイン株式会社 | 車両周辺画像生成装置および車両周辺画像の歪み補正方法 |
| JP5057948B2 (ja) * | 2007-12-04 | 2012-10-24 | アルパイン株式会社 | 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法 |
| JP2009172122A (ja) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
| WO2009099667A1 (en) | 2008-02-08 | 2009-08-13 | Google Inc. | Panoramic camera with multiple image sensors using timed shutters |
| JP5222597B2 (ja) * | 2008-03-19 | 2013-06-26 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
| JP4874280B2 (ja) | 2008-03-19 | 2012-02-15 | 三洋電機株式会社 | 画像処理装置及び方法、運転支援システム、車両 |
| EP2107503A1 (en) | 2008-03-31 | 2009-10-07 | Harman Becker Automotive Systems GmbH | Method and device for generating a real time environment model for vehicles |
| US8675068B2 (en) | 2008-04-11 | 2014-03-18 | Nearmap Australia Pty Ltd | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
| US8497905B2 (en) * | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
| WO2009144994A1 (ja) | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
| JP2009294109A (ja) * | 2008-06-05 | 2009-12-17 | Fujitsu Ltd | キャリブレーション装置 |
| JP4377439B1 (ja) * | 2008-06-12 | 2009-12-02 | 本田技研工業株式会社 | 車両周辺監視装置 |
| FR2936479B1 (fr) * | 2008-09-30 | 2010-10-15 | Dav | Procede de commande et systeme d'aide a la conduite associe |
| EP2179892A1 (de) * | 2008-10-24 | 2010-04-28 | Magna Electronics Europe GmbH & Co. KG | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| JP5387580B2 (ja) * | 2008-11-05 | 2014-01-15 | 富士通株式会社 | カメラ角度算出装置およびカメラ角度算出方法 |
| JP5182042B2 (ja) | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
| JP5405809B2 (ja) * | 2008-12-04 | 2014-02-05 | アルパイン株式会社 | 車両周辺監視装置およびカメラ位置・姿勢判定方法 |
| JP5190712B2 (ja) | 2009-03-24 | 2013-04-24 | アイシン精機株式会社 | 障害物検出装置 |
| JP5439890B2 (ja) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
| JP5195592B2 (ja) * | 2009-03-31 | 2013-05-08 | 富士通株式会社 | 映像処理装置 |
| US20100259371A1 (en) * | 2009-04-10 | 2010-10-14 | Jui-Hung Wu | Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same |
| WO2010119496A1 (ja) | 2009-04-13 | 2010-10-21 | 富士通株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
| JP2010258691A (ja) * | 2009-04-23 | 2010-11-11 | Sanyo Electric Co Ltd | 操縦支援装置 |
| JP5324310B2 (ja) * | 2009-05-14 | 2013-10-23 | 富士通テン株式会社 | 車載照明装置、画像処理装置及び画像表示システム |
| EP2437494B1 (en) | 2009-05-25 | 2017-10-11 | Panasonic Intellectual Property Management Co., Ltd. | Device for monitoring area around vehicle |
| JP2010274813A (ja) * | 2009-05-29 | 2010-12-09 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
| JP5064601B2 (ja) * | 2009-06-29 | 2012-10-31 | パナソニック株式会社 | 車載用映像表示装置 |
| JP5500369B2 (ja) * | 2009-08-03 | 2014-05-21 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| US20130050401A1 (en) * | 2009-09-04 | 2013-02-28 | Breitblick Gmbh | Portable wide-angle video recording system |
| US20110063425A1 (en) | 2009-09-15 | 2011-03-17 | Delphi Technologies, Inc. | Vehicle Operator Control Input Assistance |
| KR101302944B1 (ko) * | 2009-11-04 | 2013-09-06 | 주식회사 만도 | 차량 인식 방법 및 장치 |
| JP5503259B2 (ja) | 2009-11-16 | 2014-05-28 | 富士通テン株式会社 | 車載照明装置、画像処理装置及び画像表示システム |
| JP5299231B2 (ja) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
| US8872889B2 (en) | 2010-01-14 | 2014-10-28 | Innovmetric Logiciels Inc. | Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device |
| JP5341789B2 (ja) * | 2010-01-22 | 2013-11-13 | 富士通テン株式会社 | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム |
| JP5604146B2 (ja) * | 2010-03-25 | 2014-10-08 | 富士通テン株式会社 | 車載照明装置、画像処理装置、画像表示システム及び照明方法 |
| JP5550970B2 (ja) | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| JP5135380B2 (ja) * | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
| JP5362639B2 (ja) * | 2010-04-12 | 2013-12-11 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| JP5090496B2 (ja) * | 2010-04-12 | 2012-12-05 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| US10703299B2 (en) | 2010-04-19 | 2020-07-07 | SMR Patents S.à.r.l. | Rear view mirror simulation |
| US10800329B2 (en) | 2010-04-19 | 2020-10-13 | SMR Patents S.à.r.l. | Rear view mirror simulation |
| JP5552892B2 (ja) * | 2010-05-13 | 2014-07-16 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
| JP2011257940A (ja) * | 2010-06-08 | 2011-12-22 | Panasonic Corp | 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム |
| US9064293B2 (en) | 2010-06-15 | 2015-06-23 | Mitsubishi Electric Corporation | Vehicle surroundings monitoring device |
| JP5444139B2 (ja) | 2010-06-29 | 2014-03-19 | クラリオン株式会社 | 画像のキャリブレーション方法および装置 |
| JP5523954B2 (ja) * | 2010-06-30 | 2014-06-18 | 富士通テン株式会社 | 画像表示システム |
| JP5549436B2 (ja) * | 2010-07-06 | 2014-07-16 | 日産自動車株式会社 | 車両用監視装置 |
| JP2012065225A (ja) * | 2010-09-17 | 2012-03-29 | Panasonic Corp | 車載用画像処理装置、周辺監視装置、および、車両 |
| CN102469291A (zh) * | 2010-11-05 | 2012-05-23 | 屈世虎 | 视频通话系统和方法 |
| JP5783471B2 (ja) * | 2010-12-01 | 2015-09-24 | コニカミノルタ株式会社 | 画像合成装置 |
| US9900522B2 (en) * | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
| EP2511137B1 (en) * | 2011-04-14 | 2019-03-27 | Harman Becker Automotive Systems GmbH | Vehicle Surround View System |
| US9834153B2 (en) | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| US9357208B2 (en) | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| US8934017B2 (en) | 2011-06-01 | 2015-01-13 | Honeywell International Inc. | System and method for automatic camera placement |
| JP6058256B2 (ja) | 2011-06-13 | 2017-01-11 | アルパイン株式会社 | 車載カメラ姿勢検出装置および方法 |
| US20140192159A1 (en) * | 2011-06-14 | 2014-07-10 | Metrologic Instruments, Inc. | Camera registration and video integration in 3d geometry model |
| US8976280B2 (en) | 2011-07-06 | 2015-03-10 | Morpho, Inc. | Distortion estimating image processing device, method, and non-transitory storage medium |
| US20150109446A1 (en) * | 2011-07-12 | 2015-04-23 | Nissan Motor Co., Ltd. | Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method |
| WO2013016409A1 (en) * | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
| US9098751B2 (en) | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
| WO2013018173A1 (ja) * | 2011-07-29 | 2013-02-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2013019707A1 (en) | 2011-08-01 | 2013-02-07 | Magna Electronics Inc. | Vehicle camera alignment system |
| EP2554434B1 (en) * | 2011-08-05 | 2014-05-21 | Harman Becker Automotive Systems GmbH | Vehicle surround view system |
| JP5750344B2 (ja) * | 2011-09-16 | 2015-07-22 | 日立建機株式会社 | 作業機の周囲監視装置 |
| US20140218535A1 (en) | 2011-09-21 | 2014-08-07 | Magna Electronics Inc. | Vehicle vision system using image data transmission and power supply via a coaxial cable |
| DE102011084554A1 (de) * | 2011-10-14 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
| US9491451B2 (en) | 2011-11-15 | 2016-11-08 | Magna Electronics Inc. | Calibration system and method for vehicular surround vision system |
| US10099614B2 (en) | 2011-11-28 | 2018-10-16 | Magna Electronics Inc. | Vision system for vehicle |
| KR101265711B1 (ko) * | 2011-11-30 | 2013-05-20 | 주식회사 이미지넥스트 | 3ｄ 차량 주변 영상 생성 방법 및 장치 |
| US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
| US9600863B2 (en) * | 2012-02-13 | 2017-03-21 | Omnivision Technologies, Inc. | Method for combining images |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| DE102012203171A1 (de) * | 2012-02-29 | 2013-08-29 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
| JP2013186245A (ja) * | 2012-03-07 | 2013-09-19 | Denso Corp | 車両周辺監視装置 |
| JP5891880B2 (ja) * | 2012-03-19 | 2016-03-23 | 株式会社日本自動車部品総合研究所 | 車載画像表示装置 |
| CN104321665B (zh) * | 2012-03-26 | 2017-02-22 | 罗伯特·博世有限公司 | 基于多表面模型的跟踪 |
| JP6029306B2 (ja) | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
| US8768583B2 (en) | 2012-03-29 | 2014-07-01 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
| JP2013211707A (ja) * | 2012-03-30 | 2013-10-10 | Clarion Co Ltd | カメラキャリブレーション装置 |
| WO2013155203A2 (en) * | 2012-04-13 | 2013-10-17 | Lightcraft Technology Llc | Hybrid precision tracking |
| US20130293683A1 (en) * | 2012-05-03 | 2013-11-07 | Harman International (Shanghai) Management Co., Ltd. | System and method of interactively controlling a virtual camera |
| JP5634643B2 (ja) | 2012-05-22 | 2014-12-03 | 三菱電機株式会社 | 画像処理装置 |
| TW201403553A (zh) * | 2012-07-03 | 2014-01-16 | Automotive Res & Testing Ct | 自動校正鳥瞰影像方法 |
| US9143670B1 (en) * | 2012-07-20 | 2015-09-22 | COPsync, Inc. | Video capture system including two independent image sensors |
| JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
| WO2014033886A1 (ja) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN104620285B (zh) * | 2012-09-14 | 2017-04-12 | 本田技研工业株式会社 | 对象物识别装置 |
| JP5923422B2 (ja) | 2012-09-24 | 2016-05-24 | クラリオン株式会社 | カメラのキャリブレーション方法及び装置 |
| EP2904349B1 (en) * | 2012-10-01 | 2020-03-18 | Bodybarista ApS | A method of calibrating a camera |
| US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
| JP6079131B2 (ja) | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
| EP2918725B1 (en) * | 2012-11-08 | 2019-06-26 | Sumitomo Heavy Industries, Ltd. | Image generation device for paving machine and operation assistance system for paving device |
| US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| KR102003562B1 (ko) * | 2012-12-24 | 2019-07-24 | 두산인프라코어 주식회사 | 건설기계의 감지 장치 및 방법 |
| US9232200B2 (en) * | 2013-01-21 | 2016-01-05 | Devin L. Norman | External vehicle projection system |
| US9349056B2 (en) * | 2013-02-15 | 2016-05-24 | Gordon Peckover | Method of measuring road markings |
| US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
| JP6302624B2 (ja) | 2013-04-24 | 2018-03-28 | 住友重機械工業株式会社 | 画像生成装置 |
| US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
| US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
| US9210417B2 (en) * | 2013-07-17 | 2015-12-08 | Microsoft Technology Licensing, Llc | Real-time registration of a stereo depth camera array |
| US20150070498A1 (en) * | 2013-09-06 | 2015-03-12 | Caterpillar Inc. | Image Display System |
| US9315192B1 (en) * | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
| JP6347934B2 (ja) * | 2013-10-11 | 2018-06-27 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
| KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
| US10210597B2 (en) * | 2013-12-19 | 2019-02-19 | Intel Corporation | Bowl-shaped imaging system |
| DE102013226632A1 (de) * | 2013-12-19 | 2015-06-25 | Conti Temic Microelectronic Gmbh | Kamerasystem und Verfahren zum Betrieb eines Kamerasystems |
| KR101572065B1 (ko) * | 2014-01-03 | 2015-11-25 | 현대모비스(주) | 영상 왜곡 보정 방법 및 이를 위한 장치 |
| WO2015129280A1 (ja) | 2014-02-26 | 2015-09-03 | 京セラ株式会社 | 画像処理装置および画像処理方法 |
| KR101670847B1 (ko) * | 2014-04-04 | 2016-11-09 | 주식회사 와이즈오토모티브 | 차량 주변 이미지 생성 장치 및 방법 |
| KR101543159B1 (ko) | 2014-05-02 | 2015-08-10 | 현대자동차주식회사 | 카메라를 이용한 영상 조정 시스템 및 방법 |
| US9386302B2 (en) * | 2014-05-21 | 2016-07-05 | GM Global Technology Operations LLC | Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system |
| WO2016037014A1 (en) | 2014-09-03 | 2016-03-10 | Nextvr Inc. | Methods and apparatus for capturing, streaming and/or playing back content |
| US10442355B2 (en) | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
| US10127463B2 (en) | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
| US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| DE102015205507B3 (de) * | 2015-03-26 | 2016-09-29 | Zf Friedrichshafen Ag | Rundsichtsystem für ein Fahrzeug |
| JP2016201585A (ja) * | 2015-04-07 | 2016-12-01 | 株式会社ソシオネクスト | 画像処理装置および画像処理装置の制御方法 |
| US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
| JP2016225865A (ja) * | 2015-06-01 | 2016-12-28 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 俯瞰画像生成装置 |
| KR101559739B1 (ko) * | 2015-06-11 | 2015-10-15 | 주식회사 미래엔에스 | 가상 모델과 카메라 영상의 융합시스템 |
| US10373378B2 (en) | 2015-06-26 | 2019-08-06 | Paccar Inc | Augmented reality system for vehicle blind spot prevention |
| JP6406159B2 (ja) * | 2015-08-04 | 2018-10-17 | 株式会社デンソー | 車載表示制御装置、車載表示制御方法 |
| KR101860610B1 (ko) * | 2015-08-20 | 2018-07-02 | 엘지전자 주식회사 | 디스플레이 장치 및 이를 포함하는 차량 |
| US10262466B2 (en) * | 2015-10-14 | 2019-04-16 | Qualcomm Incorporated | Systems and methods for adjusting a combined image visualization based on depth information |
| US10187590B2 (en) | 2015-10-27 | 2019-01-22 | Magna Electronics Inc. | Multi-camera vehicle vision system with image gap fill |
| DE102015221356B4 (de) | 2015-10-30 | 2020-12-24 | Conti Temic Microelectronic Gmbh | Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugrundumansicht |
| JP6524922B2 (ja) | 2016-01-12 | 2019-06-05 | 株式会社デンソー | 運転支援装置、運転支援方法 |
| US20190026924A1 (en) * | 2016-01-15 | 2019-01-24 | Nokia Technologies Oy | Method and Apparatus for Calibration of a Multi-Camera System |
| JP6597415B2 (ja) | 2016-03-07 | 2019-10-30 | 株式会社デンソー | 情報処理装置及びプログラム |
| US10339662B2 (en) | 2016-05-23 | 2019-07-02 | Microsoft Technology Licensing, Llc | Registering cameras with virtual fiducials |
| US10326979B2 (en) | 2016-05-23 | 2019-06-18 | Microsoft Technology Licensing, Llc | Imaging system comprising real-time image registration |
| JP6868805B2 (ja) | 2016-06-07 | 2021-05-12 | パナソニックＩｐマネジメント株式会社 | 画像生成装置、画像生成方法、およびプログラム |
| JP6555195B2 (ja) | 2016-06-13 | 2019-08-07 | 株式会社デンソー | 画像生成装置 |
| JP6551336B2 (ja) | 2016-08-12 | 2019-07-31 | 株式会社デンソー | 周辺監査装置 |
| US10678240B2 (en) * | 2016-09-08 | 2020-06-09 | Mentor Graphics Corporation | Sensor modification based on an annotated environmental model |
| WO2018125870A1 (en) * | 2016-12-27 | 2018-07-05 | Gentex Corporation | Rear vision system with eye-tracking |
| US10313584B2 (en) | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
| US10452076B2 (en) | 2017-01-04 | 2019-10-22 | Magna Electronics Inc. | Vehicle vision system with adjustable computation and data compression |
| JP6658642B2 (ja) | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
| JP7038345B2 (ja) | 2017-04-20 | 2022-03-18 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
| JP7002007B2 (ja) | 2017-05-01 | 2022-01-20 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
| US10683034B2 (en) * | 2017-06-06 | 2020-06-16 | Ford Global Technologies, Llc | Vehicle remote parking systems and methods |
| US10585430B2 (en) | 2017-06-16 | 2020-03-10 | Ford Global Technologies, Llc | Remote park-assist authentication for vehicles |
| US10775781B2 (en) | 2017-06-16 | 2020-09-15 | Ford Global Technologies, Llc | Interface verification for vehicle remote park-assist |
| JP7131554B2 (ja) * | 2017-06-27 | 2022-09-06 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7054803B2 (ja) * | 2017-07-21 | 2022-04-15 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
| CN111033555B (zh) * | 2017-08-25 | 2024-04-26 | 株式会社索思未来 | 修正装置、修正程序以及记录介质 |
| JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
| US10580304B2 (en) | 2017-10-02 | 2020-03-03 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for voice controlled autonomous parking |
| US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
| US10580299B2 (en) * | 2017-10-13 | 2020-03-03 | Waymo Llc | Lane change notification |
| US10627811B2 (en) | 2017-11-07 | 2020-04-21 | Ford Global Technologies, Llc | Audio alerts for remote park-assist tethering |
| US10578676B2 (en) | 2017-11-28 | 2020-03-03 | Ford Global Technologies, Llc | Vehicle monitoring of mobile device state-of-charge |
| CN109978753B (zh) * | 2017-12-28 | 2023-09-26 | 北京京东尚科信息技术有限公司 | 绘制全景热力图的方法和装置 |
| US11148661B2 (en) | 2018-01-02 | 2021-10-19 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10583830B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10737690B2 (en) | 2018-01-02 | 2020-08-11 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10688918B2 (en) | 2018-01-02 | 2020-06-23 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10974717B2 (en) | 2018-01-02 | 2021-04-13 | Ford Global Technologies, I.LC | Mobile device tethering for a remote parking assist system of a vehicle |
| US10585431B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10814864B2 (en) | 2018-01-02 | 2020-10-27 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10684773B2 (en) | 2018-01-03 | 2020-06-16 | Ford Global Technologies, Llc | Mobile device interface for trailer backup-assist |
| US10747218B2 (en) | 2018-01-12 | 2020-08-18 | Ford Global Technologies, Llc | Mobile device tethering for remote parking assist |
| US10917748B2 (en) | 2018-01-25 | 2021-02-09 | Ford Global Technologies, Llc | Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning |
| DE102018102051B4 (de) * | 2018-01-30 | 2021-09-02 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Bildfenster in einem Bild, Computerprogrammprodukt sowie Anzeigesystem |
| US10684627B2 (en) | 2018-02-06 | 2020-06-16 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for position aware autonomous parking |
| FR3078224B1 (fr) * | 2018-02-16 | 2020-02-07 | Renault S.A.S | Methode de surveillance d’un environnement de vehicule automobile en stationnement comprenant une camera asynchrone |
| US11188070B2 (en) | 2018-02-19 | 2021-11-30 | Ford Global Technologies, Llc | Mitigating key fob unavailability for remote parking assist systems |
| US10507868B2 (en) | 2018-02-22 | 2019-12-17 | Ford Global Technologies, Llc | Tire pressure monitoring for vehicle park-assist |
| US10732622B2 (en) | 2018-04-05 | 2020-08-04 | Ford Global Technologies, Llc | Advanced user interaction features for remote park assist |
| US10759417B2 (en) | 2018-04-09 | 2020-09-01 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10683004B2 (en) | 2018-04-09 | 2020-06-16 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10493981B2 (en) | 2018-04-09 | 2019-12-03 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10793144B2 (en) | 2018-04-09 | 2020-10-06 | Ford Global Technologies, Llc | Vehicle remote park-assist communication counters |
| JP7021001B2 (ja) * | 2018-05-25 | 2022-02-16 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| JP7187182B2 (ja) * | 2018-06-11 | 2022-12-12 | キヤノン株式会社 | データ生成装置、方法およびプログラム |
| CN110619807B (zh) * | 2018-06-20 | 2022-12-02 | 北京京东尚科信息技术有限公司 | 生成全局热力图的方法和装置 |
| US10384605B1 (en) | 2018-09-04 | 2019-08-20 | Ford Global Technologies, Llc | Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers |
| US10821972B2 (en) | 2018-09-13 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle remote parking assist systems and methods |
| US10717432B2 (en) | 2018-09-13 | 2020-07-21 | Ford Global Technologies, Llc | Park-assist based on vehicle door open positions |
| US10967851B2 (en) | 2018-09-24 | 2021-04-06 | Ford Global Technologies, Llc | Vehicle system and method for setting variable virtual boundary |
| US10529233B1 (en) | 2018-09-24 | 2020-01-07 | Ford Global Technologies Llc | Vehicle and method for detecting a parking space via a drone |
| US10908603B2 (en) | 2018-10-08 | 2021-02-02 | Ford Global Technologies, Llc | Methods and apparatus to facilitate remote-controlled maneuvers |
| US10628687B1 (en) | 2018-10-12 | 2020-04-21 | Ford Global Technologies, Llc | Parking spot identification for vehicle park-assist |
| US11097723B2 (en) | 2018-10-17 | 2021-08-24 | Ford Global Technologies, Llc | User interfaces for vehicle remote park assist |
| US11137754B2 (en) | 2018-10-24 | 2021-10-05 | Ford Global Technologies, Llc | Intermittent delay mitigation for remote vehicle operation |
| DE112019005747T5 (de) * | 2018-11-15 | 2021-08-19 | Panasonic Intellectual Property Management Co., Ltd. | Kamerasystem und Fahrzeug |
| JP2020098412A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP6785480B2 (ja) * | 2019-01-28 | 2020-11-18 | パナソニックＩｐマネジメント株式会社 | 画像合成装置、及び、制御方法 |
| US11789442B2 (en) | 2019-02-07 | 2023-10-17 | Ford Global Technologies, Llc | Anomalous input detection |
| US11195344B2 (en) | 2019-03-15 | 2021-12-07 | Ford Global Technologies, Llc | High phone BLE or CPU burden detection and notification |
| US11275368B2 (en) | 2019-04-01 | 2022-03-15 | Ford Global Technologies, Llc | Key fobs for vehicle remote park-assist |
| US11169517B2 (en) | 2019-04-01 | 2021-11-09 | Ford Global Technologies, Llc | Initiation of vehicle remote park-assist with key fob |
| CN112208438B (zh) * | 2019-07-10 | 2022-07-29 | 台湾中华汽车工业股份有限公司 | 行车辅助影像产生方法及系统 |
| JP2021103481A (ja) | 2019-12-25 | 2021-07-15 | パナソニックＩｐマネジメント株式会社 | 運転支援装置、運転支援方法及びプログラム |
| US11661722B2 (en) | 2020-11-19 | 2023-05-30 | Deere & Company | System and method for customized visualization of the surroundings of self-propelled work vehicles |
| DE102020131778A1 (de) | 2020-12-01 | 2022-06-02 | Zf Cv Systems Global Gmbh | Verfahren zum Kalibrieren einer rückschauenden Kamera und Fahrzeug |
| US20220194428A1 (en) * | 2020-12-17 | 2022-06-23 | 6 River Systems, Llc | Systems and methods for calibrating sensors of autonomous vehicles |
| KR102473407B1 (ko) * | 2020-12-28 | 2022-12-05 | 삼성전기주식회사 | 틸트 카메라를 이용한 차량의 svm 시스템 |
| EP4320013A1 (en) * | 2021-04-07 | 2024-02-14 | Stoneridge, Inc. | Vehicle display including an offset camera view |
| JP7669092B2 (ja) | 2021-09-16 | 2025-04-28 | パナソニックオートモーティブシステムズ株式会社 | 駐車支援方法および駐車支援装置 |
| JP2023077658A (ja) | 2021-11-25 | 2023-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| GB202305023D0 (en) * | 2023-04-04 | 2023-05-17 | Agco Int Gmbh | Camera system and method for generating a combined image projection |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58110334A (ja) * | 1981-12-23 | 1983-06-30 | Hino Motors Ltd | 路面視界表示装置 |
| JPS62155140A (ja) * | 1985-12-27 | 1987-07-10 | Aisin Warner Ltd | 車両制御用道路画像入力方式 |
| JPH0399952A (ja) | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| JPH03166534A (ja) | 1989-11-25 | 1991-07-18 | Seikosha Co Ltd | カメラ用測距装置 |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH05310078A (ja) | 1992-05-07 | 1993-11-22 | Clarion Co Ltd | 車両安全確認装置及びその装置に使用するカメラ |
| JP3391405B2 (ja) * | 1992-05-29 | 2003-03-31 | 株式会社エフ・エフ・シー | カメラ映像内の物体同定方法 |
| DE69322349T3 (de) | 1992-09-30 | 2004-06-09 | Hitachi, Ltd. | Informationssystem für den Fahrer eines Fahrzeuges |
| DE69324224T2 (de) * | 1992-12-29 | 1999-10-28 | Koninklijke Philips Electronics N.V., Eindhoven | Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern |
| US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JP2887039B2 (ja) * | 1993-03-26 | 1999-04-26 | 三菱電機株式会社 | 車両周辺監視装置 |
| US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JP3431962B2 (ja) * | 1993-09-17 | 2003-07-28 | 本田技研工業株式会社 | 走行区分線認識装置を備えた自動走行車両 |
| DE4333112A1 (de) | 1993-09-29 | 1995-03-30 | Bosch Gmbh Robert | Verfahren und Vorrichtung zum Ausparken eines Fahrzeugs |
| JP3381351B2 (ja) | 1993-12-24 | 2003-02-24 | 日産自動車株式会社 | 車両用周囲状況表示装置 |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JP3205477B2 (ja) * | 1994-02-17 | 2001-09-04 | 富士フイルムマイクロデバイス株式会社 | 車間距離検出装置 |
| JP2919284B2 (ja) * | 1994-02-23 | 1999-07-12 | 松下電工株式会社 | 物体認識方法 |
| US5473364A (en) * | 1994-06-03 | 1995-12-05 | David Sarnoff Research Center, Inc. | Video technique for indicating moving objects from a movable platform |
| US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
| JPH11509064A (ja) * | 1995-07-10 | 1999-08-03 | サーノフ コーポレイション | 画像を表現し組み合わせる方法とシステム |
| JPH09305796A (ja) * | 1996-05-16 | 1997-11-28 | Canon Inc | 画像情報処理装置 |
| JP3328478B2 (ja) | 1995-10-18 | 2002-09-24 | 日本電信電話株式会社 | カメラシステム |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| JP3600378B2 (ja) * | 1996-07-24 | 2004-12-15 | 本田技研工業株式会社 | 車両の外界認識装置 |
| JP3625622B2 (ja) | 1996-08-30 | 2005-03-02 | 三洋電機株式会社 | 立体モデル作成装置、立体モデル作成方法および立体モデル作成プログラムを記録した媒体 |
| JP3147002B2 (ja) * | 1996-09-26 | 2001-03-19 | 富士電機株式会社 | 距離検出値の補正方法 |
| US5994701A (en) * | 1996-10-15 | 1999-11-30 | Nippon Avonics Co., Ltd. | Infrared sensor device with temperature correction function |
| JPH10164566A (ja) | 1996-11-28 | 1998-06-19 | Aiphone Co Ltd | マルチ天井カメラ装置 |
| JPH10244891A (ja) | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
| JPH10264841A (ja) | 1997-03-25 | 1998-10-06 | Nissan Motor Co Ltd | 駐車誘導装置 |
| US6396535B1 (en) * | 1999-02-16 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc. | Situation awareness system |
-
1999
- 1999-07-29 EP EP10011659A patent/EP2267656A3/en not_active Withdrawn
- 1999-07-29 JP JP2000563072A patent/JP3286306B2/ja not_active Expired - Lifetime
- 1999-07-29 EP EP99933145A patent/EP1115250B1/en not_active Expired - Lifetime
- 1999-07-29 US US09/744,787 patent/US7307655B1/en not_active Expired - Lifetime
- 1999-07-29 WO PCT/JP1999/004061 patent/WO2000007373A1/ja not_active Ceased
- 1999-07-29 EP EP10012829A patent/EP2309453A3/en not_active Withdrawn
- 1999-07-29 EP EP10008892A patent/EP2259220A3/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2000007373A1 (ja) | 画像表示装置、画像表示方法 | |
| JP3286306B2 (ja) | 画像生成装置、画像生成方法 | |
| JP2002135765A (ja) | カメラキャリブレーション指示装置及びカメラキャリブレーション装置 | |
| US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
| JP3300334B2 (ja) | 画像処理装置および監視システム | |
| CN100438623C (zh) | 图象处理装置及监视系统 | |
| JP5208203B2 (ja) | 死角表示装置 | |
| US8295644B2 (en) | Birds eye view virtual imaging for real time composited wide field of view | |
| JP4596978B2 (ja) | 運転支援システム | |
| JP2021170826A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JPWO2000064175A1 (ja) | 画像処理装置および監視システム | |
| EP1462762A1 (en) | Circumstance monitoring device of a vehicle | |
| US20210092327A1 (en) | Sensor fusion based perceptually enhanced surround view | |
| CN1461561A (zh) | 用于车载摄像机的图像显示方法和装置 | |
| CN114872631A (zh) | 透明底盘功能实现方法及系统 | |
| JP2001114047A (ja) | 車両周囲状況提示装置 | |
| JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
| US12080075B2 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| CN117261765A (zh) | 呈现带有挂车的车辆的周围环境的方法、计算设备和车辆 | |
| CN117557655A (zh) | 一种ar-hud标定方法及其标定系统 | |
| JP7318265B2 (ja) | 画像生成装置および画像生成方法 | |
| JP2021534646A (ja) | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム | |
| JPWO2020233755A5 (ja) | ||
| CN117011185A (zh) | 一种电子后视镜cms图像矫正方法、系统及电子后视镜 | |
| Blaicher et al. | Automatic distortion correction for a full windshield head-up display system |