JP4727329B2 - 画像合成装置及び画像合成方法 - Google Patents

Description

本発明は、車両の運転者からの死角を低減したり運転操作を容易にしたりするため、車両に設置したカメラの画像を加工して表示する画像合成装置に関する。

従来、車両の周囲に設置した複数台のカメラより得られる各画像を合成する画像合成装置として、例えば自車を中心として上方から見た画像を変形合成し、その合成画像を車内の表示装置に映し出すようにしたものが提案されている（例えば、特許文献１参照）。また、画像の変形合成において、仮想視点の位置を動的に変更して、運転状況に合わせた最適な仮想視点画像（合成画像）を提供するようにしたものも提案されている（例えば、特許文献２参照）。

図３は、特許文献２で開示された車両周辺監視装置の概略構成を示すブロック図である。この図に示す車両周辺監視装置は、カメラ部１０１と、アナログ／デジタル（Ａ／Ｄ）変換部１０２と、フレームメモリ部１０３と、画像合成部１０４と、デジタル／アナログ（Ｄ／Ａ）変換部１０５と、ディスプレイ１０６と、変換テーブル１０７と、視点変更用パラメータ供給部１０８とから構成される。カメラ部１０１は、複数台のカメラＣ１〜Ｃｎから構成されており、アナログ／デジタル変換部１０２とフレームメモリ部１０３もカメラＣ１〜Ｃｎと同数のアナログ／デジタル変換器ＡＤ１〜ＡＤｎ、フレームメモリＦＭ１〜ＦＭｎから構成されている。

各フレームメモリＦＭ１〜ＦＭｎには各カメラＣ１〜Ｃｎで撮像された画像が保存される。変換テーブル１０７は、歪補正のための幾何学変換用テーブルをＲＯＭ化したものである。視点変換用パラメータ供給部１０８は、視点変換を動的に変更し得るようにするために視点変換用パラメータを画像合成部１０４に供給する。画像合成部１０４は、ＣＰＵ又はＤＳＰ（Digital Signal Processor）等から構成され、変換テーブル１０７の幾何学変換用テーブルに基づいて各カメラＣ１〜Ｃｎから得られた画像の歪を補正するとともに、視点変換用パラメータ供給部１０８から供給される視点変換用パラメータに基づいて変換のためのアドレス計算等を行う。

このように、視点位置に不変な変換である歪補正のための変換テーブルについて予め計算してＲＯＭ化し、始点位置によって変換規則が変化する視点変換合成について逐次、視点変換用パラメータ供給部１０８によって与えられるパラメータに基づき変換のためのアドレス計算等を行うものであり、視点位置を動的に変更して、車内のディスプレイ１０６に運転状況に応じて最適な合成画像の表示を可能にしている。

特開昭５８−１１０３３４号公報 特開２００１−３３９７１６号公報

ところで、合成画像の画質を考えた場合、合成画像と入力画像の対応を１画素対１画素とせず、１画素対複数画素として補間生成させることで画質向上が図れる。この場合、入力画像を２次元で考えれば合成画像の１画素を得るのにＸ方向、Ｙ方向それぞれ２画素の計４画素必要となるが、その分、フレームメモリへのアクセス量が増大する。フレームメモリのアクセス帯域は製造コストにも関係するため、限られたアクセス帯域で如何に画質向上を図るかが重要である。具体的には、合成画像の特定部分のみに画質向上を限定するやり方や、補間比率が高い場合には補間せずに１画素の読み出しを行う等が考えられるが、いずれも仮想視点の位置によって全体のフレームメモリへのアクセス量が異なってくる。

しかしながら、従来の画像合成装置においては、仮想視点を動的に変更することによるフレームメモリへのメモリアクセス量の増減を考慮していないため、フレームメモリのアクセス帯域不足による画像データの読出し失敗により、画像が欠落してしまうことがあり、またラインメモリを搭載している場合には前ライン時に読み出された画像が表示されてしまう問題がある。因みに、ＮＴＳＣ（National Television Standards Committee）方式の場合、インターレースで偶数ラインと奇数ラインで時間軸が異なるため、例えば偶数ラインの２ラインが同じ画像で出力されたとしても、その間に奇数ラインの異なる画像が存在するために不自然な画像となってしまう。

本発明は、係る事情に鑑みてなされたものであり、仮想視点を動的に変更した場合でも合成画像を正しく表示することができる画像合成装置及び画像合成方法を提供することを目的とする。

上記目的は下記構成及び方法により達成される。
（１） 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変換テーブル記憶手段と、前記座標変換テーブル記憶手段に記憶されている座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記仮想視点変換データ生成手段で生成された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合には読み出し失敗を示す情報を出力するメモリ制御手段と、前記メモリ制御手段から前記カメラ画像の読み出し失敗を示す情報が出力された場合に、前記メモリ制御手段が読み出せなかったカメラ画像を別の画像データに置き換える仮想視点画像変換手段と、を備える。

（２） 上記（１）に記載の画像合成装置において、前記仮想視点画像変換手段は、前記メモリ制御手段が読み出せなかったカメラ画像を除いて合成画像を生成する。

（３） 上記（１）に記載の画像合成装置において、前記仮想視点画像変換手段は、複数画素を合成して１画素分を生成している場合、前記フレームメモリのアクセス帯域不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画素を使って合成画像を生成する。

（４） 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変換テーブル記憶手段と、前記座標変換テーブル記憶手段に記憶されている座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、カメラ画像の入力数と前記仮想視点変換データ生成手段で生成された仮想視点変換データからフレームメモリへのメモリアクセス量を計算するフレームメモリアクセス帯域計算手段と、前記フレームメモリアクセス帯域計算手段にて計算されたメモリアクセス量に基づき前記仮想視点変換データのメモリアクセスデータ量を制御するメモリアクセスデータ制御手段と、前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリアクセスデータ制御手段にてメモリアクセスデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成するメモリ制御手段と、を備える。

（５） 画像合成方法であって、入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合には前記フレームメモリから読み出せなかったカメラ画像を別の画像データに置き換えて合成画像を生成する。

（６） 上記（５）に記載の画像合成方法において、前記フレームメモリのアクセス帯域不足により読み出せなかったカメラ画像を除いて合成画像を生成する。

（７） 上記（５）に記載の画像合成方法において、 複数画素を合成して１画素分を生成している場合、前記フレームメモリのアクセス帯域不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画素を使って合成画像を生成する。

（８） 画像合成方法であって、入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、生成した仮想視点変換データとカメラ画像の入力数とからフレームメモリへのメモリアクセス量を計算し、計算したメモリアクセス量に基づき前記仮想視点変換データのメモリアクセスデータ量を制御し、前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリアクセスデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成する。

上記（１）に記載の画像合成装置では、フレームメモリへのアクセス帯域不足により読み出すことができなかったカメラ画像を別の画像データ（例えばビットマップデータ等の特定の画像データ）に置き換えて合成画像を生成するので、仮想視点を動的に変更した場合でも画像が欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなく、合成画像を常に正しく表示することができる。

上記（２）に記載の画像合成装置では、合成画像を生成するのに必要な複数のカメラ画像のうち、少なくとも１つのカメラ画像をフレームメモリから読み出すことができれば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることなく、実際のカメラ画像による合成画像を求めることができる。

上記（３）に記載の画像合成装置では、複数のカメラ画素から１画素の合成画像を生成する場合、少なくとも１つのカメラ画像をフレームメモリから読み出すことができれば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることなく、実際のカメラ画像による合成画像を求めることができる。

上記（４）に記載の画像合成装置では、フレームメモリへのアクセス帯域を超えない範囲で仮想視点変換データのメモリアクセスデータ量を制御するので、読み出すことができなかったカメラ画像を別の画像データに置き換えたりする処理を省くことができる。

上記（５）に記載の画像合成方法では、フレームメモリへのアクセス帯域不足により読み出すことができなかったカメラ画像を別のデータ（例えばビットマップデータ等の特定の画像データ）に置き換えるので、仮想視点を動的に変更した場合でも画像が欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなく、合成画像を常に正しく表示することができる。

上記（６）に記載の画像合成方法では、合成画像を生成するのに必要な複数のカメラ画像のうち、少なくとも１つのカメラ画像をフレームメモリから読み出すことができれば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることなく、実際のカメラ画像による合成画像を求めることができる。

上記（７）に記載の画像合成方法では、複数のカメラ画素から１画素の合成画像を生成する場合、少なくとも１つのカメラ画像をフレームメモリから読み出すことができれば、別の画像データ（ビットマップデータ等の特定の画像データ）に置き換えることなく、実際のカメラ画像による合成画像を求めることができる。

上記（８）に記載の画像合成方法では、フレームメモリへのアクセス帯域を超えない範囲で仮想視点変換データのメモリアクセスデータ量を制御するので、読み出すことができなかったカメラ画像を別の画像データに置き換えたりする処理を省くことができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像合成装置の概略構成を示すブロック図である。この図において、本実施の形態の画像合成装置は、カメラ部１０と、座標変換テーブル記憶部１１と、仮想視点変換データ生成部１２と、視点変換用パラメータ供給部１３と、フレームメモリ１５と、メモリ制御部１４と、仮想視点画像変換部１６と、表示部１７とを備えている。

カメラ部１０は、従来と同様に複数のカメラ（図示略）で構成されており、被写体の撮像に使用される。座標変換テーブル記憶部１１は、入力画像と歪み補正画像の対応関係即ち変換後の画像座標と変換前の画像座標との関係を表す座標変換テーブルを記憶する。仮想視点変換データ生成部１２は、歪み補正画像と合成画像の対応関係を逐次計算して仮想視点から見た画像を得るための仮想視点変換データを生成する。視点変換用パラメータ供給部１３は、合成画像を生成するために必要となる仮想視点位置に関するパラメータを仮想視点変換データ生成部１２に供給する。フレームメモリ１５はカメラ画像を保存する。

メモリ制御部１４は、フレームメモリ１５に対してカメラ画像の書き込みと読み出しを行い、合成画像を生成する。仮想視点画像変換部１６は、メモリ制御部１４でフレームメモリ１５のアクセス帯域不足により読み出せなかったカメラ画像をビットマップデータ等の別の画像データに置き換える。この場合、少なくとも１つのカメラ画像がフレームメモリ１５から読み出すことができれば、ビットマップデータ等の別の画像データに置き換えることなく、実際のカメラ画像による合成画像を求めることができる。表示部１７は、仮想視点画像変換部１６からの合成画像を視覚表示する。

次に、上記構成の画像合成装置の動作を説明する。仮想視点変換データ生成部１２では、座標変換テーブル記憶部１１に記憶されている座標変換テーブルと視点変換用パラメータ供給部１３から供給される仮想視点位置に関するパラメータとを基に仮想視点から見た合成画像と入力画像との対応関係を示す仮想視点変換データを生成する。仮想視点変換データの内容としては、合成画像のＸＹ座標（Ｘｏ，Ｙｏ）に対応する入力画像のＸＹ座標（Ｘｉ，Ｙｉ）およびＸ軸補間係数ＸｋとＹ軸補間係数Ｙｋを保持しており、以下の計算をすることで合成画像を求めている。

（Ｘｏ，Ｙｏ）＝Ｘｋ×｛Ｙｋ×（Ｘｉ，Ｙｉ）＋（１−Ｙｋ）×（Ｘｉ，Ｙｉ＋１）｝＋（１−Ｘｋ）×｛Ｙｋ×（Ｘｉ＋１，Ｙｉ）＋（１−Ｙｋ）×（Ｘｉ＋１，Ｙｉ＋１）｝…（１）
この場合、合成画像の１画素を、（Ｘｉ，Ｙｉ）、（Ｘｉ，Ｙｉ＋１）、（Ｘｉ＋１，Ｙｉ）、（Ｘｉ＋１，Ｙｉ＋１）の入力画像４画素分から求めることになるが、Ｘｋ＝１あるいはＹｋ＝１の場合を考慮すると、実際に必要な画素は１〜４画素と補間係数値によって異なる。

メモリ制御部１４では、フレームメモリ１５に対してカメラ画像の書き込みを行うとともに、フレームメモリ１５の残りのアクセス帯域を使って、仮想視点変換データ生成部１２で生成された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、フレームメモリ１５のアクセス帯域不足によりカメラ画像の読み出しができない場合には読み出し失敗を示す情報を出力する。この際、フレームメモリ１５のアクセス帯域不足によりカメラ画像の読み出しができない場合には、読出し失敗の旨を仮想視点画像変換部１６に伝える。仮想視点画像変換部１６では、フレームメモリ１５から読み出されたカメラ画像を基に前述の式（１）に基づいて合成画像を計算し、表示部１７にて合成画像を表示する。この時、カメラ画像の読み出しが失敗していた場合は合成画像を任意のビットマップデータに置き換える。

このように本実施の形態の画像合成装置によれば、入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、フレームメモリ１５に対してカメラ画像の書き込みを行うとともに、フレームメモリ１５の残りのアクセス帯域を使って、仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、フレームメモリ１５のアクセス帯域不足によりカメラ画像の読み出しができない場合には、フレームメモリ１５から読み出せなかったカメラ画像を任意のビットマップデータに置き換えるので、仮想視点を動的に変更することでメモリ制御部１４のフレームメモリ１５へのアクセス量がアクセス帯域を上回った場合でも、画像が欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなく、常に正しい合成画像を表示することができる。

そして、本実施の形態の画像合成装置を車両周辺監視装置に用いた場合には、車両の運転者からの死角を低減したり、運転操作を容易にしたりすることが可能となる。

なお、本実施の形態では、仮想視点画像変換部１６において、単にカメラ画像の読み出しが失敗していた場合は該当する合成画像を任意のビットマップデータに置き換えているが、合成画像を計算するのに複数のカメラ画像データが必要な場合で、少なくとも１つのカメラ画像データの読出しが成功していた場合は、そのカメラ画像データを使って合成画像を求めてもよい。

（実施の形態２）
図２は、本発明の実施の形態２に係る画像合成装置の概略構成を示すブロック図である。なお、この図において、図１と同じ構成要素については同じ符号を用い、その説明を省略する。図２において、本実施の形態の画像合成装置は、カメラ部１０と、座標変換テーブル記憶部１１と、仮想視点変換データ生成部１２と、視点変換用パラメータ供給部１３と、フレームメモリ１５と、カメラ画像の入力数と仮想視点変換データ生成部１２で生成された仮想視点変換データからフレームメモリ１５へのメモリアクセス量を計算するフレームメモリアクセス帯域計算部１８と、フレームメモリアクセス帯域計算部１８により、フレームメモリ１５へのアクセス量がフレームメモリ１５のアクセス帯域を上回った場合に仮想視点変換データの補間係数を制御し、ＸｋもしくはＹｋを１に近似することでフレームメモリ１５へのアクセス量を制御するメモリアクセスデータ制御部１９と、フレームメモリ１５に対してカメラ画像の書き込みを行うとともに、フレームメモリ１５の残りのアクセス帯域を使って、メモリアクセスデータ制御部１９にてメモリアクセスデータ量が制御された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成するメモリ制御部１４と、メモリ制御部１４で生成された合成画像を可視表示する表示部１７とを備えている。

次に、上記構成の画像合成装置の動作を説明する。仮想視点変換データ生成部１２では、座標変換テーブル記憶部１１からの座標変換テーブルと視点変換用パラメータ供給部１３からの仮想視点位置に関するパラメータとを基に仮想視点から見た合成画像と入力画像との対応関係を示す仮想視点変換データを生成する。仮想視点変換データの内容としては、上述した実施の形態１と同様に合成画像のＸＹ座標（Ｘｏ，Ｙｏ）に対応する入力画像のＸＹ座標（Ｘｉ，Ｙｉ）およびＸ軸補間係数Ｘｋ、Ｙ軸補間係数Ｙｋを保持している。フレームメモリアクセス帯域計算部１８では、カメラ画像及び仮想視点変換データを基にフレームメモリ１５へのアクセスに必要なアクセス量を計算する。アクセス量がアクセス帯域を上回った場合、メモリアクセスデータ制御部１９では、Ｘ軸補間係数及びＹ軸補間係数のうち「１」に近い値から順に「１」に近似させ、アクセス量を制御する。そして、アクセス量がアクセス帯域を下回った時点で制御を終了する。メモリ制御部１４では、フレームメモリ１５に対してカメラ画像の書き込み及び読み出しを行い、読み出したカメラ画像を基に合成画像を生成し、表示部１７にて合成画像を表示する。

このように本実施の形態の画像合成装置によれば、入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、生成した仮想視点変換データとカメラの入力数とからフレームメモリ１５へのメモリアクセス量を計算し、計算したメモリアクセス量に基づき仮想視点変換データのメモリアクセスデータ量を制御し、フレームメモリ１５に対してカメラ画像の書き込みを行うとともに、フレームメモリ１５の残りのアクセス帯域を使って、メモリアクセスデータ量が制御された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成するので、仮想視点を動的に変更することでメモリ制御部１４のフレームメモリ１５へのアクセス量がアクセス帯域を上回った場合でも、画像が欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなく、運転者を混乱させない常に正しい合成画像を表示することができる。特に、本発明では、フレームメモリ１５へのアクセス帯域を超えない範囲で仮想視点変換データのメモリアクセスデータ量を制御するので、読み出すことができなかったカメラ画像を別の画像データに置き換えたりする処理を省くことができる。

そして、本実施の形態の画像合成装置でも、車両周辺監視装置に用いた場合には、車両の運転者からの死角を低減したり、運転操作を容易にしたりすることが可能となる。

本発明は、仮想視点を動的に変更した場合でも画像が欠落してしまったり前ライン時に読み出された画像が表示されてしまったりすることがなく、常に正しい合成画像を表示することができるといった効果を有し、車両に設置したカメラの画像を加工して表示出力する車両周辺監視装置などへの適用が可能である。

本発明の実施の形態１に係る画像合成装置の概略構成を示すブロック図 本発明の実施の形態２に係る画像合成装置の概略構成を示すブロック図 従来の画像合成装置の概略構成を示すブロック図

符号の説明

１０ カメラ部
１１ 座標変換テーブル記憶部
１２ 仮想視点変換データ生成部
１３ 視点変換用パラメータ供給部
１４ メモリ制御部
１５ フレームメモリ
１６ 仮想視点画像変換部
１７ 表示部
１８ フレームメモリアクセス帯域計算部
１９ メモリアクセスデータ制御部

Claims (8)

1. 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変換テーブル記憶手段と、
   前記座標変換テーブル記憶手段に記憶されている座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、
   合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、
   フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記仮想視点変換データ生成手段で生成された仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合には読み出し失敗を示す情報を出力するメモリ制御手段と、
   前記メモリ制御手段から前記カメラ画像の読み出し失敗を示す情報が出力された場合に、前記メモリ制御手段が読み出せなかったカメラ画像を別の画像データに置き換える仮想視点画像変換手段と、
   を備える画像合成装置。
2. 前記仮想視点画像変換手段は、前記メモリ制御手段が読み出せなかったカメラ画像を除いて合成画像を生成する請求項１に記載の画像合成装置。
3. 前記仮想視点画像変換手段は、複数画素を合成して１画素分を生成している場合、前記フレームメモリのアクセス帯域不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画素を使って合成画像を生成する請求項１に記載の画像合成装置。
4. 入力画像と歪み補正画像の対応関係を表す座標変換テーブルを記憶した座標変換テーブル記憶手段と、
   前記座標変換テーブル記憶手段に記憶されている座標変換テーブルと仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成する仮想視点変換データ生成手段と、
   合成画像を生成するために必要となる前記仮想視点位置に関するパラメータを前記仮想視点変換データ生成手段に供給する視点変換用パラメータ供給手段と、
   カメラ画像の入力数と前記仮想視点変換データ生成手段で生成された仮想視点変換データからフレームメモリへのメモリアクセス量を計算するフレームメモリアクセス帯域計算手段と、
   前記フレームメモリアクセス帯域計算手段にて計算されたメモリアクセス量に基づき前記仮想視点変換データのメモリアクセスデータ量を制御するメモリアクセスデータ制御手段と、
   前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリアクセスデータ制御手段にてメモリアクセスデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成するメモリ制御手段と、
   を備える画像合成装置。
5. 入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、
   前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、
   フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成し、前記フレームメモリのアクセス帯域不足によりカメラ画像の読み出しができない場合には前記フレームメモリから読み出せなかったカメラ画像を別の画像データに置き換えて合成画像を生成する画像合成方法。
6. 前記フレームメモリのアクセス帯域不足により読み出せなかったカメラ画像を除いて合成画像を生成する請求項５に記載の画像合成方法。
7. 複数画素を合成して１画素分を生成している場合、前記フレームメモリのアクセス帯域不足により複数画素の一部が前記メモリ制御手段から読み出せなくても、残りの画素を使って合成画像を生成する請求項５に記載の画像合成方法。
8. 入力画像と歪み補正画像の対応関係を表す座標変換テーブル及び合成画像を生成するために必要となる仮想視点位置に関するパラメータを持ち、
   前記座標変換テーブルと前記仮想視点位置に関するパラメータとを基に入力画像と仮想視点から見た合成画像との対応関係を示す仮想視点変換データを生成し、生成した仮想視点変換データとカメラ画像の入力数とからフレームメモリへのメモリアクセス量を計算し、計算したメモリアクセス量に基づき前記仮想視点変換データのメモリアクセスデータ量を制御し、
   前記フレームメモリに対してカメラ画像の書き込みを行うとともに、前記フレームメモリの残りのアクセス帯域を使って、前記メモリアクセスデータ量が制御された前記仮想視点変換データに基づくカメラ画像の読み出しを行って合成画像を生成する画像合成方法。

Images