JP2005004097A - 画像合成装置 - Google Patents

Abstract

【課題】メモリ領域の面数が少ない小型で安価なフレームメモリを使用して、表示遅延量の少ない見た目にスムーズな合成画像データを得ること。
【解決手段】制御装置１０３は、画像作成装置１１０，１２０から、各画像データＡ、Ｂのフレームレート情報を取得する。また、制御装置１０３は、表示装置１３０から、表示レート情報と表示タイミング情報とを取得する。そして、制御装置１０３は、取得したフレームレート情報と表示レート情報及び表示タイミング情報とに基づいて、表示装置１３０の次表示タイミングまでに、合成処理する各画像データＡ、Ｂの各フレームメモリ装置１０１、１０２への書き込みが完了するように、各画像作成装置１１０、１２０に画像作成許可を与える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像作成装置で作成されてフレームメモリ装置に格納された各画像データを合成する画像合成装置に関する。
【０００２】
【従来の技術】
従来、この種の画像合成装置として、コンピュータの負担を大きくしないで、コンピュータグラフィック画像と動画像とを合成できるようにした「合成表示装置」が知られている（例えば、特許文献１参照）。図６に、この合成表示装置の構成を示す。
【０００３】
図６において、コンピュータは、ＣＰＵ１２、入出力（Ｉ／Ｏ）部１３、及びグラフィックスフレームメモリ装置１４を具備している。コンピュータは、コンピュータビデオ信号をグラフィックスフレームメモリ装置１４に格納する。また、コンピュータは、グラフィックスフレームメモリ装置１４から表示用の水平同期信号、垂直同期信号に同期してビデオ信号を送り出し、Ｉ／Ｏ部１３を通して合成表示装置の切替メモリ６に画像の指定情報を書き込む。
【０００４】
一方、動画入力装置１１は、例えばビデオカメラ又は分析装置等からなり、動画像のビデオ信号を取り込む。Ａ／Ｄ変換器３は、動画入力装置１１で取り込まれた動画像のビデオ信号をＡ／Ｄ変換する。動画用フレームメモリ装置４は、動画像のビデオ信号をＡ／Ｄ変換したビデオデータを格納し、表示タイミングに合わせてＤ／Ａ変換器５へビデオデータを出力する。Ｄ／Ａ変換器５は、動画用フレームメモリ装置４から出力されたビデオデータをＤ／Ａ変換し、表示用のビデオ信号にする。表示用水平／垂直同期回路１は、コンピュータから出力される表示用の水平同期信号、垂直同期信号に同期して切替メモリ６を読み出すタイミング信号を発生する。また、表示用水平／垂直同期回路１は、動画用フレームメモリ装置４からビデオデータを読み出しビデオ信号へ変換するタイミング信号を発生する。動画像入力用水平／垂直同期回路２は、動画像の水平同期信号、垂直同期信号に同期してビデオ信号をＡ／Ｄ変換器３でＡ／Ｄ変換し動画用フレームメモリ装置４へ格納するためのタイミング信号を発生する。切替メモリ６は、例えばＩ／Ｏ部１３を通してＣＰＵ１２のような外部のコンピュータの指示で各表示領域に対応して画像の指定情報が書き込まれ、書き込まれている指定情報に応じてビデオスイッチ７を切り替える。ビデオスイッチ７は、切替メモリ６の情報により、グラフィックスフレームメモリ装置１４から読み出されたコンピュータビデオ信号、又は動画用フレームメモリ装置４から読み出された動画ビデオ信号の何れかを選択して表示器８へ出力する。これにより、切替メモリ６に書き込まれた指定情報にしたがって、コンピュータグラフィック画像と動画像とが表示器８に合成されて表示される。このように、前記合成表示装置は、非同期に作成される複数の画像を合成することができる。
【０００５】
【特許文献１】
特開平６−２７４１５５号公報
【０００６】
【発明が解決しようとする課題】
ところで、この種の画像合成装置、特に携帯端末装置やカーナビゲーションなどで用いる画像合成装置は、少しでも小型・軽量で安価、かつ表示遅延の少ない見た目にスムーズな合成画像が得られるように構成することが求められている。
【０００７】
しかしながら、従来の画像合成装置において合成画像の表示遅延を少なくするためには、１つの画像作成装置で作成された画像データを格納するフレームメモリ装置として、少なくとも２面以上のメモリ領域を備えたものを用いる必要があった。
【０００８】
例えば、前記画像作成装置としてデコーダを想定し、入力と出力が非同期で動作している場合は、図７に示すように、まず、デコーダから入力される画像データの書き込み用に１面のメモリ領域が必要になる。また、複数の画像を合成する合成装置２０に出力する画像データの読み出し用に１面のメモリ領域が必要となる。さらに、合成用の画像データの切り替え時に、画像データの書き込み用に使われていない別の１面のメモリ領域が必要となる。このように、この場合には、少なくとも合計３面のメモリ領域を備えたフレームメモリ装置が必要となる。このような複数のメモリ領域を備えたフレームメモリ装置は、単一のメモリ領域を備えたフレームメモリ装置に比較して、高価でチップ面積も大きくなる。
【０００９】
このため、従来の画像合成装置においては、その小型・軽量化及び低価格化に限界がある。つまり、画像合成装置の小型・軽量化及び低価格化のためには、メモリ領域が単一面のフレームメモリ装置を使用することが望ましい。しかし、このような単一面のメモリ領域を備えたフレームメモリ装置を使用した場合には、合成用の画像の表示遅延が増大されてしまう。
【００１０】
本発明はかかる点に鑑みてなされたものであり、メモリ領域の面数が少ない小型で安価なフレームメモリ装置を使用して、表示遅延の少ない見た目にスムーズな合成画像を得ることができる画像合成装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
請求項１記載の画像合成装置に関する発明は、複数の画像作成装置で作成された各画像の各画像データを個別に格納する前記画像作成装置に対応した数のフレームメモリ装置と、前記各フレームメモリ装置に個別に格納された前記各画像データを合成処理して合成画像データを出力する合成装置と、前記合成装置による前記各画像データの合成処理が開始されるタイミングで前記各フレームメモリ装置への前記各画像データの書き込みが完了するように前記各画像作成装置の画像作成動作を制御する制御装置と、を具備する構成を採る。
【００１２】
この構成により、前記各画像作成装置の画像作成動作が、前記合成装置による前記各画像データの合成処理が開始されるタイミングで、前記各フレームメモリ装置への前記各画像データの書き込みが完了するように、前記制御装置によって制御される。これにより、前記各画像作成装置で作成された前記各画像データは、前記合成装置が前記各画像データの合成処理を開始する時点で、既に前記各フレームメモリ装置内に個別に格納されている状態となる。従って、この構成によれば、前記各フレームメモリ装置の１面だけのメモリ領域を用いて、前記各画像データの書き込みと読み出しとを行うことが可能になる。これにより、合成画像の画質低下や表示遅延を増大させることなく、前記各フレームメモリ装置のメモリ領域の面数を削減して、前記各フレームメモリ装置のコストを削減したり、チップ面積を縮小したりすることができるようになる。
【００１３】
請求項２記載の画像合成装置に関する発明は、前記制御装置により、前記各画像作成装置の画像作成時のフレームレート情報と、前記合成装置から出力される前記合成画像データにより合成画像を表示する表示装置の表示レート情報及び表示タイミング情報と、に基づいて、前記表示装置の表示タイミングよりも前記各画像作成装置が画像作成に要する時間の少なくとも２倍前のタイミングで、前記各画像作成装置に対して画像作成許可を与える構成を採る。
【００１４】
この構成により、前記表示装置の表示タイミングと、前記各画像作成装置に対して画像作成許可が与えられるタイミングと、のタイムラグが、前記各画像作成装置が画像作成に要する時間の少なくとも２倍となる。このタイムラグは、前記表示装置の任意の表示タイミングにおいて、前記各フレームメモリ装置に少なくとも１つの合成用の画像データが格納される最小時間となる。従って、この構成によれば、前記各画像作成装置のフレームレートが変更された場合でも、合成画像の表示遅延を最小に抑えることができるようになる。
【００１５】
請求項３記載の画像合成装置に関する発明は、前記制御装置により、前記各画像の作成時刻を表す時間情報に基づいて、前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否かを判定し、所定時間以上経過した画像データが格納されていると判定された前記フレームメモリ装置に対応する画像作成装置に対して再び画像作成許可を与える構成を採る。
【００１６】
この構成により、前記制御装置により、前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否か判定される。ここで、所定時間以上経過した画像データとは、例えば、前記表示装置の表示レートの少なくとも２倍の時間よりも前に、前記フレームメモリ装置に書き込まれた画像データをいう。そして、格納されている画像データが所定時間以上経過した画像データであると判定されたフレームメモリ装置に対応する画像作成装置に、再び画像作成許可が与えられる。これにより、前記各フレームメモリ装置に格納される画像データが随時更新されるようになる。
【００１７】
請求項４記載の画像合成方法に関する発明は、複数の画像作成装置で作成された各画像の各画像データを前記各画像作成装置に対応した数のフレームメモリ装置に対して個別に格納する画像データ格納ステップと、前記各フレームメモリ装置に個別に格納された前記各画像データを合成装置により合成処理する合成処理ステップと、前記合成装置による前記各画像データの合成処理が開始されるタイミングで前記各フレームメモリ装置への前記各画像データの書き込みが完了するように、前記各画像作成装置に対して画像作成許可を与えて前記各画像を作成する画像作成ステップと、を具備するようにした。
【００１８】
この方法により、前記合成装置が前記各画像データの合成処理を開始する時点で、前記各画像作成装置で作成された前記各画像データが、前記各フレームメモリ装置に個別に格納された状態となる。これにより、１面のメモリ領域のみを備えた安価で小型なフレームメモリ装置を用いて、合成用の画像データの書き込みと読み出しを行うことができるようになる。
【００１９】
請求項５記載の画像合成方法に関する発明は、前記各画像の作成時刻を表す時間情報に基づいて前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否かを判定する判定ステップと、格納されている画像データが所定時間以上経過した画像データであると判定されたフレームメモリ装置に対応する画像作成装置に対して再び画像作成許可を与えて前記画像データを更新する画像データ更新ステップと、を具備するようにした。
【００２０】
この方法により、前記判定ステップで、前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否か判定される。ここで、所定時間以上経過した画像データとは、例えば、表示装置の表示レートの２倍の時間よりも前に、前記フレームメモリ装置に書き込まれた画像データをいう。そして、前記画像データ更新ステップで、格納されている画像データが所定時間以上経過した画像データであると判定されたフレームメモリ装置に対応する画像作成装置に対して再び画像作成許可が与えられる。これにより、前記各フレームメモリ装置に格納される画像データが更新され、前記合成装置により常に最新の画像が合成されるようになる。
【００２１】
請求項６記載のプログラムに関する発明は、コンピュータに、請求項１から請求項３のいずれかに記載の画像合成装置の動作を実行させる構成を採る。
【００２２】
この構成により、前記コンピュータが前記画像合成装置の動作を実行する。従って、この構成によれば、専用のハードウェアからなる画像合成装置が不要になり、前記各画像作成装置により作成された各画像を、コストをかけずに合成することができるようになる。
【００２３】
【発明の実施の形態】
本発明の骨子は、合成装置による画像データの合成処理が開始されるタイミングでフレームメモリ装置への前記画像データの書き込みが完了するように、画像作成装置の画像作成動作を制御することである。
【００２４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像合成装置１００の構成を示すブロック図である。
【００２６】
この画像合成装置１００は、第１のフレームメモリ装置１０１、第２のフレームメモリ装置１０２、制御装置１０３、及び合成装置１０４を備えている。
【００２７】
第１のフレームメモリ装置１０１は、第１の画像作成装置１１０で作成された画像の画像データ（以下、この画像データを「画像データＡ」という）を格納する機能を有している。
【００２８】
前記第２のフレームメモリ装置１０２は、第２の画像作成装置１２０で作成された画像データ（以下、この画像データを「画像データＢ」という）を格納する機能を有している。
【００２９】
第１の画像作成装置１１０は、コンピュータ又はビデオカメラなどからなる画像データＡを作成する画像作成機器と、作成した画像データＡを第１のフレームメモリ装置１０１に書き込む画像書込み機器とを備えている。同様に、第２の画像作成装置１２０は、コンピュータ又はビデオカメラなどからなる画像データＢを作成する画像作成機器と、作成した画像データＢを第２のフレームメモリ装置１０２に書き込む画像書込み機器と、を備えている。
【００３０】
制御装置１０３は、各画像データＡ、Ｂが各フレームメモリ装置１０１、１０２に所定のタイミングで格納されるように、各画像作成装置１１０、１２０に対して画像形成許可を与える。また、この制御装置１０３は、各画像データＡ、Ｂが所定のタイミングで合成処理されるように、合成装置１０４に対して画像合成許可を与える。
【００３１】
合成装置１０４は、制御装置１０３から画像合成許可を受けて、各フレームメモリ装置１０１、１０２に格納された画像データＡと画像データＢとを読み出して合成処理する。
【００３２】
表示装置１３０は、合成装置１０４により合成処理された画像データＡと画像データＢとの合成画像データに基づいて、合成画像を表示する。また、この表示装置１３０は、合成画像の表示が完了した時点で、制御装置１０３に表示タイミング信号を与える。
【００３３】
以上のように構成された画像合成装置１００について、図１を用いてその動作を説明する。
【００３４】
図１において、画像作成装置１１０は、制御装置１０３から画像作成許可が与えられている間に作成した画像データＡをフレームメモリ装置１０１に書き込む。また、画像作成装置１２０は、制御装置１０３から画像作成許可が与えられている間に作成した画像データＢをフレームメモリ装置１０２に書き込む。
【００３５】
制御装置１０３は、表示装置１３０から表示タイミング信号を受けた際に、合成装置１０４に対して画像合成許可を与える。これにより、フレームメモリ装置１０１に格納されている画像データＡとフレームメモリ装置１０２に格納されている画像データＢとが合成装置１０４に読み出されて合成処理される。
【００３６】
ここで、表示装置１３０の表示タイミングにおいて、所定のフレームメモリ装置内に画像データが無い場合は、合成装置１０４が合成処理動作をスキップすることになる。このスキップは、表示装置１３０に表示される合成画像の表示遅延の原因となる。従って、表示装置１３０が合成画像の表示を開始する表示タイミングでは、各フレームメモリ装置１０１、１０２内に各画像データＡ、Ｂが確実に存在していることが望ましい。また、この表示タイミングでは、各画像データＡ、Ｂが表示遅延を招かないような最新の画像データであることが好ましい。さらに、各フレームメモリ装置１０１、１０２としては、１面のメモリ領域のみを備えた安価で小型なものを用いることが望ましい。
【００３７】
そこで、この画像合成装置１００では、次のような制御を行う。まず、制御装置１０３は、各画像作成装置１１０、１２０から各画像データＡ、Ｂのフレームレート情報を取得する。また、制御装置１０３は、表示装置１３０から表示レート情報及び表示タイミング情報を取得する。そして、前記表示タイミングまでに、合成処理する各画像データＡ、Ｂの各フレームメモリ装置１０１、１０２への書き込みが完了するように、制御装置１０３から各画像作成装置１１０、１２０に対して画像作成許可を与える。
【００３８】
この制御装置１０３から各画像作成装置１１０、１２０に対して画像作成許可を与えるタイミングは、｛（表示装置の次表示時刻）−（画像作成装置の画像作成所要時間）×２｝の時刻とする。ここで、（表示装置の次表示時刻）は、｛（先フレーム表示時刻）＋１／（表示フレームレート）｝で求めることが可能である。また、（画像作成装置の画像作成所要時間）は、｛１／（画像作成装置のフレームレート）｝で求めることが可能である。このように、表示装置１３０の次表示時刻よりも、各画像作成装置１１０、１２０の画像作成所要時間の２倍前の時刻に、各画像作成装置１１０、１２０に対して画像作成許可を与えることで、各フレームメモリ装置１０１、１０２内に各画像データＡ、Ｂが確実に存在するようになる。なお、各画像作成装置１１０、１２０に対して画像作成許可を与える時刻は、特定の時刻に限定されるものではなく、表示装置１３０の次表示時刻よりも各画像作成装置１１０、１２０の画像作成所要時間の少なくとも２倍前の時刻であればよい。
【００３９】
この表示装置１３０の表示タイミングと各画像作成装置１１０、１２０の画像作成タイミングとの関係を、図２（ａ）、（ｂ）、（ｃ）を参照して説明する。図２（ａ）、（ｂ）、（ｃ）において、実線で示す四角ａは、画像作成装置１１０が画像データＡを作成するタイミングを表している。また、図２（ａ）、（ｂ）、（ｃ）において、実線で示す四角ｂは、画像作成装置１２０が画像Ｂデータを作成するタイミングを表している。また、図２（ｂ）、（ｃ）において、破線で示す四角は、各画像作成装置１１０、１２０が、画像を作成できるタイミングであるが、フレームメモリ１０１、１０２への書き込みは行わない状態を表している。
【００４０】
ここで、各画像作成装置１１０、１２０は、図２（ａ）に示すようなタイミングで、非同期の各画像データＡ、Ｂを作成しているとする。例えば、画像作成装置１１０は、３０Ｈｚで画像データＡを作成し、画像作成装置１２０は、６０Ｈｚで画像データＢを作成しているとする。そして、各画像作成装置１１０、１２０に対して、それぞれの画像作成レートの１倍前の、図２（ｂ）に縦棒線ｔａ、ｔｂで示すタイミングで、画像作成許可を与えたとする。この場合、画像作成装置１１０は、画像作成許可を受けた直後からフレームメモリ装置１０１への画像データＡの書き込みを開始する。しかしながら、画像作成装置１２０は、画像作成が不可能なタイミングとなり、画像作成許可を受けても直ぐにフレームメモリ装置１０２への書き込みが行われないため、次表示タイミングまでに画像データＢを作り終えることができない。このように、画像作成レートの１倍前の縦棒線ｔａ、ｔｂで示すタイミングで画像作成許可を与えたのでは、次表示タイミングでフレームメモリ装置１０２への画像データＢの書き込みが完了せず、合成装置１３０の合成処理動作がスキップされて合成画像データの表示遅延が発生する。このため、従来の画像合成装置では、フレームメモリ装置１０２として複数のメモリ領域を備えたものを使用し、別メモリ領域に予め書き込んでおいた画像データＢを、表示装置１３０の次表示タイミングで、画像データＡと合成処理するようにしている。しかしながら、このような画像合成装置では、図７で説明したように、フレームメモリ装置１０２が高価でチップ面積も大きくなってしまう。
【００４１】
そこで、この画像合成装置１００においては、各画像作成装置１１０、１２０に対して、｛（表示装置の次表示時刻）−（画像作成装置の画像作成所要時間）×２｝の時刻、つまり、図２（ｃ）に縦棒線２ｔａ、２ｔｂで示すタイミングで画像作成許可を与える。このタイミングで各画像作成装置１１０、１２０に画像作成許可を与えると、図２（ｃ）に実線の四角ａ、ｂで示すように、次表示タイミングまでの期間に、各画像データＡ、Ｂの各フレームメモリ装置１０１、１０２への書き込みが必ず完了するようになる。このように、この画像合成装置１００では、表示装置１３０の表示タイミングで、各フレームメモリ装置１０１、１０２内に各画像データＡ、Ｂが確実に揃うように、各画像作成装置１１０、１２０に画像作成許可が与えられる。従って、この画像合成装置１００では、表示装置１３０の次表示タイミングで、制御装置１０３から合成装置１０４に画像合成許可が与えられることにより、各画像データＡ、Ｂが確実に合成処理されて遅延なく表示されるようになる。この表示装置１３０の合成画像データの表示開始時刻は、表示時刻情報として制御装置１０３に通知される。
【００４２】
ここで、フレームメモリ装置１１０、１２０への画像データ書き込みミスなどにより、各画像データＡ、Ｂが揃っていなければ、次の表示タイミングで再度判定を行う。そして、合成装置１０４は、制御装置１０３から画像合成許可が出ている場合にのみ、表示装置１３０のシンク（Ｖ−Ｓｙｎｃ、Ｈ−Ｓｙｎｃ）に合わせて、各フレームメモリ装置１０１、１０２より各画像データＡ、Ｂを読み出して合成処理する。なお、上述の画像作成許可を与えるタイミング判定は、各画像作成装置１１０、１２０のフレームレートに応じて画像作成装置毎に行われる。
【００４３】
このように、この画像合成装置１００によれば、複数の非同期の合成画像を表示遅延ができるだけ少なくなるように表示することが可能となる。また、この画像合成装置１００では、上述のように、表示装置１３０に合成画像データが表示される表示タイミングで、各フレームメモリ装置１０１、１０２への各画像データＡ、Ｂの書き込みが必ず完了している。これは、各フレームメモリ装置１０１、１０２に対する各画像データＡ、Ｂの書き込み及び読み出しを、１面だけのメモリ領域を使用して行えることを意味している。従って、この画像合成装置１００によれば、前記各フレームメモリ装置１０１、１０２として、１面のみのメモリ領域を備えた比較的チップサイズが小さく安価なフレームメモリ装置を用いることが可能となる。
【００４４】
このように、本実施の形態１に係る画像合成装置１００によれば、表示遅延をできるだけ少なくしつつ、メモリ領域が１面の安価でチップサイズが小さなフレームメモリ装置を用いて、複数の非同期の合成画像を表示することができる。
【００４５】
ところで、本実施の形態１に係る画像合成装置１００は、その動作をコンピュータに実行させることが可能である。図３に、この画像合成装置１００の動作をコンピュータに実行させるプログラムの一例を示す。
【００４６】
図３において、ステップＳＴ３０１では、画像作成装置１１０に対して画像データＡの作成を許可するか否かの判定を行う。ここで、画像データＡの作成を許可してもよければ、ステップＳＴ３０２において画像データＡを作成し、この画像データＡをフレームメモリ装置１０１に格納する（ステップＳＴ３０３）。ステップＳＴ３０１で画像データＡの作成を許可しない場合にはスタートに戻る。同様に、ステップＳＴ３０４において画像作成装置１２０に対して画像データＢの作成を許可するか否かの判定を行う。ここで、画像データＢの作成を許可するならば、ステップＳＴ３０５において画像データＢを作成し、ステップＳＴ３０６でこの画像データＢをフレームメモリ装置１０２に格納する。この各画像データＡ、Ｂの作成を許可するか否かの判定は、各画像作成装置１１０、１２０の画像作成時のフレームレートと表示レートとに従って判定される。そして、各画像作成装置１１０、１２０に対して、｛（表示装置の次表示時刻）−（画像作成装置の画像作成所要時間）×２｝の時刻に、各フレームメモリ装置１０１、１０２へ各画像データＡ、Ｂを書き込んでよいという許可を出す。次いで、ステップＳＴ３０７において、表示装置１３０の表示タイミングを検知し、ステップＳＴ３０８で、検知した表示タイミングで合成すべき各画像データＡ、Ｂが全て完成しているか否か判定する。ここで、各画像データＡ、Ｂが全て完成しているならば、ステップＳＴ３０９で、各画像データＡ、Ｂを読み出して合成処理し、ステップＳＴ３１０で表示処理を行った後、スタートに戻る。
【００４７】
このように、コンピュータを用いて画像合成装置１００の動作をプログラムで実行させることにより、画像合成装置１００を専用のハードウェアを用いて制御する必要がなくなり、画像合成装置１００のコストを削減することができる。
【００４８】
（実施の形態２）
図４は、本発明の実施の形態２に係る画像合成装置４００の構成を示すブロック図である。なお、図４において、実施の形態１に係る画像合成装置１００と同一の構成要素には、図１に示した符号と同符号を用いることとする。
【００４９】
この画像合成装置４００は、本発明の実施の形態１に係る画像合成装置１００と同様、表示装置１３０の次表示タイミングで、各フレームメモリ装置４０１、４０２への各画像データＡ、Ｂの書き込みが完了するように、制御装置４０３から各画像作成装置１１０、１２０に画像作成許可が与えられる。これにより、この画像合成装置４００においても、画像合成装置１００と同様、表示遅延をできるだけ少なくして、複数の非同期の合成画像を表示することができる。従って、この画像合成装置４００でも、その各フレームメモリ装置４０１、４０２として、１面のみのメモリ領域を備えた比較的チップサイズが小さく安価なフレームメモリ装置を用いることができる。
【００５０】
ところで、本発明の実施の形態１に係る画像合成装置１００では、一方の画像作成装置のフレームレートを変更した際などに、他方の画像作成装置に対応するフレームメモリ装置内の画像データが時間的に古い画像データとなってしまうことがある。例えば、図１において、画像作成装置１１０のフレームレートの変更タイミングと、画像作成装置１２０がフレームメモリ装置１０２に画像データＢを格納するタイミングとがバッティングした場合、画像データＡの作成に時間がかかることがある。このような場合、画像作成装置１１０が画像データＡを作成し終える頃には、画像作成装置１２０により作成されて既にフレームメモリ装置１０２に格納されている画像データＢが、かなり時間経過したものになってしまう。このため、このような場合の画像データＡと画像データＢとは、それぞれの作成時刻が異なったものになってしまう。このような作成時刻が著しく異なった画像データＡ、Ｂの合成処理を行うと、見た目におかしな合成画像が表示されるおそれがある。
【００５１】
そこで、この実施の形態２の画像合成装置４００では、制御装置４０３に、各フレームメモリ装置４０１、４０２から、それぞれに格納されている各画像データＡ、Ｂの作成時刻を表す時間情報を与える。これにより、制御装置４０３は、取得した時間情報により、フレームメモリ装置に格納されている画像データの作成時刻が、表示レートの２倍の時間経過していた場合に、その画像データが古い画像データであると判定する。次いで、この古い画像データが格納されているフレームメモリ装置に対応した画像作成装置に対して、再度画像作成許可を与えて、古い画像データを新しい画像データに更新する。そして、この古い画像データから新しい画像データへの更が全て完成した時点で、合成装置１０４に対して制御装置４０３より画像合成許可を与える。ここで、各フレームメモリ装置４０１、４０２内に古い画像データが無いと判定された場合も、合成装置１０４に対して画像合成許可を与える。合成装置１０４は、画像合成許可が出ている場合にのみ、表示装置１３０のシンクに合わせて各フレームメモリ装置４０１、４０２より各画像データＡ、Ｂを読み出して合成し、表示装置１３０に合成画像を表示する。そして、この合成画像の表示開始時刻を表示時刻として制御装置４０３に通知する。
【００５２】
本実施の形態２の画像合成装置４００によれば、実施の形態１の画像合成装置１００の効果に加え、各フレームメモリ装置４０１、４０２に格納されている画像データＡ、Ｂを、常に最新の画像データに更新することができる。
【００５３】
ところで、本実施の形態２に係る画像合成装置４００も、その動作をコンピュータに実行させることが可能である。図５に、この画像合成装置４００の動作をコンピュータに実行させるプログラムの一例を示す。
【００５４】
図５において、ステップＳＴ５０１では、画像作成装置１１０に対して画像データＡの作成を許可するか否かの判定を行う。ここで、画像データＡの作成を許可してもよければ、ステップＳＴ５０２において画像データＡを作成し、この画像データＡをフレームメモリ装置４０１に格納する（ステップＳＴ５０３）。また、これと同時に画像データＡの作成時刻を格納する（ステップＳＴ５１１）。ステップＳＴ５０１で画像データＡの作成を許可しない場合にはスタートに戻る。同様に、ステップＳＴ５０４において画像作成装置１２０に対しても画像データＢの作成を許可するか否かの判定を行う。ここで、画像データＢの作成を許可するならば、ステップＳＴ５０５において画像データＢを作成する。そして、ステップＳＴ５０６でこの画像データＢをフレームメモリ装置４０２に格納する。また、これと同時に画像データＢの作成時刻を格納する（ステップＳＴ５１２）。この各画像データＡ、Ｂの作成を許可するか否かの判定は、各画像作成装置１１０、１２０の画像作成時のフレームレートと表示レートとに従って判定される。そして、各画像作成装置１１０、１２０に対して、｛（表示装置の次表示時刻）−（画像作成装置の画像作成所要時間）×２｝の時刻に、各フレームメモリ装置４０１、４０２へ各画像データＡ、Ｂを書き込んでよいという許可を出す。次いで、ステップＳＴ５０７において、表示装置１３０の表示タイミングを検知する。この検知後、ステップＳＴ５１３及びステップＳＴ５１４において、各フレームメモリ装置４０１、４０２内に格納されている各画像データＡ、Ｂの作成時刻の判定を行う。この判定は、例えば、｛（現時刻）−（画像作成時刻）｝≧｛（表示レート）×２｝の関係であるならば、その画像データは古い画像データであると判定する。そして、古い画像データであると判定された画像データは、再び作成する。次に、合成対象となる全ての画像データが揃うのを待つ（ステップＳＴ５０８）。そして、合成対象の全ての画像データが揃ったら、ステップＳＴ５０９で、各画像データＡ、Ｂを読み出して合成処理し、ステップＳＴ５１０で表示処理を行った後、スタートに戻る。
【００５５】
このように、コンピュータを用いて画像合成装置４００の動作をプログラムで実行させることにより、画像合成装置４００を専用のハードウェアを用いて制御する必要がなくなり、画像合成装置４００のコストを削減することができる。
【００５６】
なお、以上の説明では、２つの画像作成装置で作成した各画像データＡ、Ｂを合成する画像合成装置を例示したが、本発明は３つ以上の画像作成装置で作成した各画像データを合成すように構成することも可能である。
【００５７】
また、合成装置１０４は、単純なスイッチャーで構成しても良い。例えば、表示画像データの上半分が画像作成装置１１０で作成された画像データＡで、下半分が画像作成装置１２０で作成された画像データＢであるとする。この場合には、単純なスイッチャーを使用して、画像合成期間の前半では画像データＡの信号を受け取り、後半では画像データＢの信号を受け取るようにすることができる。
【００５８】
なお、本発明は、複数の画像データを合成する画像合成機能を有する携帯端末装置又はカーナビゲーションに適用することができる。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、メモリ領域の面数が少ない小型で安価なフレームメモリ装置を使用して、表示遅延の少ない見た目にスムーズな合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像合成装置の構成を示すブロック図
【図２】（ａ）は本発明が適用される画像合成装置の各画像作成装置の画像作成タイミングを説明するためのタイミングチャート
（ｂ）は従来の画像合成装置の各画像作成装置の画像作成タイミングを説明するためのタイミングチャート
（ｃ）は本発明の実施の形態１に係る画像合成装置の各画像作成装置の画像作成タイミングを説明するためのタイミングチャート
【図３】本発明の実施の形態１に係る画像合成装置の動作をコンピュータに実行させるプログラムの一例を示すフローチャート
【図４】本発明の実施の形態２に係る画像合成装置の構成を示すブロック図
【図５】本発明の実施の形態２に係る画像合成装置の動作をコンピュータに実行させるプログラムの一例を示すフローチャート
【図６】従来の画像合成装置の構成の一例を示すブロック図
【図７】（ａ）、（ｂ）、（ｃ）は、画像合成装置としてデコーダを想定した場合のフレームメモリ装置の構成を説明するための概略構成図
【符号の説明】
１００、４００ 画像合成装置
１０１、４０１ 第１のフレームメモリ装置
１０２、４０２ 第２のフレームメモリ装置
１０３、４０３ 制御装置
１０４ 合成装置
１１０ 第１の画像作成装置
１２０ 第２の画像作成装置
１３０ 表示装置

Claims (6)

1. 複数の画像作成装置で作成された各画像の各画像データを個別に格納する前記画像作成装置に対応した数のフレームメモリ装置と、
   前記各フレームメモリ装置に個別に格納された前記各画像データを合成処理して合成画像データを出力する合成装置と、
   前記合成装置による前記各画像データの合成処理が開始されるタイミングで前記各フレームメモリ装置への前記各画像データの書き込みが完了するように前記各画像作成装置の画像作成動作を制御する制御装置と、
   を具備することを特徴とする画像合成装置。
2. 前記制御装置により、前記各画像作成装置の画像作成時のフレームレート情報と、前記合成装置から出力される前記合成画像データにより合成画像を表示する表示装置の表示レート情報及び表示タイミング情報と、に基づいて、前記表示装置の表示タイミングよりも前記各画像作成装置が画像作成に要する時間の少なくとも２倍前のタイミングで、前記各画像作成装置に対して画像作成許可を与えることを特徴とする請求項１記載の画像合成装置。
3. 前記制御装置により、前記各画像の作成時刻を表す時間情報に基づいて、前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否かを判定し、所定時間以上経過した画像データが格納されていると判定された前記フレームメモリ装置に対応する画像作成装置に対して再び画像作成許可を与えることを特徴とする請求項１または２記載の画像合成装置。
4. 複数の画像作成装置で作成された各画像の各画像データを前記各画像作成装置に対応した数のフレームメモリ装置に対して個別に格納する画像データ格納ステップと、
   前記各フレームメモリ装置に個別に格納された前記各画像データを合成装置により合成処理する合成処理ステップと、
   前記合成装置による前記各画像データの合成処理が開始されるタイミングで前記各フレームメモリ装置への前記各画像データの書き込みが完了するように、前記各画像作成装置に対して画像作成許可を与えて前記各画像を作成する画像作成ステップと、
   を具備することを特徴とする画像合成方法。
5. 前記各画像の作成時刻を表す時間情報に基づいて前記各フレームメモリ装置に格納されている画像データが所定時間以上経過した画像データであるか否かを判定する判定ステップと、
   格納されている画像データが所定時間以上経過した画像データであると判定されたフレームメモリ装置に対応する画像作成装置に対して再び画像作成許可を与えて前記画像データを更新する画像データ更新ステップと、を具備することを特徴とする請求項４記載の画像合成方法。
6. コンピュータに、請求項１から請求項３のいずれかに記載の画像合成装置の動作を実行させることを特徴とするプログラム。

Images