JP4707782B2 - 画像処理装置およびその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどで得られたビデオ信号に対して陰面処理などのグラフィック（図形）処理を行うことができる画像処理装置およびその方法に関する。
【０００２】
【従来の技術】
種々のＣＡＤ(Computer Aided Design) システムや、アミューズメント装置などにおいて、コンピュータグラフィックスがしばしば用いられている。特に、近年の画像処理技術の進展に伴い、３次元コンピュータグラフィックスを用いたシステムが急速に普及している。
このような３次元コンピュータグラフィックスでは、各画素（ピクセル）に対応する色を決定するときに、各画素の色の値を計算し、この計算した色の値を、当該画素に対応するディスプレイバッファメモリ（フレームバッファメモリ）のアドレスに書き込むレンダリング(Rendering) 処理を行う。
レンダリング処理の手法の一つに、ポリゴン（Polygon)レンダリングがある。この手法では、立体モデルを三角形の単位図形（ポリゴン）の組み合わせとして表現しておき、このポリゴンを単位として描画を行なうことで、表示画面の色を決定する。
【０００３】
また、３次元コンピュータグラフィックスでは、ｚバッファメモリを用いた陰面処理が行われる。
すなわち、ディスプレイバッファメモリに既に記憶されている第１の画像データ（色データ）とグラフィック処理された第２の画像データとを合成しようとする場合に、ｚバッファメモリに記憶されている第１のｚデータと、第２の画像データに対応する第２のｚデータとを比較することで、第２の画像データに応じた画像が第１の画像データに応じた画像の手前に位置するか否かを判断する。そして、手前に位置すると判断したときに、ｚバッファメモリに記憶されている第１のｚデータを第２のｚデータで更新すると共に、ディスプレイバッファメモリに記憶されている第１の画像データを第２の画像データで更新する。
【０００４】
そして、ディスプレイバッファメモリから画像データを読み出してＣＲＴ(Cathode Ray Tube)などのディスプレイに出力する。
【０００５】
【発明が解決しようとする課題】
ところで、ビデオカメラなどの撮像装置で自然画などを撮像して得られたビデオ信号を３次元コンピュータグラフィックスシステムで用いて処理を行いたいという要請がある。
しかしながら、ビデオ信号はｚデータを持っていないため、撮像装置で得られたビデオ信号を３次元コンピュータグラフィックシステムにそのまま入力したのでは、当該入力したビデオ信号を、通常のグラフィック処理を経て得られた画像信号と同様に扱うことはできないという問題がある。例えば、当該ビデオ信号については、陰面処理などを行うことができないという問題がある。
【０００６】
本発明は上述した従来技術に鑑みてなされ、撮像装置で得られたビデオ信号を用いた多様なグラフィック処理を行うことができる画像処理装置およびその方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した従来技術の問題点を解決し、上述した目的を達成するために、第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、前記メモリインターフェース回路は、前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、前記メモリインターフェース回路は、前記第２の画像データを示すフレームデータと、前記第２の奥行きデータを示すフレームデータとを交互に入力し、前記第２の画像データを示すフレームデータを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを示すフレームデータを前記奥行きバッファメモリに書き込む。
【０００８】
本発明の画像処理装置では、書き込み回路によって、例えば撮像装置の撮像データに応じた第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータが入力されたときに、前記第２の画像データおよび前記第２の奥行きデータがそれぞれ前記第１のメモリおよび前記第２のメモリに書き込まれる。
そのため、以後、画像処理装置において、第１のメモリに記憶された第２の画像データを、第２のメモリに記憶された第２の奥行きデータを用いて通常の３次元図形処理された第１の画像データと同様に扱うことが可能になる。
【０００９】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、前記第２の画像データを示すフレームデータと、前記第２の奥行きデータを示すフレームデータとを交互に入力し、前記第２の画像データを示すフレームデータを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを示すフレームデータを前記奥行きバッファメモリに書き込む。
【００１０】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、１水平同期期間毎に、前記第２の画像データを示すラインデータと、前記第２の奥行きデータを示すラインデータとを交互に入力し、前記第２の画像データを示すラインデータを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを示すラインデータを前記第奥行きバッファメモリに書き込む。
【００１１】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、
前記第２の画像データと前記第２の奥行きデータとを各々含む複数のデータブロックを順次に入力し、前記複数のデータブロックを入力する毎に、当該入力したデータブロックに含まれる前記第２の画像データを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを前記奥行きバッファメモリに書き込む。
【００１２】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、前記第２の画像データに前記第２の奥行きデータをクロマキー合成した第３の画像データを入力し、前記第３の画像データから前記第２の奥行きデータを抽出し、当該抽出した奥行きデータを前記奥行きバッファメモリに書き込む。
【００１３】
また、本発明の画像処理装置は、好ましくは、前記奥行きバッファメモリは、前記入力した前記第２の画像データおよび前記第２の奥行きデータを、前記ディスプレイバッファメモリおよび前記奥行きバッファメモリにそれぞれ直接書き込む。
【００１４】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、前記入力した前記第２の画像データおよび前記第２の奥行きデータを前記ディスプレイバッファメモリに書き込み、前記ディスプレイバッファメモリから前記第２の奥行きデータを読み出して前記奥行きバッファメモリに書き込む。
【００１５】
また、本発明の画像処理装置は、好ましくは、前記メモリインターフェース回路は、前記入力した前記第２の画像データおよび前記第２の奥行きデータを前記奥行きバッファメモリに書き込み、前記奥行きバッファメモリから前記第１の画像データを読み出して前記ディスプレイバッファメモリに書き込む。
【００１６】
また、本発明の画像処理方法は、３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、前記第２の画像データを示すフレームデータと、前記第２の奥行きデータを示すフレームデータとを生成し、前記第２の画像データを示すフレームデータの前記ディスプレイバッファメモリへの書き込みと、前記第２の奥行きデータを示すフレームデータの前記奥行きバッファメモリへの書き込みとを交互に行う。
【００１７】
【発明の実施の形態】
第１実施形態
以下、本実施形態においては、任意の３次元物体モデルに対する所望の３次元画像をＣＲＴ(Cathode Ray Tube)などのディスプレイ上に高速に表示する３次元コンピュータグラフィックシステムに、本発明を適用した場合について説明する。
図１は、本実施形態の３次元コンピュータグラフィックシステム１のシステム構成図である。
３次元コンピュータグラフィックシステム１は、立体モデルを単位図形である三角形（ポリゴン）の組み合わせとして表現し、このポリゴンを描画することで表示画面の各画素の色を決定し、ディスプレイに表示するポリゴンレンダリング処理を行うシステムである。
また、３次元コンピュータグラフィックシステム１では、平面上の位置を表現する（ｘ，ｙ）座標の他に、奥行きを表すｚ座標を用いて３次元物体を表し、この（ｘ，ｙ，ｚ）の３つの座標で３次元空間の任意の一点を特定する。
【００１８】
図１に示すように、３次元コンピュータグラフィックシステム１では、メインメモリ２、Ｉ／Ｏインタフェース回路３、メインプロセッサ４およびレンダリング回路５が、メインバス６を介して接続されている。
また、３次元コンピュータグラフィックシステム１は、ビデオ信号生成装置３０およびＣＲＴ３１を有する。
【００１９】
以下、各構成要素の機能について説明する。
〔メインプロセッサ４〕
メインプロセッサ４は、例えば、プログラムの実行に応じて、レンダリング回路５内の構成要素を制御するための制御信号を生成し、当該制御信号をメインバス６を介してレンダリング回路５に出力する。
【００２０】
また、メインプロセッサ４は、プログラム内の所定の命令を実行すると、メインメモリ２から必要なグラフィックデータを読み出し、このグラフィックデータに対してクリッピング(Clipping)処理、ライティング(Lighting)処理およびジオメトリ(Geometry)処理などを行い、ポリゴンレンダリングデータを生成する。メインプロセッサ４は、ポリゴンレンダリングデータＳ４ａを、メインバス６を介してレンダリング回路５に出力する。
【００２１】
ここで、ポリゴンレンダリングデータは、ポリゴンの各３頂点の（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）のデータを含んでいる。
ここで、（ｘ，ｙ，ｚ）データは、ポリンゴの頂点の３次元座標を示し、（Ｒ，Ｇ，Ｂ）データは、それそれ当該３次元座標における赤、緑、青の輝度値を示している。
データαは、これから描画する画素と、ディスプレイバッファメモリ２１に既に記憶されている画素とのＲ，Ｇ，Ｂデータのブレンド（混合）係数を示している。
（ｓ，ｔ，ｑ）データのうち、（ｓ，ｔ）は、対応するテクスチャの同次座標を示しており、ｑは同次項を示している。ここで、「ｓ／ｑ」および「ｔ／ｑ」に、それぞれテクスチャサイズＵＳＩＺＥおよびＶＳＩＺＥを乗じてテクスチャ座標データ（ｕ，ｖ）が得られる。テクスチャバッファメモリ２０に記憶されたテクスチャデータへのアクセスは、テクスチャ座標データ（ｕ，ｖ）を用いて行われる。
ここで、テクスチャデータとは、３次元グラフィックス表示する物体の表面の模様を表すデータである。
Ｆデータは、フォグのα値を示している。
すなわち、ポリゴンレンダリングデータは、三角形（単位図形）の各頂点の物理座標値と、それぞれの頂点の色とテクスチャおよびフォグの値のデータを示している。
【００２２】
〔Ｉ／Ｏインタフェース回路３〕
Ｉ／Ｏインタフェース回路３は、必要に応じて、外部からポリゴンレンダリングデータを入力し、これをメインバス６を介してレンダリング回路５に出力する。
【００２３】
〔ビデオ信号生成装置３０〕
ビデオ信号生成装置３０は、ｎを１以上の整数とした場合に、ビデオカメラなどの撮像装置から得た自然画像などのビデオ信号にｚデータを付加してフレームデータ１００_n を生成し、当該フレームデータ１００_n をフレーム（垂直）同期信号ＦＳｙｎｃに同期させてメモリＩ／Ｆ回路１３に出力する。
ここで、図２に示すように、ｎが奇数のフレームデータ１００_2k-1は、画像データを示しており、ｎが偶数のフレームデータ１００_2kは、フレームデータ１００_2k-1が示す画像データのｚデータ（奥行きデータ）を示している。
このとき、例えば、６０フレームのフレームデータ１００_n をメモリＩ／Ｆ回路１３に出力することで、３０フレーム分のｚデータ付きのビデオ信号をレンダリング回路５に供給できる。
【００２４】
〔レンダリング回路５〕
以下、レンダリング回路５について詳細に説明する。
図１に示すように、レンダリング回路５は、ＤＤＡ(Digital Differential Analyzer) セットアップ回路１０、トライアングルＤＤＡ回路１１、テクスチャエンジン回路１２（画像処理回路）、メモリＩ／Ｆ回路１３（書き込み回路）、ＣＲＴコントローラ回路１４、ＲＡＭＤＡＣ回路１５、ＤＲＡＭ１６およびＳＲＡＭ１７を有し、これらがメインプロセッサ４からの制御信号に基づいて動作する。
ＤＲＡＭ１６は、テクスチャバッファメモリ２０、ディスプレイバッファメモリ２１（第１のメモリ）、ｚバッファメモリ２２（第２のメモリ）およびテクスチャＣＬＵＴバッファメモリ２３として機能し、例えば、ディスプレイバッファメモリ２１としては、フレームバッファメモリが用いられる。
【００２５】
＜ＤＤＡセットアップ回路１０＞
ＤＤＡセットアップ回路１０は、後段のトライアングルＤＤＡ回路１１において物理座標系上の三角形の各頂点の値を線形補間して、三角形の内部の各画素の色と深さ情報を求めるに先立ち、ポリゴンレンダリングデータＳ４ａが示す（ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）データについて、三角形の辺と水平方向の差分などを求めるセットアップ演算を行う。
このセットアップ演算は、具体的には、開始点の値と終点の値と、開始点と終点との距離を用いて、単位長さ移動した場合における、求めようとしている値の変分を算出する。
ＤＤＡセットアップ回路１０は、算出した差分を、変分データＳ１０としてトライアングルＤＤＡ回路１１に出力する。
【００２６】
＜トライアングルＤＤＡ回路１１＞
トライアングルＤＤＡ回路１１は、ＤＤＡセットアップ回路１０から入力した変分データＳ１０を用いて、三角形内部の各画素における線形補間された（ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）データを算出する。
トライアングルＤＤＡ回路１１は、各画素の（ｘ，ｙ）データと、当該（ｘ，ｙ）座標における（ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）データとを、ＤＤＡデータ（補間データ）Ｓ１１としてテクスチャエンジン回路１２に出力する。
本実施形態では、トライアングルＤＤＡ回路１１は、並行して処理を行う矩形内に位置する８（＝２×４）画素分のＤＤＡデータＳ１１をテクスチャエンジン回路１２に出力する。
【００２７】
＜テクスチャエンジン回路１２＞
テクスチャエンジン回路１２は、「ｓ／ｑ」および「ｔ／ｑ」の算出処理、テクスチャ座標データ（ｕ，ｖ）の算出処理、テクスチャバッファメモリ２０からの（Ｒ，Ｇ，Ｂ，α）データの読み出し処理、および、混合処理（テクスチャαブレンディング処理）を順にパイプライン方式で行う。
なお、テクスチャエンジン回路１２は、所定の矩形内に位置する８画素についての処理を同時に並行して行う。
【００２８】
また、テクスチャエンジン回路１２は、ＤＤＡデータＳ１１が示す（ｓ，ｔ，ｑ）データについて、ｓデータをｑデータで除算する演算と、ｔデータをｑデータで除算する演算とを行う。
【００２９】
また、テクスチャエンジン回路１２は、除算結果である「ｓ／ｑ」および「ｔ／ｑ」に、それぞれテクスチャサイズＵＳＩＺＥおよびＶＳＩＺＥを乗じて、テクスチャ座標データ（ｕ，ｖ）を生成する。
また、テクスチャエンジン回路１２は、メモリＩ／Ｆ回路１３を介して、ＳＲＡＭ１７に、前記生成したテクスチャ座標データ（ｕ，ｖ）を含む読み出し要求を出力し、メモリＩ／Ｆ回路１３を介して、テクスチャ座標データ（ｕ，ｖ）によって特定されるＳＲＡＭ１７上のアドレスから読み出されたテクスチャデータである（Ｒ，Ｇ，Ｂ，α）データＳ１７を得る。
ここで、テクスチャバッファメモリ２０には、ＭＩＰＭＡＰ（複数解像度テクスチャ）などの複数の縮小率に対応したテクスチャデータが記憶されており、ＳＲＡＭ１７には、テクスチャバッファメモリ２０に記憶されているテクスチャデータのコピーが記憶されている。
本実施形態では、上述したようにテクスチャ座標（ｕ，ｖ）を生成することで、単位図形である三角形を単位として、所望の縮小率のテクスチャデータをＳＲＡＭ１７から読み出すことができる。
【００３０】
テクスチャエンジン回路１２は、ＳＲＡＭ１７から読み出した（Ｒ，Ｇ，Ｂ，α）データＳ１７の（Ｒ，Ｇ，Ｂ）データと、前段のトライアングルＤＤＡ回路１１からのＤＤＡデータＳ１１に含まれる（Ｒ，Ｇ，Ｂ）データとを、（Ｒ，Ｇ，Ｂ，α）データＳ１７に含まれるαデータ（テクスチャα）が示す割合で混合し（テクスチャαブレンディング処理を行い）、画素データＳ１２を生成する。
テクスチャエンジン回路１２は、この画素データＳ１２を、メモリＩ／Ｆ回路１３に出力する。
【００３１】
テクスチャエンジン回路１２は、フルカラー方式の場合には、テクスチャバッファメモリ２０から読み出した（Ｒ，Ｇ，Ｂ，α）データを直接用いる。一方、テクスチャエンジン回路１２は、インデックスカラー方式の場合には、予め作成したカラールックアップテーブル（ＣＬＵＴ）をテクスチャＣＬＵＴバッファメモリ２３から読み出して、内蔵するＳＲＡＭに転送および記憶し、このカラールックアップテーブルを用いて、テクスチャバッファメモリ２０から読み出したカラーインデックスに対応する（Ｒ，Ｇ，Ｂ）データを得る。
【００３２】
＜メモリＩ／Ｆ回路１３＞
メモリＩ／Ｆ回路１３は、ＣＲＴ３１に表示を行う際に、ディスプレイバッファメモリ２１から読み出した表示データＳ２１をＣＲＴコントローラ回路１４に出力する。
また、メモリＩ／Ｆ回路１３は、テクスチャエンジン回路１２から入力した画素データＳ１２に対応するｚデータと、ｚバッファメモリ２２に記憶されているｚデータとの比較を行い、入力した画素データＳ１２によって描画される画像が、ディスプレイバッファメモリ２１に記憶されている画像より、手前（視点側）に位置するか否かを判断し、手前に位置する場合には、画素データＳ１２に対応するｚデータでｚバッファメモリ２２に記憶されたｚデータを更新する。
また、メモリＩ／Ｆ回路１３は、必要に応じて、画素データＳ１２に含まれる（Ｒ，Ｇ，Ｂ）データと、既にディスプレイバッファメモリ２１に記憶されている（Ｒ，Ｇ，Ｂ）データとを、画素データＳ１２に対応するαデータが示す混合値で混合する、いわゆるαブレンディング処理を行い、混合後の（Ｒ，Ｇ，Ｂ）データを表示データとしてディスプレイバッファメモリ２１に書き込む。
なお、メモリＩ／Ｆ回路１３によるＤＲＡＭ１６に対してのアクセスは、１６画素分のデータについて同時に行なわれる。
【００３３】
また、メモリＩ／Ｆ回路１３は、図３に示すように、ビデオ信号生成装置３０から入力したフレーム同期信号ＦＳｙｎｃに含まれるパルスを検出すると（ステップＳ１）、入力したフレームデータ１００_n が奇数番目であるか否かを判断し（ステップＳ２）、奇数番目であると判断したときに、画像データを示すｎが奇数のフレームデータ１００_2k-1をＤＲＡＭ１６のディスプレイバッファメモリ２１に当該メモリ２１で定義されたデータフォーマットで書き込み（ステップＳ３）、奇数番目ではないと判断したときに、ｚデータを示すｎが偶数のフレームデータ１００_2kをｚバッファメモリ２２に当該メモリ２２で定義されたデータフォーマットで書き込む（ステップＳ４）。
これにより、以後、画像データを示すフレームデータ１００_2k-1が、通常のグラッフィック処理を経てディスプレイバッファメモリ２１に書き込まれた画素データと同様に扱われる。すなわち、ビデオ信号から得られた画像データについて、ｚデータを用いた陰面処理、αブレンディング処理およびクロマキー処理などが行われる。
【００３４】
＜ＣＲＴコントローラ回路１４＞
ＣＲＴコントローラ回路１４は、タイミング発生回路から入力した水平同期信号および垂直同期信号に同期して、図示しないＣＲＴ３１に表示するアドレスを発生し、当該アドレスに記憶された表示データをディスプレイバッファメモリ２１から読み出す要求をメモリＩ／Ｆ回路１３に出力する。この要求に応じて、メモリＩ／Ｆ回路１３は、ディスプレイバッファメモリ２１から一定の固まりで表示データを読み出す。
ＣＲＴコントローラ回路１４は、ディスプレイバッファメモリ２１から読み出した表示データを記憶するＦＩＦＯ(First In First Out)回路を内蔵し、当該記憶した表示データを一定の時間間隔で読み出して表示データＳ１４ａとしてＲＡＭＤＡＣ回路１５に出力する。
【００３５】
ＤＲＡＭ１６
ＤＲＡＭ１６は、テクスチャバッファメモリ２０、ディスプレイバッファメモリ２１、Ｚバッファメモリ２２およびテクスチャＣＬＵＴバッファメモリ２３を有する。
ここで、テクスチャバッファメモリ２０は、前述したように、ＭＩＰＭＡＰ（複数解像度テクスチャ）などの複数の縮小率に対応したテクスチャデータを記憶する。
ディスプレイバッファメモリ２１は、各画素のＲ，Ｇ，Ｂ値を示す表示データを所定のデータフォーマットで記憶する。また、ディスプレイバッファメモリ２１は、前述したように、メモリＩ／Ｆ回路１３を介してビデオ信号生成装置３０から入力した画像データを示すフレームデータ１００_2k-1を記憶する。
ｚバッファメモリ２２は、各画素のｚデータを所定のデータフォーマットで記憶する。また、ｚバッファメモリ２２は、前述したように、メモリＩ／Ｆ回路１３を介してビデオ信号生成装置３０から入力したｚデータを示すフレームデータ１００_2kを記憶する。
テクスチャＣＬＵＴバッファメモリ２３は、カラールックアップテーブル（ＣＬＵＴ）を記憶する。
【００３６】
＜ＲＡＭＤＡＣ回路１５＞
ＲＡＭＤＡＣ回路１５は、各インデックス値に対応するＲ，Ｇ，Ｂデータを記憶しており、ＣＲＴコントローラ回路１４から入力した表示データＳ１４を、Ｄ／Ａコンバータに転送し、アナログ形式のＲ，Ｇ，Ｂデータを生成する。ＲＡＭＤＡＣ回路１５は、当該生成したＲ，Ｇ，ＢデータＳ１５をＣＲＴ３１に出力する。
【００３７】
以下、３次元コンピュータグラフィックシステム１の動作例について説明する。
３次元コンピュータグラフィックシステム１では、ビデオ信号生成装置３０において、画像データを示すフレームデータ１００_2k-1と、フレームデータ１００_2k-1が示す画像データのｚデータを示すフレームデータ１００_2kとが生成され、これらがフレーム同期信号ＦＳｙｎｃに同期してメモリＩ／Ｆ回路１３に出力される。
【００３８】
次に、メモリＩ／Ｆ回路１３において、図３に示すように、ビデオ信号生成装置３０から入力したフレーム同期信号ＦＳｙｎｃに含まれるパルスが検出されると（ステップＳ１）、入力したフレームデータ１００_n が奇数番目であるか否かが判断され（ステップＳ２）、奇数番目であると判断されたときに、画像データを示すｎが奇数のフレームデータ１００_2k-1がＤＲＡＭ１６のディスプレイバッファメモリ２１に書き込まれ（ステップＳ３）、奇数番目ではないと判断したときに、ｚデータを示すｎが偶数のフレームデータ１００_2kがｚバッファメモリ２２に書き込まれる（ステップＳ４）。
【００３９】
これにより、以後、ビデオ信号から得られた画像データを示すフレームデータ１００_2k-1が、通常のグラッフィック処理を経てディスプレイバッファメモリ２１に書き込まれた画像データと同様に扱われる。すなわち、ビデオ信号から得られた画像データについて、ｚデータを示すフレームデータ１００_2kを用いた陰面処理、αブレンディング処理およびクロマキー処理などが行われる。
【００４０】
また、例えば、上述した処理が終了した後に、ポリゴンレンダリングデータＳ４ａが、メインバス６を介してメインプロセッサ４からＤＤＡセットアップ回路１０に出力され、ＤＤＡセットアップ回路１０において、三角形の辺と水平方向の差分などを示す変分データＳ１０が生成される。
この変分データＳ１０は、トライアングルＤＤＡ回路１１に出力され、トライアングルＤＤＡ回路１１において、三角形内部の各画素における線形補間された（ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）データが算出される。そして、この算出された（ｚ，Ｒ，Ｇ，Ｂ，α，ｓ，ｔ，ｑ，Ｆ）データと、三角形の各頂点の（ｘ，ｙ）データとが、ＤＤＡデータＳ１１として、トライアングルＤＤＡ回路１１からテクスチャエンジン回路１２に出力される。
【００４１】
次に、テクスチャエンジン回路１２において、ＤＤＡデータＳ１１が示す（ｓ，ｔ，ｑ）データについて、ｓデータをｑデータで除算する演算と、ｔデータをｑデータで除算する演算とが行われる。
このとき、８個の図１に示す除算回路４００によって、８画素分の除算「ｓ／ｑ」および「ｔ／ｑ」が同時に行われる。そして、除算結果「ｓ／ｑ」および「ｔ／ｑ」に、それぞれテクスチャサイズＵＳＩＺＥおよびＶＳＩＺＥが乗算され、テクスチャ座標データ（ｕ，ｖ）が生成される。
次に、メモリＩ／Ｆ回路１３を介して、テクスチャエンジン回路１２からＳＲＡＭ１７に、前記生成されたテクスチャ座標データ（ｕ，ｖ）を含む読み出し要求が出力され、メモリＩ／Ｆ回路１３を介して、ＳＲＡＭ１７に記憶されたテクスチャデータである（Ｒ，Ｇ，Ｂ，α）データＳ１７が読み出される。
次に、テクスチャエンジン回路１２において、読み出した（Ｒ，Ｇ，Ｂ，α）データＳ１７の（Ｒ，Ｇ，Ｂ）データと、前段のトライアングルＤＤＡ回路１１からのＤＤＡデータＳ１１に含まれる（Ｒ，Ｇ，Ｂ）データとが、（Ｒ，Ｇ，Ｂ，α）データＳ１７に含まれるαデータ（テクスチャα）が示す割合で混合され、画素データＳ１２が生成される。
この画素データＳ１２は、テクスチャエンジン回路１２からメモリＩ／Ｆ回路１３に出力される。
【００４２】
そして、メモリＩ／Ｆ回路１３において、テクスチャエンジン回路１２から入力した画素データＳ１２に対応するｚデータと、ｚバッファメモリ２２に記憶されているｚデータ（例えばフレームデータ１００_2kが示すｚデータ）との比較が行なわれ、入力した画素データＳ１２によって描画される画像が、前回、ディスプレイバッファメモリ２１に記憶されているフレームデータ１００_2k-1が示す画像データに応じた画像より、手前（視点側）に位置するか否かが判断され、手前に位置する場合には、画像データＳ１２に対応するｚデータでｚバッファメモリ２２に記憶されているｚデータが更新される。
【００４３】
次に、メモリＩ／Ｆ回路１３において、必要に応じて、画像データＳ１２に含まれる（Ｒ，Ｇ，Ｂ）データと、既にディスプレイバッファメモリ２１に記憶されているフレームデータ１００_2k-1が示す（Ｒ，Ｇ，Ｂ）データとが、画素データＳ１２に対応するαデータ（ＤＤＡデータＳ１１に含まれるαデータ）が示す混合値で混合され、混合後の（Ｒ，Ｇ，Ｂ）データが表示データとしてディスプレイバッファメモリ２１に書き込まれる。
そして、メモリＩ／Ｆ回路１３によって、ディスプレイバッファメモリ２１に記憶された（Ｒ，Ｇ，Ｂ）データが、表示データＳ２１として読み出されてＣＲＴコントローラ回路１４に出力される。
そして、当該表示データＳ２１が、ＣＲＴコントローラ回路１４においてタイミング調整された後に、表示データＳ１４としてＲＡＭＤＡＣ回路１５に出力される。
そして、表示データＳ１４が、ＲＡＭＤＡＣ回路１５において、Ｒ，Ｇ，ＢデータＳ１５に変換され、当該Ｒ，Ｇ，ＢデータＳ１５がＣＲＴ３１に出力される。
第２実施形態
本発明は前述した第１実施形態の図１に示す３次元コンピュータグラフィックシステム１と比べて、図１に示すメモリＩ／Ｆ回路１３およびビデオ信号生成装置３０の機能が異なる点を除いて基本的に同じである。
図４は、本実施形態の３次元コンピュータグラフィックシステム２０１のシステム構成図である。
図４において、図１と同じ符号を付した構成要素は前述した第１実施形態で説明したものと同じである。
すなわち、３次元コンピュータグラフィックシステム２０１は、メモリＩ／Ｆ回路２１３およびビデオ信号生成装置２３０が、前述した第１実施形態の対応する構成要素と異なる。
【００４４】
ビデオ信号生成装置２３０は、ｎを１以上の整数とした場合に、ビデオカメラなどの撮像装置から得た画像信号にｚデータを付加してラインデータ２００_n を生成し、図５（Ａ），（Ｂ）に示すように、ラインデータ２００_n を水平同期信号ＨＳｙｎｃに同期させてメモリＩ／Ｆ回路１３に出力する。
ここで、図５に示すように、ｎが奇数のラインデータ２００_2k-1は、画像データを示しており、ｎが偶数のラインデータ２００_2kは、ラインデータ２００_2k-1が示す画像データのｚデータを示している。
すなわち、ビデオ信号生成装置２３０は、１水平同期期間毎に、画像データと、当該画像データに対応するｚデータとを交互にメモリＩ／Ｆ回路２１３に出力する。
【００４５】
また、メモリＩ／Ｆ回路２１３は、図６に示すように、ビデオ信号生成装置３０から入力した水平同期信号ＨＳｙｎｃに含まれるパルスを検出すると（ステップＳ１１）、入力したラインデータ２００_n が奇数番目であるか否かを判断し（ステップＳ１２）、奇数番目であると判断したときに、画像データを示すｎが奇数のラインデータ２００_2k-1をＤＲＡＭ１６のディスプレイバッファメモリ２１に書き込み（ステップＳ１３）、奇数番目ではないと判断したときに、ｚデータを示すｎが偶数のラインデータ２００_2kをｚバッファメモリ２２に書き込む（ステップＳ１４）。
本実施形態によっても、前述した第１実施形態と同様に、ビデオ信号から得られた画像データを示すラインデータ２００_2k-1が、通常のグラッフィック処理を経てディスプレイバッファメモリ２１に書き込まれた画像データと同様に扱われる。すなわち、ビデオ信号から得られた画像データについて、ｚデータを用いた陰面処理、αブレンディング処理およびクロマキー処理などが行われる。
【００４６】
第３実施形態
本発明は前述した第１実施形態の図１に示す３次元コンピュータグラフィックシステム１と比べて、図１に示すメモリＩ／Ｆ回路１３およびビデオ信号生成装置３０の機能が異なる点を除いて基本的に同じである。
図７は、本実施形態の３次元コンピュータグラフィックシステム３０１のシステム構成図である。
図７において、図１と同じ符号を付した構成要素は前述した第１実施形態で説明したものと同じである。
すなわち、３次元コンピュータグラフィックシステム３０１は、メモリＩ／Ｆ回路３１３およびビデオ信号生成装置３３０が、前述した第１実施形態の対応する構成要素と異なる。
【００４７】
ビデオ信号生成装置３３０は、例えば、３２ビットの幅を持つバスを介してメモリＩ／Ｆ回路３１３と接続されており、ビデオカメラなどの撮像装置から得たビデオ信号から得られた画像データおよびｚデータを含む３２ビットの複数のデータブロックを生成し、当該データブロックを構成する３２ビットのデータを同時にメモリＩ／Ｆ回路３１３に出力する。
このとき、図８に示すように、４０ビットのデータブロック内の上位２４ビットには画像データが格納され、下位１６ビットには当該画像データに対応するｚデータが格納されている。
また、メモリＩ／Ｆ回路３１３は、ビデオ信号生成装置３３０から入力したデータブロック毎に、当該データブロック内の上位２４ビットに格納された画像データをＤＲＡＭ１６のディスプレイバッファメモリ２１に書き込み、下位１６ビットに格納されたｚデータをｚバッファメモリ２２に書き込む。
本実施形態によっても、前述した第１実施形態と同様に、ビデオ信号から得られた画像データが、通常のグラッフィック処理を経てディスプレイバッファメモリ２１に書き込まれた画像データと同様に扱われる。すなわち、ビデオ信号から得られた画像データについて、ｚデータを用いた陰面処理およびαブレンディング処理などが行われる。
【００４８】
なお、例えば、図９に示すように、ビデオ信号生成装置３３０からメモリＩ／Ｆ回路３１３に、各々８ビットのＲ，Ｇ，Ｂデータおよびｚデータからなる３２ビットのデータブロックを出力するようにしてもよい。
このようにすることで、図７に示す各々８ビットかなるＲ，Ｇ，Ｂ，αデータで構成される画素データＳ１２と、ビデオ信号生成装置３３０から入力するブロックデータとの間でＲ，Ｇ，Ｂデータについてデータフォーマットを一致させることができ、画素データＳ１２を入力した場合とブロックデータを入力した場合とでＲ，Ｇ，Ｂデータについての処理を共通化できる。
【００４９】
また、その他の変形例として、本発明は、例えば、ビデオ信号生成装置において、ビデオ信号から得られた画像データにｚデータを所定の色データを用いてクロマキー(Chroma-key)合成してｚデータを含む画像データを生成し、例えば、メモリＩ／Ｆ回路において、ビデオ信号生成装置から入力した画像データから前記所定の色データを抽出してｚデータを得て、当該ｚデータをｚバッファメモリ２２に書き込み、ｚデータを抜いた後の画像データをｚ比較の結果に基づいてディスプレイバッファメモリ２１に書き込むようにしてもよい。
【００５０】
第４実施形態
本実施形態の３次元コンピュータグラフィックシステムは、前述した図１に示す３次元コンピュータグラフィックシステム１と同じ構成をしているが、メモリＩ／Ｆ回路１３の処理の一部が第１実施形態とは異なる。
すなわち、前述した第１実施形態では、メモリＩ／Ｆ回路１３は、図３を参照して前述したように、ビデオ信号生成装置３０から入力したフレームデータ１００_n のうち、奇数番目のフレームデータ１００_2k-1をＤＲＡＭ１６のディスプレイバッファメモリ２１に書き込み、偶数番目のフレームデータ１００_2kをｚバッファメモリ２２に書き込んだ。
【００５１】
図１０は、本実施形態の３次元コンピュータグラフィックシステムにおけるメモリＩ／Ｆ回路１３の処理を説明するためのフローチャートである。
これに対して、図１０に示すように、本実施形態では、メモリＩ／Ｆ回路１３は、ビデオ信号生成装置３０から入力したフレームデータ１００_n を全て一旦ＤＲＡＭ１６のディスプレイバッファメモリ２１に当該メモリ２１で定義されたフォーマットで書き込み（ステップＳ２１）、所定量のフレームデータ１００_n をディスプレイバッファメモリ２１に書き込むと（ステップＳ２２）、当該書き込んだフレームデータ１００_n のうち偶数番目のフレームデータ１００_2kをバッファ間転送によってｚバッファメモリ２２に当該メモリ２２で定義されたフォーマットで転送して記憶するように制御する（ステップＳ２３）。
【００５２】
本実施形態では、メモリＩ／Ｆ回路１３において上述した制御を行うことで、ｚデータを示すフレームデータ１００_2kをリアルタイムにｚバッファメモリ２２に書き込むことができなくなるが、メモリＩ／Ｆ回路１３において、ビデオ信号生成装置３０から入力したフレームデータ１００_n をディスプレイバッファメモリ２１とｚバッファメモリ２２とにリアルタイムに配分する必要がなく、メモリＩ／Ｆ回路１３における処理の負荷を軽減できる。
【００５３】
なお、本発明は、例えば、メモリＩ／Ｆ回路１３は、ビデオ信号生成装置３０から入力したフレームデータ１００_n を全て一旦ＤＲＡＭ１６のｚバッファメモリ２２に当該メモリ２２で定義されたフォーマットで書き込み、所定量のフレームデータ１００_n をｚバッファメモリ２２に書き込むと、当該書き込んだフレームデータ１００_n のうち奇数番目のフレームデータ１００_2k-1をバッファ間転送によってディスプレイバッファメモリ２１に当該メモリ２１で定義されたフォーマットで転送して記憶するように制御してもよい。
【００５４】
本発明は上述した実施形態には限定されない。
例えば、上述した図７に示す３次元コンピュータグラフィックシステム１のメモリＩ／Ｆ回路１３に、図１と同じ構成をした他の３次元コンピュータグラフィックシステムのＤＲＡＭ１６から読み出した画像データおよびｚデータを入力し、これらをディスプレイバッファ２１およびｚバッファ２２に書き込むようにしてもよい。
また、上述した実施形態では、ＳＲＡＭ１７を用いる構成を例示したが、ＳＲＡＭ１７を設けない構成にしてもよい。
また、図７に示すテクスチャバッファメモリ２０およびテクスチャＣＬＵＴバッファメモリ２３を、ＤＲＡＭ１６の外部に設けてもよい。
【００５５】
さらに、図７に示す３次元コンピュータグラフィックシステム１では、ポリゴンレンダリングデータを生成するジオメトリ処理を、メインプロセッサ４で行なう場合を例示したが、レンダリング回路５で行なう構成にしてもよい。
【００５６】
【発明の効果】
以上説明したように、本発明の画像処理装置およびその方法によれば、撮像装置で得られた画像データ（ビデオ信号）を用いた多様なグラフィック処理を行うことができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態の３次元コンピュータグラフィックシステムのシステム構成図である。
【図２】図２は、図１に示す３次元コンピュータグラフィックシステムにおいて、ビデオ信号生成装置から出力されるフレームデータを説明するための図である。
【図３】図３は、図１に示すメモリＩ／Ｆ回路の処理を説明するためのフローチャートである。
【図４】図４は、本発明の第２実施形態の３次元コンピュータグラフィックシステムのシステム構成図である。
【図５】図５は、図４に示す３次元コンピュータグラフィックシステムにおいて、ビデオ信号生成装置から出力されるラインデータを説明するための図である。
【図６】図６は、図４に示すメモリＩ／Ｆ回路の処理を説明するためのフローチャートである。
【図７】図７は、本発明の第３実施形態の３次元コンピュータグラフィックシステムのシステム構成図である。
【図８】図８は、図７に示す３次元コンピュータグラフィックシステムにおいて、ビデオ信号生成装置から出力される画像データおよびｚデータを説明するための図である。
【図９】図９は、図７に示す３次元コンピュータグラフィックシステムにおいて、ビデオ信号生成装置から出力される画像データおよびｚデータのその他の例を説明するための図である。
【図１０】図１０は、本発明の第４実施形態の３次元コンピュータグラフィックシステムにおける図１に示すメモリＩ／Ｆ回路の処理を説明するためのフローチャートである。
【符号の説明】
１…３次元コンピュータグラフィックシステム、２…メインメモリ、３…Ｉ／Ｏインタフェース回路、４…メインプロセッサ、５…レンダリング回路、６…メインバス、７…タイミング発生回路、１０…ＤＤＡセットアップ回路、１１…トライアングルＤＤＡ回路、１２…テクスチャエンジン回路、１３，２１３，３１３…メモリＩ／Ｆ回路、１４…ＣＲＴコントローラ回路、１５…ＲＡＭＤＡＣ回路、１６…ＤＲＡＭ、１７…ＳＲＡＭ、２０…テクスチャバッファメモリ、２１…ディスプレイバッファメモリ、２２…Ｚバッファメモリ、２３…テクスチャＣＬＵＴバッファメモリ、３０，２３０，３３０…ビデオ信号生成装置、３１…ＣＲＴ

Claims (11)

1. 第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、
   第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、
   ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、
   前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、
   前記メモリインターフェース回路は、
   前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、
   前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、
   前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、
   前記メモリインターフェース回路は、
   前記第２の画像データを示すフレームデータと、前記第２の奥行きデータを示すフレームデータとを交互に入力し、前記第２の画像データを示すフレームデータを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを示すフレームデータを前記奥行きバッファメモリに書き込む
   画像処理装置。
2. 第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、
   第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、
   ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、
   前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、
   前記メモリインターフェース回路は、
   前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、
   前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、
   前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、
   前記メモリインターフェース回路は、
   １水平同期期間毎に、前記第２の画像データを示すラインデータと、前記第２の奥行きデータを示すラインデータとを交互に入力し、前記第２の画像データを示すラインデータを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを示すラインデータを前記奥行きバッファメモリに書き込む
   画像処理装置。
3. 第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、
   第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、
   ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、
   前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、
   前記メモリインターフェース回路は、
   前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、
   前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、
   前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、
   前記メモリインターフェース回路は、
   前記第２の画像データと前記第２の奥行きデータとを各々含む複数のデータブロックを順次に入力し、前記複数のデータブロックを入力する毎に、当該入力したデータブロックに含まれる前記第２の画像データを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを前記奥行きバッファメモリに書き込む
   画像処理装置。
4. 第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、
   第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、
   ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、
   前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、
   前記メモリインターフェース回路は、
   前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、
   前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、
   前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、
   前記メモリインターフェース回路は、
   前記入力した前記第２の画像データおよび前記第２の奥行きデータを前記ディスプレイバッファメモリに書き込み、前記ディスプレイバッファメモリから前記第２の奥行きデータを読み出して前記奥行きバッファメモリに書き込む
   画像処理装置。
5. 第１のメモリであって、ディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリと、
   第２のメモリであって、前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリと、
   ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する画像処理回路と、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして出力する画像データ生成装置と、
   前記ディスプレイバッファメモリおよび前記奥行きバッファメモリへのアクセスを行うメモリインターフェース回路と、を有し、
   前記メモリインターフェース回路は、
   前記画像処理回路からの前記第１の画像データおよび前記第１の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込み、
   前記画像データ生成装置からの前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む機能と、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う機能と、
   前記画像処理回路からの前記第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む機能と、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する機能と、を含み、
   前記メモリインターフェース回路は、
   前記入力した前記第２の画像データおよび前記第２の奥行きデータを前記奥行きバッファメモリに書き込み、前記奥行きバッファメモリから前記第１の画像データを読み出して前記ディスプレイバッファメモリに書き込む
   画像処理装置。
6. 前記ディスプレイバッファメモリおよび前記奥行きバッファメモリは、同一の半導体メモリ内の異なるバッファメモリである
   請求項１から５のいずれか一に記載の画像処理装置。
7. ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、
   前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、
   前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、
   前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、
   前記第２の画像データを示すフレームデータと、前記第２の奥行きデータを示すフレームデータとを生成し、
   前記第２の画像データを示すフレームデータの前記ディスプレイバッファメモリへの書き込みと、前記第２の奥行きデータを示すフレームデータの前記奥行きバッファメモリへの書き込みとを交互に行う
   画像処理方法。
8. ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、
   前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、
   前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、
   前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、
   前記第２の画像データを示すラインデータと、前記第２の奥行きデータを示すラインデータとを生成し、
   前記第２の画像データを示すラインデータの前記ディスプレイバッファメモリへの書き込みと、前記第２の奥行きデータを示すラインデータの前記奥行きバッファメモリへの書き込みとを１水平同期期間毎に交互に行う
   画像処理方法。
9. ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、
   前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、
   奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、
   前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、
   前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、
   前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、
   表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、
   前記第２の画像データと前記第２の奥行きデータとを各々含む複数のデータブロックを順次に生成し、
   前記データブロックに含まれる前記第２の画像データを前記ディスプレイバッファメモリに書き込み、前記第２の奥行きデータを前記奥行きバッファメモリに書き込む
   画像処理方法。
10. ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、
    前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、
    奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、
    前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、
    前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、
    前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、
    表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、
    前記生成した前記第２の画像データおよび前記第２の奥行きデータを前記ディスプレイバッファメモリに書き込み、前記ディスプレイバッファメモリから前記第２の奥行きデータを読み出して前記奥行きバッファメモリに書き込む
    画像処理方法。
11. ３次元図形処理を行って第１の画像データおよび前記第１の画像データに対応した第１の奥行きデータを生成する第１のステップと、
    前記第１の画像データおよび前記第１の奥行きデータを、それぞれ第１のメモリであってディスプレイに出力する画像データを、当該第１のメモリで定義されたデータフォーマットで記憶するディスプレイバッファメモリおよび第２のメモリであって前記画像データの奥行きデータを、当該第２のメモリで定義されたデータフォーマットで記憶する奥行きバッファメモリに書き込む第２のステップと、
    奥行きデータを持たないビデオ信号に、当該ビデオ信号に対応した奥行きデータを付加し、当該ビデオ信号を第２の画像データとして、上記付加した奥行きデータを第２の奥行きデータとして生成する第３のステップと、
    前記第２の画像データおよび前記第２の画像データに対応した第２の奥行きデータを入力したときに、前記第２の画像データおよび前記第２の奥行きデータをそれぞれ前記画像データおよび前記奥行きデータとして前記ディスプレイバッファメモリおよび前記奥行きバッファメモリで定義されたデータフォーマットで前記ディスプレイバッファメモリおよび前記奥行きバッファメモリに書き込む第４のステップと、
    前記奥行きバッファメモリに前記定義されたデータフォーマットで記憶された前記奥行きデータを読み出して陰面処理を行う第５のステップと、
    前記生成された第１の画像データと前記ディスプレイバッファメモリに記憶され、当該ディスプレイバッファメモリから読み出した前記画像データとの混合処理を行い、混合後の画像データを表示データとして前記ディスプレイバッファに書き込む第６のステップと、
    表示を行う際、前記ディスプレイバッファメモリから読み出した表示データを前記ディスプレイ側に出力する第７のステップと、を有し、
    前記生成した前記第２の画像データおよび前記第２の奥行きデータを前記奥行きバッファメモリに書き込み、前記奥行きバッファメモリから前記第１の画像データを読み出して前記ディスプレイバッファメモリに書き込む
    画像処理方法。

Images