JP2720920B2

JP2720920B2 - 画像処理システムにおける実写画像とコンピュータグラフィックスの合成方法

Info

Publication number: JP2720920B2
Application number: JP3070474A
Authority: JP
Inventors: 重雄炭野; 博唯上田; 孝文宮武; 聡吉沢
Original assignee: Agency of Industrial Science and Technology
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1991-03-11
Filing date: 1991-03-11
Publication date: 1998-03-04
Anticipated expiration: 2013-03-04
Also published as: EP0503313A3; US5325470A; JPH04281572A; EP0503313A2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータを用いた
コンピュータグラフィックス（以下、ＣＧと記載、Ｃｏ
ｍｐｕｔｅｒＧｒａｐｈｉｃｓ、コンピュータ処理に
より得られた画像）と実写画面との合成方法に係わり、
特に、実写画像とＣＧとの合成を効率良く行なうのに好
適な画像処理システムにおける実写画面とＣＧの合成方
法に関するものである。

【０００２】

【従来の技術】従来、実写画像とＣＧを合成すること
は、例えば、「グラフィックスとＣＡＤ研究会資料３
９−１、１９８９景観シミュレーション」に記載され
ているように、景観シミュレーションという名で行われ
ている。この景観シミュレーションは、実際に存在する
風景に人工物を建造する場合などをシミュレーションす
るものであり、ミニチュア模型などで行なう場合には不
可能な視点からものを見たり、形状を容易に変えられる
など、その利用価値が高く、ＣＡＤ（Ｃｏｍｐｕｔｅｒ
ＡｉｄｅｄＤｅｓｉｇｎ、コンピュータ支援設計）
の分野からのアプローチも行われている。しかし、この
ような操作（視点の変更、形状の変更）は、専門家が、
経験に基づく勘に頼って行なっていたり、あるいは、風
景の撮影地点の情報を必要とする。そのために、一般の
操作者が、容易に操作できるものではなかった。また、
「第６回ヒューマン・インタフェース・シンポジウム論
文集、１９９０、電子大道具による映像作成」に記載の
ように、画像を撮ると同時に、カメラのパン、チルト、
ズームなどのパラメタも記録しておき、ＣＧの設定にそ
れらのパラメタを利用して、画像との合成を行なう方法
もある。しかし、撮影と同時に、カメラの種々のパラメ
タの取り込みを行なうことは、一般の操作者には容易に
行なえるものではない。

【０００３】例えば、実写画像の直方体と、ＣＧの直方
体との合成の操作としては、平行移動により、実写画像
の直方体の一頂点と、ＣＧの直方体の一頂点を一致さ
せ、次に、実写画像の直方体の一辺と、ＣＧの軸（ＣＧ
の直方体の一辺）とを、一軸ずつ一致させるように回転
移動を行ない、そして、拡大縮小を行なうのが最も容易
な方法である。しかし、この平行移動、回転移動、拡大
縮小からなる一連の操作を一度行なうだけで、実写画像
にＣＧを正しく合成できるわけではなく、むしろ、これ
らの三つの操作を適宜に繰り返しながら行なう。この操
作の中でも、特に回転移動は、各軸回りの回転がお互い
に影響を及ぼし合うために、各軸の位置を少しずつ変化
させ、徐々にＣＧを実写画像に当て嵌める操作となる。

【０００４】平行移動や拡大縮小に関する位置決めに関
しては、回転移動の位置決めに比べて、比較的容易にで
きる。これは、ＣＧへの平行移動や拡大縮小の操作が、
人間が直感的に思った通りにでき、かつ、それぞれの軸
に影響を及ぼさないためである。回転移動の操作に関し
て、ｘ軸、ｙ軸、ｚ軸のいずれか一軸回りのみの回転移
動の場合は、ただ単純に、その軸に関する回転角のみを
微少変化させつつ、ＣＧを当て嵌めれば良い。しかし、
二軸以上の回転の場合には、まず、最初の回転移動時の
回転軸となる一軸を選択し、適宜に回転角を変化させて
仮の位置を決め、そして、別の軸回りに回転させる。し
かし、この別の回転軸での回転操作により、最初の位置
決めに影響が及ぼされる。そのために、最初の軸回りの
回転に関する位置を、再度決めなおさなければならな
い。さらに、どの軸回りの回転を最初に行なうかで、位
置を決める手順が全く変わってしまう。このように、回
転移動の操作に関してだけいえば、最初の軸回りの回転
移動のみが操作者の意図通りに操作できるだけであり、
以降の回転移動は、操作者は、勘にたより、試行錯誤で
行なわなければならない。

【０００５】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、回転移動の操作に不慣れな一般
の操作者は、実写画像とＣＧとの合成操作における回転
移動の操作を効率良く行なうことができない点である。
そして、本発明の目的は、これら従来技術の課題を解決
し、実写画像にＣＧを合成する際に必要となるＣＧの三
次元の回転移動のパラメタの算出を、操作者による簡単
な入力操作に基づき、画像処理システムが行ない、従来
は一般の操作者にとって手間のかかった実写画像とＣＧ
との合成における回転移動の操作性の向上を可能とする
画像処理システムにおける実写画像とＣＧの合成方法を
提供することである。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像処理システムにおける実写画像とＣＧ
の合成方法は、（１）コンピュータ処理で作成したコン
ピュータグラフィックスを、ラスタ式ディスプレイの表
示画面上で、操作者が、ポインティングデバイスを用い
て対話式に、実写画像の任意の位置に任意の角度で合成
する画像処理システムにおける実写画像とコンピュータ
グラフィックスの合成方法において、コンピュータグラ
フィックスの二平面の合成先である実写画像中の二平面
の各法線ベクトルを用いて、合成先の二平面に対応する
コンピュータグラフィックスの二平面の各回転移動パラ
メタを求め、この各回転移動パラメタに基づき、実写画
像にコンピュータグラフィックスを合成することを特徴
とする。

【０００７】また、（２）上記（１）に記載の画像処理
システムにおける実写画像とコンピュータグラフィック
スの合成方法において、操作者がポインティングデバイ
スを用いて指定した合成先の二平面のそれぞれの消失線
を求め、これらの消失線を用いて合成先の各平面のそれ
ぞれの法線ベクトルを求めることを特徴とする。

【０００８】また、（３）上記（２）に記載の画像処理
システムにおける実写画像とコンピュータグラフィック
スの合成方法において、操作者がポインティングデバイ
スを用いて指定した合成先の各平面の二つの消失点をそ
れぞれ求め、これらの二つの消失点を通るそれぞれの消
失線を求めることを特徴とする。

【０００９】また、（４）上記（３）に記載の画像処理
システムにおける実写画像とコンピュータグラフィック
スの合成方法において、それぞれの消失点を、それぞれ
隣接する合成先の二平面から求めることを特徴とする。

【００１０】また、（５）上記（１）から（４）のいず
れかに記載の画像処理システムにおける実写画像とコン
ピュータグラフィックスの合成方法において、コンピュ
ータグラフィックスは、直交座標系の三軸とそれぞれ平
行な一頂点で交わる三辺を有する直方体であり、この直
方体のコンピュータグラフィックスの二平面の各法線ベ
クトルを、合成先の二平面の各法線ベクトルに一致させ
るそれぞれの回転移動パラメタ候補を算出して、表示画
面上に表示し、操作者が選択して指定したそれぞれの回
転移動パラメタ候補のいずれかを用いて、直方体のコン
ピュータグラフィックスから実写画像に合成するコンピ
ュータグラフィックスを生成することを特徴とする。

【００１１】また、（６）上記（５）に記載の画像処理
システムにおける実写画像とコンピュータグラフィック
スの合成方法において、直方体のコンピュータグラフィ
ックスは、任意の三次元コンピュータグラフィックスを
囲む仮想的な直方体であることを特徴とする。

【００１２】そして、（７）上記（１）から（６）のい
ずれかに記載の画像処理システムにおける実写画像とコ
ンピュータグラフィックスの合成方法において、合成し
たコンピュータグラフィックスと実写画像との合成状態
を表示し、この表示した合成状態に基づき、操作者が入
力した平行移動と回転移動、および、拡大縮小のそれぞ
れのパラメタを用いて、コンピュータグラフィックスと
実写画像との合成状態を調整することを特徴とする。

【００１３】

【作用】本発明において、直方体のＣＧを実写画像に合
成する場合に、操作者は、ポインティングデバイスを用
いて、例えば、実写画像中の合成先であり、それぞれ隣
接する二平面を六つの点で指定する。この時、それぞれ
の平面で、三つの消失点を形成する様に指定する。画像
処理システムは、この三つ消失点を算出し、かつ、この
三つの消失点の内で、相異なる二つの消失点の組を通る
二つの直線を求め、さらに、この二直線から、合成先の
二平面の各法線ベクトルを求める。この法線ベクトル
は、三次元透視座標系におけるｘ、ｙ、ｚ軸のそれぞれ
に対する合成先の平面の傾き（姿勢）を示すものであ
る。次に、画像処理システムは、このようにして求めた
合成先の二平面の各法線ベクトルに、直方体のＣＧの平
面で、実写画像中の合成先の平面に対応する平面の法線
ベクトルが一致するように、ＣＧの回転移動量（回転移
動パラメタ）を算出する。ここで、法線ベクトルが一致
すれば、合成先の平面とＣＧの対応する平面の空間的配
置が一致し、ＣＧの姿勢が求まる。この回転移動量は、
例えば、八つの候補が算出され、操作者は、これらの回
転移動量を任意に選択して指定する。そして、画像処理
システムは、指定された回転移動量を用いて、実際にＣ
Ｇを生成して、実写画像に合成する。もし、合成画像が
未だ適切でなければ、操作者は、適切な合成画像になる
まで、順次に回転移動量を選択して指定する。このよう
に、効率の良い回転移動が可能となり、操作者は、三次
元のＣＧと実写画像の合成操作を容易に行なうことがで
きる。

【００１４】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。

【００１５】図１は、本発明を施した画像処理システム
の本発明に係わる構成の一実施例を示すブロック図であ
る。

【００１６】本実施例の画像処理システムは、合成処理
の対象となる実写画像などを表示するビットマップディ
スプレイ（図中ＣＲＴと記載）１０４、ビットマップデ
ィスプレイ１０４上に表示した画像に対するポインティ
ングデバイスとしてのマウス１０３、本発明に係わる処
理プログラムやデータなどを格納する磁気ディスク１１
０、磁気ディスク１１０に格納しているプログラムやデ
ータを処理可能な状態に登録する主記憶装置１０２、主
記憶装置１０２のプログラムやデータを用いて、本発明
に係わる処理を行なう中央処理装置１０１により構成さ
れている。そして、ビットマップディスプレイ１０４
は、本発明に係わるＣＧの表示に関する平行移動、回転
移動、拡大縮小のパラメタを表示する合成パラメタ表示
枠１０５と、実写画像を表示する画像表示枠１０６を有
する。また、磁気ディスク１１０は、本発明に係わる合
成処理プログラムを含む種々の処理手順を記述したプロ
グラムを格納するプログラム格納領域１１１と、本発明
で使用する実写画像などのデータを格納するデータファ
イル格納領域１１２を有する。

【００１７】このような構成により、本実施例の画像処
理システムは、操作者が、ビットマップディスプレイ１
０４の画像表示枠１０６に表示した実写画像上で、意図
する合成先の隣接する二平面を代表する六つの点をマウ
ス１０３を用いて入力すると、中央処理装置１０１は、
磁気ディスク１１０から主記憶装置１０２にロードした
合成処理プログラムに基づき、合成先の二平面を形成す
る六つの点に対応するＣＧの三次元の回転移動のパラメ
タを算出して、ビットマップディスプレイ１０４の合成
パラメタ表示枠１０５に表示する。そして、操作者が、
この合成パラメタ表示枠１０５のパラメタを選択する
と、選択したパラメタに基づきＣＧ画像を生成し、か
つ、画像表示枠１０６内の実写画像上で、操作者が六つ
の点の代表点で入力した合成先の二平面に、このＣＧ画
像を合成する。さらに、操作者が、合成パラメタ表示枠
１０５のパラメタ、例えば、平行移動や拡大縮小のパラ
メタを調整すると、この調整されたパラメタに基づき、
画像表示枠１０６内の実写画像とＣＧ画像との再合成を
行なう。

【００１８】このようにして、本実施例の画像処理シス
テムは、従来、一般の操作者にとって、手間のかかった
ＣＧに対する三次元の回転移動のパラメタの算出を、操
作者による簡単な入力操作に基づき画像処理システムが
行ない、かつ、そのパラメタを用いて、姿勢を調整した
ＣＧを生成し、合成して表示する。このことにより、操
作者は、簡単な平行移動や回転移動、および、拡大縮小
などの操作だけで、実写画像とＣＧとの合成を容易に行
なうことができる。以下、その処理動作を、フローチャ
ートを用いて詳しく説明する。

【００１９】図２は、図１における画像処理システムの
本発明に係わる処理動作の一実施例を示すフローチャー
トである。

【００２０】実写画像とＣＧとを効率良く合成する方法
を示すものであり、まず、操作者が、実写画像とＣＧの
合成方法を起動し（ステップ２０１）、かつ、実写とな
る画像を選択すると、画像処理システムは、操作者が選
択した画像を、図１の表示装置１０４上の画像表示枠１
０６に表示する（ステップ２０２）。

【００２１】次に、操作者が、図１のマウス１０３など
の入力装置を用いて、画像表示枠１０６内に表示した実
写画像の合成先の隣接する二平面の六つの代表点を指定
すると（ステップ２０３）、操作者が指定した六つの代
表点の座標から、その代表点を通る二平面の各法線ベク
トルの値を求める（ステップ２０４）。尚、法線ベクト
ルの値の詳しい計算方法に関しては後述する。このよう
にして求めた二平面の各法線ベクトルにＣＧの各法線ベ
クトルを合わせることにより、ＣＧの姿勢を得ることが
できる。すなわち、求めた二平面の各法線ベクトルか
ら、ＣＧに三次元の回転移動を施すためのパラメタ（ｘ
軸、ｙ軸、ｚ軸回りの回転角）を算出して、図１の合成
パラメタ表示枠１０５に表示する（ステップ２０５）。
この回転角（パラメタ）は八組算出されて表示される。
この回転角の計算方法に関しても後述する。

【００２２】操作者が、八組のパラメタから、順次一組
のパラメタを選択して指定すると（ステップ２０６）、
画像処理システムは、指定したパラメタの組を用いて、
ＣＧに回転移動を行ない、合成用のＣＧ画像を作成する
（ステップ２０７）。そして、画像処理システムは、作
成したＣＧと実写画像を合成して図１のビットマップデ
ィスプレイ１０４に表示する（ステップ２０８）。この
表示に基づき、操作者は、指定したパラメタで、ＣＧと
実写画像が、同じ姿勢で合成されているか否かを確認で
きる。操作者からＯＫの確認が入力され（ステップ２０
９）、さらに、操作者から、ＣＧと実写画像の合成のず
れを微調整するために入力されたＣＧの表示に関する平
行移動、回転移動、拡大縮小などのパラメタに基づき、
ＣＧと実写画像の合成のずれを微調整する（ステップ２
１０、２１１）。

【００２３】このように、本実施例によれば、操作者
は、図１の画像表示枠１０６に表示した背景の実写画像
を基準にして、合成先の隣接する二平面を代表する六つ
の点を、図１のマウス１０３を用いて入力するだけで、
合成処理に必要な八つのパラメタの組を得ることがで
き、かつ、一つのパラメタの組を選択して指定すること
により、ＣＧと実写画像の合成を容易に行なうことがで
きる。。

【００２４】図３Ａおよび図３Ｂは、図１における画像
処理システムの本発明に係る処理動作の一実施例を示す
説明図である。

【００２５】図３Ａは、合成される直方体３００の三次
元的な配置を示し、三次元空間上に与えられた直方体３
００の頂点Ｐ₀３１０〜Ｐ₇３１７の座標を、各々Ｐ₀＝
（Ｘ₀、Ｙ₀、Ｚ₀）、Ｐ₁＝（Ｘ₁、Ｙ₁、Ｚ₁）、Ｐ₂＝
（Ｘ₂、Ｙ₂、Ｚ₂）、Ｐ₃＝（Ｘ₃、Ｙ₃、Ｚ₃）、Ｐ₄＝
（Ｘ₄、Ｙ₄、Ｚ₄）、Ｐ₅＝（Ｘ₅、Ｙ₅、Ｚ₅）、Ｐ₆＝
（Ｘ₆、Ｙ₆、Ｚ₆）、Ｐ₇＝（Ｘ₇、Ｙ₇、Ｚ₇）とする。

【００２６】図３Ｂは、図２のステップ２０３におい
て、操作者が指定する合成先の隣接する二平面の六つの
代表点の座標と、それらの平面の各法線ベクトルの関係
を示したものである。すなわち、カメラの焦点距離を
ｆ、および、直方体３００の頂点Ｐ_０３１０〜Ｐ_７３１
７を、ｚ＝ｆの二次元投影面上に透視投影したときの座
標をｑ_０３３０〜ｑ_７３３７として、ｑ_０＝（ｘ_０、ｙ
_０、ｆ）、ｑ_１＝（ｘ_１、ｙ_１、ｆ）、ｑ_２＝（ｘ_２、
ｙ_２、ｆ）、ｑ_３＝（ｘ_３、ｙ_３、ｆ）、ｑ_４＝
（ｘ_４、ｙ_４、ｆ）、ｑ_５＝（ｘ_５、ｙ_５、ｆ）、ｑ_６
＝（ｘ_６、ｙ_６、ｆ）、ｑ_７＝（ｘ_７、ｙ_７、ｆ）とす
る。尚、ｑ_６＝（ｘ_６、ｙ_６、ｆ）は、図示していな
い。また、座標ｑ_０３３０〜ｑ_３３３３を通る平面をＦ
_１３２０とし、座標ｑ_０３３０、ｑ_１３３１、ｑ_５３３
５、ｑ_４３３４を通る平面をＦ_２３２１とする。さら
に、ｑ_０３３０とｑ_１３３１、ｑ_１３３１とｑ_２３３
２、ｑ_２３３２とｑ_３３３３、ｑ_３３３３とｑ_０３３
０、ｑ_４３３４とｑ_５３３５、ｑ_１３３１とｑ_５３３
５、そして、ｑ_０３３０とｑ_４３３４とを、各々結んだ
直線をＬ_０３４０〜Ｌ_６３４６とする。また、直線Ｌ_０
３４０とＬ_２３４２との交点を消失点ｑｂ_１３５１、Ｌ
_１３４１とＬ_３３４３との交点を消失点ｑｂ_２３５２、
および、Ｌ_５３４５とＬ_６３４６との交点を消失点ｑｂ
_３３５３として、各々の座標をｑｂ_１＝（ｘｂ_１、ｙｂ
_１、ｆ）、ｑｂ_２＝（ｘｂ_２、ｙｂ_２、ｆ）、ｑｂ_３＝
（ｘｂ_３、ｙｂ_３、ｆ）とする。ここで、例えば、消失
点ｑｂ_１３５１を、直線Ｌ_０３４０とＬ_４３４４でも求
め、消失点ｑｂ_１３５１の座標精度を上げても良い。次
に、消失点ｑｂ_１３５１とｑｂ_２３５２とを結んだ直
線、すなわち、消失線をＬｂ_１３６０、また、消失点ｑ
ｂ_１３５１とｑｂ_３３５３とを結んだ消失線をＬｂ_２３
６１とする。さらに、平面Ｆ_１３２０の単位法線ベクト
ルをＮ_１３７０、また、平面Ｆ_２３２１の単位法線ベク
トルをＮ_２３７１とする。

【００２７】ここで、消失線Ｌｂ₁３６０をａ₁ｘ＋ｂ₁
ｙ＋ｃ₁＝０、消失線Ｌｂ₂３６１をａ₂ｘ＋ｂ₂ｙ＋ｃ₂
＝０で表すと、単位法線ベクトルＮ₁３７０およびＮ₂３
７１は、各々次の式で表せる。

【数１】

【数２】ただし、

【数３】

【数４】

【数５】

【数６】以上の式から、操作者による直方体３００の平面Ｆ₁３
２０とＦ₂３２１を表す六頂点の座標（ｑ₀３３０〜ｑ₅₃
３３５）の指定により、その平面Ｆ₁３２０の単位法線
ベクトルＮ₁３７０と、平面Ｆ₂３２１の単位法線ベクト
ルＮ₂３７１は、次のようにして算出される。

【数７】

【数８】ただし、

【数９】

【数１０】

【数１１】

【数１２】

【数１３】

【数１４】

【００２８】ここで、パラメタα、β、γを用いて、ｘ
軸、ｙ軸、ｚ軸回りの回転移動を表す（３×３）行列
を、各々Ｒｘ（α）、Ｒｙ（β）、Ｒｚ（γ）とし、ま
た、ｘ軸、ｙ軸、ｚ軸回りの順の回転移動を表す行列
を、Ｒ（α、β、γ）＝Ｒｘ（α）Ｒｙ（β）Ｒｚ
（γ）＝［ｒｉｊ］（ｉ、ｊ＝１、２、３）とする。こ
の時、直交座標系の三軸と三辺を一致させている直方体
Ｈ３００に対して回転移動を施していることから、直方
体Ｈ３００の一面の法線ベクトルを表しているとみなせ
る下記数式で示す単位ベクトルＥ₁とＥ₂の回転移動に着
目して考える。

【数１５】

【数１６】単位ベクトルＥ₁に三次元の回転移動Ｒ（α、β、γ）
を施したもの、すなわち、直方体Ｈ３００の一平面を回
転移動したものは、Ｒ（α、β、γ）Ｅ₁と表せ、これ
と平面Ｆ₁３２０の単位法線ベクトルＮ₁３７０が等しい
と考えると、次の式が成り立つ。

【数１７】単位ベクトルＥ₂に対しても同様に、以下の式が成り立
つ。

【数１８】これらの式から、三次元の回転移動のパラメタα、β、
γは、次のようにして求められる。

【数１９】実際には、関数ｓｉｎ‐¹が二値関数のため、βの値の
候補として、次の二つの値が考えられる。

【数２０】しかし、二つの値のどちらが適切な値かを選択するため
の適当な比較対象がないので、回転移動の二通りの候補
を表示して、どちらが適切かを操作者に選択させる。ま
た、α、γの場合も同様に、値の候補が二通りあり、そ
の結果として、八組の回転移動のパラメタの候補を表示
する。

【００２９】尚、本実施例では、説明をわかりやすくす
るために、実写画像中の直方体に、ＣＧ画像中の直方体
を合成する例について述べたが、これらの直方体は、仮
想的なもの、例えば、複雑な形状を囲む直方体であって
も良く、複雑な形状の場合にも、その仮想的な直方体の
パラメタから、その形状に応じて、必要なパラメタを計
算することができる。

【００３０】以上、図１〜図３Ｂを用いて説明したよう
に、本実施例の画像処理システムにおける実写画像とＣ
Ｇの合成方法によれば、従来は一般の操作者にとって、
手間のかかったＣＧに対する三次元の回転移動のパラメ
タの算出を、操作者による簡単な入力操作に基づき、画
像処理システムが行ない、さらに、操作者によるパラメ
タの選択指定に基づき、ＣＧの三次元の回転移動を行な
い、実写画像とＣＧとの姿勢を合致させる。このことに
より、操作に不慣れな一般の操作者にも、容易に実写画
像とＣＧの合成操作を行なうことができる。

【００３１】

【発明の効果】本発明によれば、操作が困難な三次元の
回転移動を画像処理システムが支援するので、従来は操
作者の勘にたよって行なっていた三次元の回転移動を、
簡単なポインティングデバイスによる入力だけで行なう
ことができ、実写画像とＣＧとの合成を効率良く行なう
ことが可能である。

【００３２】

【図面の簡単な説明】

【図１】本発明を施した画像処理システムの本発明に係
わる構成の一実施例を示すブロック図である。

【図２】図１における画像処理システムの本発明に係わ
る処理動作の一実施例を示すフローチャートである。

【図３Ａ】図１における画像処理システムの本発明に係
る処理動作の一実施例を示す説明図の一部である。

【図３Ｂ】図１における画像処理システムの本発明に係
る処理動作の一実施例を示す説明図の一部である。

【符号の説明】

１０１中央処理装置１０２主記憶装置１０３マウス１０４ビットマップディスプレイ１０５合成パラメタ表示枠１０６画像表示枠１１０磁気ディスク１１１プログラム格納領域１１２データファイル格納領域３００直方体３１０〜３１７頂点Ｐ₀〜Ｐ₇ ３２０〜３２１平面Ｆ₁〜Ｆ₂ ３３０〜３３７座標ｑ₀〜ｑ₇ ３４０〜３４６直線Ｌ₀〜Ｌ₆ ３５１〜３５３交点ｑｂ₁〜ｑｂ₃ ３６０〜３６１消失線Ｌｂ₁〜Ｌｂ₂ ３７０〜３７１単位法線ベクトルＮ₁〜Ｎ₂

Claims

(57)【特許請求の範囲】

【請求項１】コンピュータ処理で作成した三次元のコン
ピュータグラフィックスを、ラスタ式ディスプレイの表
示画面上で、操作者が、ボインティングデバイスを用い
て対話式に、実写画像の任意の位置に任意の角度で合成
する画像処理システムにおける実写画像とコンピュータ
グラフィックの合成方法において、上記ポインティングデバイスにより上記実写画像上の６
点を指定して上記実写画像上に隣接する合成先の２つの
平面を特定し、特定された上記合成先の２つの各平面に対応する２つの
消失線を求め、求めた２つの消失線を用いて上記合成先の２つの各平面
に対応する２つの法線ベクトルを求め、求めた２つの法線ベクトルの各方向と、直交座標系の三
軸とそれぞれ平行な一頂点で交わる三辺を有し且つ三次
元コンピュータグラフィックスを囲む直方体の隣接する
２つの各平面に対応する２つの法線ベクトルの各方向と
が、一致するような直交座標系の三軸回りの各回転角を
示す回転移動パラメタを算出し、算出した上記回転移動パラメタに基づいて上記三次元コ
ンピュータグラフィックスの回転移動処理を施し上記実
写画像に合成することを特徴とする画像処理システムに
おける実写画像とコンピュータグラフィックスの合成方
法。
【請求項２】請求項１に記載の画像処理システムにおけ
る実写画像とコンピュータグラフィックスの合成方法に
おいて、前記２つの消失線を求める際に、前記合成先の２つの各
平面の２つの消失点を求め、求めた各消失点を結んだ直
線を消失線とすることを特徴とする画像処理システムに
おける実写画像とコンピュータグラフィックスの合成方
法。
【請求項３】請求項２に記載の画像処理システムにおけ
る実写画像とコンピュータグラフィックスの合成方法に
おいて、前記２つの消失点を求める際に、平面の対向する２辺を
延長した場合の交点を消失点とすることを特徴とする画
像処理システムにおける実写画像とコンピュータグラフ
ィックスの合成方法。
【請求項４】請求項１乃至３のいずれかに記載の画像処
理システムにおける実写画像とコンピュータグラフィッ
クスの合成方法において、前記回転移動パラメタの算出の際に、直交座標系の各軸
回りに対し２つの回転角が算出され、前記表示画面上に８組の回転移動パラメタ候補を表示
し、前記三次元コンピュータグラフィックスの回転移動処
理，前記実写画像への合成の際に、表示された上記８組
の回転移動パラメタ候補のうち選択されたものを回転移
動パラメタとすることを特徴とする画像処理システムに
おける実写画像とコンピュータグラフィックスの合成方
法。