JPH0831140B2 - 高速画像生成表示方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は高速で臨場感のある画像をスクリーン上に
表示するようなコンピュータグラフィックス、すなわち
高速画像生成表示方法に関する。

［従来の技術］ ３次元画像をコンピュータによって生成して表示す
る、いわゆるコンピュータグラフィックスの技術は、科
学技術計算のシミュレーションを初めとして様々な分野
に利用されつつあるが、高精度化、すなわち、画像の高
品質化と高速化は相反する条件にあり、同時にこれを満
たす技術は現在のところ見当たらない。つまり、品質の
高い画像を生成しようとすると、画像生成のために膨大
な計算時間を必要とし、逆に高速、たとえば毎秒数10枚
の画像を表示するリアルタイム表示を目的とすると粗い
計算をせざるを得なくなり、生成画像の品質が悪くな
る。

一方、コンピュータグラフィックスの適用分野は、知
的符号化通信と呼ばれる画像通信の分野にも広がりつつ
ある。この方法では、送信側は画像認識により、送信対
象の３次元構造情報を抽出し、その特徴をパラメータ化
して伝送する。受信側では、予め３次元構造情報（デー
タベース）を用意しておき、伝送されてくる特徴パラメ
ータに基づいて、該３次元データベースを高速に変換し
て表示する。これらの通信方法では、受信側は送信側の
３次元構造情報を基にして、任意の視点からの画像を自
在に生成して表示することができるため、以下のような
多くの利点をもつ。

受信者の視点の動きを検出し、この動きに応じた画
像を表示することにより、運動視が実現できる。ここ
で、運動視とは、頭を動かした際に眼球の網膜上に映る
画像の変化から空間を知覚する人の潜在能力のことであ
り、日常、前後関係が分かりにくい視覚状況下で頭を動
かして認識を高めようとすることはよく経験することで
ある。すなわち、運動視をコンピュータグラフィックス
により人工的に実現することにより、スクリーン上の画
像の立体感が向上することが期待され、臨場感豊かな表
示が可能となる。

受信者の両眼を２つの視点として、それぞれの視点
からの画像を生成して表示することにより、両眼立体視
を実現できる。人の両目は約6cmの距離を隔てて位置す
るため、頭を動かさなくとも、各目の網膜には別々な像
が投影される。この異なった２つの像の対応関係は視差
情報と呼ばれ、人はこれを利用して空間の立体感覚を得
ている。この視差情報をもつ画像をコンピュータグラフ
ィックスで実現することにより、スクリーン上の画像の
立体感がさらに向上する。

その他、相手側（送信側）の人と視線を合わせて会
話するような画像も容易に生成できる。

しかし、このような通信方法を実現するには、現状で
はいくつかの困難がある。第１には、送信側における画
像認識および特徴パラメータの抽出であり、第２には、
受信側での高速でかつ広視野を高解像度で表示する画像
生成表示方法である。通信では、実時間の処理が本質的
な命題であり、従来のコンピュータグラフィックスに比
べて高速化への要求は高い。

以下に、高速・高精度表示が困難な理由について詳細
に説明する。

第15図は従来の代表的な３次元画像生成表示方法を説
明するための図である。第15図において、スクリーンS1
は、このスクリーンS1の中心を原点とする表示基準座標
系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）で表わされる。なお、
この座標系は以下の各座標系の位置関係を記述する機能
をもち、原点はスクリーンS1の中心でなくてもよいもの
とする。視点座標系Ｘ（ｅ）−Ｙ（ｅ）−Ｚ（ｅ）は、
表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）からみて
位置と座標軸の回転角が既知になっている。表示対象物
体objは３次元構造をもち、この対象の構造点Pi（obj）
は対象座標系Ｘ（obj）−Ｙ（obj）−Ｚ（obj）で表わ
されているものとする。

このような状況において、構造点Piを視点Oeから見た
とき、このPi点がスクリーンS1上のどの位置に表示され
るかについて考える。表示基準座標系Ｘ（ｗ）−Ｙ
（ｗ）−Ｚ（ｗ）に対して、対象座標系Ｘ（obj）−Ｙ
（obj）−Ｚ（obj）は既知としているので、対象座標系
Ｘ（obj）−Ｙ（obj）−Ｚ（obj）で表わされる構造点P
i（pbj）は表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ
（ｗ）で、Pi（ｗ）＝M1・Pi（obj）のように示され
る。

ここで、M1は移動と回転のための変換マトリックスで
ある。また、視点座標系Ｘ（ｅ）−Ｙ（ｅ）−Ｚ（ｅ）
も表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）で表わ
すことができると仮定しているので、この変換マトリッ
クスをM2とすると、表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）
−Ｚ（ｗ）からみた構造点Pi（ｗ）は、視点座標系Ｘ
（ｅ）−Ｙ（ｅ）−Ｚ（ｅ）からみて、 Pi（ｅ）＝M2^-1・Pi（ｗ）＝M1・M2^-1・Pi（obj） と表わすことができる。このように、表示基準座標系Ｘ
（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）と対象座標系Ｘ（obj）−
Ｙ（obj）−Ｚ（obj）および表示基準座標系Ｘ（ｗ）−
Ｙ（ｗ）−Ｚ（ｗ）と視点座標系Ｘ（ｅ）−Ｙ（ｅ）−
Ｚ（ｅ）との関係がわかれば、対象座標系で示された構
造点Pi（obj）は視点座標系で自在に表わすことができ
る。

ここで、視点座標系で示された構造点Pi（ｅ）のスク
リーン上の点を求めるために、正規透視座標系と呼ばれ
るＸ（np）−Ｙ（np）−Ｚ（np）を考える。この座標系
は視点座標系のＺ（ｅ）軸上に原点Ｏ（np）があり、視
点座標系でハッチした視野ピラミッドと呼ばれる領域A,
B,C,D,A（∞）,B（∞）,C（∞）,D（∞）が、一点鎖線
で示した直方体A,B,C,D,A′（∞）,B′（∞）,C′
（∞）,D′（∞）に一致する対応関係がある。直方体の
Ｚ（np）軸方向は１に正規化してあるものとする。すな
わち、Ｚ（np）＝０点は、Ｚ（ｅ）軸のｈに対応し、Ｚ
（np）＝１の点はＺ（ｅ）＝∞に対応する。この条件で
第10図に示す棒状物体objは正規透視座標系Ｘ（np）−
Ｙ（np）−Ｚ（np）では一点鎖線で示すように、Ｚ（n
p）軸の大きな方では断面が小さくなる。この視点座標
系と正規透視座標系との変換は４×４のマトリックスM3
で示すことができる。したがって、Pi（np）は、 Pi（np）＝M3・Pi（ｅ） で表わすことができる。ここで、Pi（np）をA,B,C,D面
に平行投影すると、点線で示すξｉ（ｓ）が得られる。

第15図では、説明の簡単のため、正規透視座標系Ｘ
（np）−Ｙ（np）−Ｚ（np）は表示基準座標系Ｘ（ｗ）
−Ｙ（ｗ）−Ｚ（ｗ）と原点および軸方向が重なってい
るものとしている。したがって、視点座標系のＺ（ｅ）
軸は、表示基準座標系のＺ（ｗ）軸と同一方向である。

この場合、直方体A,B,C,Dがスクリーンの大きさに対
応する。したがって、ξｉ（ｓ）がすなわち視点Ｏ
（ｅ）から見たスクリーンへの投影像である。このよう
に、構造点Pi（obj）からξｉ（ｓ）へは３つの行列演
算と平行投影が必要である。

次に、視点が表示基準座標系のＺ（ｅ）軸からずれる
場合について説明する。第15図において、Ｏ′（ｅ）は
移動した視点位置である。この移動した点を原点とし、
Ｏ′（ｅ）−Ｏ（ｗ）線をＺ′（ｅ）軸とする新しい視
点座標系Ｘ′（ｅ）−Ｙ′（ｅ）−Ｚ′（ｅ）を考え
る。表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）から
見た該新視点座標系の位置を既知とすると、Ｘ（ｅ）−
Ｙ（ｅ）−Ｚ（ｅ）からＸ′（ｅ）−Ｙ′（ｅ）−Ｚ′
（ｅ）への変換はマトリックスM4を介して可能である。
したがって、新視点座標系から見た構造点Piは、Pi
（ｅ）′＝M4・Pi（ｅ）＝M4・M1・M2^-1・Pi（obj）で
表わされる。

第16図は第15図のＹ（ｗ）軸上から見た図である。Pi
（ｅ）′に前述の正規透視投影変換マトリックスM3をか
けると、Pi′（np）が得られ、これを平行投影するとξ
ｉ^＊（ｓ）が得られる。ここで、表示基準座標系から見
た新視点座標系Ｘ′（ｅ）−Ｙ′（ｅ）−Ｚ′（ｅ）の
位置が既知のため、ξｉ^＊（ｓ）とＯ′（ｅ）とを結ぶ
線がスクリーンと交わる点を求めることは容易である。
この点ξｉ′（ｓ）がすなわち、視点Ｏ′から見たスク
リーンへの投影像である。このように、構造点Pi（ob
j）からξｉ′（ｓ）へは４つの行列演算と平行投影な
どが必要である。

上述のごとく、表示基準座標系Ｘ（ｗ）−Ｙ（ｗ）−
Ｚ（ｗ）において、対象座標系Ｘ（obj）−Ｙ（obj）−
Ｚ（obj）の位置が記述された表示対象、また対象座標
系において各構造点Pi（obj）の座標が記述された表示
対象は、任意の視点からスクリーンに透視投影できる。
しかし、上述のごとく、多くの行列演算を表示対象の構
成点の全てについて行なう必要があるため、計算時間が
膨大になる。マトリックスの演算はハードウェア化する
ことにより、かなり高速にはなるが、構成点の数が数10
00点以上になるとリアルタイムの処理が難しくなる。ま
た、表示対象の位置によって無駄な処理が多く行なわ
れ、処理速度を制限している。これについて以下に示
す。

第17図は第15図に示した座標系をＹ（ｅ）軸上でかつ
Ｚ（ｅ）軸方向に見たものであり、第18図は第17図に示
した表示対象を示す図である。

第17図において、スクリーンS1は多数の画素giからな
る。表示対象は、第18図に示すように３次元構造をも
ち、構造点Piとその点がつくる構造面Liなどによって構
成されている。この表示対象が表示基準座標系において
近くにある場合を第17図（Ａ）で示し、遠くにある場合
を第17図（Ｂ）で示し、それぞれobj1,obj2とする。第1
5図および第16図で説明した方法により、スクリーンS1
には表示対象ｈ−obj1,h−obj2が投影される。各構成点
のスクリーン座標上の対応する画素に信号を送り表示す
ることができる。obj2は遠方にあるため、ｈ−obj1に比
べて各構成点間の距離が小さい。この間隔が画素間隔よ
りも十分小さくなれば、その画素の中にはいるいくつか
の構成点を全て計算する必要がなくなる。また、人の目
には視力特性があり、スクリーンS1面においてこの眼の
分解能以下の間隔で各構成点を計算しても意味がない。

既存のアルゴリズムでは、表示対象の位置にかかわら
ず、また利用者の視力特性を考慮することなく、対象の
全ての構成点について計算するため、表示速度が遅くな
り、複雑な対象をリアルタイムで表示することが困難と
なる。

［発明が解決しようとする課題］ 上述の問題は立体視コンピュータグラフィックスを実
現する際に特に問題となる。立体視コンピュータグラフ
ィックスとは、利用者の右目，左目を視点として、３次
元表示対象を見たときのスクリーンへの透視画像を別々
に計算し、これを時分割などにより利用者の左右の各目
に対応したスクリーンに投影することにより、利用者に
立体的と感じさせる表示を行なう手法である。

立体視表示では、奥行き間隔が利用者にはっきりと認
識されるため、本来大きな物体（たとえば、ビルディン
グなど）は大きく、小さな物体（たとえば、虫など）は
小さくモデリングする必要が出てくる。立体視でないコ
ンピュータグラフィックスでは、物体を大きくモデリン
グしなくても視点の近くに配置することが大きく見せる
工夫が可能である。ところが、立体視では奥行き間隔が
視差情報により与えられるため、小さなものを手前にお
いても、大きな物体とは認識されず、そのとおり小さな
ものが手前にあるように見えてしまう。

物体を本来の大きさにモデル化すると、大きな物体
は、その物体が視点の近くに来てスクリーン一杯に広が
る場合も想定すると細部に至るまで細かくモデル化する
必要がある。一方、該物体が視点から遠くに離れた場合
には、第17図（Ｂ）に示すように、スクリーンの一部分
にその全体が表示されるにもかかわらず、近くにある場
合と同じ計算量を必要とする不合理がある。

以上、高速のコンピュータグラフィックスの必要性に
ついて述べたが、コンピュータグラフィックスがリアル
タイムであっても、応用によっては不都合がある。臨場
感通信では、仮想的な空間をコンピュータグラフィック
スにより人工的に作り、この中に実際に居る感覚で該仮
想空間とは様々な相互作用をすることになる。この際求
められるのは、単に高速というだけでなく、観測者の動
きに同期してスクリーンの画像を変化する特性である。
しかし、コンピュータグラフィックスでは画像を生成す
るための時間が必ず残るため、毎秒数10枚の画像を生成
し、表示できても、観測者の動きに対して各画像を生成
する遅れ時間があれば、違和感を生じ、仮想空間との一
体感が得られない。

それゆえに、この発明の主たる目的は、知的符号化通
信や立体視コンピュータグラフィックスに必要なリアル
タイムで精度の高いコンピュータグラフィックス表示
を、計算量を大幅に少なくすることにより実現し得る高
速画像生成表示方法を提供することである。

この発明の他の目的は、運動視を実現するコンピュー
タグラフィックスなどにおいて、画像を生成してから表
示するまでの時間遅れを少なくし、違和感のない自然な
表示を実現し得る高速画像生成表示方法を提供すること
である。

［課題を解決するための手段］ この発明は立体構造を持つ対象を、面の大きさを少な
くとも１つの基準として、異なる複数の詳細度で記述
し、（ａ）操作者の視点を検出し、（ｂ）次の画像表示
時刻における操作者の視点を予測し、（ｃ）予測した視
点から対象までの距離を少なくとも１つのパラメータと
して対象の詳細度を設定し、（ｄ）設定された詳細度に
より指定される対象のモデルと、予測した視点とに基づ
いて対象を２次元画面に投影した画像を生成して表示
し、これらの（ａ）〜（ｄ）を繰返すようにしたもので
ある。

［作用］ この発明に係る高速画像生成表示方法は、操作者の視
点を検出しするとともに、次の画像表示時刻における操
作者の視点を予測し、予測した視点から対象までの距離
を少なくとも１つのパラメータとして対象の詳細度を設
定し、設定された詳細度により指定される対象のモデル
と予測した視点とに基づいて対象を２次元画面に投影し
た画像を繰返し生成して表示することにより、特に遠く
の物体について計算量を大幅に減らして高速化を図り、
自然な画像を得る。

［発明の実施例］ 第１図はこの発明の原理を示す図であり、第２図は第
１図に示した表示対象の階層的なモデリング例を示す図
である。

まず、第１図を参照して、この発明の原理について説
明する。ベクトルVO1,VO2はそれぞれ表示基準座標系Ｘ
（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）の原点Ｏ（ｗ）から表示対
象obj1,obj2の対象座標系原点（obj1,obj2）へのベクト
ルである。また、第10図に示した従来例と比較して、異
なる点は表示対象の構造データの持ち方である。第２図
に表示対象の階層的なモデリング例を示す。第２図に示
した例では、表示対象は複数の構造点（k_1j，k_2j，k_3j
…;j＝１…）とこの構造点の集合により作られる構造面
（l_1j）は４つの構造点により囲まれる面として定義さ
れる）などにより記述される。各構造点は対象座標系Ｘ
（obj）−Ｙ（obj）−Ｚ（obj）により表わされる。第
２図での階層の設定は、各構造点間の距離または構造面
の大きさが所定の大きさを越える毎に構造点の数を減ら
して行き、全体で３段階の階層としている。このよう
な、構造点と該点を結ぶ線分により表わされるデータ構
造をワイヤフレーム構造と呼ぶ。

第１図に示した例では、第２図に示すように階層化さ
れた表示対象の階層度を表示基準座標系の原点Ｏ（ｗ）
からの対象座標系原点までの距離を１つのパラメータと
して適応的に選択して表示する。

第３図はこの様子を示したものであって、表示座標系
の原点Ｏ（ｗ）からの対象座標系原点までの距離を１つ
のパラメータとして適応的に選択して表示した例を示す
図である。第３図において、領域Th₁，Th₂，Th₃は表示
基準座標系の原点Ｏ（ｗ）からの距離が所定の値の領域
である。領域Th₁の内側に対象座標系の原点を含む該対
象（たとえばobj1）は第２図（ｂ）に示すモデリング階
層を用い、領域Th3の内側に対象座標系の原点を含む該
対象は第２図（ｃ）を用いてそれぞれｈ−obj2,h−obj3
のように表示する。

表示対象は第２図に示すように同じ大きさであるが、
近くにある場合には、スクリーンS1にはｈ−obj1のよう
に大きく、遠くにある場合にはｈ−obj3のように小さく
表示される。このときのモデリングの階層は近くにある
ときには細かく、遠くにあるときには粗く選択される。
したがって、観察者にはｈ−obj1およびｈ−obj3ともに
必要十分に精細に感じられる。obj2,obj3の透視投影変
換の計算速度はobj1の場合よりはるかに速く、したがっ
て、スクリーンS1全体を表示するに必要な計算量は従来
より大幅に少なくなる。この効果は、特に背景の表示対
象が複雑になるほど高くなる。実際の空間では観測者の
近くにある対象より、遠くにある対象の方がはるかに多
い。したがって、臨場感が高い画像を高速に生成するこ
とができる。

なお、上述の第１図および第３図に示した例では、表
示基準座標系の原点Ｏ（ｗ）からの対象座標系原点まで
の距離をパラメータとしたが、たとえば対象が大きい場
合、対象座標系原点から該対象の構造面までの距離が大
きくなるため、ある構造面と他の構造面との距離が大き
く離れ、一方は手前に、他方は遠くに位置することもあ
り得る。このような場合、対象座標系の原点以外の点ま
での距離をパラメータとして用いるほうが合理的なこと
がある。

第４図は表示対象が大きく複数の構造物の組合わせで
形成されていて、各部分の構造物に個別の対象座標系を
設定できる例を示す図である。第４図において、表示基
準座標系の原点または視点位置はＫで表わされ、主たる
対象座標系はCor−Ｍ−objで表わされ、この位置ベクト
ルはVOで表わされ、主たる対象座標系Cor−Ｍ−objの一
部または主たる対象座標系Cor−Ｍ−objに連結された対
象obj2の副対象座標系はCor−Ｓ−objで表わされる。主
たる対象座標系Cor−Ｍ−objからみて副対象座標系Cor
−Ｓ−objの位置はベクトルVO1で与えられる。この例で
は、対象obj2の位置はV0＋Vo1＝V2で表わされる。精細
と非精細のモデリング階層の分割を視点位置Ｋからの距
離Thにより行なうとする。対象obj2の原点Ｏ（obj2）は
距離Thの内側にあるため、構造点間の間隔が密なモデル
が選ばれる。対象obj1の原点Ｏ（obj1）は距離Thの外側
にあるため、粗なモデルが選ばれる。なお、対象obj1の
中の破線は選択されなかった候補点（線）である。

第５図はこの発明の一実施例の概略ブロック図であ
る。この第５図に示した実施例では、視点が眼球であ
り、移動する場合であって、説明の簡略化のために表示
対象を表示基準座標系で静止しているものとする。な
お、第５図の太い実線で示した部分が従来技術にない新
規な手段である。

第５図を参照して、視点検出手段10は表示基準座標系
で眼球の視点を検出する。対象座標系設定手段20は表示
基準座標系で表示対象の原点位置と回転角（角度）を指
定する。距離計算手段30は視点検出手段10の検出出力と
対象座標系設定手段20で指定された原点位置および回転
角に応じて、視点から対象座標系原点までの距離を計算
する。３次元階層化データベース80は表示対象物体の構
成面が領域の大きさを１つのパラメータとして階層的に
記述されている。構成点／構成面生成手段40は表示すべ
き対象座標系の原点位置と前述の距離とを入力として受
け、３次元階層化データベース80によって示される構成
面データを参照しながら、表示基準座標系において立体
構造を持つ３次元モデルを生成する。なお、第５図の点
線で示す部分は距離をパラメータとして階層度を選択す
る処理手段100を構成している。

透視投影変換手段50は視点位置と上述の３次元モデル
を入力として、表示対象を２次元スクリーン画面に透視
投影する。表示画像生成手段60は３次元階層化データベ
ース80に対して物体の指定，構成面の指定，階層の指定
を行なうことによって得られる構成面データを参照しな
がら、対象の構成面に着色などの模様付けをする。表示
手段70はレンチキュラースクリーンなどが用いられ、対
象物体を表示する。なお、第５図に示した実施例では、
構成点／構成面を生成するにあたって、上述の距離によ
り構成面の精細度に重みづけを行なうが、この操作は構
成点／構成面生成手段40により、予め定められている基
準値Thと距離とを比較しながら、所定の階層の構成面を
３次元階層化データベース80から引き出すことによって
行なわれる。

第６図はこの発明の一実施例の具体的な動作を説明す
るためのフロー図である。

次に、第６図を参照して、この発明の一実施例の具体
的な動作について説明する。いま、前述の第１図および
第３図に示すように、表示基準座標系において、対象ob
j1,obj2,obj3は所定の位置にあるように見える画像をス
クリーン上に生成するものとする。視点の位置は瞳孔位
置であり、したがって、視点は動くものとする。また、
対象は説明の簡単のために表示基準座標系において静止
しており、対象の３次元構造データは第２図に示したよ
うに、対象座標系で記述されておりかつ構成面は領域の
大きさをパラメータとして階層化されている。

また、ステップ（図示ではSPと略称する）SP1におい
て、対象座標系設定手段20によって対象座標系原点の位
置ベクトルV_obj-i＝（X_obj-i，Y_obj-i，Z_obj-i）と対象
座標系の回転角R_obj-i＝（α_obj-i，β_obj-i，
γ_obj-i）とが設定されて処理手段100に与えられる。ス
テップSP2において、視点検出手段10によって検出され
た視点位置Voe＝（Xoe,Yoe,Zoe）が処理手段100に与え
られる。処理手段100はステップSP3において、視点検出
手段10から与えられたその時刻における視点位置ベクト
ルVoeを読取り、対象座標系原点の位置ベクトルV_obj-i
と視点位置ベクトルVoeとを用いて、２点間の距離dis
_obj-i＝｜V_obj-i−Voe|を演算する。処理手段100はステ
ップSP4において、計算した距離dis_obj-iと基準値Th2と
比較する。処理手段100は距離dis_obj-iが基準値Th2より
も大きいことを判別すると、ステップSP5において、３
次元階層化データベース80から第３図に示した対象obj3
のように、第２図（ｃ）に示した階層度の低いモデルを
選択する。そして、処理手段100は対象座標系原点の位
置ベクトルV_obj-iの位置に、対象座標系の回転角R_obj-i
の角度で３次元モデルを生成する。

処理手段100はステップSP4において、２点間の距離di
s_obj-iが基準値Th2よりも小さいことを判別すれば、ス
テップSP7において、２点間の距離dis_obj-iと基準値Th1
と比較する。処理手段100は２点間の距離dis_obj-iが基
準値Th1よりも大きいことを判別すると、ステップSP8に
おいて３次元階層化データベース80から第２図（ｂ）に
示した階層度のモデルを選択し、ステップSP9におい
て、前述のステップSP6と同様にして３次元モデルを生
成する。さらに、処理手段100は２点間の距離dis_obj-i
が基準値Th1よりも小さければ、ステップSP10におい
て、３次元階層化データベース80から第２図（ａ）に示
した階層度の高いモデルを選択し、ステップSP11におい
て、３次元モデルを生成する。

このようにして、SP6,SP9,SP11のいずれかで３次元モ
デルが生成されると、透視投影変換手段50はその対象の
透視投影変換画像h_obj-1，h_obj-2，h_obj-3を生成する。
ステップSP13において、表示画像生成手段は３次元階層
化データベース80に蓄積された各構成面の模様データを
読取り、２次元画面の対象構成面に模様付けする。この
ようにして生成された対象画像はステップSP14において
表示手段70に表示される。

第７図は対象座標系において原点以外の点の距離をパ
ラメータとして用いる他の例を示す図であり、第８図は
階層的にモデリングされた表示対象を示す図である。

第７図において、表示対象objは第８図に示すように
階層的にモデリングされており、さらに、第８図（ｃ）
に示す階層の構成面a₁，a₂…a_iは、その面の中心の位置
が対象座標系でVa₁，Va₂…Va_iのように表わされている
ものとする。第５図において、各構成面a_iを作るには、
該構成面までの距離を対象座標系原点の位置ベクトルVO
と、中心位置Va_iの和として求め、該VO＋Va_iを距離Th1,
Th2と比較して該構成面の階層を選択する。構成面a₁に
は第８図（ａ）に示した表示対象が選択され、構成面a₂
には第８図（ｂ）に示す表示対象が選択され、構成面a₃
には第８図（ｃ）に示す表示対象が選択される。このよ
うにして対象座標系の任意の点までの距離をパラメータ
とすることができる。

なお、第１図に示した例では、表示基準座標系Ｘ
（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）の原点Ｏ（ｗ）を起点とし
て、対象座標系の任意の点までの距離をパラメータとし
たが、視点の原点（Ｏ（ｅ）またはＯ′（ｅ）など）を
起点としてもよい。この場合表示対象が動かなくても視
点が動いた場合、その都度階層度を変更する手数はある
が、対象の細部を認識する人の視力特性が視点からの距
離に大きく依存することを考慮すると、より合理的な階
層度選択ができるといえる。また、両眼立体視コンピュ
ータグラフィックスなどでは、表示対象がスクリーンS1
の手前に表示される場合もあるが、このような場合、第
１図に示したように、原点Ｏ（ｗ）からの距離をパラメ
ータとすると、視点Ｏ（ｅ）の近くにある物体にもかか
わらず、スクリーンS1のすぐ後ろ（奥）にある物体よ
り、粗い階層が選択されるという不合理も生ずることに
なる。したがって、計算の複雑さがあるが、視点から対
象座標系の原点までの距離をパラメータとする方法も有
効である。

この発明において、領域の大きさを１つのパラメータ
とすることは、前述の第２図で説明したように、構造点
間の距離，構造面積，体積などというような領域に関す
る尺度が所定の大きさを越える毎にデータ数を減らして
いく階層化を意味する。また、領域の大きさ以外を他の
パラメータとしてもよい。たとえば、表示対象が人物像
のような場合、頬，鼻，耳などに比べて目や口元は人の
表情を決定する重要な部分である。したがって、これら
の部分は他の部分より精細にモデル化するのが合理的で
ある。このように、領域の大きさに加えて表示部分の意
味を重要度などをパラメータに加えることができる。

また、構造点とは第２図に示したように、実際に表示
する点である場合の他、表示対象の部分領域の構造を規
定する特徴データであってもよい。たとえば、部分領域
が顔の頬ような自由曲面である場合、この領域のモデリ
ングには、自由曲面の記述式を用い、その式が表わす曲
面の制御パラメータを階層化データとして用いてもよ
い。一例として、第２図にドットで示す部分領域が曲面
である場合、これを記述するのにBezier曲面式を用い、
この制御点を階層化データとしてもよい。

Bezier曲面とは、次式で示すBezier曲線の積曲面で表
わすことができる。Bezier曲線は次式で表わされる。

Ｒ（t:n）＝(1-t+tE)ⁿP_O；（０≦ｔ≦１） ここで、Ｅはシフト演算子と呼ばれ、EP_j＝P_j+1を表
わす。P_jは制御点と呼ばれ、その位置が座標の形で与え
られる。Bezier曲線は制御点の線形結合の形をしてい
る。

第９図は２次および３次のBezier曲面を示す図であ
る。第９図（ａ）に示した例は２次と３次（ｎ＝2,3）
の場合であり、次式で表わされる。

Ｒ（t:3）＝(1-t+tE)ⁿP_O Bezier曲線はｔ＝０のとき、P_Oの制御点から出発し、ｔ
＝１のとき、終りの制御点（ｎ＝２の場合はP₂,n＝３の
場合はP₃）に到達する。曲線はこの間を制御点の近くを
滑らかに連結する。制御点の数を増やすことは、次数を
増やすことに相当し、曲線の表現力が増す。

Bezier曲面はBezier曲線の積の形で次式のように表わ
される。

Ｓ（u:m,v:n）＝(1-u+uE)^m(1-V+vF)ⁿP_O0 （０≦ｕ≦１） （０≦ｖ≦１） E,Fはシフト演算子であり、EP_ij＝P_i+1,j、FP_ij＝P
_i,j+1の作用をなす。

第９図（ｃ），（ｄ）は、２次,3次のBezier曲面を示
す。３次の場合、P_OOからP₃₃まで16個の制御点を用意し
ておくことにより、この間を滑らかに結ぶ自由曲面が生
成される。

このように、部分領域を適応的に決め、この領域を記
述するに十分な制御点を選択すれば、細かい滑らかな表
面をもつ面となる。一方、部分領域を大きくとり、制御
点の数を少なくすれば、粗い表面の面となる。以上、部
分領域の中の制御点の数をパラメータとして階層化する
例を示した。

さらに、前述のBezier曲面式では、構造点は制御点と
u,vの値の取り方により決まる。そこで、所定の制御点
を決めておき、u,vがとる間隔を階層パラメータとして
もよい。すなわち、第９図（ｄ）において、制御点が16
個で一定としても、u,vの間隔Δの決め方によって構成
面は粗にも密にもある。間隔Δを小さくすれば該構成面
は第９図（ｄ）よりさらに分割され、小さな構成面が多
く生ずる。このように、Δをパラメータとして領域の大
きさを階層化することもできる。

次にスクリーンへの表示の方法としては、第１図に示
すように、ワイヤフレームを透視投影した点と線を表示
する単純な方法の他に、構造面には色データを用意し
ておき、表示の際に色づけする。各構造面にはテクス
チャマップと呼ばれる絵柄をデータとして用意してお
き、この絵柄を構造面の方向、位置によって回転，移
動，縮小，拡大などの処理を施してスクリーン上に表示
する。表示基準座標系において、所定の所に光源を仮
定し、視点からみた各構成面の該光による陰影を構成面
ごとに計算して表示することなどが可能である。

一例として等身大の人物石膏像をBezier曲面でモデル
化する場合について説明する。この石膏像を細部までわ
かるようにモデル化するためには、制御点の数は約5000
必要であった。すなわち、この5000個の制御点を第９図
（ｄ）に示すように、４×４の制御点のかたまりに分割
し、さらに、この４×４の制御点で決まる部分領域内を
u,vの値を選ぶことにより10分割して細分化する。この
ようにして、50万個の構造点による構造面が形成され
る。この程度分割して表示面を作ると、細部まで細かく
認識できる画像が得られる。

一方、人物か否かが判別できる程度であれば、制御点
は数10〜100程度でよく、さらにu,vも数分割でよい。つ
まり、100程度の構造点で表現できる。このように、人
物程度の対象でも表示する環境，必要性により100〜数1
000倍のデータ量の差がある。つまり、階層化は、領域
の大きさに関して、多様に選択可能である。

第10図は前述の第７図〜第９図に示した原理を具体化
するためのブロック図である。この第10図に示したブロ
ック図は、以下の点を除いて前述の第５図と同じであ
る。すなわち、処理手段101は、第５図に示した処理手
段100に比べて対象の構成面の階層上位を生成する手段3
1が設けられるとともに、距離形成手段32は視点から対
象構成面の基点までの距離を計算する。生成手段31はた
とえば第３図に示した対象obj1,obj2,obj3の主たる面を
生成する。ここで、主たる面とは。第８図（ｃ）または
（ｄ）に示すような粗いモデルの構成面である。第８図
においては、各構成面の位置は対象座標系において構成
面の中心（基点）までのベクトルで表わされており、構
成面の角度はその面の法線方向が位置ベクトルとなす角
度で表わされている。対象座標系で表わされた構成面ob
j−ｉ−ｊは対象座標系の位置V_obj-iおよび角度R_obj-i
がわかれば簡単な座標変換で求めることができる。

第11図は第10図に示した実施例の動作を説明するため
のフロー図である。この第11図に示したフロー図は、こ
の前述の第６図に示したフロー図に、新たにステップSP
21が設けられるとともに、ステップSP3に代えてSP22が
設けられる。ステップSP21においては、ステップSP1で
対象座標系設定手段20によって対象座標系位置V_obj-iと
角度R_obj-iが設定されると、各対象obj−ｉについて、
対象座標系位置V_obj-iに角度R_obj-iで階層度（ｃ）の３
次元モデルが生成され、対象obj−ｉの各構成面ｊの基
点位置V_obj-i-jが計算される。ステップSP2において視
点検出手段10によって視点位置Voeが検出されると、ス
テップSP22において、処理手段101の距離計算手段32は
視点から各対象の各構成面の基点までの距離dis_obj-i-j
＝｜V_obj-i-j−Voe|を計算する。そして、ステップSP4
〜SP11において、距離が基準値Th_k（ｋ＝1,2）と比較さ
れる。それ以外の動作は第６図と同じである。

第12図はこの発明の他の実施例を示す図である。第12
図において、表示対象obj1,obj2は第８図に示したもの
と同じである。各構成点，構成面データは、その対象の
対象座標系Ｘ（obj_i）−Ｙ（obj_i）−Ｚ（obj_i）を表示
基準座標系Ｘ（ｗ）−Ｙ（ｗ）−Ｚ（ｗ）の関係が既知
であれば、表示基準座標系で表わすことができる。２つ
の視点Ｏ（ｅ）R,O（ｅ）Ｌは、各観察者の左右眼球光
学系の主点に対応する。また、Ｏ（ｅ）Ｒの添字（−
０）は現在の視点であり、（＋１）は次に移動する視点
であり、（−１），（−２）はそれぞれ前の視点であ
る。第12図では、毎秒10〜30枚程度の画像が生成表示さ
れる場合を示しており、したがって、（＋１）（０）
（−１）（−２）の各点は100〜33msec程度の間隔であ
る。位置ベクトルＶ（obj1）,V（obj2）は視点から見た
表示対象の対称座標系原点の位置ベクトルである。この
位置ベクトルの長さ、すなわち距離は簡単に求めること
ができる。

ここで、モデリングの階層の選択法を第１図に示した
場合のように、該距離で決めることとする。視点がＯ
（ｅ）Ｒ（０）の位置にあるとき、表示対象obj1,obj2
のモデルはＶ（obj1）（０）,V（obj2）（０）の長さに
よってそれぞれ第６図（ｃ），（ｄ）に示した表示対象
が選択され、スクリーンS1にｈ−obj1−Ｒ（０）,h−ob
j2−Ｒ（０）のように投影される。

この実施例では、視点を眼球の視点としている。該視
点位置は瞳孔の中心位置に近いため、瞳孔を２台のカメ
ラでとらえることができれば、ステレオ画像計測などに
より、表示基準座標系でこの位置を求めることが容易で
ある。なお、瞳孔の効率的な抽出方法については、本願
発明者らによる「画像撮影装置」（特願平１−18138
7），瞳孔の位置計測については「視線検出方式」（特
願平１−296900）を用いることによって可能となる。

次に、視点の動きを予測した表示について説明する。
眼球の回転運動は視力と密接な関係にある。頭部が固定
された状態で視標がゆっくり動くとき、視線は視標の動
きに連動して同じ方向に滑らかに動く。逆に固定された
視標を注視しながら頭部を動かすと視線は逆の方向に滑
らかに動く。このように、視線が滑らかに動くとき、人
の視力は停止した視標を観察した場合と大きな変化はな
い。また、このとき、表示基準座標系で見た瞳孔の動き
も滑らかである。したがって、瞳孔の位置，速度などの
軌跡から瞳孔の次の動きを予測することは可能である。
そこで、そのような予測された瞳孔の位置を視点として
表示対象の透視画像を予め生成しておくことにより、瞳
孔の動きに同期して、すなわち遅れ時間なしで表示が可
能である。

第12図において、Ｏ（ｅ）Ｒ（−２）,O（ｅ）Ｒ（−
１）,O（ｅ）Ｒ（−０）は滑らかに変化する瞳孔の位置
である。この位置データから次の画像が表示される前記
100〜33msec後の視点の位置Ｏ（ｅ）Ｒ（＋１）を予測
することは可能である。第12図では、視点は時間ととも
にスクリーンに、すなわち、表示対象に近づいており、
したがって、Ｖ（obj1）（＋１）、Ｖ（obj2）（＋１）
の長さは短くなっている。したがって、モデルの階層は
表示対象obj1については第８図（ｂ）が選択され、表示
対象obj2については第８図（ｂ）が選択される。したが
って、Ｏ（ｅ）Ｒ（＋１）から見たスクリーンS1への透
視投影画像として、第12図に示すようなｈ−obj1−Ｒ
（＋１）,h−obj2−Ｒ（＋１）が準備される。この画像
はｈ−obj1−Ｒ（０）,h−obj2−Ｒ（０）に比べ１つ階
層が上がった分だけ精細になっている。この画像は100
〜30msec後に提示されるため、観測者には表示遅れによ
る違和感が生じない。

ここで、観測者の興味ある対象が変化し、視線や顔が
急に動いた場合、瞳孔の予測位置は異なるため、この方
法は一見不合理と感じられる。しかし、以下のような理
由により、問題はない。すなわち、前述のごとく、視力
は視線の動きと密接であり、視線が急に変化したとき、
人の視力は低下し、回復するのに200msec以上の時間を
必要とする。したがって、仮に予測した視点が間違って
いる場合でも、生成され表示された画像について観測者
の視力が大きく低下しているため違和感は生じない。視
力が回復するまでに、正しい瞳孔位置を計測し、その点
からの透視投影画像を生成して表示すればよい。

なお、この実施例では、２つの画像は眼球の動きに追
従してリアルタイムで生成される。したがって、観察者
は頭部を動かし、表示対象objを上下，左右様々な方向
から見ることができる。また、２つの画像は視差情報を
もっているので、この対象を立体的に知覚することがで
きる。

また、この実施例では、生成した画像を表示するため
に、両眼立体視表示装置を用いることができる。この装
置の具体例については、本願発明者らによる「立体表示
装置」（特願平２−18051）などが可能である。この装
置の構成は、表示面にレンチキュラーレンズと称される
蒲鉾状レンズシートを設け、その各レンズの背面には焦
点を挟んで両側に右目用の画素，左目用の画素を配置し
たものである。すなわち、２つの画素は１組として１つ
の蒲鉾レンズに対向して配置される。２つの画素から出
る光はそのレンズにより空間的に分離され、観測者の左
右の目に別々に入射する。このようにして、特別な装置
を装着することなく立体視が可能となる。

第13図は第12図に示した実施例を具体化するためのブ
ロック図である。この実施例は、第12図に示した原理に
基づいて、視点の動きに同期して画像を生成して表示す
る。このために、この実施例は、前述の第10図に示した
実施例に比べて新たに予測視点検出手段11と、視点の動
きのデータベース12と、対象座標系原点と予測視点との
距離計算手段33と、１画面先における対象の構成点／構
成面生成手段41と、１画面先の表示時刻における２次投
影画面を生成する透視投影変換手段51とが設けられる。
予測視点検出手段11は視点検出手段10の検出出力に応じ
て、視点の振る舞いに関するデータベース12を参照しな
がら、次の画像表示時刻における視点、すなわち瞳孔の
位置を推定する。対象座標系原点と予測視点との距離計
算手段33は対象座標系原点の位置とその予測された視点
との間の距離を計算する。構成点／構成面生成手段41は
生成手段40と同様にして、対象座標系設定手段20によっ
て指定される対象座標系の位置に３次元モデルを生成す
る。そして、生成手段41は距離計算手段33によって予測
された距離と基準値Thを比較しながら、３次元階層化デ
ータベース80から適当な階層の構成面データを取り込
み、次の画面の表示時刻における３次元モデルを生成す
る。透視投影変換手段51は次の画面の表示時刻における
２次元投影画面を生成する。それ以外の動作は前述の第
５図と同じであるため説明を省略する。

第14図はこの発明の応用例を示す図である。この第14
図に示した例は、コンピュータグラフィックス画像を臨
場感豊かに観測できるようにしたものである。視点は瞳
孔または虹彩の中心位置に対応している。この視点また
は視線は図示しない視線検出装置によって視点検出１が
行われるとともに、図示しない検出装置によって手の位
置および形状の検出２が行われる。これらのデータは意
図理解処理部３に与えられて解析され、観測者の注視し
ている対象および次に行なおうとしている作業などが推
定される。この情報を基にして、３次元形状データベー
ス４を参照しつつ３次元モデル世界６の更新５が行なわ
れ、３次元モデル世界６が高速で生成され、実時間立体
コンピュータグラフィックスによって画像生成７が行な
われ、スクリーン８に投影変換され、実時間でスクリー
ンに表示される。

［発明の効果］ 以上のように、この発明によれば、表示基準座標系の
原点または視点から遠くにある物体について計算量を大
幅に減らすことができる。逆に、この余った時間で近く
にある物体について細かい部分まで精細に計算できる。
これらにより、高速で品質の高い画像生成表示が可能と
なる。また、この発明は背景が複雑になるほど効果的で
ある。一例として、会議室をコンピュータグラフィック
スで生成し、その会議室の中に人物像を生成する臨場感
会議などへの利用では、複雑になる背景を粗くモデル化
するため、数100倍の高速化が期待できる。しかも、瞳
孔を視点とし、この動きを予測した表示により、眼球の
動きに同期した画像が生成されるため、画像表示の遅れ
による違和感が少なく、画像との一体感が向上した質の
高い運動視コンピュータグラフィックス画像表示が可能
となる。さらに、両眼立体視コンピュータグラフィック
スについても高速・高品質な表示が可能となる。さら
に、この発明によれば、臨場感豊かな知的符号化通信の
コンピュータグラフィックス処理部分，立体視コンピュ
ータグラフィックスに特に利用効果が大きい。その他高
速性と高品質性を要求される多くのコンピュータグラフ
ィックス分野に利用可能である。

【図面の簡単な説明】

第１図はこの発明の原理を説明するための図である。第
２図は第１図に示した表示対象の階層的なモデリングを
示す図である。第３図は表示座標系の原点Ｏ（ｗ）から
の対象座標系原点までの距離を１つのパラメータとして
階層を適応的に選択して表示した例を示す図である。第
４図は表示対象が大きく複数の構造物の組合わせで形成
されていて、各部分構造物に個別の対象座標系を設定で
きる例を示す図である。第５図はこの発明の一実施例の
概略ブロック図である。第６図は第５図に示した実施例
の動作を説明するためのフロー図である。第７図は対象
座標系において原点以外の点の距離をパラメータとして
用いる他の例を示す図である。第８図は階層的にモデリ
ングされた表示対象を示す図である。第９図は２次およ
び３次のBezier曲面を示す図である。第10図はこの発明
の他の実施例を示す概略ブロック図である。第11図は第
10図に示した実施例の動作を説明するためのフロー図で
ある。第12図はこの発明の他の例を示す図である。第13
図は第12図に示した例を実現するためのブロック図であ
る。第14図はこの発明の応用例を示す図である。第15図
は従来の代表的な３次元画像生成表示方法を示す図であ
る。第16図は第15図に示した座標系をＹ（ｗ）軸上から
見た図である。第17図は第15図に示した座標系をＹ
（ｅ）軸上でかつＺ（ｅ）軸方向に見たものである。第
18図は第17図に示した表示対象を示す図である。 図において、obj1は表示基準座標系で既知な表示対象,P
i（obj）は対象座標系で示された表示対象の構造点、S1
はスクリーン、ｈ−objは透視投影画像、Ｏ（ｅ）は視
点、epはスクリーン注視点、eoは空間注視点、Thは階層
選択基準を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹村 治雄 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール通信シ ステム研究所内 (72)発明者 石橋 聡 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール通信シ ステム研究所内 (72)発明者 秋山 健二 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 鉄谷 信二 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 山口 博幸 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (56)参考文献 特開 平１−205277（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】立体構造を持つ対象を、面の大きさを少な
   くとも１つの基準として、異なる複数の詳細度で記述
   し、 （ａ）操作者の視点を検出し、 （ｂ）次の画像表示時刻における操作者の視点を予測
   し、 （ｃ）予測した視点から対象までの距離を少なくとも１
   つのパラメータとして対象の詳細度を設定し、 （ｄ）設定された詳細度により指定される対象のモデル
   と、予測した視点とに基づいて対象を２次元画面に投影
   した画像を生成して表示し、 前記（ａ）〜（ｄ）を繰返すことを特徴とする、高速画
   像生成表示方法。