【発明の詳細な説明】
可視的ディスプレイシステム及びその可視化用記録を生成するシステム及びその
方法
発明の分野
本発明は、一般に、可視的ディスプレイシステムに関する。本発明は特に、三
次元可視画像を表示し、表示された画像から視聴者が受ける臨場感を刺激するた
めの可視的ディスプレイシステム及びその方法に関する。本発明は、可視的ディ
スプレイシステム上での可視化のための各可視画像の記録を生成するためのシス
テム及び方法にも関する。
発明の背景
深度(depth)を知覚する方法は３つある。すなわち立体的深度知覚、心理的深
度知覚そして深度を知覚するための焦点変化の使用、である。焦点が変化する１
つのシーンを視る視聴者はそのシーンが深度を有することを知覚するだろう。
立体的深度知覚には、視聴者が同時に２つの異なる場所から１つのシーンを視
ることが必要である。現実には、このことはすなわち、視聴者が異なる画像を見
るのにその左右両眼を用いて同じシーンを見るということを意味している。二次
元可視画像を現実と置き換える場合、それぞれ異なる右眼及び左眼の場所からと
られた２つの画像を用いることが必要である。
一方、視聴者は、現実及び２次元可視画像の両方に存在する数多くの心理学的
深度知覚合図によって深度を知覚することができる。一般的な合図としては、色
の変化又は形の柔軟化が遠くの物体まで
の距離感覚を与える面積的遠近、１つの物体上の光と影の分布、近い物体がより
遠くの物体の一部分を隠す場合といったような輪郭の重複、例えば距離が延びる
につれての鉄道軌道の平行なレールの収束の場合におけるもののような幾何学的
遠近、視聴者に向かって又は視聴者から離れる可視画像内の１つの物体の動き、
及びプルフリヒ効果(Pulfrich effect)を刺激するための動き、が含まれる。
これは、２次元可視画像がスクリーンに映写されるさまざまな装置全てについ
て言えることである。このような装置には、娯楽、仕事、教育、展示会、トレー
ニングなどの分野に利用分野をもつテレビを含む家庭用娯楽システム、映画館、
トレーニングシミュレータ、マルチメディアシステムなどがある。
視聴者が二次元可視画像を視た時に三次元可視画像又は少なくとも三次元可視
画像の錯覚を視ることができるようにするために、数多くの装置が提供されてき
た。これらの装置は、次の３つのグループに入る：すなわち、立体的ビューイン
グを与えるもの、深度の心理的錯覚を作り出すものそして、３次元可視画像を提
供するものである。
立体的ビューイングを提供する装置は、一般に、正常な眼の双眼映像をまねる
（エミュレートする）ために、わずかに異なる角度から複数のカメラで同時に撮
影した、同じ視野（ビュー）の２つのピクチャを映写することを必要とする。い
くつかの例が、McElveenに対する米国特許第 4,420,230号、Zeevi に対する第 4
,714,319号及びMarks に対する第 5,225,861号に示されている。振動式ミラー又
はスクリーンの使用は、Sherに対する米国特許第 4,130,832号及びNims et al．
に対する第 3,814,513号に示されている。その他のシステムは、視聴者が装着す
べき特殊なメガネ又は、適切な眼に適切な視野（ビュー）を導くその他の装置を
必要とする。これらのシス
テムは全くわずらわしく使用コストの高くつくものである。
第２のアプローチは、視るべき画像を隔離することによって深度知覚を提供し
、Rickertに対する米国特許第 4,651,219号、Shindoに対する第 3,582,961号及
びField に対する第 4,000,367号の中で示されている。このようにして、画像を
とり囲む空間の立体的合図は抑制され、従って、観察者はピクチャー内の固有の
心理的深度指示体を感知することができ、三次元シーンとして二次元可視画像を
知覚する。類似の結果を作り出すその他の装置は、Redington et al.に対する米
国特許第 3,820,873号、湾曲スクリーンを利用するHarveyに対する米国特許第 4
,154,514号及びプルフリヒの錯覚(Pulfrich illusion)を利用するKenyonに対す
る米国特許第 4,941,041号に記述されている。
三次元ビューイングを提供するためのその他の装置は、同じく、以下の米国特
許の中で記述されている：
de los Monteros に対する米国特許第 2,468,046号は、画像間の移動の度合が立
体知覚の錯覚を生み出すような形でスクリーン上に映写機からの画像を反射する
ために少なくとも１枚の鏡を使用することにより深度効果を伴って画像を映写し
視るための装置を開示している。
Tuckerに対する米国特許第 3,514,871号は、数多くの広角ディスプレイに見ら
れる混乱させる不連続性を除去するトレーニングシミュレータのための広角可視
的ディスプレイを開示している。これは、視点と２次元ディスプレイの間に３つ
の虚像レンズを提供し、ディスプレイの周縁部分上に投映された画像の実質的な
複製を提供することによって行なわれる。これは、三次元性の錯覚を与える双眼
映像をディスプレイのコーナーで作り上げる。
Webster に対する米国特許第 5,274,405号は、視角的注意領域と
各眼の周辺映像の領域の両方に対し画像が投映される、頭を中に突っ込む形の装
置について記述している。画像は、視角全体を通して鮮明な立体的ビューイング
を提供するべくスクリーン上で焦点合せされる。
三次元可視画像を表示し、表示された画像から視聴者が受ける臨場感を刺激す
るための単純かつ経済的な可視的ディスプレイシステム及び方法に対するニーズ
が存在する。
同様に、可視的ディスプレイシステム上での可視化のための可視画像の記録を
生成するためのシステム及び方法に対するニーズも存在している。
発明の要約
本発明は、三次元可視画像を表示し、表示された画像から視聴者が受ける臨場
感を刺激するための可視的ディスプレイシステム及びその方法を提供する。本発
明はまた、可視的ディスプレイシステム上での可視化のための可視画像の記録を
生成するためのシステム及び方法をも提供する。
この可視的ディスプレイシステムは、テレビを含む家庭用娯楽システム、トレ
ーニングシミュレータ、マルチメディアシステム、映画館、展示会などでの使用
に容易に適合させることができる。
本発明の第１の形態に従うと、可視的ディスプレイシステムには、主スクリー
ンと少なくとも２つの周辺スクリーンが含まれている。主スクリーンは第１のシ
ーンの一次的二次元可視画像を表示する。周辺スクリーンは、少なくとも２つの
二次的可視画像を表示する。これらの３つの可視画像は合わさって三次元可視画
像を生成する。二次的可視画像は、第１のシーンとは時間的に異なるか又は空間
的に著しく異なる少なくとも第２及び第３のシーンの各画像から処
理される。二次的可視画像の各々は、一次的可視画像と整合して、それと共に均
一の視界を形成する。
二次的可視画像整合ユニットは、マルチスケーラー、速度整合装置、モーショ
ン整合装置、エッジ整合装置及びカラー整合装置のうちの少なくとも１つを含ん
で成る。マルチスケーラーは、一次的可視画像のスケールを整合させるべく選択
された二次的可視画像をスケーリングする。速度整合装置は、一連の選択された
二次的可視画像のタイミングを、一連の一次的可視画像のタイミングと整合させ
る。モーション整合装置は、一連の選択された二次的可視画像の中のカメラモー
ションを一連の一次的可視画像のカメラモーションに整合させる。エッジ整合装
置は、一次的画像の各々のエッジを、それに隣接する二次的画像のうちの１つの
画像のエッジとブレンド(blend)させる。カラー整合装置は、選択された二次的
画像のカラー品質を一次的可視画像のカラー品質に整合させる。
一次的可視画像は、実在画像であっても、コンピュータで生成された画像又は
動画化された画像であってもよい。一次的可視画像は表示された画像の主題であ
るため、二次的可視画像を一次的画像と同じ要領、場所又は時間で取上げる必要
はない。その代り、二次的可視画像は一次的可視画像に整合させられる。従って
、実際には、二次的可視画像の各々は実在画像、コンピュータ生成画像又は動画
化画像のいずれであってもよい。二次的可視画像は標準的には、三次元性の効果
を減じることなく、一次元可視画像よりも低い解像度で表示される。その上、表
示された画像の三次元性をさらに増強するため二次的可視画像の中に動きを生成
するべくコンピュータ化された技術が利用される。
可視的ディスプレイシステムの特定の実施形態に応じて、各々のスクリーンは
、映画館スクリーン、テレビスクリーン、コンピュー
タモニター、LCD スクリーンなどから成るグループのうちのいずれか１つであっ
てよい。
このシステムはまた、可視的ディスプレイシステムの特定の実施形態に応じて
、写真フィルム映写機(projector)、CRT 管、及びビデオ映写機(projector)から
成るグループのうちのいずれか１つであってよい映写装置を包含することもでき
る。
可視的ディスプレイシステムのさらなる特徴としては、システム上に表示され
た可視画像に随伴するためのサウンドトラックを再生する複数のスピーカー及び
台形の形状の周辺スクリーンを提供するということがある。
三次元可視画像を表示する可視的ディスプレイシステム上での可視化のため可
視画像の記録を生成するシステム及び方法もまた開示されている。このシステム
は、一次及び二次可視画像供給源、選択ユニット及び二次的可視画像整合ユニッ
トを包含している。一次的可視画像供給源は、第１のシーンをビューイングする
一次的可視画像を記憶する。二次的可視画像供給源は、各々第１のシーンとは異
なるシーンをビューイングする二次的可視画像を記憶する。選択ユニットは、二
次的可視画像が一次的可視画像と両立性をもつように二次的可視画像供給源から
少なくとも２つの二次的可視画像を選択する。整合ユニットは、一般に、一次的
可視画像と、選択された二次的可視画像を整合させる。
一次的可視画像供給源は、テレビカメラ、写真フィルムカメラ、コンピュータ
データベース及びコンピュータサブルーチンから成るグループのうちのいずれか
１つからの記録であってよい。類似の要領で、二次的可視画像供給源は、テレビ
カメラ、写真フィルムカメラ、コンピュータデータベース及びコンピュータグラ
フィックルーチンから成るグループのうちのいずれか１つからの記録であってよ
い。該システムはまた、二次的可視画像の記録を出力するための出力装置及び可
視画像に随伴するべくサランドトラックを準備するためのサウンドトラック装置
をも包含することができる。
本発明の第３の好ましい実施態様に従うと、一般に第１のカメラのカメラモー
ションと第２のカメラを整合させる方法も提供される。この方法は、（ａ）記録
装置上に前記第１のカメラによって生成された可視画像のシーケンスを記録する
段階、及び（ｂ）前記第２のカメラでの撮影時点で、前記記録された可視画像の
シーケンスを表示する段階、及び（ｃ）前記記録された可視画像のシーケンスの
中に表示されたカメラの動きを整合させようと試みながら前記第２のカメラで撮
影する段階を含んでいる。
該第１及び第２のカメラは、異なる時刻に作動させられた同じカメラであって
もよいし、又は異なるシーンをビューイングする２つのカメラ又は異なるシーン
をビューイングする同じカメラであってもよい。
図面の簡単な説明
本明細書において、本発明は図面を参考にしながら一例としてのみ記述されて
いる。
図１は、本発明の教示に従って構築され作動する三次元可視画像を表示するた
めの可視的スクリーンシステムを概略的に例示する図である。
図２Ａ〜２Ｃは、図１の可視的ディスプレイシステムによって表示されるよう
な三次元可視画像を作り出すための、一次的及び二次的可視画像を示す図である
。
図３Ａ−３Ｃは、図１の可視的ディスプレイシステムの３つの実施例の概略図
である。
図４は、図１の可視的ディスプレイシステム上での可視化のための可視画像の
記録を生成するシステムの概略図である。
図５は、図４のシステムの作動を例示するフローチャートである。
図６は、図４のシステムの一部を成す二次的画像処理装置のブロック図である
。
図７は、図６の装置を理解する上で役にたつ二次的可視画像のスケーリングを
絵画的に例示する図である。
図８Ａ及び８Ｂは、図６の装置を理解する上で役立つ、２つの一連の二次的可
視画像の絵画的に例示する図である。
図９は、図６の装置を理解する上で役立つ、モーション整合用装置のブロック
ダイアグラムの例示する図である。
図10は、本発明におい役立つカメラモーション記録装置の概略図である。
好適な実施例の記載
本発明は、三次元可視画像を表示するための可視的ディスプレイシステム、可
視的ディスプレイシステム上での可視化のための可視画像の記録を生成するため
のシステム及びその方法に関するものである。可視的ディスプレイシステムは、
テレビを含む家庭用娯楽システム、トレーニングシミュレータ、マルチメデイア
システム、映画館、展示会などで使用するように適合させることができる。
本発明のシステム及び方法の原理及び作動は、添付図面及び記述を参照するこ
とによって、より良く理解することができる。
明確さを期して、以下に使用する「可視画像」という語は、視聴者が観察する
ことのできるあらゆる可視的物体又は物体群を意味し、これらを包含している。
可視画像は、静止可視画像であっても可
動可視画像であってもよいし、又実在シーンであってもコンピュータで生成した
又は動画化されたシーンのいずれのものであってもよい。さらに、以下で使用す
る「記録」という語は、可視化のための受像表面上に可視画像を映写するために
使用することのできるあらゆる形の可視画像の捕捉を意味する。従って、記録に
は、映画フィルムといったような写真フィルム上に可視画像を捕捉すること、な
らびに、データベース内に永久的にか又は電子、磁気又は電磁式又はその他の可
視化のため受像スクリーン上に可視画像として再生できる信号情報の形で瞬間的
に可視画像を捕捉することが含まれる。標準的スクリーンとしては、従来の映画
館用スクリーン、従来の家庭用テレビセットの受像スクリーン、スーパーVGA コ
ンピュータモニター、VGA コンピュータモニター、LCD スクリーンなどがある。
ここで図１を参照すると、本発明の教示に従って製造され作動する全体として
100という番号で示された可視的ディスプレイシステムの概略図が示されている
。可視的ディスプレイシステム 100は、全体としてＰという記号で表わされてい
る一次的可視画像を表示するための主スクリーン 102、及びそれぞれ全体として
Ｌ及びＲという記号で表わされている二次的な左右の可視画像を表示するための
２つの周辺スクリーン 104及び 106を含む広角マルチスクリーンシステムの形を
している。システム 100は、さらに、主スクリーン102 上に可視画像Ｐの記録を
映写するための映写装置 108、及びそれぞれ周辺スクリーン 104及び 106上の二
次的可視画像Ｌ及びＲの記録を映写するための映写装置 110及び 112も包含して
いる。
周辺スクリーン 104及び 106は、可視画像Ｌ及びＲが主スクリーン 102上に表
示された二次元の一次的可視画像Ｐを三次元可視画像に変換するような形で、視
聴者Ｖに向かって傾斜させられている。本実施例では２つの周辺スクリーンを伴
って例示されているが、主
スクリーン 102の上又は下を含めて、任意の数の周辺スクリーンを具備すること
ができる、ということがわかるだろう。更に、三次元性の効果を減じることなく
主スクリーン 102と周辺スクリーン 104及び 106の間には物理的空隙が存在し得
るということに留意すべきである。また、三次元性深度(depth)の感覚（フィー
リング）をさらに増強するため、周辺スクリーン 104及び 106は台形形状をして
いてもよい。
以下でさらに詳細に記述するとおり、システム 100上に表示されつつある可視
画像に対する視聴者の臨場感を増強するため二次的可視画像Ｌ及びＲに対して心
理学的合図を提供することがきる。三次元性の効果はさらに、視聴者Ｖのまわり
を包むように視聴者Ｖの後ろ及びそれぞれ周辺スクリーン 104及び 106に沿って
延びるいくつかのスピーカー 114及び 116を通してのサウンドトラックの再生に
よっても増強させることができる。スピーカー 114及び 116は、当該技術分野に
おいて知られている通り、主スクリーン 102と結びつけられたスピーカー 118に
対し付加的なものである。標準的には、二次的可視画像Ｌ及びＲが一次的可視画
像Ｐと同期的に表示されるような形で、制御装置 120が映写機108，110及び 112
の作動を制御する。
ここで図２Ａ−２Ｃを参照すると、可視的ディスプレイシステム100 によって
表示される三次元可視画像を作成するためのいくつかの可視画像Ｌ，Ｐ及びＲが
示されている。原則として、三次元性の効果は、一次的可視画像が眼の直接的視
覚によってピックアップされ、左及び右の二次的可視画像がそれぞれ左眼と右眼
の周辺的視覚によって実質的にピックアップされることによって達成される。こ
れはすなわち、１つのシーンのパノラミックビューの可視画像を３つ連続的に表
示しなければならないのではなくむしろ、実際には、
論理的相関関係又は相互の整合が存在するかぎり、二次的可視画像Ｌ及びＲが実
質的に可視画像Ｐと異なる主題を表示することができる、ということを意味して
いる。
しかしながら、実際、視聴者の直接的な視覚の視界は、一次的可視画像Ｐの全
て及びそれに隣接する二次的可視画像Ｌ及びＲの各エッジ部分を包含している。
従って、可視画像Ｌ及びＲの各エッジ部分すなわち各マージンは、好ましくはそ
れに隣接する一次的可視画像Ｐの各エッジ部分すなわち各マージンと混合するよ
うに調整され、かくして、視聴者はたとえそれが左側可視画像Ｌ、一次的可視画
像Ｐ及び右側可視画像Ｒから形成されているにせよ、単一のシーンの１つの心理
的画像を確実に知覚することが保証される。
ここで以上のことを要約するべく図２Ａを参照すると、122として記されてい
る可視画像Ｌのエッジ部分つまりマージンは、視聴者が単一のシーンを確実に知
覚するように、124として記されているそれに隣接する一次的可視画像Ｐのエッ
ジ部分つまりマージンとブレンドする。同様の要領で、126として記されている
可視画像Ｒのエッジ部分つまりマージンは、視聴者が単一の画像を確認に知覚す
るように、128として記されているそれに隣接する一次的可視画像Ｐのエッジ部
分つまりマージンとブレンドしている。
特に、一対のエッジ部分 122及び 124の調整には、エッジ部分 124内に現われ
る特長がエッジ部分 122内に現われるようにして連続するようにした特長混合(f
eature blending)及び、エッジ部分 124の中に現われるカラー領域がエッジ部分
122内に現われるようにして連続するようにしたカラー混合(color blending)が
含まれている。例えば、一次的可視画像Ｐのエッジ部分 124上の標識 130は、可
視画像Ｌのエッジ部分 122上の標識 132と連続している。同様の要領で、エッジ
部分 126及び 128を参照すると、一次的可視画像Ｐの
エッジ部分 128上のパターン領域 134として示されている多数の観客は、可視画
像Ｒのエッジ部分 126上のパターン領域 136と連続している。
それぞれエッジ部分 124及び 128の主題と連続した主題を内含していなければ
ならないエッジ部分 122及び 126とは対照的に、可視画像Ｌ及びＲは、一次的可
視画像Ｐの主題と整合する傾向をもつ主題を内含するだけでよい。「整合する傾
向をもつ」というのは、可視画像Ｌ及びＲの主題が、各特長の性質、各物体のサ
イズなどに関して可視画像Ｐの主題に対する論理的相関関係を共有しているとい
うことを必然的に意味するということも理解しておくべきである。
本発明のこの特徴のため、異なる時点で同じ場所で、さらには異なる場所から
取られた現実のショットの可視画像のライブラリから取った可視画像を使用する
ことが可能になる。例えば、一次的可視画像Ｐが、カップファイナルサッカー試
合の生放送である場合、可視画像Ｌ及びＲは、例えば昨年度に行なわれた他の試
合から取られた大勢の観客の画像であってよい。その上、こうして、三次元性の
深度効果及び視聴者の臨場感を減じることなく実在の一次的可視画像Ｐと共に使
用されるようにコンピュータで生成された又は動画化された可視画像Ｌ及びＲを
使用することが可能となる。この場合、可視画像のライブラリには、一次的可視
画像Ｐと整合するようにあつらえのモンタージュＬ及びＲを準備できるような形
で物体を準備するため、予め準備されたコンピュータで生成された又は動画化さ
れたシーン又はコンピュータグラフィックルーチンが含まれていてよい。
ここで図２Ｂを参照すると、三次元性の効果を増強させるために二次的可視画
像Ｌ及びＲ内で実施された心理的深度知覚合図の使用を例示するべく、可視画像
Ｌ，Ｐ及びＲとしての表示のための３つ
の連続的フレームが示されている。発明の背景のところで記述した通り、一般的
な心理的深度合図は、以下のようなものである。第１に、カラー化の変化又は形
状の柔軟化が遠くの物体に対する距離感を与える、面積的遠近がある。第２に、
１つの物体上の光と影の分布がある。第３に、近い物体がより遠くの物体の一部
分を隠す場合といったような輪郭の重複がある。第４に、例えば距離が延びるに
つれての鉄道軌道の平行なレールの収束の場合における幾何学的遠近がある。そ
して最後に、視聴者に向かう及び視聴者から離れる加算的な動き、及びプルフリ
ヒ効果(Pulfrich effect)を生成するための加算的な動き、がある。図２Ｂに示
されているように、フレームを上から下へ見ると、視聴者は建物特に建物 138の
可視画像Ｐから可視画像Ｌまでの動きを通しての時計回りの回転ショットを知覚
する。
ここで図２Ｃを参照すると、三次元性及びシステム 100上に表示された可視画
像に対する視聴者の臨場感を識別するための動きの使用を例示するべく、可視画
像Ｌ，Ｐ及びＲとしての表示のための３つの連続的フレームが示されている。各
フレームを上から下に見ると、視聴者は、自らに接近するにつれての木 142及び
144の拡大を通してさらに強調されるような自動車 140に向かってのズームショ
ットを知覚する。また、動きの概念は、当該技術分野において周知のものである
システム 100のスピーカー 114及び 116を通して再生される適切なサウンドトラ
ックによって増強される。静止ピクチャーの一次的可視画像Ｐの場合、二次的可
視画像Ｌ及びＲには、エッジ部分の対 122及び 124及びエッジ部分の対 126及び
128の中に存在する各特長の間の連続性条件がそのままにとどまるかぎりにおい
て動きを含めた前述の心理的深度知覚合図が含まれていてよい、ということに留
意すべきである。
可視的ディスプレイシステム 100のさらなる利点は、図２Ａ−２Ｃ中で可視画
像Ｐの中の実線の使用ではなくむしろ可視画像Ｌ及びＲ内の点線の使用によって
実証されている通り、一次可視画像Ｐのものと等しい解像度の二次的可視画像Ｌ
及びＲを提供する必要がない、という点にある。こうして、一次的可視画像Ｐの
捕捉の場合に比べて可視画像Ｌ及びＲを捕捉する上で、より低い解像度、ひいて
は標準的により安価で障害の少ない技術を使用することが可能となる。例えば、
一次的可視画像Ｐを捕捉するのに写真フィルムカメラが使用される一方で、可視
画像Ｌ及びＲを捕捉するのにテレビカメラを使用することができる。代替的には
、こうして一次的可視画像Ｐを表示する場合に比べ、可視画像Ｌ及びＲを表示す
るために、より低い解像度ひいては標準的により安価な技術を用いることが可能
となる。例えば、一次的可視画像Ｐを表示するのにテレビスクリーンを使用する
一方で、可視画像Ｌ及びＲを表示するのにLCD スクリーンを使用することができ
る。
ここで図３Ａ−３Ｃを参照すると、システム 100の特定の利用分野に応じて数
多くの既知の装置の１つとしてスクリーン102，104及び 106及び映写機108，100
及び 112が実現される。システム 100の３つの実施例が示されている。解説のみ
を目的として、ここでは、映画館で使用するように適合されたシステム 150、ト
レーニングシミュレータ又はマルチメディアシステムで使用するように適合され
たシステム 151、及びテレビを含む家庭用娯楽システム内で使用するように適合
されたシステム 154を含む、システム 100の３つの実施形態について記述する。
映画館で使用するように適合されたシステム 150の場合、一次的可視画像Ｐの
記録は、セルロース写真フィルムであり、一方、二次的可視画像Ｌ及びＲの記録
は、より低コストでより容易に製作でき
るテレビ撮影であってよい。従って、映写機108 は、従来の映画館用スクリーン
154の形をしたスクリーン 102の上に写真フィルムを映写するための独立式映画
上映型映写機 152であり、一方映写機104 及び 106は、好ましくは、ここでも又
従来の映画館用スクリーンの形をしたスクリーン 104及び 106上にビデオテープ
を映写するための独立式 Barco映写機 156及び 158である。システム 150にはさ
らに、映写機 152及び Barco映写機 156及び 158の同期的作動を確保するための
制御装置 160が含まれている。
トレーニングシミュレータ又はマルチメディアシステムの中で使用するように
適合されたシステム 151の場合、一次的可視画像Ｐ及び二次的可視画像Ｌ及びＲ
の可視化のための記録は、標準的に、データベース内に永久的に又は電子、磁気
又はその他の信号情報の形で瞬間的に記憶されるコンピュータプログラムである
。従って、記録はコンピュータで生成されたか又は動画化されたシーンである。
スクリーン 102及び映写機 108は好ましくは、スーパーVGA 高解像度カラーコン
ピュータモニター 162として組合わされ、一方スクリーン 104と映写機 110及び
スクリーン 106と映写機 112は、VGA カラーコンピュータモニター 164及び 166
として組合せることができる。代替的には、システム 151は LCDスクリーンを利
用し、かくして映写機 110及び 112の必要性を無くすることができる。この場合
、システム 151は、記録の同期的表示のためのハードウェア及び付随するソフト
ウェア 168を内含している。システム 151と現在入手可能な三次元可視画像シミ
ュレータの違いは、低解像度の二次的可視画像の使用により、さらに安価なハー
ドウェア及びより少ないソフトウェア処理の使用が可能となるという点にある。
テレビを含む家庭用娯楽システム内で使用するように適合されたシステム 154
の場合、一次的可視画像Ｐ及び二次的可視画像Ｌ及び
Ｒの可視化のための記録は、標準的に、放送会社からの電磁式伝送としてか又は
TVケーブル会社からのケーブルを通した電気信号として受信される。この場合、
電磁式伝送又は電気信号は、スクリーン 102，104 及び 106上での記録の可視化
に必要とされる情報を全て含んでいる。二次的可視画像Ｌ及びＲの解像度がより
低いものであることから、伝送する必要のある情報の量は当然のことながら、単
一のスクリーン上での現在の伝送に必要とされる情報量よりも多いが、これはこ
の情報量の３倍未満である、ということに留意すべきである。従って、スクリー
ン 102及び映写機 108は、好ましくは、従来のテレビセット 170として組合わさ
れ、一方スクリーン104 と映写機 110及びスクリーン 106と映写機 112は好まし
くはより低解像度のスクリーン、特に LCDスクリーン 172及び 174として組合わ
される。
ここで図４及び図５を参照すると、可視的ディスプレイシステム100(図１参照
)上に表示された時点で三次元性を可能にするため、可視画像Ｌ，Ｐ及びＲの記
録及び好ましくは随伴するサウンドトラックを生成するための、全体として200
という番号で表わされたシステム及びフローチャートが示されている。以下で明
らかとなるように、システム 200は、当業者の範囲内に充分入るハードウェア及
びソフトウェアで実施することができる。その上、システム 200は、フィルム又
はTV編集者並びにサランドトラック編集者による高レベルのオペレータ介入を必
要とするか又は、トレーニングシミュレータ又はマルチメディアシステム内に組
込まれた時点で完全にコンピュータ化されるように設計され得る。
本発明の特定の形態を強調することを目的として、映画館における映画の形で
の一次的可視画像Ｐのそばでの可視化のための可視画像Ｌ及びＲの記録の準備に
ついて、ここで記述する。
第１に、映画の主題は写真フィルム上で捕捉され、主スクリーン102 上での可
視化のための一次的可視画像Ｐの記録の完成版を生成するべく編集される。一次
的可視画像Ｐの記録は次にもう１つのフィルム−ビデオ変換ユニットであるTele
cineを用いて、又は直接的に、コンピュータ化されたビデオ編集機の中に移入さ
れ、この機械の中で一次的可視画像Ｐはデジタル化され、かくして一次的可視画
像供給源 202を提供する。ディスプレイ 204上では、一次的可視画像Ｐをビュー
イングすることができ、かくしてここで記述するような二次的可視画像Ｌ及びＲ
の処理が可能となる。
未処理の左右の二次的可視画像は、選択装置 207を用いて選択され、一次的可
視画像Ｐと両立性ある主題をもつ二次的可視画像供給源 206から検索され、それ
ぞれ左右のサイドスクリーン 208及び 210上に表示される。供給源 206は、例え
ば同じ場所からただし一次的可視画像Ｐの撮影とは別の時点で、又は異なる場所
で、テレビカメラを用いて撮られたその他のショットを包含し得る。代替的には
、供給源 206は、一次的可視画像Ｐと整合させるべくあつらえのモンタージュが
準備されうるような形で物体を準備するため、予め準備されたコンピュータで生
成された又は動画化されたシーン又はコンピュータグラフィックルーチンの形の
可視画像のライブラリを含むことができる。
より自動化されたシステム 200の場合、例えば、米国カリフォルニア州マウン
テンビューのAdobe Systems Inc.から入手できるPHOTOSHOP といった画像処理ソ
フトウェアを利用して、一次的可視画像Ｐの主題を分析することができる。特に
、それぞれ二次的可視画像Ｌ及びＲのそばに表示されることになるエッジ部分 2
12及び 214について、特長、カラー、ライティングなどに関する分析が行なわれ
る。
未処理の二次的可視画像Ｌ及びＲは、二次的可視画像Ｌ及びＲを一次的可視画
像Ｐと整合させるため、二次的可視画像処理装置 216によって処理される。画像
処理には、一般に、可視画像Ｌ及びＲの記録が可視的ディスプレイシステム 100
上で可視化された場合のために可視画像Ｌ及びＲが心理的深度知覚合図を含むよ
うな形で全体的シェーディング(shading)、ライティング(lighting)、カラー化
、幾何形状及び陰影ならびに目的及びカメラの動きを整合させることが含まれる
。さらに、目的及びカメラの動きは両方共、三次元性の効果が可視的ディスプレ
イシステム 100上の記録の可視化において増強されるような形で、二次的可視画
像Ｌ及びＲの中に組込まれている。
１つの実施形態においては、二次的可視画像処理装置 216は、一対のエッジ部
分 212及び 218と一対のエッジ部分 214及び 220がブレンドして一次的可視画像
Ｐと二次的可視画像Ｌ及びＲの間でそれぞれ視覚的遷移を形成するような形で、
一次的可視画像Ｐのエッジ部分 212及び 214に合わせて二次的可視画像Ｌ及びＲ
のエッジ部分218 及び 220を調整する。これは、エッジ部分 212内に現われる特
長及びカラーがエッジ部分 218内に現われるような形で確実に連続するように保
証することによって達成される。同様にしてエッジ部分 214内に現われる特長及
びカラーは、それらがエッジ部分 220内で現われるような形で連続する。可視画
像Ｌ及びＲは、ビデオ記録、コンピュータデータベースなどとして出力され得る
。
そして最後に、システム 100のスピーカー 114及び 116を通して再生すること
によって、三次元性の効果全般及びスペース感特に視聴者の臨場感を増強できる
ようにする形で、可視画像に随伴するべくサウンドトラックが準備される。
ここで、一般に一次的及び二次的可視画像内の物体及びカメラの
動きを整合させるため本発明の第２の実施形態において役立つ二次的可視画像処
理装置 216の各要素を例示する図６を参照する。同様にその作動について詳述す
る図７，８Ａ，８Ｂ及び図９も参照する。二次的可視画像処理装置 216が標準的
に各々の一連の二次的可視画像Ｌ又はＲについて別々に作動するということがわ
かるだろう。
装置216は、標準的にオペレータと組合さって作動し、マルチスケーラー(mulu
ti-scaler)230、速度整合装置232、モーション整合装置 234及びカラー整合装置
236をそなえている、マルチスケーラー 230は、その中及び対応する一次的可視
画像Ｐの中の各物体がほぼ同じサイズを有することになるように二次的可視画像
Ｌ及びＲをスケーリングする。速度整合装置 232は、一連の一次的可視画像Ｐの
タイミングとほぼ整合するように、一連の二次的可視画像Ｌ及びＲのタイミング
（スケーリング後）を調整する。モーション整合装置 234は、一連の一次的可視
画像Ｐのものとほぼ整合するように一連の二次的可視画像Ｌ及びＲのカメラモー
ション（スケーリング及びフロー整合の後）を調整する。最後に、カラー整合装
置 236は、二次的可視画像Ｌ及びＲのカラー（輝度及び彩度）を一次的可視画像
Ｐのものとほぼ整合させる。カラー整合装置 236の出力は、何らかの形で一連の
一次的可視画像Ｐと整合する一連の二次的可視画像Ｌ′及びＲ′である。
図７は、マルチスケーラー 230の作動を例示している。画像 240がもとの画像
であり、画像 242はスケーリングを受けた画像である。画像 240は、画像内の物
体の関数として複数の区分に分割される。例えば、画像 240は、道路 244、２台
の車 246、フェンス 248、２軒の家 250及び幾らかの低木 252を有する状態で示
されている。一次的可視画像Ｐが異なる垂直方向の場所にフェンス 248を有する
場合、二次的画像 240を変更する必要がある。
マルチスケーラー 230は、望まれる通りに画像の全ての区分のサイズを変更す
る。例えば、ライン 254は、垂直方向に画像 240から上向きに画像 242まで移動
された状態で示されている。このラインは、画像 242中で254′の番号が付され
ている。ライン 254を移動させるためには、その下及び上の画像の各区分は望ま
しい量の動きに整合するように再度スケーリングされる(rescaled)。かくして、
画像 240の下部区分は、既知の方法に従ってアップスケーリングされ(scaled up
)、画像 240の上部区分は同じく既知の方法に従ってダウンスケーリングされる(
scaled down)。図を見ればわかるように、各物体 244′及び 246′は画像 242内
で比較的大きく、また各物体 248′，250′，及び252′は比較的小さい。
速度整合装置 232は、一連の二次的可視画像Ｌ及びＲ内での各物体のフロー速
度又はそれらの動きのタイミングを一連の一次的可視画像Ｐのものと整合させよ
うと試みる。例えば、一次的可視画像Ｐ内のシーン(scene)を横切って二次的可
視画像Ｌ内のシーン内へ一羽の鳥が飛んでいる場合、その飛行速度は、両方のシ
ーケンスの中で同じであるべきである。カメラは、一次的可視画像Ｐ内のシーン
を二次的可視画像Ｒ内へとパン撮りする(pan)場合、同じ速度でパン撮りしなけ
ればならない。
速度整合装置 232はまず第一に、３連の画像全ての中の１つの物体の動きの速
度を決定し、次に、速度を強制的に整合させるため一連の二次的可視画像Ｌ及び
Ｒの一部分を合成する。例えば、図８Ａに示されているように、１台の車 262が
画像の左から右まで移動するには４つの二次的画像 260ａ〜 260ｄが必要である
かもしれない。しかしながら、一連の一次的可視画像Ｐの中では、５つの画像が
必要であった。かくしてフロー速度は整合しない。従って、速度整合装置 232は
、矢印 264により表わされている通り、中央の画像を
除去し、一連の二次的可視画像のフロー速度を強制的に一次的可視画像Ｐのフロ
ー速度と整合させるべく既知の「光学的フロー（optical flow）」技術に従って
、一連の置換体、中間体、二次的画像 266ａ〜 266ｃを合成する。
本発明において有用な光学的フロー（opticalflow）及びその他の画像処理技
術は、IEEEコンピュータ学会pg．1990のGeorge Wolbergの著書「デジタル画像ワ ーピング(Digital Image Warping)
」及び以下の２つの論文の中で記述されてい
る：
M．Irani，B．Rousso及びS.Poleg 共著、「時間的積分を用いた多数の可動物
体の検出とトラッキング(Detecting and Tracking Multiple Moving Objects us
ing Temporal Integration)」、欧州コンピュータビジョン会議 pp.282-287，Sa
nta Margarita Ligure.1992年５月：及び
M.Irani，B.Rousso及びS.Poleg 共著「遮光性及び透明なモーションの計画(Co
mputing Occluding and Transparent Motions)」、国際コンピュータビジョンジャーナル
、1993年２月。
これらの書物及び論文は、本明細書に参考文献として引用されている。
モーション整合装置 234は、一連の二次的可視画像Ｌ及びＲのカメラモーショ
ンを強制的に一連の一次的可視画像Ｐのカメラモーションとほぼ整合させる。図
９は、モーション整合装置 234の各要素を例示し、モーション整合装置 234がコ
ンパラメータを提供する。モーション作成装置 276は、安定化された一連の二次
的画像Ｌ及びＲ上に一次的画像Ｐのモーションを実行する。
モーション検出器 270及び 272は、（シーン内の各物体の動きではなく）シー
ンに対するカメラの動きを検出する適切なあらゆる要素であってよい。安定化装
置 274は、１組のモーションパラメータ
からの逆転モーション(inverse motion)を実行するあらゆるユニットであってよ
い。モーション変更して一次的可視画像Ｐの各カラーとほぼ整合させる手段を提
供する。カラー整合装置の例としては、Adobe Systems Inc.から入手可能な PHO
TOSHOPがある。
カラーは標準的にその色相、彩度及び輝度レベルによって規定される。往々に
して、１つの画像の全体的輝度（又は明るさ）はもう１つの画像と異なるもので
あり得、かくして、画像全体又はその一部分の輝度値を変更することは各画像の
整合を助けることになる。代替的に又は付加２つのモーション検出器 270及び 2
72、安定化装置 274及びモーション作成装置 276をそなえていることを示してい
る。モーション検出器 270は、一連の二次的可視画像のカメラモーションを決定
し、安定化装置 274に対して各モーションパラメータを提供し、この安定化装置
の方は、一連の二次的可視画像からカメラモーションを除去する。モーション検
出器 272は一連の一次的画像のカメラモーションを決定し、モーション作成装置
276に各モーション作成装置 276は、一連の安定化された画像を一組のモーショ
ンパラメータによって構成された１つのモーションを有する画像へと変換するあ
らゆるユニットであってもよい。モーション検出器、安定化装置及びモーション
作成装置は、上述の参考文献中に記述されている。
カラー整合装置 236はオペレータに対してモーション安定化及び速度・スケー
ル整合を受けた二次的可視画像Ｌ及びＲの各カラーを時に、画像の彩度（又は灰
色度）を整合させることが必要となるかもしれない。その上、各物体が一次的可
視画像Ｐから二次的可視画像Ｌ又はＲまで流れる各エッジでは、少なくともいく
つかの物体について、色相も整合させる必要があるかもしれない。
例えば遠近を整合させるため又はアニメーションを加えるための
さらなる処理も同様に二次的可視画像Ｌ及びＲについて行なうことができるとい
うことがわかるだろう。
本発明はまた、一次的可視画像シーケンスと二次的可視画像シーケンスの両方
を達成する目的でシーンを撮影するための方法も内含している。標準的には、一
次的可視画像シーケンスは、数多くのアクションを伴って撮影され、ここでカメ
ラは演じている役者を直接見据えている。役者のいるアクションがひとたび終わ
ったならば、カメラマンは次に二次的可視画像シーケンスを撮影することができ
る。そうするために、カメラマンはカメラの視線を視界の左右に回転させ、次に
それに応じて二次的シーンを撮影する。往々にして、二次的可視画像シーケンス
のカメラモーションを一次的可視画像シーケンスのカメラモーションとほぼ整合
させ、かくしてモーション整合装置 234が行なわなければならない処理の量を減
少させることが望ましい。
ここで、カメラマンが二次的可視画像シーケンスを撮影する際に一次的カメラ
のカメラモーションをほぼ整合させることができるようにするための装置 280を
例示する図10をここで簡単に参照する。
装置280 は標準的には、カメラ 282、モニター 284及びビデオレコーダー 286
を含んで成る。カメラマンは、当初、撮影中モニター 284上で表示されている一
次的画像シーケンスを撮影するためにカメラ 282を利用する。同時に、本発明に
従うと、撮影されたシーンは、標準的に低い解像度でビデオレコーダ 286上に記
録される。
カメラマンが二次的画像シーケンスの１つを撮影するための回転した時点で、
それが同じ場所又は全く異なる場所のいずれであれ、又同じカメラ又は異なるカ
メラのいずれを用いるかに関わらず、カメラマンはビデオレコーダ 286からの記
録されたシーンをモニター 284上に表示する。中に記録されているカメラモーシ
ョンに注意を
払いながら、カメラマンは、二次的画像シーケンスのためのシーンを撮影する間
にカメラモーションを整合させようとする。カメラマンは、第２の二次的画像シ
ーケンスについて上記プロセスをくり返す。
本発明は制限された数の実施例に関連して記述されてきたが、本発明に数多く
の変更、修正及びその他の利用分野を加えることも可能であることがわかるだろ
う。DETAILED DESCRIPTION OF THE INVENTION
Visible display system, system for generating record for visualization thereof, and system thereof
Method
Field of the invention
The present invention generally relates to a visual display system. The invention is particularly directed to
Display a three-dimensional visual image and stimulate the viewer's sense of reality from the displayed image.
VISUAL DISPLAY SYSTEM AND METHOD THEREOF. The present invention provides a visual
A system for generating a record of each visible image for visualization on a spray system.
It also relates to systems and methods.
Background of the Invention
There are three ways to perceive depth. That is, three-dimensional depth perception, psychological depth
Degree perception and the use of focus changes to perceive depth. Focus changes 1
A viewer viewing one scene will perceive that the scene has depth.
In stereoscopic depth perception, a viewer views a scene from two different locations at the same time.
It is necessary to In reality, this means that viewers see different images
This means that the same scene is viewed using both the left and right eyes. secondary
When replacing the original visible image with the reality, different locations for the right eye and left eye
It is necessary to use the two images obtained.
Viewers, on the other hand, see many psychological issues that exist in both real and two-dimensional visible images.
Depth can be perceived by a depth perception signal. Common cues include color
Change or shape softening to distant objects
Area perspective that gives a sense of distance, distribution of light and shadow on one object, closer objects
Overlapping contours, such as hiding a part of a distant object, for example, increasing the distance
As in the case of parallel rail convergence of railway tracks as
The movement of one object in the visible image, in perspective, towards or away from the viewer,
And movement to stimulate the Pulfrich effect.
This is true for all the different devices where 2D visible images are projected on the screen.
It can be said that. Such devices include entertainment, work, education, exhibitions, trays
Home entertainment systems, including televisions that have applications in areas such as
There are training simulators and multimedia systems.
3D visible image or at least 3D visible when viewer sees 2D visible image
Numerous devices have been provided to allow the illusion of images to be viewed.
Was. These devices fall into three groups: stereoscopic view-in
That provide the illusion of depth, create the psychological illusion of depth, and provide three-dimensional visible images.
To offer.
Devices that provide stereoscopic viewing generally mimic binocular images of a normal eye
Simultaneous shooting with multiple cameras from slightly different angles (to emulate)
It requires projecting two pictures of the same view, which are shadowed. I
Some examples are described in U.S. Pat. No. 4,420,230 to McElveen and No. 4 to Zeevi.
No. 714,319 and 5,225,861 to Marks. Vibrating mirror or
U.S. Pat. No. 4,130,832 to Sher and Nims et al.
No. 3,814,513. Other systems are worn by the viewer
Special glasses to be worn or other devices to guide the appropriate view to the appropriate eye
I need. These cis
The system is quite annoying and expensive to use.
The second approach provides depth perception by isolating the image to be viewed
U.S. Patent No. 4,651,219 to Rickert, No. 3,582,961 to Shindo and
And in Field No. 4,000,367. In this way, the image
The three-dimensional cues of the surrounding space are suppressed, so that the observer has a unique
Psychological depth indicator can be sensed, and a two-dimensional visible image can be used as a three-dimensional scene.
Perceive. Other devices that produce similar results are described in Redington et al. Rice against
National Patent No. 3, 820, No. 873, U.S. Patent No. 4 to Harvey Utilizing Curved Screen
, 154, No. 514 and Kenyon using the Pulfrich illusion
U.S. Pat. 941, No. 041.
Other devices for providing three-dimensional viewing include: Similarly, The following US features
It is stated in the hint:
U.S. Patent No. 2, to de los Monteros 468, No. 046, The degree of movement between images is high
Reflects the image from the projector on the screen in a way that creates the illusion of body perception
Projecting an image with a depth effect by using at least one mirror to
An apparatus for viewing is disclosed.
U.S. Patent No. 3, to Tucker 514, No. 871, Seen on many wide-angle displays
Wide-angle visibility for a training simulator that eliminates disruptive discontinuities
Discloses a dynamic display. this is, 3 between the viewpoint and the 2D display
Providing a virtual image lens of Substantially the image projected on the periphery of the display
This is done by providing a copy. this is, Binocular that gives the illusion of three-dimensionality
Make the video in the corner of the display.
U.S. Patent No. 5, to Webster 274, No. 405, Visual attention area
Images are projected on both the surrounding image area of each eye, A dress that puts your head inside
Is described. The image is Clear three-dimensional viewing throughout viewing angle
Focused on the screen to provide
Display a three-dimensional visible image, Stimulate the viewer's sense of reality from the displayed image
For simple and economical visual display systems and methods for
Exists.
Similarly, Record visible images for visualization on a visual display system
There is also a need for systems and methods for generating.
Summary of the Invention
The present invention Display a three-dimensional visible image, Realism received by viewers from displayed images
A visual display system and method for stimulating a feeling are provided. Departure
Ming also Record visible images for visualization on a visual display system
Also provided are systems and methods for generating.
This visual display system Home entertainment systems, including televisions, Tre
Training simulator, Multimedia system, Movie theater, Use at exhibitions, etc.
Can be easily adapted to
According to a first aspect of the present invention, Visible display systems include: Main screen
And at least two peripheral screens. The main screen is the first screen
Display a primary two-dimensional visible image of the scene. The surrounding screen is At least two
Displays a secondary visible image. These three visual images are combined into a three-dimensional visual image.
Generate an image. The secondary visible image is Temporally different or spatial from the first scene
Processing from each image of at least the second and third scenes
Is managed. Each of the secondary visible images is Consistent with the primary visible image, With it
Form one view.
The secondary visible image alignment unit Multiscaler, Speed matching device, Mosho
Alignment device, Including at least one of an edge alignment device and a color alignment device
Consists of The multiscaler is Select to match the scale of the primary visible image
The resulting secondary visible image. The speed matching device Set of selected
The timing of the secondary visible image Match the timing of a series of primary visible images
You. The motion matching device Camera mode in a series of selected secondary visible images
Match the camera motion of the series of primary visible images. Edge matching equipment
The installation is Each edge of the primary image is One of the secondary images adjacent to it
Blend with the edges of the image. The color matching device Selected secondary
Match the color quality of the image to the color quality of the primary visible image.
The primary visible image is Even for real images, Computer generated images or
It may be an animated image. The primary visible image is the subject of the displayed image.
Because Secondary visible images are the same as primary images, Need to pick up by place or time
There is no. instead of, The secondary visible image is matched to the primary visible image. Therefore
, actually, Each of the secondary visible images is a real image, Computer generated image or video
Any of the coded images may be used. Secondary visible images are typically Three-dimensional effect
Without reducing It is displayed at a lower resolution than the one-dimensional visible image. Moreover, table
Generate motion in secondary visible images to further enhance the three-dimensionality of the displayed image
Computerized technology is used to do this.
Depending on the particular embodiment of the visual display system, Each screen is
, Cinema screen, TV screen, Computer
Monitor One of the group consisting of LCD screens, etc.
May be.
This system also Depending on the specific embodiment of the visual display system
, Photographic film projectors, CRT tube, And from video projectors
Projection device, which may be any one of the group consisting of
You.
Additional features of the visual display system include: Displayed on the system
Speakers for playing a soundtrack to accompany the visible image
It may provide a trapezoidal shaped peripheral screen.
Available for visualization on a visual display system that displays 3D visible images
A system and method for generating a record of a visual image is also disclosed. This system
Is Primary and secondary visible image sources, Selection unit and secondary visual image matching unit
Includes The primary visible image source is View the first scene
Store the primary visible image. The secondary visible image source is Each is different from the first scene
Store a secondary visible image that views a certain scene. The selection unit is two
From the secondary visible image source so that the secondary visible image is compatible with the primary visible image
Select at least two secondary visible images. The alignment unit is In general, Temporary
A visible image, Align selected secondary visible images.
The primary visible image source is TV camera, Photographic film camera, Computer
Any of the group consisting of databases and computer subroutines
It may be a record from one. In a similar way, The secondary visible image source is TV set
camera, Photographic film camera, Computer database and computer graphics
A record from any one of the group of Fick Routines
No. The system also Output device for outputting a record of the secondary visible image;
Soundtrack device for preparing a surround track to accompany a visual image
Can also be included.
According to a third preferred embodiment of the present invention, In general, the camera mode of the first camera
A method is also provided for aligning the second camera with the second camera. This method (A) Record
Recording a sequence of visible images generated by the first camera on a device
Stages, And (b) at the time of shooting with the second camera, Of the recorded visible image
Displaying the sequence, And (c) the sequence of the recorded visible image
Shooting with the second camera while trying to match the movement of the camera displayed in
Includes shadowing step.
The first and second cameras are The same camera activated at different times
Or Or two cameras or different scenes to view different scenes
May be the same camera that views the image.
BRIEF DESCRIPTION OF THE FIGURES
In this specification, The present invention is described by way of example only with reference to the drawings.
I have.
FIG. For displaying a three-dimensional visible image constructed and operative in accordance with the teachings of the present invention.
FIG. 1 schematically illustrates a visible screen system for the present invention.
2A to 2C, As displayed by the visual display system of FIG.
To create a simple three-dimensional visible image, FIG. 4 shows primary and secondary visible images.
.
3A-3C are: 1 is a schematic diagram of three embodiments of the visual display system of FIG.
It is.
FIG. Of the visible image for visualization on the visual display system of FIG.
FIG. 1 is a schematic diagram of a system for generating a record.
FIG. 5 is a flowchart illustrating the operation of the system of FIG.
FIG. FIG. 5 is a block diagram of a secondary image processing device that forms part of the system of FIG.
.
FIG. Scaling of the secondary visual image to help understand the device of FIG.
It is a figure illustrated pictorially.
8A and 8B To help understand the device of FIG. Two series of secondary possible
It is a figure which illustrates pictorially of a visual image.
FIG. To help understand the device of FIG. Motion matching equipment block
It is a figure which illustrates a diagram.
FIG. 1 is a schematic diagram of a camera motion recording device useful for the present invention.
Description of the preferred embodiment
The present invention A visual display system for displaying a three-dimensional visible image, Yes
To generate a record of visible images for visualization on a visual display system
And a method thereof. The visual display system is
Home entertainment systems, including televisions, Training simulator, Multimedia
system, Movie theater, It can be adapted for use in exhibitions and the like.
The principles and operation of the system and method of the present invention Please refer to the attached drawings and descriptions.
And by Can understand better.
For clarity, The term "visible image", used below, Viewers observe
Means any visible object or group of objects that can These are included.
The visible image is Can be a still visible image
It may be a moving visible image, Also, even real scenes were generated by computer
Alternatively, it may be any scene of a moving image. further, Used below
The word "record" To project a visible image on the receiving surface for visualization
It refers to capturing any form of visible image that can be used. Therefore, On record
Is Capturing visible images on photographic film, such as movie film, What
To love Permanent or electronic in the database, Magnetic or electromagnetic or other
Instantaneous in the form of signal information that can be reproduced as a visible image on the receiving screen for visualization
Capturing a visible image. As a standard screen, Traditional movie
Hall screen, The receiving screen of a conventional home TV set, Super VGA
Computer monitor, VGA computer monitor, LCD screens, etc.
Referring now to FIG. Overall manufactured and operated in accordance with the teachings of the present invention
A schematic diagram of a visual display system, numbered 100, is shown.
. The visual display system 100 Represented by the symbol P as a whole
Main screen 102 for displaying the primary visible image And each as a whole
For displaying secondary left and right visible images represented by the symbols L and R
A wide-angle multi-screen system including two peripheral screens 104 and 106
doing. System 100 further, Record the visible image P on the main screen 102
Projection device 108 for projecting And two on the peripheral screens 104 and 106, respectively.
Also includes projection devices 110 and 112 for projecting records of the next visible images L and R.
I have.
The peripheral screens 104 and 106 The visible images L and R are displayed on the main screen 102.
In such a way as to convert the indicated two-dimensional primary visible image P into a three-dimensional visible image, Sight
It is inclined toward the listener V. In this embodiment, two peripheral screens are used.
Is exemplified, main
Including above or below screen 102, Having any number of peripheral screens
Can, You can see that. Furthermore, Without diminishing the effects of three-dimensionality
There may be a physical gap between the main screen 102 and the peripheral screens 104 and 106.
It should be noted that Also, Feeling of three-dimensional depth
Ring) The peripheral screens 104 and 106 are trapezoidal
May be.
As described in more detail below, Visible visible on system 100
Mind the secondary visible images L and R to enhance the viewer's realism in the images.
Physical cues can be provided. The three-dimensional effect is Around Viewer V
Behind viewer V and along peripheral screens 104 and 106 respectively
For playing the soundtrack through several extending speakers 114 and 116
Therefore, it can be increased. Speakers 114 and 116 are In the technical field
As is known in Speaker 118 associated with main screen 102
In addition to this. Typically, Secondary visible images L and R are primary visible images
In a form that is displayed synchronously with the image P, The control device 120 is the projector 108, 110 and 112
Controls the operation of.
Referring now to FIGS. 2A-2C, By visual display system 100
Several visible images L, to create a three-dimensional visible image to be displayed, P and R are
It is shown. In principle, The three-dimensional effect is The primary visible image is the direct view of the eye
Picked up by Left and right secondary visible images are left eye and right eye respectively
Achieved by substantially being picked up by the peripheral vision of the camera. This
That is, Three consecutive visible images of the panoramic view of one scene are displayed continuously.
Rather than having to show, actually,
As long as there is a logical correlation or mutual alignment, If the secondary visible images L and R are real
A subject qualitatively different from the visible image P can be displayed. Means that
I have.
However, In fact, The viewer's direct visual field of view All of the primary visible image P
And each edge portion of the secondary visible images L and R adjacent thereto.
Therefore, Each edge portion of the visible images L and R, that is, each margin is Preferably
Each edge portion of the primary visible image P adjacent thereto, that is, each margin.
Adjusted Thus, Even if the viewer sees the left visible image L, Primary visual image
Although formed from the image P and the right visible image R, One psychology of a single scene
This ensures that the target image is perceived reliably.
Referring now to FIG. 2A to summarize the above, Marked as 122
The edge portion of the visible image L, that is, the margin is Make sure your audience knows a single scene
As you wake up, Edge of the primary visible image P adjacent to it, noted as 124
Blend with the margin, or margin. In a similar way, Marked as 126
The edge portion, that is, the margin of the visible image R is Viewer perceives a single image as confirmation
Like The edge of the primary visible image P adjacent to it, marked as 128
Minutes are blended with margins.
Especially, To adjust the pair of edge portions 122 and 124, Appears in edge 124
Feature (f)
eature blending) and The color area that appears in the edge part 124 is the edge part
Color blending that appears in the 122 and is continuous
include. For example, The marker 130 on the edge portion 124 of the primary visible image P is Yes
It is continuous with the marker 132 on the edge portion 122 of the visual image L. In a similar way, Edge
Referring to parts 126 and 128, Of the primary visible image P
A large number of spectators, shown as pattern areas 134 on edge portions 128, Visible image
It is continuous with the pattern area 136 on the edge portion 126 of the image R.
If the subject does not include the subject which is continuous with the subject of edge parts 124 and 128, respectively
In contrast to the edge parts 122 and 126 which do not The visible images L and R are Temporarily possible
It is only necessary to include a subject having a tendency to match the subject of the visual image P. "Aligned tilt
To have a direction "means The subject of the visible images L and R is The nature of each feature, The size of each object
Say that they share a logical correlation with the subject of the visible image P
It should also be understood that this means that
Due to this feature of the invention, At the same place at different times, And even from different places
Use visible images taken from a library of visible images of real shots taken
It becomes possible. For example, The primary visible image P is Cup Final Soccer Trial
If it is a live broadcast, The visible images L and R are For example, another test last year
It may be an image of a large audience taken from the match. Moreover, Thus, Three-dimensional
Used with real primary visible images P without reducing the depth effect and the viewer's presence
The computer generated or animated visible images L and R are used as
It can be used. in this case, The library of visible images includes Primary visibility
A form in which custom montage L and R can be prepared to match image P
To prepare the object with Computer-generated or animated, previously prepared
Scenes or computer graphics routines may be included.
Referring now to FIG. 2B, Secondary visualization to enhance the effect of three-dimensionality
To illustrate the use of psychological depth perception cues performed in images L and R, Visible image
L, Three for display as P and R
Are shown. As described in the Background of the Invention, general
The psychological depth signal is It is as follows. First, Change or shape of colorization
Softening gives a sense of distance to distant objects, There is an area perspective. Second,
There is a distribution of light and shadow on one object. Third, Near objects are part of more distant objects
There are overlapping contours, such as when hiding minutes. Fourth, For example, as the distance increases
There is a geometric perspective in the case of converging parallel rails of a railroad track. So
And finally, Additive movement towards and away from the viewer, And purfuri
Additive motion to generate the Pulfrich effect, There is. As shown in FIG.
As has been Looking at the frame from top to bottom, Audiences can see buildings, especially buildings 138
Perceive clockwise rotation shot through movement from visible image P to visible image L
I do.
Referring now to FIG. 2C, 3D and visible image displayed on the system 100
To illustrate the use of motion to identify a viewer's presence on an image, Visible image
Image L, Three consecutive frames for display as P and R are shown. each
Looking at the frame from top to bottom, Viewers Tree 142 and as we approach ourselves
Zoom show towards the car 140 as further emphasized through the 144 enlargement
Perceive the unit. Also, The concept of movement is Is well known in the art
Appropriate sound tracks played through speakers 114 and 116 of system 100
Enhanced by the For a primary visible image P of a still picture, Secondary possible
In the visual images L and R, Edge pair 122 and 124 and edge pair 126 and
Smell as long as the continuity condition between each feature present in 128 remains the same
May include the aforementioned psychological depth perception cues including movement, Stay
Should be aware.
A further advantage of the visual display system 100 is that Images visible in Figures 2A-2C
By using dotted lines in visible images L and R rather than using solid lines in image P
As proven, Secondary visible image L with the same resolution as that of primary visible image P
And R need not be provided, It is in the point. Thus, Of the primary visible image P
In capturing the visible images L and R compared to the case of capturing, Lower resolution, Draw
Will typically be able to use cheaper and less disruptive technologies. For example,
While a photographic film camera is used to capture the primary visible image P, Visible
A television camera can be used to capture the images L and R. Alternatively
, Thus, compared to the case where the primary visible image P is displayed, Display visible images L and R
In order to Lower resolution, and therefore typically cheaper techniques can be used
Becomes For example, Using a TV screen to display the primary visible image P
On the other hand, LCD screen can be used to display visible images L and R
You.
Referring now to FIGS. 3A-3C, Number depending on the specific application of the system 100
One of many known devices is screen 102, 104 and 106 and projector 108, 100
And 112 are realized. Three embodiments of the system 100 are shown. Commentary only
For the purpose, here, System 150, adapted for use in cinemas G
Adapted for use in training simulators or multimedia systems
System 151, And adapted for use in home entertainment systems, including televisions
System 154, including Three embodiments of the system 100 will be described.
For a system 150 adapted for use in a cinema, Of the primary visible image P
The record is Cellulose photographic film, on the other hand, Recording of secondary visible images L and R
Is Easier to manufacture at lower cost
TV shooting. Therefore, Projector 108 Conventional cinema screen
Stand-alone movie for projecting photographic film on screen 102 shaped 154
It is a projection type projector 152, On the other hand, the projectors 104 and 106 Preferably, Again here
Videotape on screens 104 and 106 in the form of conventional cinema screens
Stand-alone Barco projectors 156 and 158 for projection. System 150
In addition, Projector 152 and Barco projectors 156 and 158 to ensure synchronous operation
A controller 160 is included.
For use in training simulators or multimedia systems
For the adapted system 151, Primary visible image P and secondary visible images L and R
The records for visualization of Typically, Permanent or electronic in the database, Magnetic
Or a computer program that is stored instantaneously in the form of other signal information
. Therefore, Recordings are computer-generated or animated scenes.
Screen 102 and projector 108 are preferably Super VGA high resolution color control
Combined as Pewter Monitor 162, On the other hand, screen 104, projector 110 and
Screen 106 and projector 112 VGA color computer monitor 164 and 166
Can be combined as Alternatively, System 151 uses an LCD screen
Use Thus, the need for projectors 110 and 112 can be eliminated. in this case
, System 151 Hardware and accompanying software for synchronous display of records
Wear 168 is included. System 151 and 3D visible image stains currently available
The difference between the Through the use of low resolution secondary visible images, Even cheaper
Hardware and less software processing.
Systems adapted for use in home entertainment systems, including televisions 154
in the case of, Primary visible image P and secondary visible image L and
The record for visualizing R is Typically, As an electromagnetic transmission from a broadcaster or
Received as an electrical signal through a cable from a TV cable company. in this case,
Electromagnetic transmission or electrical signals Screen 102, Visualization of records on 104 and 106
Contains all the information needed for The resolution of the secondary visible images L and R is higher
Because it is low, Not to mention the amount of information that needs to be transmitted, single
More than the information required for the current transmission on one screen, This is this
Less than three times the information volume of It should be noted that. Therefore, Screen
102 and the projector 108 Preferably, Combined as a conventional TV set 170
And On the other hand, screen 104 and projector 110 and screen 106 and projector 112 are preferred.
Or lower resolution screen, Especially combined as LCD screens 172 and 174
Is done.
Referring now to FIGS. 4 and 5, Visible display system 100 (see FIG. 1)
In order to enable three-dimensionality at the time displayed above, Visible image L, Notation of P and R
Recordings and preferably associated soundtracks, 200 as a whole
Are shown. Clear below
To be clear System 200 Hardware and hardware well within the purview of those skilled in the art.
And can be implemented in software. Moreover, System 200 Film or
Requires a high level of operator intervention by TV editors and Sarand Truck editors.
Or Set up in a training simulator or multimedia system
It can be designed to be fully computerized at the point of insertion.
For the purpose of highlighting certain aspects of the invention, In the form of a movie in a cinema
The recording of the visible images L and R for visualization beside the primary visible image P
about, It is described here.
First, Movie subjects are captured on photographic film, Yes on main screen 102
It is edited to produce a complete version of the recording of the primary visible image P for visualization. once
The recording of the objective visible image P is then performed by another film-video conversion unit, Tele.
Using cine, Or directly, Imported into a computerized video editor
And In this machine the primary visible image P is digitized, Thus the primary visual image
An image source 202 is provided. On display 204, View the primary visible image P
Can be Thus, the secondary visible images L and R as described herein
Can be performed.
The raw left and right secondary visible images are Selected using the selection device 207, Temporarily possible
Retrieved from a secondary visible image source 206 having a subject compatible with the visual image P, It
They are displayed on the left and right side screens 208 and 210, respectively. Source 206 example
From the same location, but at a different point in time from the taking of the primary visible image P, Or a different place
so, Other shots taken with a television camera may be included. Alternatively
, Source 206 A custom montage to match the primary visible image P
To prepare the object in a form that can be prepared, Raw on a computer prepared in advance
Generated or animated scenes or in the form of computer graphic routines
A library of visible images can be included.
For a more automated system 200, For example, Mount Maun, California, USA
Adobe Systems Inc. of Tenview Image processing software such as PHOTOSHOP available from
The subject matter of the primary visible image P can be analyzed using software. Especially
, The edge portions to be displayed beside the secondary visible images L and R, respectively 2
12 and 214 were analyzed for features, colors, lighting, etc.
You.
The unprocessed secondary visible images L and R are obtained by converting the secondary visible images L and R to the primary visible images.
It is processed by a secondary visible image processor 216 to align with the image P. image
Processing generally involves recording the visible images L and R into a visible display system.
The visible images L and R will contain psychological depth perception cues for the case visualized above.
Overall shading, lighting and coloring in a undulating shape
Includes matching, object and camera movement, and geometry and shading
. In addition, the objective and camera movement are both visible on three-dimensional effects
The secondary visual image is enhanced in a way that enhances the visualization of records on
Embedded in the images L and R.
In one embodiment, the secondary visible image processing device 216 includes a pair of edge portions.
Minutes 212 and 218 are blended with a pair of edge parts 214 and 220 to create a primary visible image
In such a way as to form a visual transition between P and the secondary visible images L and R, respectively.
The secondary visual images L and R are aligned with the edge portions 212 and 214 of the primary visual image P.
Adjust the edge portions 218 and 220 of. This is a characteristic that appears in the edge portion 212.
Ensure that the length and collar are continuous in such a way that they appear in the edge 218
Achieved by witness. In the same way, the features and
The colors and colors are continuous such that they appear within the edge portion 220. Visible image
Images L and R can be output as video records, computer databases, etc.
.
And finally, play through speakers 114 and 116 of system 100
By this, it is possible to enhance the overall effect of three-dimensionality and the sense of space, especially the sense of reality of the viewer
In that way, a soundtrack is prepared to accompany the visible image.
Here, in general, the objects and cameras in the primary and secondary visible images are
Secondary visual image processor useful in a second embodiment of the invention to match motion
Refer to FIG. 6 which illustrates each element of the processing device 216. Similarly, its operation will be described in detail.
7, 8A, 8B and FIG. Secondary visual image processor 216 is standard
It can be seen that it operates separately for each series of secondary visible images L or R.
I will tell you.
The device 216 typically operates in conjunction with an operator and is a multi-scaler (mulu
ti-scaler) 230, speed matching device 232, motion matching device 234, and color matching device
A multi-scaler 230 with 236, inside and corresponding primary visible
Secondary visible image such that each object in image P will have approximately the same size
Scale L and R. The speed matching device 232 is used to generate a series of primary visible images P.
The timing of the series of secondary visible images L and R to be substantially consistent with the timing
Adjust (after scaling). Motion Matcher 234 provides a series of primary visual
The camera mode of the series of secondary visible images L and R is approximately matched to that of image P.
Adjust the options (after scaling and flow matching). Finally, color matching equipment
The unit 236 converts the colors (luminance and saturation) of the secondary visible images L and R into the primary visible images.
Approximately match that of P. The output of color matcher 236 is somehow a series of
A series of secondary visible images L 'and R' that match the primary visible image P.
FIG. 7 illustrates the operation of the multiscaler 230. Original image from image 240
And image 242 is a scaled image. Image 240 is the object in the image
Divided into multiple sections as a function of the body. For example, image 240 is a road 244, two cars
Shown with cars 246, fences 248, two houses 250 and some shrubs 252
Have been. Primary visible image P has fence 248 at different vertical locations
If so, the secondary image 240 needs to be changed.
Multiscaler 230 resizes all sections of the image as desired.
You. For example, line 254 moves vertically from image 240 to image 242 upward
It is shown in the state shown. This line is numbered 254 'in image 242.
ing. To move line 254, each section of the image below and above is desired.
It is rescaled to match the new amount of movement. Thus,
The lower section of image 240 is scaled up according to known methods.
), The upper section of image 240 is also downscaled according to known methods (
scaled down). As can be seen from the figure, each object 244 'and 246'
, And each of the objects 248 ', 250', and 252 'is relatively small.
The speed matcher 232 determines the flow rate of each object in the series of secondary visible images L and R.
Match the degrees or the timing of their movement with that of the series of primary visible images P
To try. For example, secondary scenes across a scene in the primary visible image P
When one bird is flying into the scene in the visual image L, its flight speed is
Should be the same in the sequence. The camera is used to determine the scene in the primary visible image P
Must be panned at the same speed when panning into the secondary visible image R
I have to.
The speed matcher 232 firstly determines the speed of movement of one object in all three images.
Degree is determined, and then a series of secondary visible images L and
A part of R is synthesized. For example, as shown in FIG. 8A, one car 262
Moving from left to right of the image requires four secondary images 260a-260d
Maybe. However, in the series of primary visible images P, five are
Was needed. Thus, the flow rates do not match. Therefore, the speed matching device 232
, As represented by arrow 264,
Remove and force the flow rate of the series of secondary visible images to
-According to the known "optical flow" technique to match speed
, A series of substitutions, intermediates, and secondary images 266a-266c.
Optical flow and other image processing techniques useful in the present invention
The technique is IEEE Computer Society pg. A book by George Wolberg in 1990.Digital image file (Digital Image Warping)
And in the following two papers
RU:
M. Irani, B .; Rousso and S. Poleg, "Multiple Moving Objects Using Temporal Integration
Detecting and Tracking Multiple Moving Objects us
ing Temporal Integration) ",European Computer Vision Conference pp.282-287, Sa
nta Margarita Ligure. May 1992: and
M.Irani, B.Rousso and S.Poleg co-authored "Shading and Transparent Motion
mputing Occluding and Transparent Motions),International Computer Vision Journal
, February 1993.
These books and articles are cited herein as references.
The motion alignment device 234 is a camera motion controller for the series of secondary visual images L and R.
Forcibly approximate the camera motion of the series of primary visible images P. Figure
9 illustrates each element of the motion matching device 234, and the motion matching device 234
Provide the parameters. The motion creator 276 provides a stabilized series of secondary
Execute the motion of the primary image P on the target images L and R.
Motion detectors 270 and 272 are used to determine the scene (rather than the motion of each object in the scene).
Any suitable element for detecting the movement of the camera relative to the camera may be used. Stabilizer
274 is a set of motion parameters
Any unit that performs an inverse motion from
No. A means for changing the motion to substantially match each color of the primary visible image P is provided.
Offer. An example of a color matching device is the PHO available from Adobe Systems Inc.
There is TOSHOP.
A color is typically defined by its hue, saturation and luminance level. Often
And the overall brightness (or brightness) of one image is different from that of another
Changing the luminance value of the whole image or a part thereof is thus possible for each image.
Will help alignment. Alternatively or additionally two motion detectors 270 and 2
72, indicating that it has a stabilizer 274 and a motion generator 276
You. Motion detector 270 determines camera motion for a series of secondary visible images
And provides each motion parameter to the stabilizer 274,
Removes camera motion from a series of secondary visible images. Motion detection
The output unit 272 determines the camera motion of the series of primary images,
Each motion generator 276 converts a series of stabilized images into a set of motions.
To an image with one motion composed of
Any unit may be used. Motion detector, stabilizer and motion
The creation device is described in the above-mentioned reference.
The color matching device 236 provides motion stabilization and speed / scale
The colors of the secondary visible images L and R that have undergone the image alignment are sometimes referred to as the image saturation (or gray
Chromaticity) may need to be matched. In addition, each object is
At each edge flowing from the visual image P to the secondary visible image L or R, at least
For some objects, the hue may also need to be matched.
For example, to align perspective or add animation
Further processing can be performed on the secondary visible images L and R as well.
You will understand.
The invention also relates to both primary and secondary visual image sequences.
It also includes a method for capturing a scene for the purpose of achieving. Typically, one
The next visible image sequence is captured with a number of actions, where the camera
La looks directly at the actors who are performing. Action with actors is over once
Cameraman can then take a sequence of secondary visible images.
You. To do so, the photographer rotates the camera's line of sight to the left and right of the field of view,
Shoot secondary scenes accordingly. Often, secondary visual image sequences
Approximate camera motion of primary visible image sequence
And thus reduce the amount of processing that the motion matching device 234 must perform.
It is desirable to reduce it.
Here, when the photographer shoots the secondary visible image sequence,
Device 280 to allow the camera motion to be almost matched
Reference is now made briefly to FIG.
The device 280 typically comprises a camera 282, a monitor 284 and a video recorder 286.
Comprising. The photographer initially sees the one displayed on the monitor 284 during shooting.
Utilize camera 282 to capture the next image sequence. At the same time,
Following, the captured scene is recorded on video recorder 286 at a standard low resolution.
Is recorded.
Once the cameraman has rotated to take one of the secondary image sequences,
Whether it is the same location or a completely different location, and the same camera or a different camera
Regardless of which camera is used, the photographer will note from video recorder 286.
The recorded scene is displayed on the monitor 284. Camera mosaic recorded in
Be careful
While paying, the photographer while shooting the scene for the secondary image sequence
Try to match the camera motion. The photographer has a second secondary image
Repeat the above process for the sequence.
Although the invention has been described with reference to a limited number of embodiments, the invention has numerous
You can see that it is possible to change, modify and add other fields of use
U.
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，
ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ
Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ
，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，
ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，
ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ
Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ
，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，
ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ
Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ
，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ，
ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ────────────────────────────────────────────────── ───
Continuation of front page
(81) Designated countries EP (AT, BE, CH, DE,
DK, ES, FR, GB, GR, IE, IT, LU, M
C, NL, PT, SE), OA (BF, BJ, CF, CG
, CI, CM, GA, GN, ML, MR, NE, SN,
TD, TG), AP (KE, MW, SD, SZ, UG),
AM, AT, AU, BB, BG, BR, BY, CA, C
H, CN, CZ, DE, DK, EE, ES, FI, GB
, GE, HU, IS, JP, KE, KG, KP, KR,
KZ, LK, LR, LT, LU, LV, MD, MG, M
N, MW, MX, NO, NZ, PL, PT, RO, RU
, SD, SE, SG, SI, SK, TJ, TM, TT,
UA, UG, US, UZ, VN