JP2012190428A - 立体映像視覚効果処理方法 - Google Patents
立体映像視覚効果処理方法 Download PDFInfo
- Publication number
- JP2012190428A JP2012190428A JP2011105327A JP2011105327A JP2012190428A JP 2012190428 A JP2012190428 A JP 2012190428A JP 2011105327 A JP2011105327 A JP 2011105327A JP 2011105327 A JP2011105327 A JP 2011105327A JP 2012190428 A JP2012190428 A JP 2012190428A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- visual effect
- cursor
- processing method
- effect processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000009877 rendering Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000003993 interaction Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】立体映像視覚効果処理方法を提供する。
【解決手段】本発明としては、一種の立体映像視覚効果処理方法が提案され、該方法は、以下のステップを含み、それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供するステップと、カーソル座標値を有するカーソルを提供するステップと、前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断するステップと、前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更するステップと、前記カーソル座標値と相応する前記対象物の映像を再描画するステップが含まれている。よって、カーソルと対応する対象物立体映像を突出させる可能で、視覚効果の強化及び相互作用の増加に繋がる。
【選択図】図1A
【解決手段】本発明としては、一種の立体映像視覚効果処理方法が提案され、該方法は、以下のステップを含み、それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供するステップと、カーソル座標値を有するカーソルを提供するステップと、前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断するステップと、前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更するステップと、前記カーソル座標値と相応する前記対象物の映像を再描画するステップが含まれている。よって、カーソルと対応する対象物立体映像を突出させる可能で、視覚効果の強化及び相互作用の増加に繋がる。
【選択図】図1A
Description
本発明は、映像処理方法に係り、特に、立体映像視覚効果処理方法に関する。
ここ20年くらい、コンピュータグラフィックスは既にマンマシンインターフェースの、最も重要なデータ表示方法となって、しかも各応用分野において幅広く運用されており、例えば、三次元(three dimensional,3−D)コンピュータグラフィックスがある。
そしてマルチメディア(multimedia)及び人工現実感(virtual reality)産品はますます普及しており、それはマンマシンインタフィーズ上の重大な突破のみならず、エンターテインメントへの応用でも重要な役割を果たしている。
しかしながら、上述した応用は、大半は低コストの実時間3−Dコンピュータグラフィックスを基礎としている。一般的に言えば、2−Dコンピュータグラフィックスは、データとコンテンツを表現させるための普通の記述であり、特に相互作用の応用上。一方、3−Dコンピュータグラフィックスでは、コンピュータグラフィックス内、ますます増大する分支となり、3−D模型と各種類の映像処理を使用することによって、三次元空間の写実的な感覚を有する映像が生成される。
{かそう げんじつ}
そしてマルチメディア(multimedia)及び人工現実感(virtual reality)産品はますます普及しており、それはマンマシンインタフィーズ上の重大な突破のみならず、エンターテインメントへの応用でも重要な役割を果たしている。
しかしながら、上述した応用は、大半は低コストの実時間3−Dコンピュータグラフィックスを基礎としている。一般的に言えば、2−Dコンピュータグラフィックスは、データとコンテンツを表現させるための普通の記述であり、特に相互作用の応用上。一方、3−Dコンピュータグラフィックスでは、コンピュータグラフィックス内、ますます増大する分支となり、3−D模型と各種類の映像処理を使用することによって、三次元空間の写実的な感覚を有する映像が生成される。
{かそう げんじつ}
なお、立体コンピュータグラフィックス(3D computer graphics)の製作過程は、主に順序に三つの基本段階に分けることができる。
1:モデリング(modeling):モデリング段階は、「次のシーンにて使用する必要がある対象物の形状を確定する」と過程として記述してもよい。
しかも多種のモデリング技術を備え、例えば、構造実体幾何、NURBSモデリング、多辺形モデリング或いは細分化曲面などが挙げられる。
また、モデリング過程にて、物体表面或いは材料性質、テクスチャ増加、凹凸対応或いはほかの特徴を編集することも含まれている。
しかも多種のモデリング技術を備え、例えば、構造実体幾何、NURBSモデリング、多辺形モデリング或いは細分化曲面などが挙げられる。
また、モデリング過程にて、物体表面或いは材料性質、テクスチャ増加、凹凸対応或いはほかの特徴を編集することも含まれている。
2:シーンレイアウト設定及び動画生成(layout & animation):シーンレイアウト設定は、一幕のシーン内の仮想の物体、照明、カメラ或いは他の実体の位置及び大きさを配置することに係り、これにより、一面の静止画面或いは一つの動画を製作するに用いることが可能である。
また、動画生成では、キーフレーム(key framing)などの技術を使用して、シーン内の複雑な運動関係を構成することができる。
また、動画生成では、キーフレーム(key framing)などの技術を使用して、シーン内の複雑な運動関係を構成することができる。
3:レンダリング(rendering):レンダリングは、用意されたシーンから実際の二次元映像の構成まであるいは動画の最終段階までを構成することであり、これは現実的な世界とはセットが完成した後の写真或いは撮影シーンの過程と比べることができる。
現在技術においては、対話型メディアに、例えばゲーム或いは各種類のアプリケーションには、それを介して描画し出した立体対象物は、通常では、使用者がマウス、タッチパッド或いはタッチパネルを操作することによって、カーソル座標位置を変更して即時に対応した変化を生成し、その視覚効果を突出させることができないため、使用者へ場面の相互作用を十分に与えることができないという問題があった。
さらに、現在、従来技術では既に2D映像を3D映像に変換するものが公開され、通常、2D映像内に一つの主要対象物を選択し、そして前記主要対象物を前景とし、そのほかの対象物を背景とするように設定し、しかも前記複数の対象物にそれぞれ異なる被写界深度を与え、これにより、3D映像が形成されたのである。
しかし、使用者が操作するマウスカーソルは通常では表示スクリーンと同じ被写界深度となっているし、かつ操作するマウスカーソルの位置は通常では視学の停留箇所となっているので、もし、マウスカーソルの被写界深度情報とマウスカーソルの所在位置にある対象物との被写界深度が異なる場合には、空間視認上の混乱を招くことがあるという問題があった。
しかし、使用者が操作するマウスカーソルは通常では表示スクリーンと同じ被写界深度となっているし、かつ操作するマウスカーソルの位置は通常では視学の停留箇所となっているので、もし、マウスカーソルの被写界深度情報とマウスカーソルの所在位置にある対象物との被写界深度が異なる場合には、空間視認上の混乱を招くことがあるという問題があった。
本発明は、カーソル座標位置に基づいて対応する対象物立体映像を突出させる可能で、マンマシンの相互作用を増強させる立体映像視覚効果処理方法を提供することを主な目的としている。
上記目的を達成するために、本発明の立体映像視覚効果処理方法は、以下のステップを含む。
まず、それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供する。
続いて、カーソル座標値を有するカーソルを提供する。
そして、前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断する。
それから、前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更する。
最後に、前記カーソル座標値と相応する前記対象物の映像を再描画する。
まず、それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供する。
続いて、カーソル座標値を有するカーソルを提供する。
そして、前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断する。
それから、前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更する。
最後に、前記カーソル座標値と相応する前記対象物の映像を再描画する。
なお、前記カーソル座標値が変更しようとする場合には、前記カーソル座標値が、前記多数個の対象物の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
また、前記多数個の対象物の対象物座標値はローカル座標、世界座標、視角座標或い投影座標に対応する座標値である。
また、前記カーソル座標値は、マウス、タッチパッド或いはタッチパネルによって生成される。
さらに、前記立体映像は順次に、モデリング(modeling)、シーンレイアウト設定と動画生成(layout & animation)、及びグラフィクスレンダリング(rendering)等のコンピュータグラフィックスステップによって生成される。
また、前記多数個の対象物的前記対象物座標値的前記深度座標パラメーターは、Zバッファ法(Z buffer)、画家深度ソート法、平面法線ベクトル判定法、曲面法線ベクトル判定法、最大最小法等の方式によって決定する。
本発明の内容をより完全に理解するために、以下、本発明の実施例を、添付図面を参照して説明する。
図1A、図1B及び図2に示すものを参照する。
これらはそれぞれ本発明の立体映像視覚効果処理方法の好適な実施例の手順流れ図、本発明の立体映像視覚効果処理方法の好適な実施例を用いて形成された立体映像及び三次元グラフィクスの流れ図である。
また、立体映像11は、多数個の対象物からなり、順次にアプリケーション21(Application)、オペレーティング・システム22(Operation System)、アプリケーションインターフェース23 (Application programming interface, API)、幾何変換サブシステム24(Geometric Subsystem)及びラスタライズサブシステム25(Raster subsystem)によって生成される、そして前記立体映像視覚効果処理方法は、以下のステップを含む。
これらはそれぞれ本発明の立体映像視覚効果処理方法の好適な実施例の手順流れ図、本発明の立体映像視覚効果処理方法の好適な実施例を用いて形成された立体映像及び三次元グラフィクスの流れ図である。
また、立体映像11は、多数個の対象物からなり、順次にアプリケーション21(Application)、オペレーティング・システム22(Operation System)、アプリケーションインターフェース23 (Application programming interface, API)、幾何変換サブシステム24(Geometric Subsystem)及びラスタライズサブシステム25(Raster subsystem)によって生成される、そして前記立体映像視覚効果処理方法は、以下のステップを含む。
S11:それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供する。
S12:カーソル座標値を有するカーソルを提供する。
S13:前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断する。
S14:前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更する。
S15:前記カーソル座標値と相応する前記対象物の映像を再描画する。
S16:前記カーソル座標値が変更する場合には、前記カーソル座標値が、前記多数個の対象物の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
S12:カーソル座標値を有するカーソルを提供する。
S13:前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断する。
S14:前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更する。
S15:前記カーソル座標値と相応する前記対象物の映像を再描画する。
S16:前記カーソル座標値が変更する場合には、前記カーソル座標値が、前記多数個の対象物の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
また、前記カーソル座標値が、前記対象物座標値と重畳しない場合、各所定の周需時間後にて、ステップS17に示すように、前記カーソル座標値が、前記多数個の対象物の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
また、前記カーソル座標値は、マウス、タッチパッド或いはタッチパネル或いは使用者と電子装置との相互作用に供する可能で任意のマンマシンインターフェース(Human−Computer interaction)によって生成される。
また、前記立体映像11は、立体コンピュータグラフィックス(3D computer graphic)の方式によって描画される。前記立体映像11は順次に、モデリング(modeling)、シーンレイアウト設定と動画生成(layout & animation)、及びグラフィクスレンダリング(rendering)等のコンピュータグラフィックスのステップによって生成される。
さらに、前記モデリング段階では、およそ以下のように分類される。
1:構造実体幾何(constructive solid geometry, CSG)、構造実体幾何において、論理演算子(logical operator)を用いる可能で、異なる物体(例えば、立方体、円柱体、角柱、角錐、球体や円錐など)を、和集合、積集合及び差集合などの方式で複雑な曲面を組み合わせることによって、和集合図形700、積集合幾何図形701及び差集合幾何図形702が生成されて、これらを用いて複雑な模型或いは曲面を製作する。図3A、図3B及び図3Cに示すような例示が参照される。
2:非一様有理Bスプライン(non uniform rational B−spline,NURBS):それは、曲線及び曲面を生成及び表示に用いる可能で、1本のNURBS曲線703は、階級(order)、加重(weight)、制御点及びノットベクトルを有するワンセットによって決定する。
その中、NURBSは、Bスプライン及びベジェ曲線(Bezier curves)及び曲面という両方とも含まれる一般化概念である。
NURBS曲面704のs及びtパラメーターを概算することによって、この曲面を空間座標内に表示させることが可能。図4A及び図4Bに示すような例示が参照される。
その中、NURBSは、Bスプライン及びベジェ曲線(Bezier curves)及び曲面という両方とも含まれる一般化概念である。
NURBS曲面704のs及びtパラメーターを概算することによって、この曲面を空間座標内に表示させることが可能。図4A及び図4Bに示すような例示が参照される。
3:多辺形モデリング(polygon modeling):多辺形モデリングは、多辺形メッシュ(polygon mesh)として表示させる或いは近似の物体曲面に用いられる物体モデリング方法である。
そして通常のメッシュ(mesh)は、三角形、四辺形或いはその他の簡単な凸多辺形からなる一つの多辺形モデリング対象物705である。図5に示すような例示が参照される。
そして通常のメッシュ(mesh)は、三角形、四辺形或いはその他の簡単な凸多辺形からなる一つの多辺形モデリング対象物705である。図5に示すような例示が参照される。
4:細分化曲面(subdivision surface):サブディビジョンサーフェースとも称し、任意なメッシュから平滑な曲面を構成し、初期の多辺形メッシュの細分化を繰り返し、これにより、一つのシリーズのメッシュが生成されて無限な細分化曲面までに接近し、かつ各細分化部のいずれもより多く多辺形要素及びより平滑なメッシュが生成されることによって、立方体706から、順序に第1類球体707、第2類球体708、第3類球体709及び球体710に接近し得る。図6A、6B、6C、6D及び6Eに示すような例示が参照される。
そして、モデリングステップにおいては、必要に応じて物体表面或いは材料性質、テクスチャ増加、凹凸対応或いはほかの特徴を編集することが可能。
そして、シーンレイアウト設定及び動画生成は、一幕のシーン内の仮想の物体、照明、カメラ或いは他の実体をアレンジし、静止画面或いは動画を製作するに用いる。シーンレイアウト設定では、対象物がシーン内の位置及び大きさの空間関係を定義するに用いる。また、動画生成では、例えば一つの対象物が時間につれての運動或いは変形を一時的に描写するに用い、キーフレーム(key framing)、逆運動学(inverse kinematics)及びモーションキャプチャ (motion capture)を使用ことによって達成する。{びょうしゃ}{いちじてき}
グラフィクスレンダリングでは、用意されたシーンから実際の二次元景色或いは動画の最終段階を構成し、非実時間(non real time)方式或いは実時間(real time)方式に分けることができる。
非実時間方式の場合では、模型を光伝送(light transport)にシミュレーションすることによって、写真リアリティのような写実的な効果が得られ、通常では、レイトレーシング(ray tracing)或いはラジオシティ(radiosity)を使用ことによって達成する。
実時間方式の場合では、非写真リアリティ(non photo realistic)のレンダリング法を使用することによって、実時間の描画速度を把握してフラットシェーディング(flat shading)、Phongラスタライズ法、Gouraudラスタライズ、ビットマップテクスチャ(bit map texture)、バンプマッピング(bump mapping)、シェーディング(shading)、モーションブラー(motion blurr)、被写界深度(depth of field)など種々方式で描画し、例えば、ゲーム或いはシミュレーションプログラムなどの対話型{たいわ がた}メディアの画像描画に用い、実時間内に演算と表示のいずれも必要があり、その速度としては毎秒約20乃至120フレームになる。
三次元グラフィクス方式をより完全に理解するために、図7に示す標準的なグラフィクスレンダリングパイプラインを模式的に示す図を合わせて参照する。
図に示すように、前記レンダリングパイプラインは、異なる座標システムによって複数個の部分に分割し、およそ幾何変換サブシステム31及びラスタライズサブシステム32が含まれる。
定義対象物51内に定義された対象物としては三次元模型の描写定義であり、座標システムを使用して参考されて自身の参考手点をローカル座標空間41(local coordinate space)と称する。
1面の三次元立体映像を合成する場合には、データベースから各異なる対象物を読み取り、そして一つの一致した世界座標空間42(world coordinate space)に変換し、それからこの世界座標空間42内に定義シーン、参考視角と光源52を定義し、続いてローカル座標空間41から世界座標空間42へ変換する過程はモデル化変換61と称する。
図に示すように、前記レンダリングパイプラインは、異なる座標システムによって複数個の部分に分割し、およそ幾何変換サブシステム31及びラスタライズサブシステム32が含まれる。
定義対象物51内に定義された対象物としては三次元模型の描写定義であり、座標システムを使用して参考されて自身の参考手点をローカル座標空間41(local coordinate space)と称する。
1面の三次元立体映像を合成する場合には、データベースから各異なる対象物を読み取り、そして一つの一致した世界座標空間42(world coordinate space)に変換し、それからこの世界座標空間42内に定義シーン、参考視角と光源52を定義し、続いてローカル座標空間41から世界座標空間42へ変換する過程はモデル化変換61と称する。
次に、観測点(view)を定義する必要がある。
グラフィクスシステムのハードウェア解像度に制限があるため、連続した座標変換をX及びY座標、並びに深度座標(Z座標とも称する)を含む三次元スクリーン空間に変換する必要があり、隠面の除去(hidden surface removal)を行い及び対象物を画像(pixel)的方式で描画出す場合、世界座標空間42から視角座標空間43へ変換し、3Dビューボリュームでのカリング処理とクリッピング処理53(cull clip to 3D view volume)をするステップを行い、この過程は視角変換62とも称する。それから、視角座標空間43から三次元スクリーン座標空間44へ変換して隠面除去、ラスタライズ及び陰影処理54を行う。
その後、フレームバッファ領域(frame buffer)にて、最終結果の画像をスクリーン上に出力させて、三次元スクリーン座標空間から表示空間45へ変換する。
本実施例について、前記幾何変換サブシステム及び前記ラスタライズサブシステムのステップにおいては、マイクロプロセッサで完成してもよいし、または、例えば画像処理ユニット(graphic processing unit,GPU)或いは3Dグラフィクス加速カードなどのハードウェア加速装置と組合せして完成してもよい。
グラフィクスシステムのハードウェア解像度に制限があるため、連続した座標変換をX及びY座標、並びに深度座標(Z座標とも称する)を含む三次元スクリーン空間に変換する必要があり、隠面の除去(hidden surface removal)を行い及び対象物を画像(pixel)的方式で描画出す場合、世界座標空間42から視角座標空間43へ変換し、3Dビューボリュームでのカリング処理とクリッピング処理53(cull clip to 3D view volume)をするステップを行い、この過程は視角変換62とも称する。それから、視角座標空間43から三次元スクリーン座標空間44へ変換して隠面除去、ラスタライズ及び陰影処理54を行う。
その後、フレームバッファ領域(frame buffer)にて、最終結果の画像をスクリーン上に出力させて、三次元スクリーン座標空間から表示空間45へ変換する。
本実施例について、前記幾何変換サブシステム及び前記ラスタライズサブシステムのステップにおいては、マイクロプロセッサで完成してもよいし、または、例えば画像処理ユニット(graphic processing unit,GPU)或いは3Dグラフィクス加速カードなどのハードウェア加速装置と組合せして完成してもよい。
図8、図9、図10、図11A及び図11Bを参照し、これらの図はそれぞれ本発明に係る立体映像視覚効果処理方法の好適な実施例の映像表示を模式的に示す第1図、第2図、第3図、第4図、第5図である。
使用者はマウス、タッチパッド、タッチパネル或いは任意のマンマシンインターフェースを操作することによって前記カーソルを移動させて前記カーソル座標を変更させる場合には、前記カーソル座標値が、前記多数個の対象物12の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
使用者はマウス、タッチパッド、タッチパネル或いは任意のマンマシンインターフェースを操作することによって前記カーソルを移動させて前記カーソル座標を変更させる場合には、前記カーソル座標値が、前記多数個の対象物12の対象物座標値のうちのいずれかと重畳するか否かを再判断する。
重畳しない場合では、本来の表示画面の立体映像11に維持し、再描画しないようにする。もし、前記カーソル座標値が、前記多数個の対象物12の対象物座標値のうちのいずれかと重畳する場合では、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更し、しかも、上述した三次元グラフィクスレンダリングパイプラインステップにより、立体映像11を再描画する。
もし、カーソル座標値を変更して他の対象物12と相応する場合では、本来に選択した対象物12を本来の深度座標パラメーターに復元し、もう一つの選択した対象物12の深度座標パラメーターを変更し、全体の立体映像11を再描画すれば、選択された対象物12の立体視覚効果を突出することができる。
また、いずれかの対象物12がカーソル座標位置と相応してその深度座標位置を変更する場合では、ほかの対象物12の座標パラメーターもカーソル座標位置によって変更することもできるため、その視覚体験及び相互作用をより突出することができる。
もし、カーソル座標値を変更して他の対象物12と相応する場合では、本来に選択した対象物12を本来の深度座標パラメーターに復元し、もう一つの選択した対象物12の深度座標パラメーターを変更し、全体の立体映像11を再描画すれば、選択された対象物12の立体視覚効果を突出することができる。
また、いずれかの対象物12がカーソル座標位置と相応してその深度座標位置を変更する場合では、ほかの対象物12の座標パラメーターもカーソル座標位置によって変更することもできるため、その視覚体験及び相互作用をより突出することができる。
なお、前記対象物の対象物座標の前記深度座標パラメーターは、下記の方式によって決定される。
1:Zバッファ法(Z buffering)、又は深度バッファ法とも称する、対象物をレンダリングするに際して、各生成されたボクセルの深度(即ち、Z座標)を一つのバッファ領域内に保存{ほぞん}し、前記バッファ領域は、Zバッファ領域或いは深度領域とも称し、また、前記バッファ領域は、各スクリーンボクセル深度を保存するx−y二次元セットになるようにする。
もし、シーンに他の対象物も同一のボクセルにおいてレンダリング結果を生成する場合では、両方の深度値を比較し、かつ観察者との距離がより近い物体を保留し、しかもこの対象物深度を深度バッファ領域内に保存し、最後、前記深度バッファ領域の正確に深度を検知できる効果によって、より近い物体でより遠い物体を覆い隠せる。
しかして、このような過程はZ除去(Z culling)とも称する。図12A及び図12Bに示すようなZバッファ立体映像711及びZバッファ概略映像712が参照される。
もし、シーンに他の対象物も同一のボクセルにおいてレンダリング結果を生成する場合では、両方の深度値を比較し、かつ観察者との距離がより近い物体を保留し、しかもこの対象物深度を深度バッファ領域内に保存し、最後、前記深度バッファ領域の正確に深度を検知できる効果によって、より近い物体でより遠い物体を覆い隠せる。
しかして、このような過程はZ除去(Z culling)とも称する。図12A及び図12Bに示すようなZバッファ立体映像711及びZバッファ概略映像712が参照される。
2:画家深度ソート法(Painter’s algorithm):まず、距離がより遠い対象物を描画、そして、距離がより近い対象物を描画することによって距離がより遠い対象物部分を覆い隠せ、それは予め各々対象物を深度によってソートして、そして順序に従って描画を行えて順次に第1画家深度ソート映像713、第2画家深度ソート映像714及び第3画家深度ソート映像715が形成される。図13A、図13B及び図13Cに示すような例示が参照される。
3:平面法線ベクトル判定法:それは凹線がないの凸多面体に適用し、例えば、正多面体或いは水晶球{すいしょうきゅう}、その原理としては各面の法線ベクトルを求め出すため、もし、法線ベクトルのZ成分が0より大きい(即ち、面から線へ観察するもの)であれば、前記面は可視平面716と判定し、一方、もし、法線ベクトルのZ成分が0より小さいであれば、隠面717と判定して、描画する必要がない。図14に示すような例示が参照される。
4:曲面法線ベクトル判定法:判定基準として曲面方程式を用い、例えば、対象物の受光量を求めるに用いる時には、各点の座標値を方程式にそれぞれ代入し、法線ベクトルが求められて光線ベクトルと内積演算を行えることによって受光量が求められる。描画に際して、最も遠い点から描画し始めり。それにより、近い点が描画の際では遠い点を覆い隠せて深度問題を処理する。
5:最大最小法:描画に際して、最大のZ座標から描画し始め、そして、最大最小点はY座標の値によっていずれかの点は描画必要があるのを決定して一つの立体深度映像を形成する。図15に示すような例示が参照される。
本発明の立体映像視覚効果処理方法においては、その効果は操作を介してカーソルを移動させる可能で、対応する対象物の深度座標位置を変更させてその視覚効果を突出することができる。また、ほかの対象物でも対応してその相対座標位置を変更することにより、映像視覚の変化をさらに突出させる。
以上、本発明について添付の図面に基づき説明したが、本発明が上記説明の内容に限定されるものではなく、この分野の通常知識を有する者ならば理解されるように、添付の特許請求の範囲と精神を逸脱しない限り、様々な修正、変更或いは等効果変化、いずれも本発明の保護範囲に属する。
11 :立体映像
12 :対象物
21 :アプリケーション
22 :オペレーティング・システム
23 :アプリケーションインターフェース
24 :幾何変換サブシステム
25 :ラスタライズサブシステム
31 :幾何変換サブシステム
32 :ラスタライズサブシステム
41 :ローカル座標空間
42 :世界座標空間
43 :視角座標空間
44 :三次元スクリーン座標空間
45 :表示空間
51 :定義対象物
52 :定義シーン、参考視角と光源
53 :3Dビューボリュームでのカリング処理とクリッピング処理
54 :隠面除去、ラスタライズ及び陰影処理
61 :モデル化変換
62 :視角変換
700:和集合幾何図形
701:積集合幾何図形
702:差集合幾何図形
703:NURBS曲線
704:NURBS曲面
705:多辺形モデリング対象物
706:立方体
707:第1類球体
708:第2類球体
709:第3類球体
710:球体
711:Zバッファ立体映像
712:Zバッファ概略映像
713:第1画家深度ソート映像
714:第2画家深度ソート映像
715:第3画家深度ソート映像
716:可視平面
717:隠面
718:立体深度映像
S11〜S17:手順ステップ
12 :対象物
21 :アプリケーション
22 :オペレーティング・システム
23 :アプリケーションインターフェース
24 :幾何変換サブシステム
25 :ラスタライズサブシステム
31 :幾何変換サブシステム
32 :ラスタライズサブシステム
41 :ローカル座標空間
42 :世界座標空間
43 :視角座標空間
44 :三次元スクリーン座標空間
45 :表示空間
51 :定義対象物
52 :定義シーン、参考視角と光源
53 :3Dビューボリュームでのカリング処理とクリッピング処理
54 :隠面除去、ラスタライズ及び陰影処理
61 :モデル化変換
62 :視角変換
700:和集合幾何図形
701:積集合幾何図形
702:差集合幾何図形
703:NURBS曲線
704:NURBS曲面
705:多辺形モデリング対象物
706:立方体
707:第1類球体
708:第2類球体
709:第3類球体
710:球体
711:Zバッファ立体映像
712:Zバッファ概略映像
713:第1画家深度ソート映像
714:第2画家深度ソート映像
715:第3画家深度ソート映像
716:可視平面
717:隠面
718:立体深度映像
S11〜S17:手順ステップ
Claims (6)
- それぞれ一つの対象物座標値を有する多数個の対象物からなる立体映像を提供するステップと、
カーソル座標値を有するカーソルを提供するステップと、
前記カーソル座標値が、前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳するか否かを判断するステップと、
前記カーソル座標値が前記多数個の対象物の前記対象物座標値のうちのいずれかと重畳する場合には、対応している前記多数個の対象物の対象物座標値の深度座標パラメーターを変更するステップと、
前記カーソル座標値と相応する前記対象物の映像を再描画するステップと、
を含む、立体映像視覚効果処理方法。 - 前記カーソル座標値が変更しようとする場合には、前記カーソル座標値が、前記多数個の対象物の対象物座標値のうちのいずれかと重畳するか否かを再判断することを特徴とする、請求項1に記載の立体映像視覚効果処理方法。
- 前記多数個の対象物の対象物座標値はローカル座標、世界座標、視角座標或い投影座標に対応する座標値であることを特徴とする、請求項1に記載の立体映像視覚効果処理方法。
- 前記カーソル座標値は、マウス、タッチパッド或いはタッチパネルによって生成されることを特徴とする、請求項1に記載の立体映像視覚効果処理方法。
- 前記立体映像は順次に、モデリング、シーンレイアウト設定と動画生成、及びグラフィクスレンダリング、これらのコンピュータグラフィックスのステップによって生成されることを特徴とする、請求項1に記載の立体映像視覚効果処理方法。
- 前記多数個の対象物的前記対象物座標値的前記深度座標パラメーターは、Zバッファ法、画家深度ソート法、曲面法線ベクトル判定法、最大最小法、これらの方式によって決定することを特徴とする、請求項1に記載の立体映像視覚効果処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100108355A TW201237801A (en) | 2011-03-11 | 2011-03-11 | Method for processing three-dimensional image vision effects |
TW100108355 | 2011-03-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012190428A true JP2012190428A (ja) | 2012-10-04 |
Family
ID=46795113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011105327A Pending JP2012190428A (ja) | 2011-03-11 | 2011-05-10 | 立体映像視覚効果処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120229463A1 (ja) |
JP (1) | JP2012190428A (ja) |
KR (1) | KR20120104071A (ja) |
TW (1) | TW201237801A (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988461B1 (en) | 2011-01-18 | 2015-03-24 | Disney Enterprises, Inc. | 3D drawing and painting system with a 3D scalar field |
US9142056B1 (en) * | 2011-05-18 | 2015-09-22 | Disney Enterprises, Inc. | Mixed-order compositing for images having three-dimensional painting effects |
US10803655B2 (en) * | 2012-06-08 | 2020-10-13 | Advanced Micro Devices, Inc. | Forward rendering pipeline with light culling |
CN105468347B (zh) * | 2014-09-05 | 2018-07-27 | 富泰华工业(深圳)有限公司 | 暂停视频播放的系统及方法 |
CN106575158B (zh) * | 2014-09-08 | 2020-08-21 | 英特尔公司 | 环境映射虚拟化机构 |
CN108307675B (zh) * | 2015-04-19 | 2020-12-25 | 快图有限公司 | 用于vr/ar应用中的深度增强的多基线相机阵列系统架构 |
KR101676576B1 (ko) * | 2015-08-13 | 2016-11-15 | 삼성에스디에스 주식회사 | 3차원 모델의 복셀화 및 각 복셀의 속성 할당 장치 및 방법 |
TWI610569B (zh) * | 2016-03-18 | 2018-01-01 | 晶睿通訊股份有限公司 | 物體追蹤資訊的傳輸與顯示方法及其系統 |
CN107464278B (zh) | 2017-09-01 | 2020-01-24 | 叠境数字科技(上海)有限公司 | 全视向的球体光场渲染方法 |
US12243140B2 (en) | 2021-11-15 | 2025-03-04 | Disney Enterprises, Inc. | Synthesizing sequences of images for movement-based performance |
US20230168510A1 (en) * | 2021-11-29 | 2023-06-01 | Htc Corporation | Head-mounted display device, control method, and non-transitory computer readable storage medium |
US20230252714A1 (en) * | 2022-02-10 | 2023-08-10 | Disney Enterprises, Inc. | Shape and appearance reconstruction with deep geometric refinement |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02150968A (ja) * | 1988-12-02 | 1990-06-11 | Hitachi Ltd | 3次元カーソル制御装置 |
JPH02186419A (ja) * | 1989-01-13 | 1990-07-20 | Canon Inc | 画像表示装置 |
JPH06131442A (ja) * | 1992-10-19 | 1994-05-13 | Mazda Motor Corp | 3次元虚像造形装置 |
JPH07296007A (ja) * | 1994-04-27 | 1995-11-10 | Sanyo Electric Co Ltd | 3次元画像情報端末装置 |
JPH0922340A (ja) * | 1995-07-07 | 1997-01-21 | Sharp Corp | 情報処理装置の表示方法および情報処理装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2124505C (en) * | 1993-07-21 | 2000-01-04 | William A. S. Buxton | User interface having simultaneously movable tools and cursor |
JP3245336B2 (ja) * | 1995-09-29 | 2002-01-15 | 富士通株式会社 | モデリング方法およびモデリングシステム |
US6308144B1 (en) * | 1996-09-26 | 2001-10-23 | Computervision Corporation | Method and apparatus for providing three-dimensional model associativity |
JPH10232757A (ja) * | 1997-02-19 | 1998-09-02 | Sharp Corp | メディア選択装置 |
JP3356667B2 (ja) * | 1997-11-14 | 2002-12-16 | 松下電器産業株式会社 | アイコン表示装置 |
US6075531A (en) * | 1997-12-15 | 2000-06-13 | International Business Machines Corporation | Computer system and method of manipulating multiple graphical user interface components on a computer display with a proximity pointer |
JP2002175139A (ja) * | 2000-12-07 | 2002-06-21 | Sony Corp | 情報処理装置、メニュー表示方法及びプログラム格納媒体 |
JPWO2002046899A1 (ja) * | 2000-12-08 | 2004-04-08 | 富士通株式会社 | ウィンドウ表示制御方法およびウィンドウ表示制御装置並びにプログラムを記録したコンピュータ読取可能な記録媒体 |
CA2373707A1 (en) * | 2001-02-28 | 2002-08-28 | Paul Besl | Method and system for processing, compressing, streaming and interactive rendering of 3d color image data |
US6894688B2 (en) * | 2002-07-30 | 2005-05-17 | Koei Co., Ltd. | Program, recording medium, rendering method and rendering apparatus |
US7814436B2 (en) * | 2003-07-28 | 2010-10-12 | Autodesk, Inc. | 3D scene orientation indicator system with scene orientation change capability |
US20070198942A1 (en) * | 2004-09-29 | 2007-08-23 | Morris Robert P | Method and system for providing an adaptive magnifying cursor |
US20070094614A1 (en) * | 2005-10-26 | 2007-04-26 | Masuo Kawamoto | Data processing device |
US7774430B2 (en) * | 2005-11-14 | 2010-08-10 | Graphics Properties Holdings, Inc. | Media fusion remote access system |
US9086785B2 (en) * | 2007-06-08 | 2015-07-21 | Apple Inc. | Visualization object receptacle |
US8151215B2 (en) * | 2008-02-07 | 2012-04-03 | Sony Corporation | Favorite GUI for TV |
US9372590B2 (en) * | 2008-09-26 | 2016-06-21 | Microsoft Technology Licensing, Llc | Magnifier panning interface for natural input devices |
-
2011
- 2011-03-11 TW TW100108355A patent/TW201237801A/zh unknown
- 2011-04-27 US US13/095,112 patent/US20120229463A1/en not_active Abandoned
- 2011-05-10 JP JP2011105327A patent/JP2012190428A/ja active Pending
- 2011-05-26 KR KR1020110049940A patent/KR20120104071A/ko not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02150968A (ja) * | 1988-12-02 | 1990-06-11 | Hitachi Ltd | 3次元カーソル制御装置 |
JPH02186419A (ja) * | 1989-01-13 | 1990-07-20 | Canon Inc | 画像表示装置 |
JPH06131442A (ja) * | 1992-10-19 | 1994-05-13 | Mazda Motor Corp | 3次元虚像造形装置 |
JPH07296007A (ja) * | 1994-04-27 | 1995-11-10 | Sanyo Electric Co Ltd | 3次元画像情報端末装置 |
JPH0922340A (ja) * | 1995-07-07 | 1997-01-21 | Sharp Corp | 情報処理装置の表示方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120229463A1 (en) | 2012-09-13 |
TW201237801A (en) | 2012-09-16 |
KR20120104071A (ko) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012190428A (ja) | 立体映像視覚効果処理方法 | |
CN108351864B (zh) | 成凹几何密铺 | |
CN108090947B (zh) | 一种面向3d场景的光线追踪优化方法 | |
US8154544B1 (en) | User specified contact deformations for computer graphics | |
KR101145260B1 (ko) | 3d 객체 모델에 텍스쳐를 매핑하는 방법 및 장치 | |
US10719912B2 (en) | Scaling and feature retention in graphical elements defined based on functions | |
EP4462368A1 (en) | Rendering optimization method, and electronic device and computer-readable storage medium | |
RU2427918C2 (ru) | Метафора двумерного редактирования для трехмерной графики | |
CN111788608B (zh) | 用于建模光反射的混合射线跟踪方法 | |
WO2006122212A2 (en) | Statistical rendering acceleration | |
US9367943B2 (en) | Seamless fracture in a production pipeline | |
JP2023171435A (ja) | 複合現実において動的仮想コンテンツを生成するデバイスおよび方法 | |
US9401044B1 (en) | Method for conformal visualization | |
RU2680355C1 (ru) | Способ и система удаления невидимых поверхностей трёхмерной сцены | |
US20070139408A1 (en) | Reflective image objects | |
CN116051713B (zh) | 渲染方法、电子设备和计算机可读存储介质 | |
Broecker et al. | Adapting ray tracing to spatial augmented reality | |
CN102693065A (zh) | 立体影像视觉效果处理方法 | |
JP2003115055A (ja) | 画像生成装置 | |
CN107689076B (zh) | 一种用于虚拟手术系统切割时的高效渲染方法 | |
KR101227155B1 (ko) | 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법 | |
CN111625093B (zh) | 一种海量数字点云数据在mr眼镜中的动态调度显示方法 | |
JP3711273B2 (ja) | オクルージョンカリングを行う3次元グラフィックス描画装置 | |
Abdallah et al. | Internet-Based 3D Volumes with Signed Distance Fields: Establishing a WebGL Rendering Infrastructure | |
Clemenz et al. | Reflection Techniques in Real-Time Computer Graphics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130212 |