[go: up one dir, main page]

JPH10172009A - 3D CG animation creation apparatus and creation method - Google Patents

3D CG animation creation apparatus and creation method

Info

Publication number
JPH10172009A
JPH10172009A JP33410896A JP33410896A JPH10172009A JP H10172009 A JPH10172009 A JP H10172009A JP 33410896 A JP33410896 A JP 33410896A JP 33410896 A JP33410896 A JP 33410896A JP H10172009 A JPH10172009 A JP H10172009A
Authority
JP
Japan
Prior art keywords
dimensional
motion
setting
data
projected image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP33410896A
Other languages
Japanese (ja)
Other versions
JP3361437B2 (en
Inventor
Fumiko Shiojiri
史子 塩尻
Toshio Moriya
俊夫 守屋
Haruo Takeda
晴夫 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP33410896A priority Critical patent/JP3361437B2/en
Publication of JPH10172009A publication Critical patent/JPH10172009A/en
Application granted granted Critical
Publication of JP3361437B2 publication Critical patent/JP3361437B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】3次元空間内のオブジェクトに対する動作設定
を容易にすること。 【解決手段】3次元CGアニメーション作成装置におい
て、入力装置から2次元投影画像上におけるオブジェク
トの2次元動作を設定する手段25と、オブジェクトの
2次元サイズの化を設定する手段26と、上記設定デー
タと、オブジェクト3次元形状モデル、カメラパラメー
タから、3次元空間内におけるオブジェクトの3次元動
作を算出する手段29とを設けることにより、2次元投
影画像上にて動作を設定し、自動的に3次元動作を導き
出せるようにした。
(57) [Summary] [PROBLEMS] To easily set an operation for an object in a three-dimensional space. In a three-dimensional CG animation creating apparatus, a means for setting a two-dimensional motion of an object on a two-dimensional projected image from an input device, a means for setting a two-dimensional size of the object, and the setting data And a means 29 for calculating the three-dimensional motion of the object in the three-dimensional space from the object three-dimensional shape model and the camera parameters, thereby setting the motion on the two-dimensional projected image and automatically setting the three-dimensional motion. Movement can be derived.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、3次元CGによる
アニメーション作成技術に関し、特に2次元画像上に動
きを指定することによって3次元空間内の動きを作成す
る3次元CGアニメーション作成装置及び作成方法に関
する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an animation creating technique using three-dimensional CG, and more particularly to a three-dimensional CG animation creating apparatus and method for creating a motion in a three-dimensional space by designating a motion on a two-dimensional image. About.

【0002】[0002]

【従来の技術】コンピュータ等を用い、3次元CGのア
ニメーションを作成するとき、動作の対象となるオブジ
ェクトに動きを与える方法としてキーフレーム法があ
る。キーフレーム法は、ユーザがアニメーションの流れ
の中でオブジェクトの動きの主要な変化があるフレーム
に対して、動きのパラメータを対話的に設定し、その中
間のフレームの動きは自動的に作成する方法である。こ
こで、動きのパラメータが設定されたフレームのことを
キーフレームという。
2. Description of the Related Art When creating a three-dimensional CG animation using a computer or the like, there is a key frame method as a method for giving a motion to an object to be moved. The keyframe method is a method in which the user interactively sets the motion parameters for frames where there is a major change in the motion of the object in the animation flow, and automatically creates motion for intermediate frames. It is. Here, a frame in which a motion parameter is set is called a key frame.

【0003】キーフレームでのオブジェクトの3次元空
間内の位置や姿勢の指定方法は、X軸、Y軸、Z軸方向
の位置、及び、オブジェクトのX軸、Y軸、Z軸まわり
の回転角度を設定する方法が一般的である。特開平4−
127279号公報には、オブジェクトの動作設定方法
として、キーフレームにおけるオブジェクトの始点及び
終点の位置、速度を示す情報に基づいて、オブジェクト
の始点から終点までの運動経路を算出する方法が開示さ
れている。また、別の方法として、オブジェクトの動き
の軌跡を直線や曲線を組み合わせて3次元空間内に設定
する方法もある。多くの3次元CGアニメーションソフ
トはこれらの方法を採用している。しかしながら、その
いずれも3次元空間内に位置なり軌跡を直接設定するも
のであり、2次元画像上に設定するものはなかった。
The method of designating the position and orientation of an object in a three-dimensional space in a key frame is as follows: the position in the X-axis, Y-axis, and Z-axis directions, and the rotation angles of the object around the X, Y, and Z axes. Is generally set. JP-A-4-
Japanese Patent Application Laid-Open No. 127279 discloses a method for calculating a motion path from the start point to the end point of an object based on information indicating the positions and speeds of the start point and the end point of the object in a key frame. . As another method, there is a method of setting the locus of the movement of the object in a three-dimensional space by combining straight lines and curves. Many 3D CG animation software adopts these methods. However, none of them set the position and the trajectory directly in the three-dimensional space, and there is no setting in the two-dimensional image.

【0004】[0004]

【発明が解決しようとする課題】オブジェクトに動きを
与えるとき、オブジェクトの3次元空間内における位置
または軌跡を設定する方法では、それが2次元投影画像
上でアニメーションとしてどのような動きにみえるのか
想像することは容易ではない。それは、3次元オブジェ
クトを2次元画像上に投影したとき、カメラパラメータ
や視点位置からの距離に応じて、投影されるオブジェク
トの位置や形状が変化するためである。
When a motion is given to an object, the method of setting the position or trajectory of the object in a three-dimensional space involves imagining how the object looks as an animation on a two-dimensional projected image. It is not easy to do. This is because when a three-dimensional object is projected on a two-dimensional image, the position and shape of the projected object change according to the camera parameters and the distance from the viewpoint position.

【0005】また逆に、2次元投影画像上でのオブジェ
クトの動作を想定したとき、3次元空間内でオブジェク
トのX軸、Y軸、Z軸方向の位置がそれぞれどのように
変化するのか想像するのは初心者でなくとも困難であ
る。
Conversely, assuming the movement of an object on a two-dimensional projected image, imagine how the position of the object in the X-axis, Y-axis, and Z-axis directions changes in a three-dimensional space. It is difficult even for beginners.

【0006】一方、2次元アニメーションなどで一般的
に行われる方法として、2次元画像の奥行きをだすため
にオブジェクトの大きさを変える方法がある。しかし本
方法では、見た目では3次元的な効果を出すことは可能
だが、あくまで画像は2次元のため、視点の変化等3次
元CGの持つ特徴の実現は不可能である。
On the other hand, as a method generally performed in two-dimensional animation or the like, there is a method of changing the size of an object in order to increase the depth of a two-dimensional image. However, in this method, it is possible to produce a three-dimensional effect in appearance, but it is impossible to realize the features of the three-dimensional CG such as a change in viewpoint because the image is two-dimensional.

【0007】したがって、本発明の目的は、ユーザが感
覚的に、かつ容易に3次元空間内のオブジェクトに対し
て動作設定ができる3次元CGアニメーション作成装置
及び作成方法を提供することである。
Accordingly, an object of the present invention is to provide a three-dimensional CG animation creation apparatus and a creation method that allow a user to intuitively and easily set an operation on an object in a three-dimensional space.

【0008】[0008]

【課題を解決するための手段】上記課題を解決するため
に、本発明は、マウスやキーボード等の入力装置を用い
て、オブジェクトの動作を指定する際に3次元空間内で
のオブジェクトの動作を2次元投影画像上に直接設定す
る手段、2次元投影画像上でのオブジェクトの2次元サ
イズの変化を設定する手段、前記手段によって設定され
たオブジェクトの動作や大きさの変化、オブジェクトの
形状モデル、視点位置情報等のカメラパラメータから、
オブジェクトの3次元空間内での動きを算出する手段を
有する3次元CGアニメーション作成装置を提供するも
のである。
In order to solve the above-mentioned problems, the present invention relates to an operation of an object in a three-dimensional space when designating the operation of the object using an input device such as a mouse or a keyboard. Means for directly setting on the two-dimensional projected image, means for setting the change of the two-dimensional size of the object on the two-dimensional projected image, movement and size change of the object set by the means, a shape model of the object, From camera parameters such as viewpoint position information,
An object of the present invention is to provide a three-dimensional CG animation creating apparatus having means for calculating a motion of an object in a three-dimensional space.

【0009】上記3次元CGアニメーション作成装置を
用いることによって、ユーザはオブジェクトの3次元位
置を意識することなく、2次元画像への投影結果のみを
考慮しながらオブジェクトの動作設定を行うと、ユーザ
の意図した動作がそのままアニメーション結果に反映さ
れる。さらに、2次元投影画像上でのオブジェクトの位
置や大きさ等によってオブジェクトの3次元位置が算出
されるので、2次元上で設定したものに対し3次元とし
て扱うことが可能になるため、3次元空間内における位
置の修正を3次元座標値にて行うことや、異視点から見
た画像の表示等も可能になる。
By using the above-described three-dimensional CG animation creating apparatus, the user can set the operation of the object without considering the three-dimensional position of the object while considering only the projection result on the two-dimensional image. The intended operation is reflected in the animation result as it is. Furthermore, since the three-dimensional position of the object is calculated based on the position and size of the object on the two-dimensional projected image, it is possible to treat the object set in two dimensions as three-dimensional. It is also possible to correct the position in the space using three-dimensional coordinate values, display an image viewed from a different viewpoint, and the like.

【0010】[0010]

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳述する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0011】図1は、本発明の実施の形態におけるハー
ドウェア構成を示した図である。
FIG. 1 is a diagram showing a hardware configuration according to an embodiment of the present invention.

【0012】本装置は、プログラムに基づいた計算や制
御を行うCPU(1)、数値やコマンドを入力するため
の外部入力装置であるキーボード(3)、2次元座標値
の入力やコマンドの選択、操作をするための外部入力装
置であるマウス(4)、キーボード(3)やマウス
(4)の入力の制御を行う入力ポート(2)、3次元画
像の表示等を制御する3次元グラフィックスボード
(5)、2次元画像及び3次元グラフィックスボード
(5)にて2次元画像に変換された3次元データをディ
スプレイに表示するディスプレイCRTコントローラ
(6)、画像を表示する装置CRTディスプレイ
(7)、アニメーションを作成するためのプログラム等
を記憶する主記憶装置(8)、画像データや3次元形状
データ、アニメーションデータ等を格納するハードディ
スクまたはフロッピーディスク等の補助記憶装置(1
4)、及び、これらの構成要素を相互に結合するバス
(19)から構成される。
The apparatus includes a CPU (1) for performing calculations and controls based on a program, a keyboard (3) as an external input device for inputting numerical values and commands, inputting two-dimensional coordinate values and selecting commands, A mouse (4) which is an external input device for operation, an input port (2) for controlling input of a keyboard (3) and a mouse (4), a three-dimensional graphics board for controlling display of three-dimensional images and the like (5) A display CRT controller (6) for displaying a three-dimensional data converted to a two-dimensional image by a two-dimensional image and a three-dimensional graphics board (5) on a display, and a device CRT display (7) for displaying an image , A main storage device (8) for storing a program for creating an animation, etc., and storing image data, three-dimensional shape data, animation data, etc. An auxiliary storage device such as a hard disk or floppy disk to be (1
4) and a bus (19) interconnecting these components.

【0013】主記憶装置(8)は、メモリやキーボード
(3)やマウス(4)を使用して、2次元または3次元
のCGモデルを作成したり、アニメーションのパラメー
タ等を設定するための作業領域(9)、3次元空間内デ
ータを視点位置から見た2次元透視画像またはxy平
面、yz平面、zx平面に投影した2次元投影画像を格
納する投影画像データ(10)、投影画像上のオブジェ
クトの動きを2次元線分で設定する2次元動作設定プロ
グラム(11)、投影画像上のオブジェクトの大きさを
設定する2次元サイズ設定プログラム(12)、2次元
投影画像上の動作パラメータ等の情報をもとにオブジェ
クトの3次元空間での動作を計算する3次元動作算出プ
ログラム(13)によって構成されている。なお、3次
元空間内データを視点位置から見た2次元透視画像やx
y平面、yz平面、zx平面に投影した2次元投影画像
を作成する透視変換等の処理は、3次元グラフィックス
ボード(5)にて自動的に計算される。
The main storage device (8) is a work for creating a two-dimensional or three-dimensional CG model and setting animation parameters using a memory, a keyboard (3) and a mouse (4). Area (9), projection image data (10) for storing a two-dimensional perspective image obtained by viewing data in a three-dimensional space from a viewpoint position or a two-dimensional projection image projected on an xy plane, a yz plane, or a zx plane; A two-dimensional motion setting program (11) for setting the motion of an object by a two-dimensional line segment, a two-dimensional size setting program (12) for setting the size of an object on a projected image, and motion parameters on the two-dimensional projected image. It is constituted by a three-dimensional motion calculation program (13) for calculating the motion of the object in the three-dimensional space based on the information. Note that a two-dimensional perspective image of the data in the three-dimensional space viewed from the viewpoint position or x
Processing such as perspective transformation for creating a two-dimensional projected image projected on the y-plane, the yz-plane, and the zx-plane is automatically calculated by the three-dimensional graphics board (5).

【0014】補助記憶装置(14)には、アニメーショ
ンの背景となる2次元画像またはアニメーション空間の
環境3次元データ、またはそれらを組み合わせたもの
や、視点位置や視軸等のカメラパラメータを総合した、
アニメーションのベースとなるデータが格納されている
環境モデルデータ格納部(15)、アニメーションの対
象となるオブジェクトの3次元形状データを格納するオ
ブジェクト3次元データ格納部(16)、2次元動作設
定プログラム(11)や2次元サイズ設定プログラム
(12)によって導かれたデータを格納する2次元動作
データ格納部(17)、3次元動作算出プログラム(1
3)によって導かれたデータを格納する3次元動作デー
タ格納部(18)が含まれる。
The auxiliary storage device (14) integrates camera parameters such as a two-dimensional image serving as a background of the animation or environment three-dimensional data of the animation space, or a combination thereof, and a viewpoint position and a visual axis.
An environment model data storage unit (15) storing data serving as a base for animation, an object three-dimensional data storage unit (16) storing three-dimensional shape data of an object to be animated, and a two-dimensional operation setting program ( 11) and a two-dimensional motion data storage unit (17) for storing data derived by the two-dimensional size setting program (12), and a three-dimensional motion calculation program (1).
A three-dimensional motion data storage unit (18) for storing data derived by 3) is included.

【0015】図2は、アニメーション作成装置における
内部構成を示した図である。
FIG. 2 is a diagram showing an internal configuration of the animation creating apparatus.

【0016】動作設定対象のオブジェクトの3次元形状
モデル(20)と環境モデル(21)を、環境モデル
(21)に含まれる視点位置や視軸などのカメラパラメ
ータをもとに、2次元投影画像作成部(22)にて2次
元投影画像(23)を作成し、表示装置(27)に表示
する。表示された2次元投影画像(23)に対して、キ
ーボード(3)やマウス(4)等の入力装置(24)を
使用し、オブジェクト2次元動作設定部(25)にて、
任意のフレームにおけるオブジェクトの位置を数値また
はオブジェクトのウィンドウ上の位置で示すか、軌跡を
あらわす線分によってオブジェクトのマクロな動きを設
定し、オブジェクト2次元サイズ設定部(26)にて任
意のフレームで表示されるオブジェクトの2次元サイズ
を、大きさの初期値を「1」として倍率で設定する。
A three-dimensional shape model (20) and an environment model (21) of an object to be set are converted into a two-dimensional projection image based on camera parameters such as a viewpoint position and a visual axis included in the environment model (21). The creating unit (22) creates a two-dimensional projected image (23) and displays it on the display device (27). An input device (24) such as a keyboard (3) or a mouse (4) is used for the displayed two-dimensional projection image (23), and an object two-dimensional operation setting unit (25) is used.
The position of the object in an arbitrary frame is indicated by a numerical value or a position on the window of the object, or a macro motion of the object is set by a line segment representing a trajectory, and the object two-dimensional size setting unit (26) sets the macro motion of the object in the arbitrary frame. The two-dimensional size of the object to be displayed is set by the magnification with the initial value of the size being “1”.

【0017】上記のようにして設定された位置及び大き
さのオブジェクトの2次元画像を2次元投影画像(2
3)と合成し、合成結果を表示装置(27)に表示す
る。ここで導かれた2次元の動作データはオブジェクト
投影画像上2次元動作データ記憶装置(28)に格納さ
れ、2次元動作及びサイズデータ、オブジェクト3次元
形状モデル(20)、環境モデル(21)から、3次元
動作算出部(29)にて、オブジェクトの3次元動作が
計算され、オブジェクト3次元動作データ記憶装置(3
0)に格納される。上記にて算出されたオブジェクトの
3次元位置データとオブジェクト3次元形状モデル(2
0)、環境モデル(21)より、2次元投影画像作成部
(22)にて2次元投影画像(23)が作成され、オブ
ジェクトがユーザの意図する位置及び大きさに正しく投
影されたものが表示装置(27)に表示される。
The two-dimensional image of the object having the position and size set as described above is converted into a two-dimensional projected image (2
3) and the result is displayed on the display device (27). The two-dimensional motion data derived here is stored in the two-dimensional motion data storage device (28) on the object projection image, and is obtained from the two-dimensional motion and size data, the object three-dimensional shape model (20), and the environment model (21). The three-dimensional motion calculation unit (29) calculates the three-dimensional motion of the object and stores the three-dimensional motion data in the object three-dimensional motion data storage device (3).
0). The three-dimensional position data of the object calculated above and the object three-dimensional shape model (2
0), a two-dimensional projected image (23) is created by the two-dimensional projected image creating unit (22) from the environment model (21), and the object projected correctly at the position and size intended by the user is displayed. It is displayed on the device (27).

【0018】図3は本発明におけるアニメーション作成
方法のフローチャートである。
FIG. 3 is a flowchart of the animation creating method according to the present invention.

【0019】まず、ステップ1000にて、アニメーシ
ョン作成に必要となるデータを用意する。一つは、動作
設定対象となるオブジェクトの3次元形状モデルであ
り、一つは、アニメーションの背景となる2次元画像、
または3次元空間内の環境3次元形状モデル、視点位置
や視軸等のカメラパラメータを総合した環境モデルであ
る。
First, in step 1000, data necessary for creating an animation is prepared. One is a three-dimensional shape model of an object to be set, and the other is a two-dimensional image serving as a background of an animation.
Alternatively, it is an environment model obtained by integrating camera parameters such as a viewpoint three-dimensional shape model, a viewpoint position, and a visual axis in a three-dimensional space.

【0020】ステップ2000では、オブジェクトに対
して動作設定を行う。ここでは、3次元空間内にあるオ
ブジェクトに対して2次元画像上にて動作設定を行う。
詳細については図4を用いて後述する。
In step 2000, an operation is set for the object. Here, an operation setting is performed on a two-dimensional image for an object in a three-dimensional space.
Details will be described later with reference to FIG.

【0021】ステップ3000では、ステップ2000
にて設定されたオブジェクトの2次元画像上での動作
を、ステップ1000にて用意されたオブジェクトの3
次元形状モデル、カメラパラメータなどのデータを用い
て、3次元空間内での動作に変換する。詳細については
図5を用いて後述する。
In step 3000, step 2000
The operation on the two-dimensional image of the object set in step
Using data such as a three-dimensional shape model and camera parameters, the motion is converted into a motion in a three-dimensional space. Details will be described later with reference to FIG.

【0022】ステップ4000では、ステップ1000
にて用意された、オブジェクトの3次元形状モデル及び
環境モデル、ならびに、ステップ3000にて算出され
たオブジェクトの3次元空間内での動作をもとに、フレ
ームごとの2次元投影画像を作成する。
In step 4000, step 1000
A two-dimensional projection image for each frame is created based on the three-dimensional shape model and the environment model of the object prepared in step 3 and the motion of the object in the three-dimensional space calculated in step 3000.

【0023】ステップ5000では、ステップ4000
にて作成された2次元投影画像を順に表示することによ
ってアニメーションを再生し、この結果よりステップ6
000にて動作修正の有無を決定する。動作修正を行う
場合はステップ2000に戻り、行わない場合は終了す
る。
In step 5000, step 4000
The animation is reproduced by sequentially displaying the two-dimensional projection images created in step, and based on the result, step 6
000 is used to determine the presence or absence of operation modification. If the operation is to be corrected, the process returns to step 2000; otherwise, the process ends.

【0024】図4は、図3のオブジェクトの2次元動作
設定ステップ2000の詳細フローチャートである。こ
こでは、オブジェクトの動作設定方法として、キーフレ
ームにおける2次元位置を設定することにより動作を設
定する方法を説明する。なお、2次元動作設定のインタ
ーフェイスについては図7にて後述する。
FIG. 4 is a detailed flowchart of the two-dimensional motion setting step 2000 of the object in FIG. Here, a method of setting an action by setting a two-dimensional position in a key frame will be described as a method of setting an action of an object. The two-dimensional operation setting interface will be described later with reference to FIG.

【0025】まず、ステップ2100にて環境モデルの
2次元投影画像を作成し、ステップ2200にてオブジ
ェクト3次元形状モデルの投影画像を作成する。ステッ
プ2300にて、上記作成の2枚の投影画像を合成し表
示する。ステップ2400にて、オブジェクトの動作指
定を続行するか終了するか選択する。
First, in step 2100, a two-dimensional projected image of the environment model is created, and in step 2200, a projected image of the three-dimensional object model is created. In step 2300, the two projection images created above are combined and displayed. In step 2400, it is selected whether to continue or end the designation of the operation of the object.

【0026】続行する場合は、ステップ2500に進
む。ステップ2500にて、オブジェクトの位置や大き
さを設定するキーフレームの番号を入力する。ステップ
2600にて、ステップ2500にて指定されたフレー
ムにおける、オブジェクトの投影画像上の2次元位置を
設定する。設定方法としては、座標値の入力による設定
やマウスを用いた画面上のオブジェクトの位置指定によ
る設定が挙げられる。このとき、オブジェクトの位置を
示す2次元座標値は、投影画像の座標系にて設定する。
To continue, the process proceeds to step 2500. In step 2500, a key frame number for setting the position and size of the object is input. In step 2600, a two-dimensional position on the projected image of the object in the frame specified in step 2500 is set. Examples of the setting method include setting by inputting coordinate values and setting by specifying the position of an object on a screen using a mouse. At this time, the two-dimensional coordinate value indicating the position of the object is set in the coordinate system of the projected image.

【0027】ステップ2700にて、ステップ2500
にて指定されたフレームにおけるオブジェクトの投影画
像上の大きさを設定する。このとき、元の大きさに対す
る倍率にて設定する。
At step 2700, step 2500
Sets the size of the object on the projected image in the frame specified by. At this time, the magnification is set with respect to the original size.

【0028】ステップ2800では、ステップ2500
にて指定されたフレームにおけるオブジェクトの3次元
位置を、オブジェクトの3次元形状モデルやカメラパラ
メータ、ステップ2600にて設定したオブジェクトの
2次元位置、ステップ2700にて設定したオブジェク
トの大きさより算出する。このとき、オブジェクトの3
次元位置を算出するのは、指定フレームにおける投影画
像上のオブジェクトの見えかたを確認するためである。
In step 2800, step 2500
The three-dimensional position of the object in the frame designated by is calculated from the three-dimensional shape model and camera parameters of the object, the two-dimensional position of the object set in step 2600, and the size of the object set in step 2700. At this time, object 3
The reason for calculating the dimensional position is to confirm how the object on the projected image in the specified frame looks.

【0029】ステップ2800にて指定されたフレーム
におけるオブジェクトの3次元位置が定まると、ステッ
プ2200に戻り、ステップ2700にて算出された3
次元位置をもとにオブジェクト3次元形状モデルの投影
画像を作成し(ステップ2200)、ステップ2100
にて作成された環境モデルの投影画像と合成して表示す
る(ステップ2300)。
When the three-dimensional position of the object in the frame specified in step 2800 is determined, the flow returns to step 2200, and the 3D position calculated in step 2700 is obtained.
Based on the three-dimensional position, a projected image of the object three-dimensional shape model is created (step 2200), and step 2100 is performed.
Is displayed in combination with the projected image of the environment model created in (2300).

【0030】以上の操作を、必要なフレームすべてに対
して行い、オブジェクトの動作設定終了(ステップ24
00)が選択されると、上記操作において設定されたす
べてのキーフレーム、キーフレームにおけるオブジェク
トの2次元位置、2次元サイズの変化のデータを、2次
元動作データ格納部(17)に格納し(ステップ290
0)、オブジェクトの2次元動作設定を終了する。
The above operation is performed for all necessary frames, and the operation setting of the object is completed (step 24).
When (00) is selected, all the key frames set in the above operation, the two-dimensional position of the object in the key frames, and the data of the two-dimensional size change are stored in the two-dimensional motion data storage unit (17) ( Step 290
0), the two-dimensional motion setting of the object ends.

【0031】図5は、図3のオブジェクトの3次元位置
算出ステップ3000の詳細フローチャートである。
FIG. 5 is a detailed flowchart of the object three-dimensional position calculation step 3000 in FIG.

【0032】ステップ3100にてオブジェクト3次元
形状モデルを読み込み、ステップ3200にて視点位置
や視軸等のカメラパラメータを読み込み、ステップ33
00にて2次元動作データ格納部(17)に格納され
た、キーフレーム及びキーフレームにおけるオブジェク
トの2次元座標や大きさの情報を読み込む。
At step 3100, an object three-dimensional shape model is read. At step 3200, camera parameters such as a viewpoint position and a visual axis are read.
At 00, the key frame and the information on the two-dimensional coordinates and the size of the object in the key frame stored in the two-dimensional motion data storage unit (17) are read.

【0033】ステップ3400にて、オブジェクトの2
次元投影画像上における2次元座標や大きさから、3次
元空間内における3次元座標を算出し、ステップ350
0にて、フレーム番号、そのフレームに対応するオブジ
ェクトの3次元位置座標が対になったデータを、3次元
動作データ格納部(18)に格納する。
At step 3400, the object 2
The three-dimensional coordinates in the three-dimensional space are calculated from the two-dimensional coordinates and the size on the three-dimensional projected image, and step 350
At 0, data in which the frame number and the three-dimensional position coordinates of the object corresponding to the frame are paired is stored in the three-dimensional motion data storage unit (18).

【0034】キーフレームにおいて設定されたオブジェ
クトの位置を補間する方法として、2次元動作に対して
補間する方法と、3次元動作に変換した後に補間する方
法とがある。
As a method of interpolating the position of an object set in a key frame, there are a method of interpolating for a two-dimensional operation and a method of interpolating after converting to a three-dimensional operation.

【0035】前者の場合は、図5におけるステップ34
00の前に2次元動作データ格納部(17)に格納され
た2次元座標データと2次元サイズそれぞれに対して補
間データを求めるステップを挿入し、ステップ3400
にて全てのフレームにおけるオブジェクトの3次元位置
をそれぞれ求める。
In the former case, step 34 in FIG.
Before 00, a step of obtaining interpolation data for each of the two-dimensional coordinate data and the two-dimensional size stored in the two-dimensional motion data storage unit (17) is inserted, and a step 3400 is performed.
The three-dimensional positions of the objects in all the frames are obtained.

【0036】また、後者の場合は、図3における3次元
位置算出ステップ3000では、キーフレームのみにお
けるオブジェクトの3次元位置を算出し、図3における
アニメーション画像データ作成(ステップ4000)の
前に、3次元動作データ格納部(18)に格納された3
次元座標データに対して補間データを求めるステップを
挿入する。補間の方法に関しては、公知の技術を用いる
ことができる。
In the latter case, in the three-dimensional position calculation step 3000 in FIG. 3, the three-dimensional position of the object only in the key frame is calculated, and before the creation of the animation image data (step 4000) in FIG. 3 stored in the dimensional motion data storage unit (18)
A step of obtaining interpolation data for the dimensional coordinate data is inserted. A known technique can be used for the interpolation method.

【0037】図6は2次元投影画像上でのオブジェクト
の位置及び大きさを決定するインターフェイスを示した
図である。ここでは、オブジェクトの動作を軌跡ではな
くフレームごとの2次元位置にて決定する方法を例とし
て挙げる。
FIG. 6 is a diagram showing an interface for determining the position and size of an object on a two-dimensional projected image. Here, a method of determining the motion of the object based on the two-dimensional position for each frame instead of the trajectory will be described as an example.

【0038】図6において、100は2次元投影画像を
表示するウィンドウであり、101は2次元投影画像に
おけるXY座標である。また102は、3次元空間内に
おける座標軸を示す。ここで、アニメーションの対象と
なるのは103に示されるオブジェクトで、その他は環
境データである。104では動作設定を行うフレーム数
を指定・表示し、105ではスライダまたは数値入力等
によってオブジェクトの大きさを設定し数値を表示し、
106、107ではスライダまたは数値入力等によって
オブジェクトの2次元のX座標値、Y座標値を設定し、
それぞれの数値を表示する。108は、設定中のオブジ
ェクトの情報を表示するウィンドウである。
In FIG. 6, reference numeral 100 denotes a window for displaying a two-dimensional projected image, and 101 denotes XY coordinates in the two-dimensional projected image. Reference numeral 102 denotes a coordinate axis in a three-dimensional space. Here, the object to be animated is the object indicated by 103, and the others are environmental data. In 104, the number of frames to be set is specified and displayed. In 105, the size of the object is set by a slider or numerical input, and the numerical value is displayed.
At 106 and 107, a two-dimensional X coordinate value and a Y coordinate value of the object are set by a slider or a numerical value input, and the like.
Display each numerical value. Reference numeral 108 denotes a window that displays information on the object being set.

【0039】オブジェクトの動作を設定するとき、ま
ず、フレーム番号設定部(104)にて、アニメーショ
ンのキーフレームとなるフレーム番号を入力する。する
と、オブジェクト3次元形状データの2次元投影データ
(103)が初期位置に表示される。位置を指定する場
合、表示された2次元投影データ(103)をスライダ
の使用や数値入力(105)(106)等の方法により
2次元位置を指定する。同じく大きさを指定する場合、
表示された2次元投影データ(103)をスライダの使
用や数値入力(105)等の方法により2次元サイズを
指定する。設定または変更されたデータは直ちに2次元
投影データ(103)に反映される。このような動作
を、必要なフレームすべてに対して繰り返す。
When setting the operation of the object, first, a frame number to be a key frame of the animation is input in the frame number setting section (104). Then, the two-dimensional projection data (103) of the three-dimensional object shape data is displayed at the initial position. When the position is designated, the displayed two-dimensional projection data (103) is designated as a two-dimensional position by using a slider or by inputting numerical values (105) (106). If you also specify the size,
The two-dimensional size of the displayed two-dimensional projection data (103) is designated by a method such as using a slider or inputting a numerical value (105). The set or changed data is immediately reflected in the two-dimensional projection data (103). Such an operation is repeated for all necessary frames.

【0040】図7は格納される動作データの例である。FIG. 7 shows an example of stored operation data.

【0041】図7(a)は、2次元動作データ格納部
(18)に格納されているデータの例である。2次元動
作データ格納部(18)には、まず動作設定対象のオブ
ジェクト名「baloon」が格納され、次に、キーフ
レーム番号Frameとキーフレームにおけるオブジェ
クトの2次元座標値X,Y及び2次元サイズScale
とが対になったものがキーフレームの個数分格納されて
いる。ここで格納される、オブジェクトの2次元座標値
X,Yは、図1の2次元投影画像の座標系(101)を
基準とする。
FIG. 7A shows an example of data stored in the two-dimensional operation data storage section (18). The two-dimensional operation data storage unit (18) first stores an object name “balloon” of an operation setting target, and then stores the key frame number Frame, the two-dimensional coordinate values X and Y of the object in the key frame, and the two-dimensional size. Scale
Are stored as many as the number of key frames. The two-dimensional coordinate values X and Y of the object stored here are based on the coordinate system (101) of the two-dimensional projected image in FIG.

【0042】図7(b)は、3次元動作データ格納部
(19)に格納されているデータの例である。3次元動
作データ格納部には、まず動作設定対象のオブジェクト
名「baloon」が格納され、次にキーフレーム番号
Frameとキーフレームにおけるオブジェクトの3次
元座標値x,y,zとが対になったものがキーフレーム
の個数分格納されている。ここで格納される、オブジェ
クトの3次元座標値x,y,zは、図1の3次元空間内
における座標軸(102)を基準とする。
FIG. 7B shows an example of data stored in the three-dimensional operation data storage (19). In the three-dimensional operation data storage unit, first, an object name “balloon” of an operation setting target is stored, and then the key frame number Frame and the three-dimensional coordinate values x, y, and z of the object in the key frame are paired. Items are stored for the number of key frames. The three-dimensional coordinate values x, y, and z of the object stored here are based on the coordinate axis (102) in the three-dimensional space in FIG.

【0043】図8は、オブジェクトに拘束条件を持たせ
たときの装置の内部構成を示した図で、図2におけるオ
ブジェクトサイズ設定部(26)の代わりにオブジェク
ト拘束条件設定部(36)を設置した構成になってい
る。オブジェクト拘束条件設定部(36)における拘束
条件の与え方としては、オブジェクトが動作する平面を
一意に定める方法、2次元画像上で大きさを設定する方
法等がある。
FIG. 8 is a diagram showing the internal configuration of the apparatus when an object is given a constraint condition. An object constraint condition setting section (36) is provided instead of the object size setting section (26) in FIG. Configuration. As a method of giving a constraint condition in the object constraint condition setting unit (36), there is a method of uniquely determining a plane on which an object moves, a method of setting a size on a two-dimensional image, and the like.

【0044】図9はオブジェクトに拘束条件を与えたと
きの2次元動作設定の例である。
FIG. 9 is an example of a two-dimensional operation setting when a constraint condition is given to an object.

【0045】本図では、3次元空間内における座標系の
z軸方向位置が一定であると仮定し、これを拘束条件と
した例を示す。このとき、オブジェクトの2次元サイズ
設定の必要はなく、2次元位置の設定のみで3次元位置
が一意に定まる。このように、拘束条件を与えることに
よって、少ない入力パラメータにてオブジェクトの動作
設定が可能になる。
In this figure, an example is shown in which it is assumed that the position of the coordinate system in the z-axis direction in the three-dimensional space is constant, and this is set as a constraint condition. At this time, there is no need to set the two-dimensional size of the object, and the three-dimensional position is uniquely determined only by setting the two-dimensional position. By giving the constraint condition in this way, the operation setting of the object can be performed with a small number of input parameters.

【0046】[0046]

【発明の効果】以上述べたように本発明によれば、最終
的な出力結果である2次元投影画像上においてオブジェ
クトの動作や大きさを指定するため、視覚的にユーザの
意図したオブジェクトの動きづけが可能になる。
As described above, according to the present invention, since the motion and size of an object are specified on a two-dimensional projected image as a final output result, the motion of the object intended by the user is visually confirmed. Can be attached.

【0047】また、2次元投影画像上で指定された、オ
ブジェクトの動作や大きさ、及び、カメラパラメータを
用いて、3次元空間内におけるオブジェクトの動作を計
算し、動作データを3次元でも保持するため、カメラパ
ラメータや視点位置の変更等にも対応できる。
The motion of the object in the three-dimensional space is calculated using the motion and size of the object and the camera parameters specified on the two-dimensional projected image, and the motion data is stored in three dimensions. Therefore, it is possible to respond to changes in camera parameters, viewpoint positions, and the like.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態のハードウェア構成を示し
たブロック図。
FIG. 1 is a block diagram showing a hardware configuration according to an embodiment of the present invention.

【図2】第1の実施の形態の内部構成を機能的に示した
機能ブロック図。
FIG. 2 is a functional block diagram functionally showing the internal configuration of the first embodiment.

【図3】第1の実施の形態のアニメーション作成方法の
フローチャート。
FIG. 3 is a flowchart of an animation creating method according to the first embodiment;

【図4】第1の実施の形態の2次元動作設定方法のフロ
ーチャート。
FIG. 4 is a flowchart of a two-dimensional operation setting method according to the first embodiment;

【図5】第1の実施の形態の3次元動作算出方法のフロ
ーチャート。
FIG. 5 is a flowchart of a three-dimensional motion calculation method according to the first embodiment.

【図6】第1の実施の形態におけるインターフェイスを
示した図。
FIG. 6 is a diagram showing an interface according to the first embodiment.

【図7】第1の実施の形態の2次元動作データテ−ブル
(a)及び3次元動作データテ−ブル(b)。
FIG. 7 shows a two-dimensional operation data table (a) and a three-dimensional operation data table (b) according to the first embodiment.

【図8】第2の実施の形態の内部構成を機能的に示した
機能ブロック図。
FIG. 8 is a functional block diagram functionally showing the internal configuration of the second embodiment.

【図9】第2の実施の形態におけるインターフェイスを
示した図。
FIG. 9 illustrates an interface according to the second embodiment.

【符号の説明】[Explanation of symbols]

1…CPU、2…入力ポート、3…キーボード、4…マ
ウス、5…3次元グラフィックスボード、6…ディスプ
レイCRTコントローラ、7…ディスプレイCRT、8
…主記憶装置、9…作業領域、10…投影画像データ、
11…2次元動作設定プログラム、12…2次元サイズ
設定プログラム、13…3次元動作算出プログラム、1
4…補助記憶装置、15…環境モデルデータ格納部、1
6…3次元データデータ格納部、17…2次元動作デー
タ格納部、18…3次元動作データ格納部、19…バ
ス、20…3次元形状モデル、21…環境モデル、22
…2次元投影画像作成部、23…2次元投影画像、24
…入力装置、25…オブジェクト2次元動作設定部、2
6…オブジェクト2次元サイズ設定部、27…表示装
置、28…オブジェクト投影画像上2次元動作データ記
憶装置、29…3次元動作算出部、30…3次元動作デ
ータ記憶装置、36…オブジェクト拘束条件設定部、1
00…2次元画像表示ウィンドウ、101…2次元座
標、102…2次元座標、103…オブジェクト、10
4…フレーム指定・表示手段、105…オブジェクトサ
イズ指定・表示手段、106、107…オブジェクト2
次元座標指定・表示手段、108…オブジェクト情報表
示ウィンドウ
DESCRIPTION OF SYMBOLS 1 ... CPU, 2 ... input port, 3 ... keyboard, 4 ... mouse, 5 ... three-dimensional graphics board, 6 ... display CRT controller, 7 ... display CRT, 8
... Main storage device, 9 ... Work area, 10 ... Projection image data,
11 2D motion setting program, 12 2D size setting program, 13 3D motion calculation program, 1
4 ... Auxiliary storage device, 15 ... Environmental model data storage unit, 1
6 ... 3D data storage unit, 17 ... 2D operation data storage unit, 18 ... 3D operation data storage unit, 19 ... bus, 20 ... 3D shape model, 21 ... environment model, 22
... 2D projection image creation unit, 23 ... 2D projection image, 24
... Input device, 25 ... Object two-dimensional motion setting unit, 2
6: Object 2D size setting unit, 27: Display device, 28: 2D motion data storage device on object projection image, 29: 3D motion calculation unit, 30: 3D motion data storage device, 36: Object constraint condition setting Part 1
00: two-dimensional image display window, 101: two-dimensional coordinates, 102: two-dimensional coordinates, 103: object, 10
4 ... Frame designation / display means, 105 ... Object size designation / display means, 106, 107 ... Object 2
Dimension coordinate designation / display means, 108: Object information display window

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】3次元空間におけるオブジェクトの動作設
定を2次元投影画像上で行うためのアニメーション作成
装置であって、入力装置より、2次元投影画像に対して
オブジェクトの2次元動作を設定する手段と、オブジェ
クトの2次元サイズの変化を設定する手段と、上記にて
設定された2次元動作および2次元サイズ変化のデータ
と、オブジェクト3次元形状モデル、カメラパラメータ
から3次元空間内のオブジェクトの動作を求める手段と
を有すること特徴とする3次元CGアニメーション作成
装置。
1. An animation creating apparatus for setting an operation of an object in a three-dimensional space on a two-dimensional projected image, wherein the input device sets a two-dimensional operation of the object with respect to the two-dimensional projected image. Means for setting the change in the two-dimensional size of the object, the data of the two-dimensional motion and the two-dimensional size change set above, the motion of the object in the three-dimensional space from the object three-dimensional shape model and the camera parameters 3. A three-dimensional CG animation creating apparatus comprising:
【請求項2】3次元空間におけるオブジェクトの動作設
定を2次元投影画像上で行うためのアニメーション作成
装置であって、入力装置より、2次元投影画像に対して
オブジェクトの2次元動作を設定する手段と、オブジェ
クトの拘束条件を設定する手段と、上記にて設定された
2次元動作データおよび拘束条件と、オブジェクト3次
元形状モデル、カメラパラメータから3次元空間内のオ
ブジェクトの動作を求める手段とを有すること特徴とす
る3次元CGアニメーション作成装置。
2. An animation creating apparatus for setting an operation of an object in a three-dimensional space on a two-dimensional projected image, wherein the input device sets a two-dimensional operation of the object with respect to the two-dimensional projected image. Means for setting the constraint condition of the object, and means for obtaining the motion of the object in the three-dimensional space from the two-dimensional motion data and the constraint condition set above, the object three-dimensional shape model, and the camera parameters. A three-dimensional CG animation creation device.
【請求項3】3次元空間におけるオブジェクトの動作設
定を2次元投影画像上で行うためのアニメーション作成
方法であって、入力装置より、2次元投影画像に対して
オブジェクトの2次元動作を設定するステップと、オブ
ジェクトの2次元サイズの変化を設定するステップと、
上記にて設定された2次元動作および2次元サイズ変化
のデータと、オブジェクト3次元形状モデル、カメラパ
ラメータから3次元空間内のオブジェクトの動作を求め
るステップと、3次元動作を直接設定するオブジェクト
動作設定ステップとを有すること特徴とする3次元CG
アニメーション作成方法。
3. An animation creating method for setting an operation of an object in a three-dimensional space on a two-dimensional projected image, wherein an input device sets a two-dimensional operation of the object with respect to the two-dimensional projected image. Setting a change in the two-dimensional size of the object;
Obtaining the motion of the object in the three-dimensional space from the data of the two-dimensional motion and the two-dimensional size change set above, the object three-dimensional shape model and the camera parameters, and setting the object motion to directly set the three-dimensional motion Three-dimensional CG having steps
Animation creation method.
【請求項4】キーフレーム法を用い、3次元空間におけ
るオブジェクトの動作設定を2次元投影画像上で行うた
めのアニメーション作成方法であって、入力装置より、
2次元投影画像に対してオブジェクトの2次元動作を設
定するステップと、オブジェクトの2次元サイズの変化
を設定するステップと、上記にて設定された2次元動作
および2次元サイズ変化のデータと、オブジェクト3次
元形状モデル、カメラパラメータから3次元空間内のオ
ブジェクトの動作を求めるステップと、キーフレーム間
のオブジェクトの位置を求めるステップとして、2次元
位置および2次元サイズデータに対する補間データ作成
後3次元位置を求めるステップ及びキーフレームにおけ
る3次元位置算出後3次元位置に対する補間データを作
成するオブジェクト位置補間算出ステップとを有するこ
と特徴とする3次元CGアニメーション作成方法。
4. An animation creating method for performing an operation setting of an object in a three-dimensional space on a two-dimensional projected image using a key frame method.
Setting a two-dimensional motion of the object with respect to the two-dimensional projected image; setting a change in the two-dimensional size of the object; data of the two-dimensional motion and the two-dimensional size change set above; As a step of obtaining the motion of the object in the three-dimensional space from the three-dimensional shape model and the camera parameters and a step of obtaining the position of the object between the key frames, the three-dimensional position after the interpolation data for the two-dimensional position and the two-dimensional size data is generated. A three-dimensional CG animation creating method, comprising: a calculating step; and an object position interpolation calculating step of creating interpolation data for the three-dimensional position after calculating the three-dimensional position in the key frame.
JP33410896A 1996-12-13 1996-12-13 3D CG animation creation apparatus and creation method Expired - Fee Related JP3361437B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33410896A JP3361437B2 (en) 1996-12-13 1996-12-13 3D CG animation creation apparatus and creation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33410896A JP3361437B2 (en) 1996-12-13 1996-12-13 3D CG animation creation apparatus and creation method

Publications (2)

Publication Number Publication Date
JPH10172009A true JPH10172009A (en) 1998-06-26
JP3361437B2 JP3361437B2 (en) 2003-01-07

Family

ID=18273621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33410896A Expired - Fee Related JP3361437B2 (en) 1996-12-13 1996-12-13 3D CG animation creation apparatus and creation method

Country Status (1)

Country Link
JP (1) JP3361437B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545673B1 (en) 1999-03-08 2003-04-08 Fujitsu Limited Three-dimensional CG model generator and recording medium storing processing program thereof
WO2020213426A1 (en) * 2019-04-18 2020-10-22 ソニー株式会社 Image processing device, image processing method, and program
WO2021006047A1 (en) * 2019-07-08 2021-01-14 ソニー株式会社 Display control device, display control method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545673B1 (en) 1999-03-08 2003-04-08 Fujitsu Limited Three-dimensional CG model generator and recording medium storing processing program thereof
WO2020213426A1 (en) * 2019-04-18 2020-10-22 ソニー株式会社 Image processing device, image processing method, and program
US11995784B2 (en) 2019-04-18 2024-05-28 Sony Group Corporation Image processing device and image processing method
WO2021006047A1 (en) * 2019-07-08 2021-01-14 ソニー株式会社 Display control device, display control method, and program

Also Published As

Publication number Publication date
JP3361437B2 (en) 2003-01-07

Similar Documents

Publication Publication Date Title
US6307554B1 (en) Apparatus and method for generating progressive polygon data, and apparatus and method for generating three-dimensional real-time graphics using the same
US6046745A (en) Three-dimensional model making device and its method
US5619628A (en) 3-Dimensional animation generating apparatus
JP4199663B2 (en) Tactile adjustment by visual image in human-computer interface
JPH07111743B2 (en) Graphic display method and apparatus for rotating an object in a three-dimensional space
JPH10283158A (en) Window stereoscopic display apparatus and method
US5734383A (en) Apparatus and method for generating a three-dimensional model on a graphic display from a two-dimensional image
JPH03250267A (en) Image display device and image display method
JP3104638B2 (en) 3D image creation device
US7477232B2 (en) Methods and systems for interaction with three-dimensional computer models
JPH04289976A (en) Three-dimensional shape model generation method and system
JP3361437B2 (en) 3D CG animation creation apparatus and creation method
JP4204713B2 (en) 3D model display method and computer-readable storage medium storing a program for realizing the method
US7477253B2 (en) Storage medium storing animation image generating program
JPH03211686A (en) Computer control display method and apparatus
Jeng et al. Moving cursor plane for interactive sculpting
JP2003006552A (en) Simulation system, simulation method and simulation program
JP2000137834A (en) Synthetic moving image generating apparatus and synthetic moving image generating method
JP3575469B2 (en) Synthetic moving image generating apparatus and synthetic moving image generating method
JPH05101150A (en) Analytic result data display system
JPH11249774A (en) System and method for displaying three-dimensional information
JPH07271998A (en) Method and device for three-dimensional display
JP3132220B2 (en) 3D model shape creation method
JP2949594B2 (en) Video display device
JP2786098B2 (en) Figure enlargement editing method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 5

Free format text: PAYMENT UNTIL: 20071018

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081018

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20091018

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091018

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101018

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees