JP2008176696A

JP2008176696A - Ｃｇキャラクタアニメーション作成装置

Info

Publication number: JP2008176696A
Application number: JP2007011332A
Authority: JP
Inventors: Misae Saito; 美沙恵齋藤; Kenji Miyamoto; 健司宮本
Original assignee: Individual
Current assignee: Individual
Priority date: 2007-01-22
Filing date: 2007-01-22
Publication date: 2008-07-31

Abstract

【課題】関節の接続構造が人体と大幅に異なる3DCGキャラクタを身体動作によって直観的かつ対話的に操作できるようにする。
【解決手段】身体の形状の時々刻々の計測値から抽出した制御可能な特徴量を、3DCGキャラクタの１つまたは複数の姿勢情報（関節の屈曲や部位の寸法）として用い、レンダリングした映像を実時間で表示する。
【選択図】図１

Description

本発明は、CGキャラクタアニメーションの作成装置およびCGキャラクタアニメーションの作成方法に関する。

CGアニメーションにおける人に似たCGキャラクタの動きを作成する方法としては、人体にモーションキャプチャ機器を装着して姿勢認識を行い、再構築する方法が一般的である。
Jinxiang.ChaiandJessicaK.Hodgins, Performance Animation from Low-dimensional Control Signals, ACM Transactions on Graphics (TOG), Proceedings of SIGGRAPH 2005,No. 3,pp.686-696. Norman I. Badler, Michael J. Hollick, John P. Granieri: Real-Time Control of a Virtual Human Using Minimal Sensors. Presence 2(1): 82-86 (1993) Semwal, S., Hightower, R., and Stansfield, S. 1998. Mapping algorithms for real-time control of an avatar using eight sensors. Presence 7, 1, 1-21. Yin, K., Pai, D. K. An interactive animation system. In Proc ACM SIGGRAPH/Eurographics Symposium on Computer Animation. pp.329-338. 2003.

しかしながら、人体と大幅に形状の異なるキャラクタの動きを作成する方法としては、従来、マウス入力を用いたGUIアプリケーションでCGキャラクタの一連の動作を少しずつ変化させるなど、フレームごとの編集作業に頼らざるを得ないのが現状である。

上記背景技術において、CGアニメーション作成には１コマずつ手作業で作成するため多大な時間を要し、作成者は編集機器などの専門的な技術が必要とされる。

請求項１記載の発明の装置は、利用者の身体またはその一部の位置と形状の情報を取得する形状取得手段と、形状情報から形状ごとに定まる１つまたは複数の量を特徴量として抽出する特徴量抽出手段と、特徴量をCGキャラクタの関節の角度ないしは部位の寸法を表す位置姿勢情報に変換する特徴量‐姿勢変換手段と、位置姿勢情報から表面形状を構成する表面形状構成手段と、表面形状を可視化して映像を得るレンダリング手段と、映像を表示する表示手段を備えることにより、上記目的を達成している。

上記構成によれば、特徴量抽出手段で取得した利用者の全身または身体の一部の動きを示す特徴量変化に応じてCGキャラクタの動きを制御することができる。ここで、特徴量‐姿勢変換手段は、人体の骨格とは異なる形を持つCGキャラクタの３次元位置姿勢情報への変換を可能にしている。

また、請求項２に記載するように、形状取得手段は、利用者の周囲に配置された単独または複数からなる撮影手段と、該撮影手段で取得した画像より位置および形状を推定する位置形状推定手段を備えてもよい。

上記構成によれば、利用者に特別な機器を装着せずに利用者の位置姿勢推定を行うことができる。

請求項３に記載するように、特徴量は各関節の屈曲の向きと大きさおよび位置を成分とする位置姿勢ベクトルであってもよい。

上記構成により、利用者の動作を再現したCGキャラクタアニメーションを生成することができる。

請求項４に記載するように、特徴量‐姿勢変換手段は、仮特徴量（パラメータ）を用いてCGキャラクタの位置姿勢情報を表す仮変換手段と、各パラメータをどの特徴量として具体化するかを記述する仮特徴量対応表と、仮特徴量対応表に従ってCGキャラクタの各位置姿勢情報中のパラメータに特徴量のどれかを代入する代入装置からなり、さらに、請求項１に記載の各手段に加えて仮特徴量対応表の内容を変更する仮特徴量対応表変更手段を備えてもよい。

上記構成により、CGキャラクタの部位の位置姿勢情報をどの特徴量に対応させるかの対応関係の割り当てを動的に切り替えることができる。ここで、CGキャラクタの部位は同じパラメータで支配されている位置姿勢情報を持つ関節達の集合である。

本発明のCGキャラクタアニメーション作成方法によれば、利用者の身体動作を直接キャラクタに伝えることで直観的にCGアニメーションを作成することができる。

図４は本発明の実施例の利用風景を示した図であり、利用者２はディスプレイ５に表示されるCGキャラクタ１を操作している。これは、後に述べる３つの実施例に共通している。図１は、請求項２に基づいて、CGキャラクタ１を制御するための処理の流れを示している。撮影手段１１で利用者２を撮影し、その映像を位置形状推定手段６に送る。位置形状推定手段６で利用者２の位置形状情報を推定し、特徴量抽出手段１７に送る。特徴量抽出手段１７では、位置形状情報から特徴量を算出し、特徴量‐姿勢変換手段７に送る。特徴量‐姿勢変換手段７では、予め任意に定められた変換式に従って特徴量をCGキャラクタ１の位置姿勢情報に変換することでキャラクタの姿勢を生成し、表面形状構成手段８に送る。表面形状構成手段８では、予め決められたCGキャラクタ１の表面形状に従ってCGキャラクタ１の該姿勢における表面形状を決定しレンダリング手段９に送る。レンダリング手段９では、表面形状を可視化し、表示手段１０に送る。表示手段１０では、CGキャラクタ１の映像を表示する。

図２は、請求項４に基づいて、特徴量−姿勢変換手段７の実装を示している。代入装置１９は、仮特徴量対応表１５から対応関係を参照して特徴量をCGキャラクタ１のパラメータに代入し仮変換手段１６に送る。仮変換手段１６は、CGキャラクタ１の位置姿勢情報を算出する。一方、仮特徴量対応表変更手段１４は、仮特徴量対応表１５の内容を変更する。

図３は仮特徴量対応表変更手段１４の実装を示す。撮影手段２１で利用者２の映像を撮影し、追跡点検出手段１２および表示手段２０に送る。追跡点検出手段１２で利用者２の身体の特定の点を追跡点として検出し、近接部位検出手段１３と表示手段２０に送る。表示手段２０はCGキャラクタ１とライブの利用者２および追跡点を表示し、近接部位検出手段１３はCGキャラクタ１の部位のパラメータ及び各部位から一定の距離にある利用者２の追跡点に対応する特徴量を組にして、仮特徴量対応表１５に登録すると同時に表示手段２０に当該部位の強調表示指令を送る。

本実施例１は、請求項２に記載の方法に基づいている。利用者２の身体のうち手によってCGキャラクタ１の動作を制御する例として、利用者２の指先にマーカを装着し、特徴量で制御する方法について述べる。

図４は、本実施例１の使用時の概観を示した図である。利用者２を撮影するビデオカメラ３（撮影手段１１）と、特徴量の抽出やCGキャラクタ１への位置姿勢情報の変換、CGキャラクタ１の表面形状の決定、CGキャラクタ１の可視化を行うコンピュータ４（追跡点検出手段１２、位置形状推定手段６、特徴量抽出手段１７、特徴量−姿勢変換手段７、表面形状構成手段８、レンダリング手段９）と、利用者２の手のライブ映像およびCGキャラクタ１の映像を映し出すディスプレイ５（表示手段１０）を必要とする。

本実施例１では、位置形状推定手段６と特徴量抽出手段１７は以下で述べる移動回転屈伸アルゴリズムによって同時に実装される。ビデオカメラ３は利用者２の前面に配置され、利用者２の手を撮影する。本実施例１では利用者２は撮影する手のうちの親指、人差し指、中指にそれぞれ赤、緑、青のマーカ（２２、２３、２４）を装着する。コンピュータ４で、仮特徴量対応表１５によりＣＧキャラクタ１の各部位に対応する特徴点を取得する。

本実施例１では、緑マーカ２３はCGキャラクタ１の右腕、赤マーカ２２はCGキャラクタ１の左腕、青マーカ２４はCGキャラクタ１の両足にそれぞれ対応している。

部位ごとに予め定義された変換式により、特徴量の変化に応じてCGキャラクタ１の姿勢情報を計算して当該部位の関節を屈曲させる。マーカのライブ映像およびレンダリングにより可視化された変形後のCGキャラクタ１の映像をディスプレイ５に表示する。図５は、人差し指を上に伸ばしたときの手の様子とそのときのCGキャラクタ１の画像を示した図である。以下に上記各手段の詳細を示す。

追跡点検出手段１２では、ビデオカメラ３で撮影した映像から赤、緑、青マーカ（２２、２３、２４）の色を検索してそれぞれの座標を取得する。

「指先が手の回転中心を通る線上のみを移動しこれらの線が互いになす角が変わらない」と仮定する。このとき移動回転屈伸アルゴリズムは、手の回転中心の初期値と各フレームでの赤、緑、青の３つのマーカの映像中の位置を与えられたとき、各フレームでの位置形状として手の移動L、特徴量として手の回転σおよび指の屈伸a₁、a₂、a₃を次のように算出する.

あるフレームにおける手の回転中心Pと３つのマーカQ_i(i=1,2,3)及び次のフレームにおける３つのマーカQ_i'(i=1,2,3)の位置がわかっている時、前者のフレームにおけるa₁、a₂、a₃および後者のフレームでの回転中心P'とPとの差ｌ=P'−P（座標成分ごとの差）は次のようにして算出できる。

まず次のフレームの回転中心P'からの各マーカの相対位置q_i'=Q_i'−P'を今のフレームのマーカの回転中心からの相対位置q_i=Q_i−Pで表すと数１のようになることに着目する。（未知数はa_i(i=1,2,3)、θ、ｌ）

θ<<0であるからsinθ〜θ、cosθ〜1と仮定すると数１は線型方程式であるので代数的に解くことができてa_i(i=1,2,3)、θおよびｌが得られる。さらにこのとき次のフレームにおける手の回転中心P'はP'=P+ｌによって計算できる。これによりPの初期値から上記の手続きを繰り返すことにより全てのフレームのa_i(i=1,2,3)が、また各フレームでのθ、ｌを累積することでσ、Lが得られる。

特徴量−姿勢変換手段７では、移動回転屈伸アルゴリズムで算出したσ,L, a_i(i=1,2,3)をCGキャラクタ１の関節の角度（φ,ψ）（球面座標）で表される位置姿勢情報に変換する。例えば、bを基準長として、φ＝(π/2)a_i/b、ψ=θのようにして変換を行う。

実施例１の使用方法として、利用者２はディスプレイ５に表示されたCGキャラクタ１の映像を見ながら指間の角度を一定にして親指、人差し指、中指を曲げるだけでCGキャラクタ１のそれぞれ右腕、左腕、両足を操作することができる。

本実施例２は、請求項３に記載の方法に基づいている。利用者２の身体のうち手によってCGキャラクタ１の動作を制御する例として、データグラブによるCGキャラクタ操作を可能にする方法について述べる。データグラブの位置姿勢取得やCGキャラクタ１への位置姿勢情報の変換、CGキャラクタ１の表面形状の決定、CGキャラクタ１の可視化を行うコンピュータ４（形状取得手段１８、特徴量−姿勢変換手段７、表面形状構成手段８、レンダリング手段９）と、CGキャラクタ映像を映し出すディスプレイ５（表示手段１０）を必要とする。

実施例２により、実際のパペット操作と同じ手動作で仮想的にパペットを操っているかのようなリアリティのある動きを得る事ができる。

本実施例３は、請求項４に記載の方法に基づいている。利用者２の手動作で利用者２とCGキャラクタ１の対応する部位を決定する方法を実施した例について述べる。利用者２を撮影するビデオカメラ２８（撮影手段２１）と、追跡点の検出や追跡点と部位の対応付けを行うコンピュータ４（追跡点検出手段１２、近接部位検出手段１３）と、利用者２の映像、追跡点およびCGキャラクタ１の映像を映し出すディスプレイ２９（表示手段２０）を必要とする。

本実施例３では利用者２は撮影する手のうちの親指、人差し指、中指にそれぞれ赤、青、緑、黄色のマーカ（２２、２３、２４、３１）を装着し、このマーカをそれぞれa₁、a₂、a₃、θの追跡点（２５、２６、２７、３０）とする。

コンピュータ４で、各色の追跡点（２５、２６、２７、３０）と重なった、CGキャラクタ１の部位のパラメータと重ねられた追跡点に対応する特徴量を組として仮特徴量対応表１５に登録すると同時に、当該部位をディスプレイ２９に強調表示する。例として、組（α,σ）（β,a₁）（γ,a₂）および（η,a₃）を登録した仮特徴量対応表１５を図６に示す。

代入装置１９は、仮変換手段１６の各パラメータに、仮特徴量対応表１５にそのパラメータとの組として記された特徴量を代入してCGキャラクタ１の位置姿勢情報を計算する。例えば、仮特徴量対応表１５が図６のようであったとき、首の角度ψ_neck=α/πの中のパラメータαにσが代入され、結果、ψ_neck=σ/πとなる。

図７は、実施例３の使用時の状況を示した図である。ディスプレイ２９に出力した画面内で、緑マーカの追跡点２６をCGキャラクタ１の左腕に重ねて対応を指定している様子である。これにより、人差し指でCGキャラクタ１の左腕が動かせるようになる。このように、実施例３により、利用者２はCGキャラクタ１の各部位をどの特徴量で動かすかを直観的な動作で指定できる。

CGキャラクタ１を制御するための処理の流れを示す図である。特徴量−姿勢変換手段７の実装を示す図である。仮特徴量対応表変更手段１４の実装を示す図である。実施例１の概観を示す図である。 CGキャラクタ１と利用者２の状況を示した図である。仮特徴量対応表１５の例である。実施例３の使用時の状況を示した図である。

符号の説明

１ CGキャラクタ
２利用者
３ビデオカメラ
４コンピュータ
５ディスプレイ
６位置形状推定手段
７特徴量−姿勢変換手段
８表面形状構成手段
９レンダリング手段
１０表示手段
１１撮影手段
１２追跡点検出手段
１３近接部位検出手段
１４仮特徴量対応表変更手段
１５仮特徴量対応表
１６仮変換手段
１７特徴量抽出手段
１８形状取得手段
１９代入装置
２０表示手段
２１撮影手段
２２赤マーカ
２３緑マーカ
２４青マーカ
２５赤マーカの追跡点
２６緑マーカの追跡点
２７青マーカの追跡点
２８ビデオカメラ
２９ディスプレイ
３０黄マーカの追跡点
３１黄マーカ

Claims

利用者の身体またはその一部の位置と形状の情報を取得する形状取得手段と、形状情報から形状ごとに定まる１つまたは複数の量を特徴量として抽出する特徴量抽出手段と、特徴量をCGキャラクタの関節の角度ないしは部位の寸法を表す位置姿勢情報に変換する特徴量‐姿勢変換手段と、位置姿勢情報から表面形状を構成する表面形状構成手段と、表面形状を可視化して映像を得るレンダリング手段と、映像を表示する表示手段を有することを特徴とするCGキャラクタアニメーション作成装置。
請求項１において、形状取得手段は、利用者の周囲に配置された単独または複数からなる撮影手段と、該撮影手段で取得した画像より位置および形状を推定する位置形状推定手段からなることを特徴とする装置。
請求項１において、特徴量は各関節の屈曲の向きと大きさおよび位置を成分とする位置姿勢ベクトルであることを特徴とする装置。
請求項１において、特徴量‐姿勢変換手段は、仮特徴量（パラメータ）を用いてCGキャラクタの位置姿勢情報を表す仮変換手段と、各パラメータをどの特徴量として具体化するかを記述する仮特徴量対応表と、仮特徴量対応表に従ってCGキャラクタの各位置姿勢情報中のパラメータに特徴量のどれかを代入する代入装置からなり、さらに、請求項１に記載の各手段に加えて仮特徴量対応表の内容を変更する仮特徴量対応表変更手段からなることを特徴とする装置。