JP7275811B2 - 映像出力装置、映像出力方法及びプログラム - Google Patents

Description

本発明は、映像出力装置、映像出力方法及びプログラムに関する。

従来、実施者が技能（例えば、ゴルフ）に関する身体動作（例えば、ゴルフのスイング）を行いながら、自分（実施者）の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている（例えば、特許文献１参照）。

特開２０１１－１５２３３３号公報

しかしながら、上記特許文献１に開示されている身体技能習得支援装置では、実施者の身体動作と規範技能者の動作とを同期させて表示しようとした場合、ユーザー操作に基づいて、実施者の画像と規範画像とのそれぞれの再生開始タイミングを調整しなければならないため面倒であるという問題がある。

本発明は、このような問題に鑑みてなされたものであり、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことを目的とする。

上記課題を解決するため、本発明に係る映像出力装置は、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする。

本発明によれば、手本の動作と当該手本と比較する比較対象者の動作を同期させた表示を簡便に行うことができる。

映像出力装置の概略構成を示すブロック図である。 映像出力処理の流れを示すフローチャートである。 装着位置推定処理の流れを示すフローチャートである。 映像出力制御処理の流れを示すフローチャートである。 伸縮マッチング処理の説明図である。 ランニングフォーム比較画面の一例を示す図である。 変形例の装着位置推定処理の流れを示すフローチャートである。 変形例の映像出力制御処理の流れを示すフローチャートである。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

≪映像出力装置１の構成≫
本実施形態の映像出力装置１は、運動の様子を連続的に撮影した手本映像における当該運動の動作と、この手本映像に映っている運動と同じ運動を行っているユーザーを連続的に撮影した映像における当該運動の動作とを同期させ所定の表示部（例えば、映像出力装置１と接続された外部の大型ディスプレイ）に表示する装置である。以下では、上記運動としてランニングを例に挙げて説明を行う。

図１は、本発明を適用した一実施形態の映像出力装置１の概略構成を示すブロック図である。
図１に示すように、映像出力装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６とを備える。

ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段）１１は、映像出力装置１の各部を制御する。ＣＰＵ１１は、記憶部１３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１２に展開し、当該プログラムとの協働で各種処理を実行する。

ＲＡＭ１２は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。

記憶部１３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＨＤＤ（Hard Disk Drive）などにより構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部１３には、所定の手本映像データを記憶するための手本映像記憶部（図示省略）が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。手本映像記憶部には、手本映像の撮影の際に、例えば、モーションキャプチャ技術を用いることにより得られる手本となるランナーの体の各部位（セグメント）の位置と姿勢を示す骨格情報が当該手本映像と同期が取られた状態で記憶されている。

また、記憶部１３には、後述する装着位置推定処理の実行の際に用いられる推定処理用映像データを記憶するための推定処理用映像記憶部（図示省略）が設けられている。推定処理用映像データとは、ジャイロセンサー（慣性センサー）２（図６参照）を装着した体の部位を動かしているユーザーを連続的に撮影した映像（第２の映像）に関する映像データである。この推定処理用映像記憶部に推定処理用映像データが記憶される際、当該推定処理用映像データの映像の撮影時にユーザーに装着されたジャイロセンサー２から取得され、当該映像と同期が取れている角速度情報が対応付けられて記憶される。

操作部１４は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をＣＰＵ１１に出力する。
タッチパネルは、表示部１５と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部１５上の接触位置のＸＹ座標を検出する。そして、タッチパネルは、接触位置のＸＹ座標に係る位置信号をＣＰＵ１１に出力する。

表示部１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。

通信部１６は、モデム、ルータ、ネットワークカード等により構成される。通信部１６は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。

≪映像出力装置１の動作≫
［映像出力処理］
次に、図２を用いて映像出力装置１により実行される映像出力処理について説明する。

図２に示すように、まず、ＣＰＵ１１は、操作部１４を介して、ユーザー所望の手本映像データの指定がなされたか否かを判定する（ステップＳ１）。

ステップＳ１において、ユーザー所望の手本映像データの指定がなされていないと判定された場合（ステップＳ１；ＮＯ）、ＣＰＵ１１は、ユーザー所望の手本映像データの指定がなされるまでの間、ステップＳ１の判定処理を繰り返し行う。
一方、ステップＳ１において、ユーザー所望の手本映像データの指定がなされたと判定された場合（ステップＳ１；ＹＥＳ）、ＣＰＵ１１は、記憶部１３の手本映像記憶部からユーザー所望の手本映像データを取得する（ステップＳ２）。

次いで、ＣＰＵ１１は、ジャイロセンサー２の装着位置を推定する装着位置推定処理（ステップＳ３）を行う。なお、装着位置推定処理の詳細については後述する。

次いで、ＣＰＵ１１は、映像出力制御処理（ステップＳ４）を行い、映像出力処理を終了する。なお、映像出力制御処理の詳細については後述する。

［装着位置推定処理］
次に、図３を用いて装着位置推定処理について説明する。図３は、装着位置推定処理の流れを示すフローチャートである。なお、本実施形態では、例えば、ジャイロセンサー２を手首に装着する場合には、このジャイロセンサー２を手の甲側に装着するといったように、ジャイロセンサー２の装着姿勢に関する取り決めがなされているものとする。つまり、本実施形態の装着位置推定処理は、ジャイロセンサー２の装着姿勢を推定する必要がない点で後述する変形例の装着位置推定処理とは異なっている。

図３に示すように、まず、ＣＰＵ１１は、記憶部１３の推定処理用映像記憶部に推定処理用映像データが登録されたか否かを判定する（ステップＳ１１）。この推定処理用映像データの登録は、ジャイロセンサー２を体の所定の部位に装着したユーザーに、装着箇所を中心とした任意の回転運動を行わせ、当該運動を行っているユーザーを連続的に撮影した映像とともに、当該運動を行っているときのユーザーに装着されたジャイロセンサー２から得られる角速度情報を同期して登録するものである。

ステップＳ１１において、推定処理用映像データが登録されていないと判定された場合（ステップＳ１１；ＮＯ）、ＣＰＵ１１は、推定処理用映像データが登録されるまでの間、ステップＳ１１の判定処理を繰り返し行う。
一方、ステップＳ１１において、推定処理用映像データが登録されたと判定された場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データに対応付けられているジャイロセンサー２の角速度情報（Ｇｙｒ１）を取得する（ステップＳ１２）。

次いで、ＣＰＵ１１は、ステップＳ１１で登録された推定処理用映像データの推定処理用映像からユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。具体的には、ＣＰＵ１１は、例えば、ディープラーニングを用いてユーザーの体の各部位の姿勢を推定する姿勢推定処理を行うことにより、当該ユーザーの体の各部位の角速度情報（Ｇｙｒ２）をそれぞれ導出する。

次いで、ＣＰＵ１１は、ステップＳ１２で取得された角速度情報（Ｇｙｒ１）とステップＳ１２で導出されたユーザーの体の各部位の角速度情報（Ｇｙｒ２）の大きさの相関が最大となる角速度情報（Ｇｙｒ２）が導出された体の部位をジャイロセンサー２の装着位置と推定し（ステップＳ１４）、装着位置推定処理を終了して映像出力処理へ戻る。

［映像出力制御処理］
次に、図４を用いて映像出力制御処理について説明する。図４は、映像出力制御処理の流れを示すフローチャートである。

図４に示すように、まず、ＣＰＵ１１は、トレッドミルを用いてランニングを行っているユーザーの連続的な撮影がビデオカメラ（図示省略）により開始されたか否かを判定する（ステップＳ２１）。

ステップＳ２１において、撮影が開始されていないと判定された場合（ステップＳ２１；ＮＯ）、ＣＰＵ１１は、当該撮影が開始されるまでの間、ステップＳ２１の判定処理を繰り返し行う。
一方、ステップＳ２１において、撮影が開始されたと判定された場合（ステップＳ２１；ＹＥＳ）、ＣＰＵ１１は、上述の装着位置推定処理で装着位置と推定された体の部位の角速度情報を、ステップＳ２で取得された手本映像データに付帯している骨格情報から導出する（ステップＳ２２）。

次いで、ＣＰＵ１１は、ランニングを行っているユーザーに装着されているジャイロセンサー２（図６参照）から角速度情報を取得する（ステップＳ２３）。

次いで、ＣＰＵ１１は、ステップＳ２２で導出された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。具体的には、まず、ＣＰＵ１１は、図５（ａ）に示すように、ステップＳ２３で取得された角速度情報が示す信号波形Ｗ０から過去の周期Ｔを特定するとともに、この過去の周期Ｔにおいて、現在時刻ｔｎに対応する時刻ｔ１を特定する。次いで、ＣＰＵ１１は、図５（ｂ）に示すように、この周期Ｔの期間の信号波形を切り出して切出波形Ｗ１を取得する。そして、ＣＰＵ１１は、図５（ｃ）に示すように、ステップＳ２２で導出された角速度情報に基づく１周期分の信号波形Ｗ２と切出波形Ｗ１との間においてマッチングする各位置（ポイント）を算出する。そして、ＣＰＵ１１は、切出波形Ｗ１と信号波形Ｗ２との対応関係から、信号波形Ｗ２において、切出波形Ｗ１の時刻ｔ１、すなわち現在時刻ｔｎに対応する時刻ｔ２を特定する。

次いで、ＣＰＵ１１は、ステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応する時刻ｔ２（図５（ｃ）参照）に撮影された画像（フレーム画像）Ｇ２を手本映像から取得する（ステップＳ２５）。

次いで、ＣＰＵ１１は、ステップＳ２５で取得された画像Ｇ２とステップＳ２３で角速度情報が取得された現在時刻ｔｎに対応して撮影されたユーザーの画像Ｇ１を出力し（ステップＳ２６）、図６に示すように、ランニングフォーム比較画面２０を外部ディスプレイに表示させる。

次いで、ＣＰＵ１１は、ランニングを行っているユーザーの連続的な撮影が終了したか否かを判定する（ステップＳ２７）。

ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了していないと判定された場合（ステップＳ２７；ＮＯ）、ＣＰＵ１１は、処理をステップＳ２３へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ２７において、ランニングを行っているユーザーの連続的な撮影が終了したと判定された場合（ステップＳ２７；ＹＥＳ）、ＣＰＵ１１は、映像出力制御処理を終了し、映像出力処理に戻り当該映像出力処理を終了する。

以上のように、映像出力装置１によれば、ランニングを行っているユーザーを連続的に撮影した映像データ（第１の映像データ）とともに、ランニングを行っているときのユーザーに装着されたジャイロセンサー２から得られるセンサーデータを出力し、出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影されたランニングを行っている手本映像データに付帯している骨格情報に基づいて特定し、特定されたポイントのそれぞれが出現するタイミングに対応する手本映像データの画像（フレーム画像Ｇ２）を、センサーデータの各ポイントが出現するタイミングに合わせて出力するので、手本の動作と当該手本と比較するユーザーの動作を同期させた表示を簡便に行うことができる。

また、映像出力装置１によれば、ジャイロセンサー２が装着された体の部位を推定し、推定された体の部位に関する角速度情報を手本映像データに付帯している骨格情報から導出し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。

また、映像出力装置１によれば、骨格情報から導出された角速度情報の各ポイントとランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントとの位置関係に基づいて、当該ランニングを行っているユーザーを連続的に撮影した映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された手本映像データのフレーム画像を出力するので、手本の動作と当該手本と比較するユーザーの動作との同期をより適切に行うことができる。

また、映像出力装置１によれば、ジャイロセンサー２を装着したユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した推定処理用映像データを取得し、当該推定処理用映像データの映像に基づいて、ユーザーの体の各部位の角速度情報を導出し、導出されたユーザーの体の各部位の角速度情報と、上記任意の動作がなされている際にジャイロセンサー２から得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位をジャイロセンサー２が装着された体の部位として推定するので、ジャイロセンサー２の装着位置の推定を適切に行うことができる。

＜変形例＞
次に、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
変形例では、上記実施形態とは異なり、ジャイロセンサー２の装着姿勢に関する取り決めがなされていない、すなわち、ジャイロセンサー２を体の各部位において所望の姿勢で装着（例えば、ジャイロセンサー２を手首に装着する場合、手の甲側に装着、手のひら側に装着、親指側に装着、小指側に装着、等）することができるようになっている。このため、変形例の装着位置推定処理では、ジャイロセンサー２の装着姿勢を推定する処理が必要となっている。

［装着位置推定処理］
次に、図７を用いて変形例の装着位置推定処理について説明する。図７は、変形例の装着位置推定処理の流れを示すフローチャートである。

図７に示すように、ＣＰＵ（抽出手段）１１は、上記実施形態の装着位置推定処理と同様にステップＳ１１～ステップＳ１４の処理を行った後、角速度情報（Ｇｙｒ１）が示す角速度の値が第１の閾値ＴＨ１よりも大きく、角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度の差の絶対値が第２の閾値ＴＨ２よりも小さいという条件を満たすタイミングの角速度情報（Ｇｙｒ１）と角速度情報（Ｇｙｒ２）を抽出する（ステップＳ１５）。

次いで、ＣＰＵ（第３の導出手段）１１は、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）が示す角速度と角速度情報（Ｇｙｒ２）が示す角速度と、が一致する回転行列Ｒを導出し、導出された回転行列Ｒからジャイロセンサー２の装着姿勢を推定し（ステップＳ１６）、映像出力処理へ戻る。

ここで、回転行列Ｒの導出方法について説明する。
数１に示すように、ステップＳ１５で抽出された角速度情報（Ｇｙｒ１）として、Ｇｙｒ１_１とＧｙｒ１_２が抽出され、角速度情報（Ｇｙｒ２）として、Ｇｙｒ２_１とＧｙｒ２_２が抽出された場合、Ｇｙｒ２_１＝Ｒ・Ｇｙｒ１_１及びＧｙｒ２_２＝Ｒ・Ｇｙｒ１_２の両式を満たす回転行列Ｒを導出する。

回転行列Ｒの導出にあたり、まず、Ｇｙｒ１＝［Ｇｙｒ１_１ Ｇｙｒ１_２］、Ｇｙｒ２＝［Ｇｙｒ２_１ Ｇｙｒ２_２］のように、各ベクトルを横に並べた行列を作成し、下記の行列を作成する。
Ａ＝Ｇｙｒ１^Ｔ・Ｇｙｒ２

次に、上述の行列の“Ａ”を特異値分解し、Ｕ、Ｓ、Ｖ^Ｔを得る。
Ｕ・Ｓ・Ｖ^Ｔ＝Ａ （Ｓ；対角行列）

次に、下記の式により“Ｈ”を算出する。
Ｈ＝ｄｉａｇ（１，１，ｄｅｔ（Ｖ・Ｕ^Ｔ））
ここで、ｄｉａｇ（）は（）内を成分とする対角行列であり、ｄｅｔは行列式である。
そして、回転行列Ｒは、下記のように導出される。
Ｒ＝Ｖ・Ｈ・Ｕ^Ｔ

［映像出力制御処理］
次に、図８を用いて変形例の映像出力制御処理について説明する。図８は、変形例の映像出力制御処理の流れを示すフローチャートである。

図８に示すように、ＣＰＵ（補正手段）１１は、上記実施形態の映像出力制御処理と同様にステップＳ２１～ステップＳ２３の処理を行った後、ステップＳ２２で導出された角速度情報を、上述の装着位置推定処理のステップＳ１６で推定された装着姿勢に対応した角速度情報に補正する（ステップＳ３０）。そして、ＣＰＵ１１は、ステップＳ３０で補正された角速度情報とステップＳ２３で取得された角速度情報とに基づいて伸縮マッチング処理（ステップＳ２４）を行う。そして、ＣＰＵ１１は、上記実施形態の映像出力制御処理と同様にステップＳ２５～ステップＳ２７の処理を行い、映像出力処理へ戻る。

以上のように、変形例の映像出力装置１によれば、装着位置推定処理において、体の部位に対するジャイロセンサー２の装着姿勢を推定し、映像出力制御処理において、手本映像に付帯されている骨格情報から導出された角速度情報を、推定された装着姿勢に対応した角速度情報に補正し、ランニングを行っているユーザーに装着されたジャイロセンサー２から取得される角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、上記骨格情報から導出された角速度情報であって装着姿勢に対応した角速度情報に補正された当該角速度情報に基づいて特定するので、手本の動作と当該手本と比較するユーザーの動作との同期を適切に行うことができる。

以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、ゴルフ（ゴルフのスイング）、野球（バットスイング）、ダンス、自転車などの運動を対象としてもよい。

また、上記実施形態において、ユーザーが装着するジャイロセンサー２は、１個に限定されるものではなく、２個以上のジャイロセンサー２をそれぞれ装着するようにしてもよい。

以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３にフラッシュメモリ、ＥＥＰＲＯＭ、ＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。

本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
＜請求項１＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
を備えることを特徴とする映像出力装置。
＜請求項２＞
前記慣性センサーが装着された体の部位を推定する推定手段と、
前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
を備え、
前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定する、
ことを特徴とする請求項１に記載の映像出力装置。
＜請求項３＞
前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項４＞
前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
ことを特徴とする請求項２に記載の映像出力装置。
＜請求項５＞
前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
を備え、
前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定する、
ことを特徴とする請求項２～４のいずれか一項に記載の映像出力装置。
＜請求項６＞
前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
を備え、
前記推定手段は、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
ことを特徴とする請求項５に記載の映像出力装置。
＜請求項７＞
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
を含むことを特徴とする映像出力方法。
＜請求項８＞
コンピュータを、
運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
として機能させることを特徴とするプログラム。

１ 映像出力装置
１１ ＣＰＵ（第１の出力手段、特定手段、第２の出力手段、推定手段、第１の導出手段、取得手段、第２の導出手段）

Claims (5)

1. 運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段と、
   前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段と、
   前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段と、
   前記慣性センサーが装着された体の部位を推定する推定手段と、
   前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段と、
   前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段と、
   前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段と、
   前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段と、
   前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段と、
   を備え、
   前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
   前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
   ことを特徴とする映像出力装置。
2. 前記第２の出力手段は、前記特定手段によって特定された前記第１の導出手段により導出された前記角速度情報の各ポイントと第１の出力手段によって出力される前記角速度情報の各ポイントとの位置関係に基づいて、前記第１の映像データのフレーム画像が撮影されたタイミングに対応するタイミングを算出し、算出された当該タイミングに撮影された前記手本映像データのフレーム画像を出力する、
   ことを特徴とする請求項１に記載の映像出力装置。
3. 前記推定手段は、更に、前記体の部位に対する前記慣性センサーの装着姿勢を推定し、
   前記第１の導出手段によって導出された前記角速度情報を、前記推定手段によって推定された前記装着姿勢に対応した角速度情報に補正する補正手段を備え、
   前記特定手段は、前記第１の出力手段によって出力される前記角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記補正手段によって補正された前記装着姿勢に対応した角速度情報に基づいて特定する、
   ことを特徴とする請求項１に記載の映像出力装置。
4. 運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力工程と、
   前記第１の出力工程によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定工程と、
   前記特定工程によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力工程によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力工程と、
   前記慣性センサーが装着された体の部位を推定する推定工程と、
   前記推定工程によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出工程と、
   前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得工程と、
   前記取得工程によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出工程と、
   前記第２の導出工程によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定工程によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定工程によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出工程と、
   前記抽出工程によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定工程によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出工程と、
   を含み、
   前記特定工程は、前記第１の出力工程によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出工程によって導出された前記角速度情報に基づいて特定し、
   前記推定工程は、前記第２の導出工程によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出工程によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
   ことを特徴とする映像出力方法。
5. コンピュータを、
   運動を行っているユーザーを連続的に撮影した第１の映像データとともに、当該運動を行っているときのユーザーに装着された慣性センサーから得られるセンサーデータを出力する第１の出力手段、
   前記第１の出力手段によって出力されるセンサーデータの各ポイントに対応するポイントのそれぞれが出現するタイミングを、連続的に撮影された前記運動と同じ運動を行っている手本映像データに付帯している所定の運動情報に基づいて特定する特定手段、
   前記特定手段によって特定された前記ポイントのそれぞれが出現するタイミングに対応する前記手本映像データのフレーム画像を、前記第１の出力手段によって出力されるセンサーデータの各ポイントが出現するタイミングに合わせて出力する第２の出力手段、
   前記慣性センサーが装着された体の部位を推定する推定手段、
   前記推定手段によって推定された前記体の部位に関する角速度情報を前記手本映像データに付帯している前記所定の運動情報から導出する第１の導出手段、
   前記慣性センサーを装着した前記ユーザーに任意の動作をさせた際の当該ユーザーを連続的に撮影した第２の映像データを取得する取得手段、
   前記取得手段によって取得された前記第２の映像データに基づいて、前記ユーザーの体の各部位の角速度情報を導出する第２の導出手段、
   前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報のうちの前記推定手段によって推定された前記体の部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、当該慣性センサーから得られた角速度情報が示す角速度の値が第１の閾値よりも大きく、且つ、当該慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、の差の絶対値が第２の閾値よりも小さくなるタイミングの角速度情報を抽出する抽出手段、
   前記抽出手段によって抽出された角速度情報に基づいて、前記慣性センサーから得られた角速度情報が示す角速度と、前記推定手段によって推定された前記体の部位の角速度情報が示す角速度と、が一致する回転行列を導出する第３の導出手段、
   として機能させ、
   前記特定手段は、前記第１の出力手段によって出力される前記センサーデータとしての角速度情報の各ポイントに対応するポイントのそれぞれが出現するタイミングを、前記第１の導出手段によって導出された前記角速度情報に基づいて特定し、
   前記推定手段は、前記第２の導出手段によって導出された前記ユーザーの体の各部位の角速度情報と、前記任意の動作がなされている際に前記慣性センサーから得られた角速度情報とに基づいて、相関が最も高い角速度情報が導出された体の部位を前記慣性センサーが装着された体の部位として推定し、前記第３の導出手段によって導出された回転行列に基づいて、前記慣性センサーの装着姿勢を推定する、
   ことを特徴とするプログラム。

Images