JP2005301479A - 投影された提示者の動作による命令入力装置 - Google Patents

Abstract

【課題】グラフィックスを用いた命令入力方法において、操作の様子を自分だけでなく他の人に見せたい場合に、提示者の身体表現を十分生かし、臨場感のある対話的情報提示を行うことを可能にすることである。
【解決手段】ビデオカメラ16で撮影した映像の背景を除去して提示者像34を切り抜き、パソコン14で作り出された提示映像と組み合わせ合成映像を作り出し、提示者の動作を認識して命令信号を生成し、その命令信号により合成映像内のオブジェクトと対話する。
【選択図】図１

Description

本発明は、グラフィックスを用いた命令入力装置に関する。

従来、グラフィックスを用いた命令入力方法には、マウスなどの入力装置を利用していた。このような入力装置を用いると、例えばマウスポインタでアイコンをクリックするなど、指示位置を画面表示することによって操作が可能である。

しかしながら、上記命令入力方法には次のような問題がある。操作の様子を自分だけでなく他の人に見せたい場合に、ポイントする位置情報だけでは表現が限られてしまう。例えば、マウスカーソルによる指示動作では、長さを表現することができない。またプレゼンテーションツールでは、提示者の顔の表情や身体表現を表せないので、臨場感のある情報提示を行うことができない。

そこで、本発明の目的は、提示者の身体表現を十分生かし、臨場感のある対話的情報提示を行うことを可能にすることである。

映像を取得するための撮影手段と、撮影手段で取得した映像から提示者のみを切り抜き背景が除去して提示者映像を作り出す背景除去手段と、提示者の動作を認識し信号に変換するための認識手段と、提示者映像と他の画像を合成して合成映像を作り出す映像合成手段と、合成映像を投影する表示手段と、提示者が表示手段を見ることができる配置手段を特徴とする。

これにより、提示者は身体を十分に生かした臨場感のある対話的情報提示を行うことが可能になる。

また、上記配置で上記表示手段に投影された上記提示者映像の指先を提示者が見れば、提示者映像の指先が投影された提示者の視線上にあることを特徴とする。

これにより、投影された提示者の視線の先に提示者映像の指先があるため、提示者が指示している場所がわかり易い。

また、上記配置で上記提示者が指す、上記表示手段上の点と表示手段に投影された上記提示者映像の指先が一致することを特徴とする。

これにより、提示者が指す、表示手段上の点が常に提示者映像の指先になるため、提示者は提示者映像を通した指示動作を容易に行うことができる。

また、上記映像合成手段で提示者映像および他の映像に奥行き情報を付加することにより三次元映像が編集・合成可能であることを特徴とする。

これにより、合成映像に現実感が増す。特に合成映像内に様々なオブジェクトがある場合に有効である。

また、映像編集手段を備え、上記提示者映像を編集可能であることを特徴とする。

これにより、現実感だけでなく提示者映像を加工し演出効果を利用した表現力豊かな情報提示を行うことが可能になる。

また、上記信号により映像合成手段を提示者が操作可能であることを特徴とする。

これにより、提示者が奥行き情報を制御できるので、オブジェクト移動時に現実感がでる。

また、上記信号により上記映像編集手段を提示者が操作可能であることを特徴とする。

これにより、提示者自身が生（ライブ）で演出効果を付加できるため、アドリブで情報提示を効果的に行うことができる。

また、撮影手段を複数備え、それぞれの撮影手段で映像を取得することで、複数人の提示者を区別して動作を認識可能なことを特徴とする。

これにより、複数提示者による別々の命令入力が可能であるので、共同作業領域として合成映像を使うことができる。

また、命令入力装置を複数用い、それぞれの背景除去手段からすべての合成器に提示者映像を送ることが可能であることを特徴とする。

これにより、遠隔地にいる提示者が、合成映像内を共同作業領域として他の提示者映像と対話可能になる。

以上説明したように、本発明によれば、提示者の身体表現を十分生かし、臨場感のある対話的情報提示を行うことを可能にする。

この発明の実施例について図面を参照して説明する。図１は必要機器の概要についての図である。この実施例では、スクリーン10(表示手段)と、スクリーン10に投影するためのプロジェクタ12と、提示者18を撮影するためのビデオカメラ16(撮影手段)と、映像合成や映像認識のためのコンピュータ14（背景除去手段、認識手段、映像合成手段、および映像処理手段）を必要とする。また、提示者像34はスクリーン10に投影されている提示者18の映像である。

図２はデータフローを示している。ビデオカメラ16で提示者18を撮影し、その映像を背景除去器22（背景除去手段）に送る。背景除去器22で映像から提示者18のみの提示者像34を切り抜き、認識器24（認識手段）と映像編集器27（映像処理手段）に送る。認識器24で提示者18の動作を認識し信号に変換し、命令生成器26に送る。命令生成器26で信号を命令に変換し映像編集器27、情報提示器28、その他ソフトウェア29、合成器30に送り、それらを制御する。映像編集器27では提示者像34を加工し、情報提示器28では提示画像（デジタルコンテンツ）を出力し、その他ソフトウェア29では命令を実行し必要があれば映像として出力し、それぞれ合成器30に送る。合成器30で映像の合成処理を行い合成映像を作り、プロジェクタ12に送る。最後にプロジェクタ12で合成映像をスクリーン10へ投射する。

背景除去器22では、背景差分法を用いて提示者像34を取得している。提示者なしで撮影した背景画像とビデオカメラ16からの生（ライブ）映像を比較し、後者のうち前者と一致しない部分を提示者像34として出力する。

認識器24では、特定の領域をボタンとし、その領域と提示者像34が一定時間重なると、提示者がボタンを押す動作を行ったと認識する。また、赤い指示棒を仮想ペンとすることができ、指示棒を一定時間とめておくとペン入力を開始し、描画可能になり、終了時には指示棒を一定時間とめることでペン入力を終了する。

命令生成器26では、信号を命令へ変換し、映像編集器27、情報提示器28、その他ソフトウェア29、合成器30に送る。ここで合成器へ送る命令には深さ情報が含まれる。

映像編集器27では、命令により提示者像34を加工する。例えば半透明にするなど現実にはない映像効果を付加する。

情報提示器28では、命令により提示画像を制御する。例えば、提示画像を変えるなどの操作を行う。

その他ソフトウェア29は命令より制御される。ここでのソフトウェアにはオペレーティングシステムも含まれる。

合成器30では、映像編集器27、情報提示器28、その他ソフトウェア29からのそれぞれの情報を、命令に含まれる深さ情報を用いて三次元的映像に合成して合成映像を作り出す。

図３は、本実施例を複数用いた遠隔地対応例のシステム構成を示す。提示者18e、18fをビデオカメラ16e、16fで撮影し、その映像を背景除去器22e、22fに送る。背景除去器22e、22fから提示者像34e、34fを合成器30e、30f両方に送る。合成器30e、30fで提示者映像および他の画像を合成し、各々プロジェクタなどを用いスクリーン10e、10fに投影する。

図４は提示者18が演技するための配置図である。ビデオカメラ16で提示者18を撮影し、プロジェクタ12でスクリーン10に合成映像を投影する。点Aは提示者像34の指先の点である。仮想提示者20は、実際にスクリーンの前に立ったときにスクリーン10に投影されている提示者像34の外観と同じになる仮想的な提示者で、その視線が点Aを通ると仮定したものと定義する。仮想板32は、提示者18との関係が、スクリーン10と仮想提示者20の位置関係と相似であるものと定義する。また、プロジェクタ12からスクリーン10に対して垂直に合成映像を投影するので、ビデオカメラ16と仮想板32も垂直の位置関係にある。また、点Vはビデオカメラの位置、点Pは提示者の位置、点Iは仮想提示者の位置である。角度θは、スクリーンとビデオカメラ16の撮影方向のなす角である。点Bは、線APと仮想板32の交点である。角度γは、線APとスクリーン10のなす角である。角度φは、線BPと仮想板32のなす角度であり、線Iとスクリーン10のなす角度でもある。また、この状況では、θ+γ-φ=90が成り立っている。

提示者18が指を線VB上のどこにおいても、提示者像34の指先が点Aに来る。特に提示者18が点Bに指を置けば、提示者18と仮想提示者20の指先が点A方向に向く、さらに提示者が点Aを見ながら点Bに指を置けば、仮想提示者20の指と視線が共に点Aを向く。

図５は、角度θを変えることによる仮想提示者20と仮想板32の位置の変化を示している。図５ではγ＝45°、提示者とスクリーンの距離AP＝3.5ｍ、スクリーンサイズ縦2.5ｍ横2.0ｍの条件で、角度θ＝90°、60°、0°に設置したビデオカメラ16a、16b、16cで撮影した。それぞれ対応する仮想提示者を20a、20b、20cに示し、また対応する仮想板を32a、32b、32cに示す。図６〜８に、それぞれの合成映像の出力を示す。それぞれの条件を上記式に対応させると角度φ＝45°、15°、-45°になっている。ここで、仮想提示者20cはスクリーン10の後ろの位置に存在していることに注意せよ。これは提示者像34が裏から提示情報を指示している合成映像になる。

以下で、提示者18の動作で合成映像内のオブジェクトと対話する方法と編集の効果を記す。ここで提示者の動作による対話は、合成映像で提示者像がオブジェクトと対話しているようにみえるため、以下では提示者像を主語にして記している。図９〜１０は対話している瞬間の出力、図１０〜１２は編集結果の出力、図１３は対話によって編集された結果の出力であり、順に説明していく。

提示者像が画面左下のボタンを覆い隠すことでボタンを選択し、画像右下に命令状態が表示され、引き続き一定時間覆い続けることで提示者像はボタンを「押す」ことになる。提示者像がネクストボタンを覆い隠すことで、命令状態にネクストと表示される。さらに提示者像は一定時間覆い隠すことでスライドを進める。これにより、提示者18はマウスなどの入力デバイスを操作するなど情報提示の流れを妨げることなく、自然な動作を行うことができる。提示者像がネクストボタンを押している瞬間の出力を図９に示す。

提示者像が特殊な色（ここでは赤）の指示棒で左下のボタンを一定時間覆い隠すことで、その指示棒の先が仮想ペン（CGの赤鉛筆）に替える。次に、提示者像は仮想ペンを書き始めの位置に一定時間静止させることで、仮想ペンの軌跡通りの自由曲線が描画可能な状態になる。終了時には、書き終わりの位置に一定時間静止させることで、仮想ペンを元の指示棒に戻す。また、赤鉛筆だけではなく、消しゴムに替えることで、スライドコンテンツを消すこともできる。提示者像が線を描画している瞬間の出力を図１０に示す。

奥行き情報を用いて仮想オブジェクト（分子モデルなど）が提示者像の手前にあるように見せることができる。このようにして得られた出力を図１１に示す。

提示者像を編集し半透明にすることができる。これにより、提示者像は背景画像の図や文字と重なっても、半透明なので邪魔にならずに身体を用いた指示動作を行うことができる。その状態の出力を図１２に示す。

他にも、提示者が操作ボタンを覆うなどの命令生成方法により様々な編集機能を使うことができる。例えば、提示者像自身を移動、サイズ調節、鏡映（反転）化を行うなど様々など様々な演出効果がある。

２人の提示者の提示者像による対話例として、提示者像１が仮想剣で提示者像２の体を切ることができる。上記仮想ペンと同様に、指示棒を仮想剣（CGの剣）にすることができ、仮想剣で触れると合成映像内のオブジェクトを切ることができる。このように、合成映像内で提示者像間の対話が可能であり、他の提示者像に様々な演出効果を付加することができる。提示者同士の対話により提示者像の首が切れた状態の出力を図１３に示す。

本発明が適応されたプレゼンテーションシステムの概略を示す図である。 本発明の実施形態におけるデータフロー図である。 本発明の実施形態における遠隔地対応のシステム構成を示す図である。 本発明による実施形態における装置の配置図である。 本発明の実施形態におけるビデオカメラ配置の変化による仮想提示者と仮想板の位置変化を示す図である。 Φ＝45°での合成映像の出力示す図である Φ＝15°での合成映像の出力を示す図である Φ＝-45°での提示者像の出力を示す図である 提示者像がネクストボタンを押している瞬間の出力である 提示者像が提示画像に線を描画している瞬間の出力である。 仮想オブジェクト（分子モデル）が提示者像の手前にある状態の出力である。 提示者像を編集し半透明になっている状態の出力である。 提示者同士の対話により提示者像の首が切れた状態の出力である。

符号の説明

10、10e、10f スクリーン
12 プロジェクタ
14 コンピュータ
16、16a、16b、16c、16e、16f ビデオカメラ
18、18e、18f 提示者
20、20a、20b、20c 仮想提示者
22、22e、22f 背景除去器
24 認識器
26 命令生成器
27 映像編集器
28 情報提示器
29 その他ソフトウェア
30、30e、30f 合成器
32、32a、32b、32c 仮想板
34、34e、34f 提示者像

Claims (9)

1. 映像を取得するための撮影手段と、撮影手段で取得した映像から提示者のみを切り抜き背景を除去して提示者映像を作り出す背景除去手段と、提示者の動作を認識し信号に変換するための認識手段と、提示者映像と他の映像を合成して合成映像を作り出す映像合成手段と、合成映像を投影する表示手段と、提示者が表示映像を見ることができる配置を特徴とする命令入力装置。
2. 請求項１において、上記配置で上記表示手段に投影された上記提示者映像の指先を提示者が見れば、提示者映像の指先が投影された提示者の視線上にあることを特徴とする命令入力装置。
3. 請求項１において、上記配置で上記提示者が指す、上記表示手段上の点と表示手段に投影された上記提示者映像の指先が一致することを特徴とする命令入力装置。
4. 請求項１において、上記映像合成手段で提示者映像および他の映像に奥行き情報を付加することにより三次元的映像が編集・合成可能であることを特徴とする命令入力装置。
5. 請求項１において、映像編集手段を備え、上記提示者映像を編集可能であることを特徴とする命令入力装置。
6. 請求項１において、上記信号により映像合成手段を提示者が操作可能であることを特徴とする命令入力装置。
7. 請求項４において、上記信号により上記映像編集手段を提示者が操作可能であることを特徴とする命令入力装置。
8. 請求項１において、撮影手段を複数備え、それぞれの撮影手段で映像を取得することで、複数人の提示者を区別して動作を認識可能なことを特徴とする命令入力装置。
9. 請求項１の命令入力装置を複数用い、それぞれの背景除去手段からすべての合成器に提示者映像を送ることが可能であることを特徴とする命令入力装置。