JP3773670B2 - 情報呈示方法および情報呈示装置および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画などの時間とともに変化する時系列データに対して注釈（付加情報）を付加するときに、注釈を時系列データの変化に応じて変形して呈示する情報呈示方法およびそれを用いた情報呈示装置に関する。
【０００２】
【従来の技術】
例えば、携帯端末に呈示されている動画にペン等の入力装置を用いて注釈を付加する方式としては、以下のように分類できる。
【０００３】
・別画面型（動画の呈示領域とは、別の領域に注釈を書き込む方式）
・同一画面型（動画の呈示領域と同一領域に注釈を書き込む方式）
別画面型は、動画の呈示領域とは別の場所に、例えば手書き文字などの注釈を書き込むものである。この方式の例として、特開平２−５６０６９号公報が挙げられる。しかし、この方法では、注釈が動画の表示領域の、どの部分を示すのかという、画面上での位置を直接示すことはできない。
【０００４】
同一画面型は、動画の表示領域と同一画面上に、例えば手書き文字などの付加情報を書き込むものである。この方式では、動画の上に直接付加情報を書き込むため、例えば、動画で表示された、人の顔の画像に手書きで丸印を付加する、といったように、画面上の位置と注釈とを関連付けて注釈を書き込むことができる。
【０００５】
同一画面型で付加情報を書き込む方式は、以下のように分類できる。
【０００６】
・ 静止画型（動画の呈示を一時停止して、注釈を書き込む方式）
・ 直接型（動画の呈示を停止することなく、注釈を書き込む方式）
静止画型は、注釈を記憶するときに、動画の表示を停止して、その間に手書き文字などの注釈を記憶するものである。この方式の例として、特開平１０−２８２５０号公報が挙げられる。この方式では、注釈を記憶する方法は、静止画上に書き込むのと同じである。注釈の付加されたフレームは、このフレーム付近の動画の、代表画面として呈示して、例えば、動画の検索に利用することができる。また、当該注釈の付加された動画を再生するときには、例えば、注釈の付加されたことを示すため、当該フレームの再生に続けて所定時間継続して表示することもできる。
【０００７】
しかし、静止画型では、注釈を付加するときに動画の表示が停止するため、その間の動画を確認できない、という問題があった。また、注釈の付加された動画を再生するときに、例えば、画面上に表示された人の顔の画像に、手書きで丸印の注釈を付加した場合、例えば５秒後には、動画が変化して、その丸印が別のものを示す、といったように、動画の画面が大きく変化しているにも関わらず、注釈が表示され、動画を見るユーザを混乱させる、という問題があった。
【０００８】
一方、直接型は、動画の呈示を停止することなく、注釈を付加するものである。この方式の例として、野球の解説のために、ボールの軌跡の動画を再生しながら、画面上でのボールの軌跡を手書きペンでなぞって示すものが挙げられる。この方式では、注釈を書き込むときに、動画の変化に応じて注釈を変化させることができる。しかし、ボールの軌跡ではなく、ボールそのものを囲む、手書きの丸印の注釈を付加したい場合には、注釈を付加している最中でも画面が変化するため、注釈がいびつな形になるという問題があった。
【０００９】
このように、同一画面型では、動画が時間とともに変化するにともなって、動画と注釈との間で整合が取れなくなるという問題があった。
【００１０】
【発明が解決しようとする課題】
このように、従来の情報呈示方法では、動画のような時間とともに変化する時系列データの呈示領域と同一領域に、時系列データの呈示を一時停止して注釈を書き込む、あるいは時系列データの呈示を停止することなく注釈を書き込む場合、時系列データとそれに対する注釈との間で整合が取れなくなり、意図した注釈が付加・呈示ができなかいという問題点があった。
【００１１】
そこで、本発明は、動画のように時間の経過とともに変化する時系列データの呈示画面上に、呈示されている時系列データと整合をとりながら付加情報の付加および呈示が行え、意味のない付加情報が呈示画面上に呈示されて、ユーザが動画を見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる情報呈示方法およびそれを用いた情報呈示装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
（請求項１）本発明の情報呈示方法は、時間の経過に伴って変化する時系列データに付加された該時系列データに関連付けられた付加情報を、該時系列データとの相関関係に基づき変形し、この変形された付加情報と該時系列データとを合成して呈示することを特徴とする。
【００１３】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００１４】
（請求項２）好ましくは、前記時系列データから検出されたオブジェクトとの相関関係に基づき前記付加情報を変形することを特徴とする。
【００１５】
本発明によれば、時系列データの中に表示されたオブジェクトの移動という、より細かい時系列データの変化に対しても、それと相関するように付加情報の表示位置を移動させるなどの付加情報の変形を行うことにより、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００１６】
（請求項３）好ましくは、前記時系列データと前記付加情報を記憶手段に記憶し、この記憶された時系列データの中から前記付加情報の関連付けられた時系列データを検索し、この検索された時系列データとの相関関係に基づき該付加情報を変形することを特徴とする。
【００１７】
本発明によれば、入力した時系列データに予め付加情報を付加して、それを当該時系列データに関連付けて記憶しておくことにより、後に、例えば、付加情報を手掛かりに時系列データを検索したり、時系列データを再生する際には、当該時系列データの変化に相関して付加情報も変形させて呈示でき、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく時系列データとそれに付加された付加情報の呈示を何度でもすることができる。
【００１８】
（請求項４）好ましくは、前記時系列データの内容の変化（例えば、シーン切り替え）に基づき前記付加情報を変形（例えば、シーン切り替えと同時に、それまで呈示していた付加情報を消去する）させることを特徴とする。
【００１９】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００２０】
（請求項５）好ましくは、前記付加情報が付加された時系列データの時間経過に基づき該付加情報を変形する（例えば、所定時間経過したら付加情報を消去する）ことを特徴とする。
【００２１】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００２２】
（請求項６）好ましくは、時間の経過に伴う前記時系列データの変化量（例えば、時系列データ中のオブジェクトの移動量、形状や大きさの変化量）に基づき前記付加情報を変形（例えば、位置の移動や、拡大・縮小等の変形）することを特徴とする。
【００２３】
本発明によれば、時系列データの中に表示されたオブジェクトの移動という、より細かい時系列データの変化に対しても、それと相関するように付加情報の表示位置を移動させるなどの付加情報の変形を行うことにより、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００２４】
（請求項７）好ましくは、前記時系列データ中の前記付加情報の呈示位置に基づき該付加情報を変形する（例えば、付加情報の鏡像を生成する）ことを特徴とする。
【００２５】
本発明によれば、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００２６】
（請求項８）本発明の情報呈示装置は、時間の経過に伴って変化する時系列データを入力するデータ入力手段と、
このデータ入力手段で入力された時系列データに関連付ける付加情報を入力する付加情報入力手段と、
前記時系列データと前記付加情報入力手段で入力された付加情報との相関関係に基づき該付加情報を変形する変形手段と、
この変形手段で変形された付加情報と前記時系列データとを合成して呈示する呈示手段と、
を具備したことを特徴とする。
【００２７】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００２８】
（請求項９）好ましくは、前記時系列データからオブジェクトを検出するオブジェクト検出手段をさらに具備し、
前記変形手段は、このオブジェクト検出手段で検出されたオブジェクトとの相関関係に基づき前記付加情報を変形することを特徴とする。
【００２９】
本発明によれば、時系列データの中に表示されたオブジェクトの移動という、より細かい時系列データの変化に対しても、それと相関するように付加情報の表示位置を移動させるなどの付加情報の変形を行うことにより、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００３０】
（請求項１０）好ましくは、前記時系列データと前記付加情報とを記憶する記憶手段と、
この記憶手段で記憶された時系列データの中から前記付加情報の関連付けられた時系列データを検索する検索手段とを具備し、
前記変形手段は、この検索手段で検索された時系列データとの相関関係に基づき該付加情報を変形することを特徴とする。
【００３１】
本発明によれば、入力した時系列データに予め付加情報を付加して、それを当該時系列データに関連付けて記憶しておくことにより、後に、例えば、付加情報を手掛かりに時系列データを検索したり、時系列データを再生する際には、当該時系列データの変化に相関して付加情報も変形させて呈示でき、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく時系列データとそれに付加された付加情報の呈示を何度でもすることができる。
【００３２】
（請求項１１）好ましくは、前記時系列データの内容の変化（例えば、シーン切り替え）に基づき前記付加情報を変形（例えば、シーン切り替えと同時に、それまで呈示していた付加情報を消去する）させることを特徴とする。
【００３３】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００３４】
（請求項１２）好ましくは、前記付加情報の関連付けられた時系列データの時間経過に基づき該付加情報を変形する（例えば、所定時間経過したら付加情報を消去する）ことを特徴とする。
【００３５】
本発明によれば、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００３６】
（請求項１３）好ましくは、時間の経過に伴う前記時系列データの変化量（例えば、時系列データ中のオブジェクトの移動量、形状や大きさの変化量）に基づき前記付加情報を変形（例えば、位置の移動や、拡大・縮小等の変形）することを特徴とする。
【００３７】
本発明によれば、時系列データの中に表示されたオブジェクトの移動という、より細かい時系列データの変化に対しても、それと相関するように付加情報の表示位置を移動させるなどの付加情報の変形を行うことにより、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００３８】
（請求項１４）好ましくは、前記時系列データ中の前記付加情報の呈示位置に基づき該付加情報を変形する（例えば、付加情報の鏡像を生成する）ことを特徴とする。
【００３９】
本発明によれば、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００４０】
（請求項１５）本発明の記録媒体は、時間の経過に伴って変化する時系列データに関連付ける付加情報を入力させる付加情報入力手段と、
前記時系列データと前記付加情報入力手段で入力された付加情報との相関関係に基づき該付加情報を変形させる変形手段と、
この変形手段で変形された付加情報と前記時系列データとを合成して呈示させる呈示手段と、
を実行するプログラムを記録した機械読み取り可能な記録媒体であり、
本発明によれば、上記手段を、少なくとも時系列データとして例えば動画を入力するためのカメラ（データ入力部）、ディスプレイ装置とその上に重ねられて固定された透明な感圧式タブレットとその上に手書き図形を描くためのペン（呈示部、付加情報入力部）を具備したパーソナルコンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することにより、時系列データの呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が時系列データ上に呈示されて、ユーザが時系列データを見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００４１】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００４２】
（第１の実施形態）
図１は、本発明の情報呈示方法を用いた第１の実施形態に係る情報呈示装置の要部の概略構成を示したもので、例えば、動画のように時間とともに変化する時系列データを呈示するとともに、呈示した時系列データに例えばペン入力にて付加情報（注釈）を付加する機能を有している。
【００４３】
図１において、情報呈示装置は、時系列データ（動画、音声等）としての、例えば動画データを入力するデータ入力部１０１と、タブレット１０４ａとペン１０４ｂを用いて、付加情報としての手書き図形を入力するための付加情報入力部１０４と、付加情報入力部１０４から入力された付加情報をデータ入力部１０１から入力した動画データの変化と相関を持つように変形する付加情報変形部１０５と、付加情報変形部１０５で変形された付加情報とデータ入力部１０１から入力した動画データとを合成する、あるいは、付加情報の入力がないときはデータ入力部１０１から入力した動画データをそのまま出力する合成部１０２と、合成部１０２から出力された動画データ（付加情報と合成された動画データあるいは、付加情報の入力がないときはデータ入力部１０１から入力した動画データそのもの）を呈示する呈示部１０３とから構成される。
【００４４】
図２は、第１の実施形態に係る情報呈示装置の外観の一例であり、例えばカメラで構成されたデータ入力部１０１から取り込まれた、人の映像の動画データが、呈示部１０３に呈示され、ユーザはその動画の画面上にあるタブレット１０４ａ上に、付加情報（注釈）としての図形をペン１０４ｂを用いて付加している。このとき、ユーザの入力した付加情報が、付加情報変形部１０５で、動画の変化に相関して変形されて、呈示されるようになっている。
【００４５】
動画データの変化には、以下のようなものが考えられる。
【００４６】
・動画が少しずつ変化（画面の変化が小さいものの連続）
・動画のシーン切り替え（画面の大きな変化が起こること）
ここで、付加情報変形部１０５が、動画のシーン切り替えが起こると、それに相関するように付加情報を変形させる場合について説明する。
【００４７】
データ入力部１０１から入力した動画データに、シーン切り替えが起こると、ユーザにより入力された付加情報を消去する、という付加情報が変形する様子を図３に示す。
【００４８】
図３（ａ）に示すように、ユーザが呈示部１０３の画面上（タブレット１０４ａ）にペン１０４ｂを用いて付加情報Ｆ１を入力したとする。付加情報を入力した直後の呈示部１０３の呈示例を図３（ｂ）、（ｃ）に示す。その後、図３（ｄ）に示すように、シーン切り替えが起こり、付加情報Ｆ１が消去されている。この例が、どのようにして行われるかを以下に説明する。
【００４９】
データ入力部１０１は、例えば図２に示したようなカメラや、テレビ受信機などで構成され、動画を入力する。データ入力部１０１に入力される動画は、静止画の連続で構成され、ひとつの静止画をフレームと呼ぶ。データ入力部１０１は、フレームを周期的に入力することにより、動画を入力する。図３（ａ）から図３（ｄ）までは、連続したフレームを表している。データ入力部１０１から入力された動画は、合成部１０２で、ユーザによって付加情報として入力された手書き図形の画像と合成されて、呈示部１０３に呈示される。
【００５０】
合成部１０３は、データ入力部１０１から入力された動画と、ユーザが入力した手書き図形などの付加情報の画像を合成して、呈示部１０３に出力する。ユーザが入力した付加情報は、合成部１０３に入力される前に、付加情報変形部１０５によって変形処理され、付加情報変形部１０５が出力する画像と、データ入力部１０１から出力される動画とを合成する。
【００５１】
呈示部１０３は、例えば、液晶画面などで構成され、データ入力部１０１から入力された動画を表示する。これにより、ユーザは、どのような動画が入力されているかを、モニターすることができる。図３（ａ）に示した人の画像は、このようにして入力された動画である。
【００５２】
付加情報入力部１０４は、例えば、呈示部１０３の上に重ねられて固定された、透明な感圧式タブレット１０４ａと、その上に手書きの図形を描くためのペン１０４ｂとで構成され、付加情報として手書き図形などを入力する。ペン１０４ｂがタブレット１０４ａ上に接触すると、タブレット１０４ａはペン１０４ｂが接触した場所の座標値が連続して発生し、付加情報変形部１０５へ出力する。
【００５３】
付加情報変形部１０５は、データ入力部１０１から入力された動画が、シーン切り替えしたことを検出すると、付加情報入力部１０４から入力された付加情報としての手書き図形を消去し、そうでない場合は、付加情報入力部１０４から入力された手書き図形の画像をそのまま出力する。図３（ａ）〜（ｃ）に示した手書き図形は、このようにして入力された付加情報である。図３（ａ）〜（ｃ）は、付加情報が入力された直後の画面を表しているため、シーン切り替えは起こっておらず、手書きの付加情報は、動画と合成されて表示されている。
【００５４】
付加情報変形部１０５は、詳しくは図４に示すように、データ入力部１０１から出力された動画がシーン切り替えしたかどうかを検出するシーン切り替え検出部１０５ａと、付加情報入力部１０４から出力された座標値を座標値列として記憶する、情報記憶部１０５ｂと、シーン切り替えが検出されない場合には、付加情報記憶部１０５ｂに記憶された座標値を平面上で直線で結んで、タブレット１０４ａ上でのペン１０４ｂの軌跡画像を生成し、シーン切り替えが検出された場合には、付加情報記憶部１０５ｂに記憶された付加情報を呈示部１０３から消去すべく、当該付加情報の座標値列をクリアする付加情報変形部１０５ｃとから構成される。
【００５５】
図５は、付加情報変形部１０５の処理手順を説明するためのフローチャートである。付加情報記憶部１０５ｂで付加情報入力部１０４から出力された座標値を座標値列として記憶し（ステップＳ１）、シーン切り替え検出部１０５ａで、データ入力部１０１から出力された動画がシーン切り替えしたかどうかを検出し（ステップＳ２）、シーン切り替えがあった場合には（ステップＳ３）、付加情報記憶部１０５ｂに記憶された座標値列をクリアし（ステップＳ４）、そうでない場合には、ステップＳ５に進む。ステップＳ５では、付加情報変形部１０５ｃで、付加情報記憶部１０５ｂに記憶された座標値列を平面上で結んで手書き図形の軌跡画像を生成して呈示部１０３に出力する。
【００５６】
なお、シーン切り替えとは、例えば、図３（ａ）〜図３（ｃ）に示すように、最初人間が登場して画面が、図３（ｄ）に示す最後の段階で風景に画像が切り替わっているように、動画の内容が似ているものが連続する状態から急に今までとは異なった画像が出てくることである。
【００５７】
シーン切り替えの検出には、様々な方法が提案されているが、例えば、画像の色差成分の変化量Ｄを各フレームごとに調べ、Ｄがある値以上になった場合にシーン切り替えが発生したと判定する。
【００５８】
時刻ｔの座標（ｘ、ｙ）の画素値をＰｔ（ｘ、ｙ）と表し、時刻ｔ−１からｔへ変化したときの座標（ｘ、ｙ）の画素の動き量をマッチング等を用いて算出した動きベクトル（ｍｖｘ、ｍｖｙ）を用いれば、Ｄは次式のように表される。
【００５９】
【数１】

【００６０】
Ｄがあるしきい値Ｄ０を越えると、シーン切り替えが起こったと判定する。
【００６１】
図３（ｂ）と図３（ｃ）では、入力した動画フレームの変化が小さく、Ｄの値がしきい値Ｄ０を越えないため、シーン切り替えが起きていないと判定できる。そのため、図３（ａ）で呈示されていた付加情報は、図３（ｂ）でも、図３（ｃ）でも、付加情報変形部１０５から出力されるため、画面上に残ったまま呈示される。
【００６２】
一方、図３（ｄ）では、今まで入力されていた人の画像とは大きく異なる、景色の画像が入力されているため、入力された動画フレームの変化が大きく、Ｄの値がしきい値Ｄ０を越え、シーン切り替えが起きたと判定できる。従って、図３（ａ）から図３（ｃ）まで呈示され続けてきた付加情報は、付加情報変形部１０５でクリアされ（付加情報記憶部１０５ｂから当該付加情報の座標値が消去され）、呈示部１０３の画面上から付加情報が消去される。
【００６３】
図３（ｄ）以降に入力された動画についても、図３（ａ）から図３（ｃ）までに呈示されていた付加情報は呈示されることがないため、ユーザは、動画の内容と関係のない付加情報を、誤って理解するといった弊害がなくなる。
【００６４】
（効果）
以上説明したように、上記第１の実施形態によれば、動画の呈示画面上に直接入力した付加情報を画面上で呈示される意味がある間だけ呈示するので、意味のない付加情報が動画上に呈示されて、ユーザが動画を見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【００６５】
（第１の実施形態の変形例）
上記第１の実施形態では、付加情報変形部１０５でシーン切り替えを検知したときに付加情報を変形（消去）する場合について説明したが、この場合に限らず、動画データの変化（すなわち、時間の経過）に相関して付加情報を変形する方法であれば何でも良い。
【００６６】
例えば、図６に示すように、付加情報Ｆ１の入力が終了すると（図６（ａ））、時間が経過するにつれて、図６（ａ）〜図６（ｄ）に示すように、付加情報Ｆ１を徐々に色を褪せさせて（色の褪せていく経過を、順番に太い実線、細い実線、太い点線、細い点線で表している）、ある一定時間が過ぎるとその付加情報を消しても良い。これにより、上記第１の実施形態で説明したように、シーン切り替えと同時にいきなり付加情報が消えるのではなく、時間が経つことで徐々に消えていくことにより、ユーザに対し付加情報が時間的にいつ頃付加されたかを視覚的に見せることができる。また、シーン切り替えが起こりにくい動画データの場合には、入力した付加情報が、ずっと呈示されたままにならない、という利点もある。
【００６７】
図７に、シーン切り替えが起こりにくい動画データの場合に、時間経過とともに付加情報を徐々に消していく様子を示す。図７（ａ）〜図７（ｄ）では、それぞれ、ひとつづつ付加情報（Ｆ１〜Ｆ４）が入力されているが、シーン切り替えが起こっていないため、例えば、図７（ａ）人の映像の頭の部分を指し示す付加情報Ｆ１が入力されたとき、図７（ｄ）では、当該人の頭の部分が移動したため、付加情報Ｆ１の呈示が無意味となる。
【００６８】
付加情報を色褪せさせる方法の一例として、付加情報の輝度の変化を時間の関数で表すものが挙げられる。例えば、ユーザにより入力された付加情報の画素値をａｄｄ＿ｄａｔａ（ｘ、ｙ）、データ入力部１０１から入力した動画データのフレームと付加情報とを合成した呈示データの画素値をｄｉｓｐ＿ｄａｔａ（ｘ、ｙ）と表し、ｔを時間を表す変数、ｔが「０」のときにシーン切り替えが起こり、付加情報が呈示部１０３の画面上から消える時刻をＴとすると、ｔ＝０からの時間経過に伴う付加情報の輝度を例えば図８に示すような関数ｆ（ｔ）を用いて変化させる。データ入力部１０１から入力する動画データの各フレームにおける、座標（ｘ、ｙ）の画素値をｉｎｐｕｔ＿ｄａｔａ（ｘ、ｙ）と表すとすると、時刻ｔにおける呈示データｄｉｓｐ＿ｄａｔａ（ｘ、ｙ）は、付加情報の画素値ａｄｄ＿ｄａｔａ（ｘ、ｙ）に関数ｆ（ｔ）を乗じたものを、時刻ｔにおける動画データの画素値ｉｎｐｕｔ＿ｄａｔａ（ｘ、ｙ）に加算することで求めることができる（式（２）参照）。
【００６９】

なお、関数ｆ（ｔ）は、図８に示したように、時刻ｔ＝０のときにｆ（ｔ）＝１、ｔが無限大のときにｆ（ｔ）＝０となるような関数であれば何でも良く、このほかにも、関数ｆ（ｔ）は、図９から図１１に示すようなものでも良い。その中でも図１１に示す関数ｆ（ｔ）は特殊な例であり、図１１に示したような関数ｆ（ｔ）と（２）式とを用いて、呈示データｄｉｓｐ＿ｄａｔａ（ｘ、ｙ）を作成すると、付加情報の入力が終了して、一定の時間Ｔが経過するまでは、付加情報はそのまま呈示部１０３に呈示され、時間Ｔが経過すると付加情報は消去される。
【００７０】
また、付加情報を時間とともに変化させる方法として、付加情報を色褪せさせるのではなく、時間が経過するにつれて色を変化させる方法であってもよい。
【００７１】
また、第１の実施形態で説明したシーン切り替えを利用し付加情報を変形する方法および上述の時間を利用した変形方法を組み合わせても良い。この場合、シーン切り替えの前までは通常通りに付加情報の呈示を行い、シーン切り替えが発生した後、徐々に色褪せて付加情報の呈示する。これにより、付加情報が有効な意味を有する間だけは正確に呈示され、その後徐々に消去する呈示ができる。
【００７２】
また、上記第１の実施形態のシーン切り替え検出では、画像の色差成分の変化量を各フレームごとに調べ、ある値以上になった場合に、シーン切り替えが発生したと判定したが、シーン切り替えを検出できる方法ならば、このほかの方法でも良い。例えば、データ入力部１０１から入力する動画データがＭＰＥＧ等の符号化を利用して符号化された画像である場合、図１の付加情報変形部１０５では、データ入力部１０１から得た時系列データそのものではなく、当該時系列データから抽出された動画の特徴量（例えば動きベクトルのみの情報や、動きベクトルの符号量の総和や、色差成分の直流成分）だけを用いて、シーン検出を行っても良い。
【００７３】
また、上記第１の実施形態では、手書き図形などの付加情報は、動画の表示を停止することなく付加したが、動画の場合、付加情報の入力の間も時間が経過してしまい、ユーザが付加したいと考え付加情報を書き始めても書き終わったときには、意図した画像とは別の内容の画像になっている場合があるため、付加情報が開始されると、動画の表示の更新を停止して、フレームの静止画面上に対して付加しても良い。例えば、図１２に示すように、時刻ｔ０に付加情報の入力が開始され、時刻ｔ１に付加情報の入力が終了したとする。時刻ｔ０で、ユーザが付加情報の入力を開始すると、動画の更新が停止し、画面は止まったままになり、この静止画の上に、ユーザは付加情報を入力する。時刻ｔ１で、付加情報の入力が終了すると、時刻ｔ１にデータ入力部１０１から入力した動画データから、再生を開始する。これにより、ユーザが付加情報を入力する間は、画面が動かないため、ユーザは付加情報を簡単に入力することが可能となる。
【００７４】
なお、このほかにも、ユーザがこれから付加情報を入力するという指示（例えばボタンを押す等）を明示的に装置に対して行っときに、動画の更新を停止するようにしてもよい。また、ペン１０４ｂが離れた場合やペン１０４ｂによって閉じられた領域が書かれた場合、あるいは、ユーザにより付加情報の入力完了の指示（例えばボタンを押す等）が明示的になされたことにより、動画の再生を再び再開するようにしてもよい。
【００７５】
（第２の実施形態）
次に、データ入力部１０１から入力する動画データから、その中のオブジェクトを判定し、そのオブジェクトの変化に相関するように、付加情報を変形させる、第２の実施形態について説明する。
【００７６】
ここで、オブジェクトとは、例えば、ＭＰＥＧ４などで用いるオブジェクト情報であり、動画中の被写体全体、あるいは、被写体の各構成部の１つ１つをいうものとする。
【００７７】
上記第１の実施形態は、データ入力部１０１に入力された動画のシーン切り替えのタイミングで、手書き図形などの付加情報を消去したり、色褪せさせたりして、呈示を変化させるものであった。例えば、動画中の人の画像に対して、手書き図形を付加した場合に、人の画像が移動しても、付加情報は入力されたままの位置に呈示され続けたが、第２の実施形態では、人の画像の移動に沿って付加情報を移動させることができる。
【００７８】
図１３は、本発明の情報呈示方法を用いた第２の実施形態に係る情報呈示装置の要部の概略構成を示したもので、例えば、動画のように時間とともに変化する時系列データ（例えば動画データ）を呈示するとともに、呈示した時系列データに例えばペン入力にて付加情報（注釈）を付加する機能を有している。なお、図１３において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１３では、データ入力部１０１から入力した時系列データの中のオブジェクトを判定し、その結果を付加情報変形部１０５に伝えるオブジェクト判定部２０６をさらに具備し、付加情報変形部１０５の構成が図１の場合と異なる。
【００７９】
データ入力部１０１から入力した時系列データは合成部１０２に入力し、付加情報変形部１０５からの出力データと合成されて、呈示部１０３に呈示するための呈示データが生成される。ユーザは付加情報入力部１０４を用い付加情報を入力する。入力された付加情報は、付加情報変化部１０５に入力される。データ入力部１０１から入力した時系列データは、オブジェクト判定部２０６に入力し、当該時系列データ中のオブジェクト情報を判定する。この判定結果情報は付加情報変形部１０５に入力される。付加情報変形部１０５ではデータ入力部１０１から入力した時系列データと、オブジェクト判定部２０６の判定結果情報と付加情報入力部１０４から入力した付加情報とから付加情報の呈示方法を決定し、付加情報に対し変形を施す。
【００８０】
付加情報変形部１０５で変形された付加情報は、合成部１０２に入力し、時系列データと合成され、呈示部１０３にてユーザに呈示される。
【００８１】
以下、データ入力部１０１から入力する時系列データとして、ＭＰＥＧ４のフォーマットを持つ動画データを例にとって、オブジェクトの検出と、付加情報の変形方法について説明する。
【００８２】
図１４は、付加情報変形部１０５の構成を示したもので、オブジェクト判定部２０６での判定結果情報を記憶するオブジェクト記憶部１０５ｄと、付加情報入力部１０４から入力した付加情報を記憶する付加情報記憶部１０５ｅと、オブジェクト記憶部１０５ｄに記憶されている判定結果情報と付加情報記憶部１０５ｅに記憶されている付加情報とから付加情報の呈示方法を決定し、付加情報に対し変形（例えば、付加情報の表示位置の移動）を施す付加情報変形部１０５ｆとから構成されている。
【００８３】
図１４の付加情報変形部１０５の処理動作について、図１５〜図１７を参照して説明する。
【００８４】
図１５に示すＭＰＥＧ４の動画データは、人の映像のオブジェクトＯＢＪ１を含む最小の矩形の画像領域Ｒ１と、円柱の映像のオブジェクトＯＢＪ２を含む最小の矩形の画像領域Ｒ２とを含んでいる。
【００８５】
図１５に示す動画データが呈示部１０３に呈示されているときに、ユーザが付加情報Ｆ５を入力すると、オブジェクト判定部２０６は、動画データ中にオブジェクトＯＢＪ１、ＯＢＪ２が存在することを判定し、画像領域Ｒ１、Ｒ２を切り出す。オブジェクト記憶部１０５ｄは、オブジェクト判定部２０６から画像領域Ｒ１、Ｒ２の画面上での表示位置Ｐ１（Ｘ１、Ｙ１）、Ｐ２（Ｘ２、Ｙ２）を取得し、それらを記憶する。
【００８６】
オブジェクト記憶部１０５ｄは、後述するように付加情報と関連付けられたと判定されたオブジェクトの表示位置について、前の動画フレームでの当該表示位置を変数ｍに記憶し、現在の動画フレームでの当該表示位置を変数Ｍに記憶する。
【００８７】
オブジェクト記憶部１０５ｄが、図１５に示すように、新たにオブジェクトＯＢＪ１、ＯＢＪ２を取得した場合には、まず、ユーザが、どのオブジェクトに対して付加情報を付加したのか判定する。この判定は、例えば、図１５に示すように、各オブジェクトについて、各オブジェクトを含む最小の四角形の画像領域の重心の座標と、付加情報を含む最小の四角形の画像領域の重心の座標との距離を求める。この距離が最も小さいオブジェクトを、ユーザにより付加情報の付加されたオブジェクトであると判定する。図１５の場合、オブジェクトＯＢＪ１の画像領域Ｒ１の重心Ｇ１と、オブジェクトＯＢＪ２の画像領域Ｒ２の重心Ｇ２とのどちらが付加情報Ｆ５の画像領域Ｒ３の重心Ｇ３から近くにあるかで判定し、オブジェクトＯＢＪ１が判定される。判定の方法は、このほかにも、付加情報に対して、どのオブジェクトが対応するかを特定できる方法であれば何でも良い。
【００８８】
オブジェクト記憶部１０５ｄでは、このようにして判定されたオブジェクトＯＢＪ１の画像領域Ｒ１の表示位置Ｐ１を変数Ｍに記憶する。新たにオブジェクトを取得した場合に限って、Ｐ１を変数ｍにも記憶する。
【００８９】
オブジェクト記憶部１０５ｄが、図１６に示すように、後続のフレームからも継続してオブジェクトＯＢＪ１を取得した場合、まず、変数Ｍに記憶した当該オブジェクトＯＢＪ１の表示位置Ｐ１を変数ｍに記憶し、後続フレームから取得したオブジェクトＯＢＪ１の表示位置Ｐ１’を変数Ｍに記憶する。
【００９０】
このとき、付加情報変形部１０５ｆは、オブジェクト記憶部１０５ｄに記憶された、付加情報の付加されたオブジェクトの表示位置Ｍ、ｍを参照して、当該オブジェクトが前の動画フレームから現在までに移動した距離（Ｘｍ、Ｙｍ）を算出し、付加情報記憶部１０５ｅに記憶された付加情報の画像の表示位置を距離（Ｘｍ、Ｙｍ）だけ移動させた付加情報の画像を生成して、合成部１０２へ出力する。
【００９１】
合成部１０２では、オブジェクトＯＢＪ１を含む画像領域Ｒ１’の抽出された動画データに、ユーザにより入力された付加情報の表示位置を距離（Ｘｍ、Ｙｍ）だけ移動させた付加情報Ｆ５の画像を合成することにより生成された呈示データを呈示部１０３に呈示すると、図１６に示すようになる。図１６では、オブジェクトＯＢＪ１は、表示位置Ｐ１からはＰ１’に移動しており、この移動距離と同じ距離だけ、付加情報Ｆ５も移動している。
【００９２】
なお、オブジェクト記憶部１０５ｄが、後続のフレームから継続して取得したオブジェクトが移動していないとき、すなわち、表示位置が同じ（Ｍ＝ｍ）ときは、それに付加された付加情報の移動距離は（０、０）であるので、付加情報は、ユーザが入力したままの位置に呈示されることになる。
【００９３】
その後、さらに、オブジェクトＯＢＪ１が図１７に示したような表示位置に移動したときも、上記同様にして、付加情報の表示位置を移動すればよい。
【００９４】
（効果）
以上説明したように、上記第２の実施形態によれば、シーン切り替えのような動画の大きな変化だけでなく、動画の中に表示されたオブジェクトの移動という、より細かい動画の変化に対しても、それと相関するように付加情報の表示位置を移動させるなどの付加情報の変形を行うことにより、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく付加情報を呈示することができる。
【００９５】
（第２の実施形態の変形例）
付加情報を変形させる際に、第１の実施形態で説明したような付加情報の変形方法も組み合わせて、例えば、オブジェクトの移動とともに付加情報の表示位置を移動させ、さらに、時間の経過とともに、当該付加情報を消したり、色褪せさせて変化させても良い。
【００９６】
また、上記第２の実施形態では、付加情報の変化は、オブジェクトの位置の移動距離と同じ距離だけ移動させるものであった。しかし、付加情報が付加された位置によっては、図１７に示すように、オブジェクトの動きに同期して付加情報の表示位置を移動させると付加情報が見えなくなってしまう場合がある。このような場合は、例えば、図１８に示すように、付加情報の表示位置を移動させても当該付加情報のほぼ全体像が呈示部１０３の画面内に収まるときは、そのまま表示し（図１８（ａ）、（ｂ））、表示位置を移動した場合に付加情報が画面内に収まりきれないときは、図１８（ｃ）に示すように、当該付加情報の鏡像Ｆ５’を、オブジェクトＯＢＪ１の画像の反対側に呈示しても良い。付加情報の鏡像の画像の生成方法としては、例えば、オブジェクトの重心を通る垂直線に対象な画像を生成すればよい。
【００９７】
また、オブジェクトの位置の変化だけでなく、オブジェクトの変形に相関して、付加情報を変形しても良い。すなわち、動画のオブジェクトは移動だけでなく、ズームインやズームアウトといった拡大縮小という変形も発生する。その場合、図１９に示すように、付加情報もオブジェクトの変形と同様に拡大縮小等の変形を付加情報変形部１０５で行う。これにより、付加情報の付加されたときの動画と当該付加情報との位置関係を保存しながら付加情報の呈示が行える。
【００９８】
また、付加情報変形部１０５が、付加された付加情報がオブジェクトに対し付加されたものか、現在呈示されているフレーム画像全体に対し付加されたかを判定して、付加情報の変形方法を変えても良い。例えば、オブジェクトに付加された付加情報はオブジェクトと共に移動、変形等をするが、フレーム画像全体に対して付加された付加情報はその位置のまま呈示を行うといった付加情報の付加対象に応じてその変形方法を制御してもよい。図２０（ａ）に示すように、オブジェクトＯＢＪ１上に書かれた付加情報Ｆ５はオブジェクトＯＢＪ１に対して付加されたものと判定し、背景上に書かれた付加情報Ｆ６はフレーム画像全体に対して付加されたものと判定する。その他、丸や四角といった閉じた領域で記述された場合にはオブジェクトに対して付加されたと判定し、その他の場合には画像だと判定しても良い。そして、オブジェクトＯＢＪ１に付加された付加情報Ｆ５は、オブジェクトＯＢＪ１の移動に伴って移動し、現在呈示されているフレーム画像に付加された付加情報Ｆ６は、入力された表示位置のまま移動させない。
【００９９】
また、動きのあるオブジェクトに付加情報を書き込む（例えば、当該オブジェクトをペン１０４ｂで囲む）といった動作をすることは困難であることもある。そこで、図２１（ａ）に示すように、オブジェクトＯＢＪ４内の任意の一点Ｆ７を、ペン１０４ｂで押すことにより、図２１（ｂ）に示すように、自動的に当該オブジェクトＯＢＪ４全体を選択したとみなして、付加情報変形部１０５ではオブジェクトＯＢＪ４の周囲を囲む図形の画像を作成して、それを合成部１０２で当該動画に合成して、図２１（ｂ）に示すように呈示してもよい。
【０１００】
また、図２２に示すように、時刻ｔ３に動画中のオブジェクトＯＢＪ１に付加情報が付加され、オブジェクトＯＢＪ１が時刻４に画面上からいなくなったとする。その後、時刻ｔ５にオブジェクトＯＢＪ１が、再び画面上に呈示された場合には、付加情報を再び呈示したり、オブジェクトの色を暗くするなどして、既に付加情報が付加されていることを、ユーザに示しても良い。
【０１０１】
（第３の実施形態）
次に、動画とそれに付加された付加情報とを記憶しておいて、後に検索する際に動画の再生と同時にそれに付加された付加情報も第１および第２の実施形態と同様に当該動画の変化に応じて変形させて呈示する場合について説明する。
【０１０２】
第１および第２の実施形態では、付加情報の変形は、付加情報の入力時に行うものであった。第１および第２の実施形態では、入力された動画や付加情報は記憶しなかったが、これを記憶しておいて、後からどのような付加情報が付加されたのか、付加情報を手がかりにして検索することもできる。第３の実施形態は、これを実現するものである。ここでは、時系列データとして、第２の実施形態で説明したオブジェクトを含む動画データを例にとり説明する。
【０１０３】
図２３は、本発明の情報呈示方法を用いた第３の実施形態に係る情報呈示装置の要部の概略構成を示したもので、例えば、動画のように時間とともに変化する時系列データ（例えば動画データ）を呈示するとともに、呈示した時系列データに例えばペン入力にて付加情報（注釈）を付加する機能を有している。なお、図２３において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図２３では、データ入力部１０１から入力した動画データと付加情報入力部１０４から入力した付加情報を記憶する記憶部３０１と、データ入力部１０１から入力される動画データと記憶部３０１から出力される動画データのうち、データの記憶時にはデータ入力部１０１から入力される動画データを選択して記憶部３０１へ導き、データの再生時には記憶部３０１から出力される動画データを選択してオブジェクト判定部２０６および付加情報変形部１０５へ導くスイッチＳＷ１と、付加情報入力部１０４から入力される付加情報と記憶部３０１から出力される付加情報のうち、データの記憶時には付加情報入力部１０４から入力される付加情報を選択して記憶部３０１へ導き、データの再生時には記憶部３０１から出力される付加情報を選択して付加情報変形部１０５へ導くスイッチＳＷ２とをさらに具備しいている。
【０１０４】
図２４は記憶部３０１のデータの記憶形式の一例を概略的に示したもので、記憶部３０１は詳しくは、動画と動画中に埋め込まれたオブジェクトを記憶する動画記憶部３０１ａと、付加情報を記憶する付加情報記憶部３０１ｂと、どの付加情報がどのフレームに対して付加されたのかを記憶する関連記憶部３０１ｃとで構成される。
【０１０５】
動画記憶部３０１ａでは、動画はフレームごとにメモリ領域ＭＡ２に（図２４では縦方向に）入力された順番に記憶し、それに対応させて、フレーム番号（入力された順番）をメモリ領域ＭＡ１に記憶し、当該フレームにオブジェクトを含む場合は、そのオブジェクトの識別子（オブジェクトＩＤ）をメモリ領域ＭＡ３に記憶する。
【０１０６】
図２４では、フレーム番号「１０５１」のフレームには３つのオブジェクトが含まれ、オブジェクトＩＤが「２」のオブジェクトは頭部の映像オブジェクト、オブジェクトＩＤが「３」のオブジェクトは胴体の映像オブジェクト、オブジェクトＩＤが「４」のオブジェクトは手の映像オブジェクトを表す。
【０１０７】
オブジェクトＩＤは、新しく出現したものに対して、ユニーク番号をつける。例えば、新しく出現したオブジェクトには、最新のオブジェクト番号を「１」だけインクリメントした値を用いる。
【０１０８】
付加情報記憶部３０１ｂは、付加情報入力部１０４から入力した付加情報を、例えば１つの付加情報の入力が終了してから充分な時間（例えば５秒間）が経過うる毎に１つのブロックとしてまとめて、これを単位として、その付加情報の画像をメモリ領域ＭＡ４に記憶する。メモリ領域Ｍ４の各ブロックに対応させて、入力された順番に当該付加情報に付した識別子（付加情報ＩＤ）をメモリ領域ＭＡ５に記憶する。図２４では、メモリ領域ＭＡ４の先頭にある矢印の付加情報には付加情報ＩＤ「１」が付されている。
【０１０９】
関連記憶部３０１ｃは、どの動画フレームとどの付加情報が同時に入力されたかを関連付けるテーブルを記憶するもので、メモリ領域ＭＡ６にフレーム番号を記憶し、当該フレームに付加された付加情報の付加情報ＩＤをメモリ領域ＭＡ７、
当該付加情報の付加されたオブジェクトのオブジェクトＩＤをメモリ領域ＭＡ８に記憶する。図２４では、フレーム番号「１０５２」の動画フレームと付加情報ＩＤ「１」の付加情報とが同時に入力されたので、これらを対にして記憶している。また、付加情報ＩＤ「１」の矢印の付加情報はフレーム番号「１０５２」の映像の頭部の映像オブジェクトに対して付加されたので、そのオブジェクトＩＤ「２」も一緒の対として記憶している。
【０１１０】
このように記憶部３０１に記憶された動画と付加情報は、例えば図２５に示すように、付加情報とそれと同時に記憶された動画フレームを画面上に呈示してユーザに（付加情報を手掛かりとして）選択させることによって、簡単に所望の動画フレームを検索することができる。動画フレームが選択されると、装置はその動画フレームから再生し、ユーザが見たい動画を呈示することができる。
【０１１１】
あるいは、記憶部３０１に記憶された動画を検索する際には、付加情報変形部１０５は記憶部３０１の付加情報記憶部３０１ｂに記憶された付加情報のみを順次読み出して再生し（合成部１０２で動画と合成することなく）、呈示部１０３に呈示して、ユーザに所望の付加情報を選択させる。呈示した付加情報の中からユーザが付加情報を選択したら、記憶部３０１の関連記憶部３０１ｃを参照して、当該選択された付加情報に対応付けられているフレーム画像以降を動画記憶部３０１ａから読み出し、さらに、付加情報が対応付けられているときは、それも同時に再生し（付加情報変形部１０５で動画の変化に相関して変形させて合成部１０２に当該動画と合成する）、呈示部１０３に呈示するようにしてもよい。
【０１１２】
記憶部３０１に記憶されたデータ（動画データと付加情報）の再生時には、スイッチＳＷ１により、データ入力部１０１から入力される動画データと記憶部３０１から出力される動画データのうち、記憶部３０１から出力される動画データを選択してオブジェクト判定部２０６および付加情報変形部１０５へ導き、また、スイッチＳＷ２により、付加情報入力部１０４から入力される付加情報と記憶部３０１から出力される付加情報のうち、記憶部３０１から出力される付加情報を選択して付加情報変形部１０５へ導くようになっている。
【０１１３】
記憶部３０１からは、動画記憶部３０１ａに記憶されているフレーム番号順にフレーム画像を出力し、その際、関連記憶部３０１ｃを参照して、出力するフレーム画像と関連付けられた付加情報がある場合には、その付加情報を付加情報記憶部３０１ｂから読み出して当該フレーム画像と同期して出力する。例えば、フレーム番号「１８２２」のフレーム画像は、付加情報ＩＤ「２」の付加情報と関連付けられていることが、関連記憶部３０１ｃに記憶されているテーブルから判断できる（図２４参照）。
【０１１４】
このように、スイッチＳＷ１、ＳＷ２によって選択されたデータは、第２の実施形態と同様に処理されて再生される。これにより、動画と付加情報が記憶された様子を、そのまま再現することができる。
【０１１５】
（第３の実施形態の効果）
以上説明したように、上記第３の実施形態によれば、入力した動画に予め付加情報を付加して、それを当該動画に対応付けて記憶部３０１に記憶しておくことにより、後に、例えば、付加情報を手掛かりに動画を検索したり、動画を再生する際には、当該動画の変化に相関して付加情報も変形させて呈示でき、付加情報を付加した時点のオブジェクトと付加情報との位置関係を失うことなく動画とそれに付加された付加情報の呈示を何度でもすることができる。
【０１１６】
（第３の実施形態の変形例）
上記第３の実施形態では、オブジェクトを含む動画を記憶、検索、再生するものであったが、動画はオブジェクトを含まなくても良い。
【０１１７】
また、動画と付加情報を同期再生するときに、付加情報の対象となっている動画が既に呈示されているのに、付加情報の付加されたフレーム番号にならないと付加情報が呈示されなかったが、付加情報の呈示を、オブジェクトが出現したときにさかのぼって行っても良い。
【０１１８】
すなわち、人間が画像を見てから付加情報の書き込みを開始するまでに生じる若干のタイムラグを考慮して、図２６に示すように、付加情報の書き込みが開始されたときや終了したときではなく、付加情報の付加されたオブジェクトが画面に出現した時点や付加が行われたシーンの先頭で付加されたと判断して、当該付加情報とオブジェクトとの関連付けを行って記憶部３０１に記憶しても良い。これにより、後で付加情報を付加したデータを呈示する場合、シーンの先頭やオブジェクトの出現開始時点から呈示を開始したりすることができる。
【０１１９】
付加情報の付加されたオブジェクトの最初の出現時点の検索は、記憶部３０１の動画記憶部３０１ａに記憶されたオブジェクトＩＤを参照して行う。例えば、フレーム番号「１０５２」のフレーム画像中の人物像の頭部を表すオブジェクトＩＤ「２」のオブジェクトに付加情報が付加されたとする。このとき、図２４に示すような、メモリ領域ＭＡ３のフレーム番号「１０５２」のフレーム画像に対応する位置からさかのぼってオブジェクトＩＤ「２」のオブジェクトを検索していくと、当該オブジェクトＩＤ「２」のオブジェクトはフレーム番号「１０５１」のフレーム画像から出現していることが検出される。
【０１２０】
また、オブジェクトに対して付加情報を付加するような用途の場合、オブジェクトが以前に出てきた時に既に付加情報が付加されているのであれば、改めて付加情報を付加する必要がない。そこで、ユーザに視覚的に既に付加情報が付加されているかどうかを示すことも重要である。例えば、図２２に示したように、オブジェクトＯＢＪ１が時刻ｔ３から時刻ｔ４に出現したときに既に付加情報を付加してあったとする。このとき、再び時刻ｔ５にオブジェクトＯＢＪ１が出現したときには、以前に付加情報が付加されているので、オブジェクトＯＢＪ１の表示を通常とは異なる方法（例えば、ハイライト表示する、一度消した付加情報を再度表示する等）とすることにより、ユーザに対し既に付加情報が付加されたものであることを示す。
【０１２１】
動画中に既に付加した付加情報を取り消したい（消去したい）ときには、例えば、図２７に示すように、動画中の当該付加情報Ｆ９に、×印等の付加情報の消去を指示するための予め定められた付加情報Ｆ１０をさらに付加すればよい。そして、このような付加情報Ｆ１０が付加されたとき、記憶部３０１の付加情報記憶部３０１ｂ、関連記憶部３０１ｃから付加情報Ｆ９に関する情報を消去するようにしてもよい。
【０１２２】
また、記憶部３０１に記憶したデータの再生中に、さらに付加情報を付加することもできる。この場合、新たに追加された付加情報に関するデータのみを記憶部３０１の付加情報記憶部３０１ｂ、関連記憶部３０１ｃに記憶すればよい。
【０１２３】
【発明の効果】
以上説明したように、本発明によれば、動画のように時間の経過とともに変化する時系列データの呈示画面上に、呈示されている時系列データと整合をとりながら付加情報の付加および呈示が行え、意味のない付加情報が呈示画面上に呈示されて、ユーザが動画を見るのを邪魔したり、ユーザが付加情報を誤って理解したり、といった障害を低減することができる。
【図面の簡単な説明】
【図１】本発明の情報呈示方法を用いた第１の実施形態に係る情報呈示装置の要部の概略構成を示した図。
【図２】情報呈示装置の外観を示した図。
【図３】データ入力部から入力した動画データに、シーン切り替えが起こると、ユーザにより入力された付加情報を消去するという付加情報が変形する様子を説明するための図。
【図４】付加情報変形部の構成を示した図。
【図５】付加情報変形部の処理手順を説明するためのフローチャート。
【図６】ユーザにより入力された付加情報を時間経過とともに徐々に消去するという付加情報が変形する様子を説明するための図。
【図７】シーン切り替えが起こりにくい動画データの場合に、ユーザにより入力された付加情報を時間経過とともに徐々に消去するという付加情報が変形する様子を説明するための図。
【図８】付加情報の変形を変形するための時間ｔの関数ｆ（ｔ）の一例を示した図。
【図９】付加情報の変形を変形するための時間ｔの関数ｆ（ｔ）の一例を示した図。
【図１０】付加情報の変形を変形するための時間ｔの関数ｆ（ｔ）の一例を示した図。
【図１１】付加情報の変形を変形するための時間ｔの関数ｆ（ｔ）の一例を示した図。
【図１２】ユーザが付加情報を入力する際に、動画の更新を停止する場合について説明するための図。
【図１３】本発明の情報呈示方法を用いた第２の実施形態に係る情報呈示装置の要部の概略構成を示した図。
【図１４】付加情報変形部の構成を示した図。
【図１５】付加情報変形部の処理動作を説明するための図で、画像中のオブジェクトと付加情報との位置関係に基づき、オブジェクトと付加情報との関連付けを行う手順を説明するための図。
【図１６】オブジェクトの移動に伴い、それに関連付けられた付加情報の変形について説明するための図。
【図１７】オブジェクトの移動に伴い、それに関連付けられた付加情報の変形について説明するための図。
【図１８】オブジェクトの移動に伴い、それに関連付けられた付加情報の変形について説明するための図。
【図１９】オブジェクトの変形に伴い、それに関連付けられた付加情報の変形について説明するための図。
【図２０】オブジェクト上に描かれた付加情報は当該オブジェクトに対して付加されたものと判定し、背景上に書かれた付加情報は現在呈示されているフレーム画像に対して付加されたものと判定する場合について説明するための図。
【図２１】動きのあるオブジェクトに付加情報を書き込む場合の操作の一例を示した図で、オブジェクト内の任意の一点ペンで押すことにより、自動的に当該オブジェクト全体を選択したとみなすようになっている。
【図２２】既に付加情報の付加されたオブジェクトのユーザへの呈示方法を説明するための図。
【図２３】本発明の情報呈示方法を用いた第３の実施形態に係る情報呈示装置の要部の概略構成を示した図。
【図２４】図２３の記憶部におけるデータの記憶形式の一例を概略的に示した図。
【図２５】動画を検索する際の画面呈示例を示した図で、付加情報とそれと同時に記憶された動画フレームを画面上に呈示してユーザに（付加情報を手掛かりとして）選択させることによって、簡単に所望の動画フレームを検索するためのものである。
【図２６】付加情報の付加されたオブジェクトが画面に出現した時点や付加が行われたシーンの先頭で当該付加情報が付加されたと判断して、当該付加情報とオブジェクトとの関連付けを行う場合を説明するための図。
【図２７】動画中に既に付加した付加情報を消去する場合の操作の一例を説明するための図。
【符号の説明】
１０１…データ入力部
１０２…合成部
１０３…呈示部
１０４…付加情報入力部
１０５…付加情報変形部
２０６…オブジェクト判定部
３０１…記憶部

Claims (18)

1. 時間の経過に伴って変化する時系列データを表示する表示画面上に設けられたタブレットを用いて、前記表示画面に表示された時系列データ中のオブジェクトに対し付加する付加情報を手書きで入力し、該時系列データから検出された該時系列データ中の前記オブジェクトの該表示画面上での表示位置の時間の経過に伴う変化に合わせて表示位置を変化させた該付加情報と、該時系列データとを合成し、前記表示画面に表示するとともに、前記時系列データ、前記付加情報及び当該時系列データ中の当該付加情報の付加された前記オブジェクトの識別情報を関連付けて記憶手段に記憶することを特徴とする情報呈示方法。
2. 時間の経過に伴って変化する時系列データを表示する表示画面上に設けられたタブレットを用いて、前記表示画面に表示された時系列データ中のオブジェクトに対し付加する付加情報を手書きで入力し、
   前記時系列データと、該時系列データ中の前記オブジェクトに対し付加された付加情報とを関連付けて記憶手段に記憶し、
   前記記憶手段に記憶された時系列データのなかから、前記付加情報の関連付けられた時系列データを検索し、
   検索された時系列データ中の前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて表示位置を変化させた前記付加情報と該該時系列データとを合成し、前記表示画面に表示することを特徴とする情報呈示方法。
3. 前記付加情報の表示位置を前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて移動させた場合、該付加情報の表示位置が前記表示画面外になるときには、該付加情報の鏡像を該表示画面に表示することを特徴とする請求項１または２記載の情報呈示方法。
4. 時間の経過に伴って変化する時系列データを入力するデータ入力手段と、
   前記時系列データを表示画面に表示する表示手段と、
   前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
   前記表示画面上に設けられ、前記表示画面に表示された時系列データに付加する付加情報を手書き入力するためのタブレットと、
   前記時系列データ中の前記付加情報の付加された前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて、前記付加情報の表示位置を変化させる制御手段と、
   表示位置を変化させた前記付加情報と前記時系列データとを合成して呈示する呈示手段と、
   前記時系列データ、前記付加情報及び当該時系列データ中の当該付加情報の付加されたオブジェクトの識別情報を関連付けて記憶する記憶手段と、
   を具備したことを特徴とする情報呈示装置。
5. 時間の経過に伴って変化する時系列データを入力するデータ入力手段と、
   前記時系列データを表示画面に表示する表示手段と、
   前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
   前記表示画面上に設けられ、前記表示画面に表示された時系列データに付加する付加情報を手書き入力するためのタブレットと、
   前記時系列データと当該時系列中の前記オブジェクトに対し付加された前記付加情報とを関連付けて記憶する記憶手段と、
   前記記憶手段で記憶された時系列データの中から前記付加情報の関連付けられた時系列データを検索する検索手段と、
   前記検索手段で検索された時系列データ中の前記付加情報の付加された前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて、前記付加情報の表示位置を変化させる制御手段と、
   表示位置を変化させた前記付加情報と前記時系列データとを合成して前記表示画面に表示する呈示手段と、
   を具備したことを特徴とする情報呈示装置。
6. 前記制御手段は、前記付加情報の表示位置を前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて移動させた場合、該付加情報の表示位置が前記表示画面外になるときには、該付加情報の鏡像を生成し、
   前記呈示手段は、前記付加情報の鏡像と前記時系列データとを合成して前記表示画面に表示することを特徴とする請求項４または５記載の情報呈示装置。
7. 表示手段と、前記表示手段の表示画面上に設けられ、付加情報を手書き入力するためのタブレットとを備えたコンピュータに、
   時間の経過に伴って変化する時系列データを入力するステップと、
   前記時系列データを前記表示画面に表示するステップと、
   前記タブレットから、前記表示画面上に表示された時系列データ中のオブジェクトに対し付加する付加情報を入力するステップと、
   前記時系列データから検出された該時系列データ中の前記オブジェクトの前記表示画面上の表示位置の時間の経過に伴う変化に合わせて、前記付加情報の表示位置を変化させるステップと、
   表示位置を変化させた付加情報と前記時系列データとを合成して前記表示画面に表示するステップと、
   前記時系列データ、前記付加情報及び当該時系列データ中の当該付加情報の付加された前記オブジェクトの識別情報を関連付けて記憶手段に記憶するステップと、
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 表示手段と、前記表示手段の表示画面上に設けられ、付加情報を手書き入力するためのタブレットとを備えたコンピュータに、
   時間の経過に伴って変化する時系列データを入力するステップと、
   前記タブレットから、前記表示画面上に表示された時系列データ中のオブジェクトに対し付加する付加情報を入力するステップと、
   前記時系列データと前記付加情報とを記憶手段に記憶するステップと、
   前記記憶手段に記憶された時系列データの中から前記付加情報の関連付けられた時系列データを検索するステップと、
   検索された時系列データ中の前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて、前記付加情報の表示位置を変化させるステップと、
   表示位置を変化させた前記付加情報と前記時系列データとを合成して前記表示画面に表示するステップと、
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 前記時系列データ中の前記オブジェクトの形状及び大きさの時系列な変化に合わせて、前記付加情報の形状及び大きさをさらに変化させ、表示位置、形状及び大きさを変化させた前記付加情報と該時系列データとを合成し、前記表示画面に表示することを特徴とする請求項１または２記載の情報呈示方法。
10. 時間の経過に伴って変化する時系列データを表示する表示画面上に設けられたタブレットを用いて、前記表示画面に表示された時系列データ中のオブジェクトに対し付加する付加情報を手書きで入力し、該時系列データから検出された該時系列データ中の前記オブジェクトの形状及び大きさの時間の経過に伴う変化に合わせて、形状及び大きさを変化させた該付加情報と、該時系列データとを合成し、前記表示画面に表示するとともに、前記時系列データ、前記付加情報及び当該時系列データ中の当該付加情報の付加されたオブジェクトの識別情報を関連付けて記憶手段に記憶することを特徴とする情報呈示方法。
11. 時間の経過に伴って変化する時系列データを表示する表示画面上に設けられたタブレットを用いて、前記表示画面に表示された時系列データ中のオブジェクトに対し付加する付加情報を手書きで入力し、
    前記時系列データと、該時系列データ中の前記オブジェクトに対し付加された付加情報とを関連付けて記憶手段に記憶し、
    前記記憶手段に記憶された時系列データのなかから、前記付加情報の関連付けられた時系列データを検索し、
    検索された時系列データ中の前記オブジェクトの形状及び大きさの時間の経過に伴う変化に合わせて形状及び大きさを変化させた前記付加情報と該該時系列データとを合成し、前記表示画面に表示することを特徴とする情報呈示方法。
12. 時間の経過に伴って変化する時系列データを入力するデータ入力手段と、
    前記時系列データを表示画面に表示する表示手段と、
    前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
    前記表示画面上に設けられ、前記表示画面に表示された時系列データに付加する付加情報を手書き入力するためのタブレットと、
    該時系列データ中の前記付加情報の付加された前記オブジェクトの形状及び大きさの時間の経過に伴う変化に合わせて、前記付加情報の形状及び大きさを変化させる手段と、
    形状及び大きさを変化させた前記付加情報と前記時系列データとを合成して呈示する呈示手段と、
    前記時系列データ、前記付加情報及び当該時系列データ中の当該付加情報の付加されたオブジェクトの識別情報を関連付けて記憶する記憶手段と、
    を具備したことを特徴とする情報呈示装置。
13. 時間の経過に伴って変化する時系列データを入力するデータ入力手段と、
    前記時系列データを表示画面に表示する表示手段と、
    前記時系列データからオブジェクトを検出するオブジェクト検出手段と、
    前記表示画面上に設けられ、前記表示画面に表示された時系列データに付加する付加情報を手書き入力するためのタブレットと、
    前記時系列データと当該時系列中の前記オブジェクトに対し付加された前記付加情報とを関連付けて記憶する記憶手段と、
    前記記憶手段で記憶された時系列データの中から前記付加情報の関連付けられた時系列データを検索する検索手段と、
    前記検索手段で検索された時系列データ中の前記付加情報の付加された前記オブジェクトの形状及び大きさの時間の経過に伴う変化に合わせて、前記付加情報の形状及び大きさを変化させる制御手段と、
    形状及び大きさを変化させた前記付加情報と前記時系列データとを合成して前記表示画面に表示する呈示手段と、
    を具備したことを特徴とする情報呈示装置。
14. 前記時系列データにシーン切替があったとき、前記表示画面に表示される付加情報を消去することを特徴とする請求項１または２記載の情報呈示方法。
15. 前記表示画面に表示される付加情報が時間経過に伴い徐々に消えていくように制御する、あるいは該付加情報の色を変化させることを特徴とする請求項１または２記載の情報呈示方法。
16. 前記制御手段は、
    前記時系列データにシーン切替があったとき、前記表示画面に表示される付加情報を消去することを特徴とする請求項４または５記載の情報呈示装置。
17. 前記制御手段は、
    前記付加情報が時間経過に伴い徐々に消えていくように制御する、あるいは前記付加情報の色を変化させることを特徴とする請求項４または５記載の情報呈示装置。
18. 前記付加情報の表示位置を変化させるステップは、前記付加情報の表示位置を前記オブジェクトの前記表示画面上での表示位置の時間の経過に伴う変化に合わせて移動させた場合、該付加情報の表示位置が前記表示画面外になるときには、該付加情報の鏡像を生成し、
    前記表示するステップは、前記付加情報の鏡像と前記時系列データとを合成して前記表示画面に表示することを特徴とする請求項７または８記載の記録媒体。

Images