以下、図面を参照して本発明の実施の形態について説明する。図1は、実施の形態1にかかるセンサー装置、タグ入力装置及び記録装置の構成を示すブロック図である。
図1では、記録装置200が連続的に被写体を撮像して動画データを取得し、センサー装置300が、人物のバイタルデータを連続的に測定して記録装置200に送信し、タグ入力装置400が、人物からのタグ打ちの指示を受け付けて、タグ打ちの指示を記録装置200に送信し、記録装置200の内部にあるタギング装置100がバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。
図1において、記録装置200が撮像した動画データと、センサー装置300が測定したバイタルデータと、タグ入力装置400が受け付けたタグ打ちの指示とは、タギング装置100において、時刻を同期させて処理する。装置間のデータの伝送で、遅延が無視できる程度に小さい場合、各装置がリアルタイムで処理してもよい。また、装置間のデータの伝送で、遅延を考慮する場合は、各装置のデータに時刻を関連づけて伝送し、同じ時刻のデータを同期させて処理してもよい。
まず、タギング装置100は、データ通信部101と、センサーデータ記録部102と、タグ制御部103と、タグ範囲処理部104とを備える。
データ通信部101は、センサー装置300のデータ通信部305及びタグ入力装置400のデータ通信部405と、無線または有線で通信する機能を有する。具体的には、データ通信部101は、センサー装置300のデータ通信部305から送信されたバイタルデータを受信し、またタグ入力装置400のデータ通信部405から送信されたタグ入力データを受信する。
データ通信部101は、無線で通信する場合、アンテナ、増幅回路、周波数変換回路、変調回路、復調回路を備える無線通信回路で構成することが好適である。また、データ通信部101は、有線で通信する場合、増幅回路、変調回路、復調回路を備える有線通信回路で構成されることが好適である。また、データ通信部101は、光を用いて通信する場合、発光素子、光変調回路、受光素子及び光復調回路を備えることが好適である。
特に、データ通信部101は、センサー装置300において測定されたバイタルデータを受信しつつ、バイタルデータの受信に平行してタグ入力装置400が送信したタグ打ちの指示を受け付ける。
センサーデータ記録部102は、センサー装置300から送信されたデータを記録する。例えば、センサーデータ記録部102は、RAM(Random Access Memory)等のメモリが好適である。
タグ制御部103は、少なくとも一人のバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。例えば、タグ制御部103は、バイタルデータのピークとなるタイミングを、タグを打つタイミングとする。また、バイタルデータに複数のピークがある場合、タグ打ちの指示のタイミングに最も近いピークのタイミングを、タグを打つタイミングとする。
また、タグ制御部103は、バイタルデータが所定の閾値以上であり、かつタグ打ちの指示のタイミングを含む時刻の範囲において、少なくとも一人のバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。
また、有効期間内でのバイタルデータの変化量が所定の閾値以上である場合、タグ制御部103は、バイタルデータの変化量に基づいてタグ打ちするタグの種類を決定する。また、有効期間内でのバイタルデータの変化量が所定の閾値未満である場合、タグ制御部103は、バイタルデータのレベルに基づいてタグ打ちするタグの種類を決定する。
タグ範囲処理部104は、バイタルデータに基づいて、タグを付与可能とする時刻の範囲をタグ範囲として決定する。例えば、タグ範囲処理部104は、バイタルデータが所定の閾値以上である時刻の範囲を、タグを付与可能な範囲とする。具体的には、バイタルデータとして心拍数を用いる場合、心拍数が所定の閾値(例えば心拍数75)以上である時刻の範囲を、タグ範囲とする。
次に、記録装置200は、タギング装置100と、CPU201と、カメラ202と、撮像部203と、画像データ処理部204と、記録媒体205と、データ入出力部206と、記録時間変換処理部207とを備える。
CPU201は、中央処理ユニット(Central Processing Unit)であり、データ通信部101、センサーデータ記録部102、タグ制御部103、タグ範囲処理部104、撮像部203と、画像データ処理部204と、データ入出力部206とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。
カメラ202は、対象物を光学的に撮像し、電気信号に変換して、撮像した画像データを撮像部203に出力する。例えば、カメラ202は、CCD(Charge-Coupled Device)イメージセンサまたはCMOS(Complementary metal-oxide-semiconductor)イメージセンサと、光学レンズとの組合せが好適である。
撮像部203は、カメラ202において撮像した画像データをバッファし、所定のフレームレートの動画データとして出力する。具体的には、撮像部203は、カメラ202が撮像した画像データを、一定時間間隔の連続した画像データ、すなわち動画データとする。
画像データ処理部204は、撮像部203から出力された動画データに画像処理を行い、画像処理後の動画データを、データ入出力部206を介して記録媒体205に記憶する。具体的には、画像データ処理部204は、動画データをCPU201または記録時間変換処理部207が指示する間引き率でフレームレート変換する。また、画像データ処理部204は、動画データをCPU201が指示する画像サイズに変換してもよい。なお、撮像部203から出力された動画データに画像処理を行わずに記録媒体205に記憶した場合、画像データ処理部204は、記録媒体205から撮像した動画データを読み出し、画像処理を行い、加工後の動画データを記録媒体205に記憶してもよい。
記録媒体205は、動画データを記録する媒体である。例えば、記録媒体205は、フラッシュメモリ等の不揮発性メモリが好適である。また、記録媒体205は、記録装置200から取り外し可能としてもよい。
データ入出力部206は、記録媒体205にデータを記憶する、または記録媒体205からデータを読み出す。例えば、データ入出力部206は、記録媒体205とのインターフェース回路で構成されることが好適である。
記録時間変換処理部207は、動画データに付属するタグデータ及び重要度の情報に基づいて、動画データの間引き率を設定する。間引き率は1が最低の値で、間引き率が1の場合はフレームを間引かず、間引き率が1より大きい場合はフレームを間引いてフレームレートを変化させるために用いる。例えば、記録時間変換処理部207は、動画データに付属するタグデータ及び重要度の情報に基づいて、シーン単位で、動画データの間引き率を設定する。
例えば、記録時間変換処理部207は、タグが付与されていないシーンについて、動画データのフレームレートを下げる変換を行い、またタグが付与されているシーンについて、動画データのフレームレートを変換せず、動画データのフレームレートを撮像終了後に、希望する記録時間内に収まるように、変換後の前記動画データのフレームレートをシーン単位で更に変換する。ここでシーンとは、動画データのうちタグ範囲が設定されていない動画データの範囲、または、動画データのうちタグ範囲が設定された動画データの範囲で構成される。
また、例えば、記録時間変換処理部207は、シーン単位の重要度に基づいて、重要度がより高いシーンをより低い間引き率に設定し、重要度がより低いシーンをより高い間引き率に設定する。また、例えば、記録時間変換処理部207は、重要度がより高いシーンを1の間引き率に設定し、重要度がより低いシーンを、1より高い間引き率、かつ希望する記録時間内に動画データ全体を記録可能な間引き率に設定する。
また、例えば、記録時間変換処理部207は、少なくとも動画及びタグをシーン単位で組み合わせた動画データに対して、タグが付与されたシーンを重要度がより高いシーンとして、より低い間引き率に設定し、タグが付与されていないシーンを重要度がより低いシーンをより高い間引き率に設定する。
また、例えば、記録時間変換処理部207は、少なくとも動画、タグ及び重要度をシーン単位で組み合わせた動画データに対して、タグが付与され、かつ重要度がより高いシーンを、より低い間引き率に設定し、タグが付与され、かつ重要度がより低いシーンを、より高い間引き率に設定し、タグが付与されていないシーンを、タグが付与され、かつ重要度がより低いシーンより更に高い間引き率に設定する。
そして、センサー装置300は、CPU301と、センサー302と、センサー制御部303と、センサーデータ処理部304と、データ通信部305とを備える。このセンサー装置300は、バイタルデータを連続的に測定し、測定したバイタルデータを連続的にタギング装置100及び記録装置200に送信する。
CPU301は、中央処理ユニットであり、センサー302、センサー制御部303、センサーデータ処理部304、及びデータ通信部305とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。
センサー302は、バイタルサインを測定し、測定データを電気信号に変換してセンサー制御部303に出力する。測定するバイタルサインは、心拍数、呼吸数、血圧、体温及び動脈血の酸素飽和度のいずれかまたは組み合わせが好適ある。したがって、センサー302は、心拍計、呼吸計、血圧計、体温計及びパルスオキシメーターのいずれか、または組み合わせが好適である。また、センサー302は、対象者の体の動きをバイタルサインとして、加速度センサーを備える、または他のセンサーと組み合わせてもよい。また、センサー302は、脳波、発汗量等を測定するセンサーを用いる、または他のセンサーと組み合わせてもよい。
センサー制御部303は、センサー302を制御し、またセンサー302から出力された測定データを増幅、変換して、出力する。例えば、センサー制御部303は、増幅回路、アナログデジタル変換回路等で構成されることが好適である。
センサーデータ処理部304は、センサー制御部303において、処理された測定データを、バッファし、所定のフォーマットに変換してデータ通信部305に出力する。
データ通信部305は、センサーデータ処理部304において処理された測定データをデータ通信部101に無線または有線で送信する。データ通信部305は、データ通信部101と同様の無線通信回路、有線通信回路または光通信回路で構成されることが好適である。
なお、センサー装置300と、タギング装置100及び記録装置200との間に遅延が想定される通信方式である場合、センサーデータ処理部304は、測定したバイタルデータとバイタルデータを測定した時刻とを組み合わせて送信してもよい。
そして、タグ入力装置400は、CPU401と、キー入力部402と、キー制御部403と、タグデータ処理部404と、データ通信部405とを備える。
CPU401は、中央処理ユニットであり、キー制御部403、タグデータ処理部404及びデータ通信部405とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。
キー入力部402は、タギング装置100及び記録装置200の操作に必要な入力を受け付ける。キー入力部402は、特にタグを打つ操作を受け付ける。例えば、ボタンの押下等の操作により電気回路を接続するスイッチ等が好適である。
キー制御部403は、キー入力部402の操作による信号に対して各種処理を行い、出力する。例えば、キー制御部403は、電気信号の増幅、チャタリングによるノイズの除去等の処理を行う。
タグデータ処理部404は、キー制御部403から出力されたキー入力部402の操作が、タグ打ちの操作であるか否か判定し、タグ打ちの操作である場合、データ通信部405を介して記録装置200内のタギング装置100にタグ打ちの指示を送信する。
なお、タグ入力装置400と、タギング装置100及び記録装置200との間に遅延が想定される通信方式である場合、タグデータ処理部404は、タグ打ちの指示に代えてタグ打ちの操作を受け付けた時刻を送信してもよい。また、タグデータ処理部404は、タグ打ちの指示とタグ打ちの操作を受け付けた時刻とを組み合わせて送信してもよい。
データ通信部405は、キー制御部403から出力されたキー入力部402の操作及びタグデータ処理部404から出力されたタグ打ちの指示をデータ通信部101に無線または有線で送信する。データ通信部405は、データ通信部101と同様の無線通信回路、有線通信回路または光通信回路で構成されることが好適である。
次に、記録装置200の動作について説明する。図2、3及び4は、実施の形態1に係る記録装置の動作の例をしめすフローチャートである。
まず、ステップS501において、撮像した最大記録時間分の動画データが撮像部203のバッファに記憶され、ステップS502に進む。
次にステップS502において、タグ範囲処理部104が、撮像した動画データに、シーンのタグとタグ範囲を付加し、ステップS503に進む。
ステップS503において、記録時間変換処理部207は、撮像した動画データに、シーンのタグとタグ範囲が含まれているか否か、シーン単位で判断する。そして、撮像した動画データに、シーンのタグとタグ範囲が含まれている場合、ステップS505に進み、撮像した動画データに、タグ情報を含むが含まれていない場合、ステップS504に進む。
ステップS504において、記録時間変換処理部207が、シーンのタグ情報とタグ範囲が含まれていないシーンについて、動画データを指定した間引き率で間引きし、間引き後の動画データを記録媒体205に記憶し、ステップS506に進む。
ステップS505において、撮像部203のバッファ内の動画データが記録媒体205に記憶され、ステップS506に進む。
ステップS506において、記録する動画データの間引き率を設定する必要があるか否かを判断する。具体的には、ステップS506において、記録時間変換処理部207が、記録する動画データの事前記録時間の合計が目標とする記録時間以上であるか否か判断する。記録する動画データの事前記録時間の合計が目標とする記録時間以上である場合、間引き率を変更する必要があるのでステップS507に進む。また、記録する動画データの事前記録時間の合計が目標とする記録時間未満である場合、間引き率を変更する必要がないので、処理を終了する。
次にステップS507において、記録時間変換処理部207が、重要度の情報が付与されているシーンを、重要なシーンとして各々S0〜Sn(nは整数)と設定し、ステップS508に進む。
ステップS508において、記録時間変換処理部207が、シーンS0〜Snの中で最も重要なシーンの事前記録時間が第1の設定時間以下であるか否か判断する。ここで第1の設定時間は、重要なシーンを記録するための時間であり、例えば1の間引き率で記録するシーンのための最終記録時間である。シーンS0〜Snの中で最も重要なシーンの事前記録時間が第1の設定時間以下である場合、ステップS510に進む。シーンS0〜Snの中で最も重要なシーンの事前記録時間が第1の設定時間より大きい場合、ステップS509に進む。
ステップS509において、記録時間変換処理部207が、最も重要なシーンの事前記録時間を第1の設定時間として、ステップS510に進む。すなわち、第1の設定時間を予め設定した値から最も重要なシーンの事前記録時間に変更し、少なくとも1つの最も重要なシーンを第1の設定時間に記録できるようにする。
ステップS510及びS511において、タグが付与されたシーンのうち、第1の設定時間以内に間引き率1で記録可能なシーンを選択する。
具体的には、ステップS510において、記録時間変換処理部207が、シーンS0〜Snの事前記録時間の合計が第1の設定時間以内であるか否か判断する。シーンS0〜Snの事前記録時間の合計が第1の設定時間以内である場合、ステップS512に進み、シーンS0〜Snの事前記録時間の合計が第1の設定時間より大きい場合、ステップS511に進む。
そして、ステップS511において、記録時間変換処理部207が、シーンS0〜Snの中で最も重要度の低いシーンを除き、新たなシーンS0〜Snとし、除外されたシーンをJ0〜Jm(mは整数)として、ステップS510に戻る。すなわちステップS510及びステップS511のループ処理により、重要度が低い順に除外して、第1の設定時間以内に収まるシーンS0〜Snを選択している。なお、このnおよびmはこの対象シーン除外の処理により変動する(すなわちnは減少し、mが増加する)。
ステップS512において、記録時間変換処理部207が、第1の設定時間に収まらないため除外したシーンJ0〜Jmがあるか否か判断する。第1の設定時間に収まらないため除外したシーンJ0〜Jmがある場合、ステップS513に進み、第1の設定時間に収まらないため除外したシーンJ0〜Jmがない場合、ステップS517に進む。
ステップS513において、記録時間変換処理部207が、第1の設定時間からシーンS0〜Snの事前記録時間を減算した値を、第2の設定時間に加え、ステップS514に進む。すなわち、ステップS513では、第1の設定時間で記録するシーンS0〜Snを選ぶ処理において、シーンS0〜Snの事前記録時間と第1の設定時間とが一致せずに余った時間を第2の設定時間に加えている。
ステップS514において、記録時間変換処理部207が、シーンJ0〜Jmの事前記録時間の合計が第2の設定時間以内であるか否か判断する。シーンJ0〜Jmの事前記録時間の合計が第1の設定時間以内である場合、ステップS516に進み、シーンJ0〜Jmの事前記録時間の合計が第2の設定時間より大きい場合、ステップS515に進む。
ステップS515において、記録時間変換処理部207が、シーンJ0〜Jmを第2の設定時間内で記録できる、J0〜Jmの間引き率(第2間引き率)を設定し、ステップS518に進む。具体的には、ステップS515では、シーンJ0〜Jmの事前記録時間の合計を第2の設定時間で除算することにより、J0〜Jmの間引き率(第2間引き率)を得る。
ステップS516において、記録時間変換処理部207が、シーンJ0〜Jmの間引き率(第2間引き率)を1に設定し、第2設定時間からシーンJ0〜Jmの事前記録時間を減算した値を、第3の設定時間に加え、ステップS518に進む。
ステップS517において、記録時間変換処理部207が、第3の設定時間を設定し、ステップS518に進む。具体的には、ステップS517では、第1の設定時間に第2の設定時間を加え、シーンS0〜Snの事前記録時間の合計を減じて得られた値を、第3の設定時間に加える。
ステップS518において、記録時間変換処理部207が、重要度が付加されていないシーンの間引き率(第3間引き率)を設定し、ステップS519に進む。具体的には、ステップS518では、重要度が付加されていないシーンの事前記録時間の合計を第3の設定時間で除算して、重要度が付加されていないシーンの間引き率(第3間引き率)を得る。なお、重要度が付加されていないシーンが存在せず、第3間引き率がない場合、第3間引き率を0とする。
ステップS519では、重要度が下位であるシーンの間引き率(第2間引き率)が、タグが付与されていないシーンの間引き率(第3間合計引き率)より小さいか確認する。ここで、第3合計間引き率とは、事前間引き率とステップS518で得られた第3間引き率との積で、タグが付与されていないシーンを事前間引き無しに記録した場合の間引き率を表す。すなわち、重要度が下位であるシーンが、タグが付与されていないシーンより小さい(フレームレートが高い)間引き率で記録されるかを判断する。ステップS519において、記録時間変換処理部207が、第2間引き率が第3合計間引き率以下であるか否か判断する。第2間引き率が第3合計間引き率以下である場合、ステップS521に進み、第2間引き率が第3合計間引き率より大きい場合、ステップS520に進む。
ステップS520において、記録時間変換処理部207が、第2間引き率と第3合計間引き率と等しくし、ステップS521に進む。具体的には、ステップS520では、J0〜Jmの事前記録時間とタグが付与されていないシーンの事前記録時間に事前間引き率を掛けた時間の和を、第2と第3の設定時間の和で除算することにより、第2間引き率及び第3合計間引き率を得、ここから事前間引き率分を除いた値として第3間引き率を得る。
ステップS521において、記録時間変換処理部207が、S0〜Snを1(第1間引き率)に、J0〜Jmを第2間引き率に、その他のシーンを第3間引き率に、各々設定し、ステップS517に進む。
ステップS522において、画像データ処理部204が、動画データの各シーンを設定された間引き率に対応するデータに変換し、データ入出力部206を介して、記録媒体205に記憶する。
以上の動作により、記録装置200は、シーン単位で重要度を考慮した間引き率を決定することができる。
次に、記録装置200を用いて間引き率を決定する例について説明する。
撮像しながら、記録時間を一定時間以内に収める場合、2つの問題がある。
一つ目の問題は、撮像時間が確定していないという問題である。たとえばサッカーのような全後半45分といった時間制の競技であってもアディショナルタイム(ロスタイム)等により時間は延長される。野球やテニスのような競技にいたっては、試合時間そのものにかなりのバラツキが発生する。
二つ目の問題は、撮像が全部終わるまで、その中でタグが打たれたシーンの重要度の順番をつけることができないという問題である。そこで、本発明は、これらの問題を解決するためおおよその撮像時間の予測を行い、記録の処理を2段階に分ける。
ここでは、およそ120分の記録映像を重要度に応じて間引き率を変えて、記録時間を30分に収める例について説明する。
重要度の判定は、すべての撮像が終わるまで出来ないが、タグの有り無しはその都度把握可能であることを利用する。すなわち、タグの打たれていないシーンをあらかじめ想定した間引き率で間引く1回目の「事前記録」と撮像終了後に事前記録画像を目標記録時間に納める2回目の「本記録」という、大きく分けて2ステップ処理を行う。
例えば、事前記録の間引き率は予測されるおおよその撮像時間120分すべてタグが打たれなかった場合に、それを30分に収めることを想定して4とする。
実施の形態1では、連続する動画映像を4枚ごとに1枚選択して記録容量を1/4に間引く作業を、間引き率4で間引くと表現する。120分の撮像時間中、すべてのシーンにタグが打たれていた場合、間引かれるシーンが無いため事前記録の時間は120分となる。
120分の撮像時間中、タグの打たれたシーンが30分有った場合、タグが打たれていない90分を間引き率4で間引きしながら記録すると事前記録の時間は30+(90/4)=52.5分となる
このように全体に占めるタグの打たれたシーンの時間が占める比率によって事前記録時間は30分〜120分の範囲で変動する。
以下、タグ及び重要度の付与のパターン別にケースを示して間引き率の算出例について説明する。
通常、記録された映像の中にタグが打たれたシーンが離散的に存在し、その間の部分がタグの無いシーンとなるが、ここでは、特殊なケースを発生させることと説明を簡単にするために、120分中12のシーンがあり、タグの持つシーンを数分単位と想定して説明を行う。また、説明の簡略化のため、小数点第2位以下の省略した説明とするが、実際には小数点第2位以下について考慮してもよい。
図5、7、9、11、13、15、17は、各シーンの番号(No.)、シーン撮像時間、タグが打たれたシーンを表すマーク(*)、マークがあるシーンの重要度の順番、事前記録時間、間引き率及び最終記録時間の関係を示す図である。また、図6、8、10、12、14、16、18は、撮像記録時間と事前記録時間と、最終記録時間との関係を示す図である。これら図5−18について、図2−4のフローに沿って説明する。
<ケース1>
ケース1では、標準的な例について図5、6を用いて説明する。
まず、図3のステップS504の処理により、タグが付与されていないシーン2、4、6、7、9、10、11、12は、間引かれて1/4の事前記録時間となる。また、タグが付与されたシーン1、3、5、8は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計50.25分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
次に、最も重要なシーン1の事前記録時間は6分であり、第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,3,5,8の事前記録時間の合計が27分であり、第1の設定時間15分より大きく、図4のステップS510の判定がNoとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まらないので、ステップS510〜S511のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン1,5の事前記録時間の合計9分が、第1の設定時間15分以内であるので、シーン1,5は、重要度が上位であるシーンS0〜S1に設定され、除外されたシーン3,8は重要度が下位であるシーンJ0〜J1に設定される。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図4のステップS512の判定がYesとなるので、重要度が下位であるシーンの事前記録時間の合計(第2の設定時間)の設定を行う。具体的には、第2の設定時間10分に、第1の設定時間15分からS0〜S1の事前記録時間の合計9分を減算した値6分を加えて、第2の設定時間を16分とする。
次に、J0〜J1の事前記録時間の合計18分が第2の設定時間16分より大きく、図5のステップS514の判定がNoであるので、第2の設定時間内でJ0〜J1のシーンを記録するための間引き率を決定する。具体的には、J0〜J1の事前記録時間の合計18分を第2の設定時間16分で除算し、間引き率を18/16=1.125とする。
また、タグが付与されていないシーンの事前記録時間の合計23.25分について、タグが付与されていないシーンの最終記録時間の合計(第3の設定時間)5分に収めるため間引き率を23.25/5=4.65とする。
次に、重要度が下位であるシーンの間引き率(第2間引き率)が、タグが付与されていないシーンの合計間引き率(第3合計間引き率)より低いか確認する。具体的には、第2間引き率1.125が第3合計間引き率(第3間引き率×事前間引き率=4.65×4=)18.6以下であり、図5のステップS519の判定がYesであるので、第2間引き率と第3間引き率は変更しない。そして、第1間引き率が1、第2間引き率が1.125、第3間引き率が4.65に設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図6に示す。
<ケース2>
ケース2では、最も重要なシーンの事前記録時間が第1の設定時間より大きく、図4のステップS508の判定がNoとなる例について、図7、8を用いて説明する。
まず、図3のステップS504の処理により、タグが付与されていないシーン3、5、7、8、9、10、11、12は、間引かれて1/4の事前記録時間となる。また、タグが付与されたシーン1、2、4、6は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計63.75分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
次に、最も重要なシーン2の事前記録時間18分が、第1の設定時間の15分を超えており、図4のステップS508の判定がNoであるので、第1の設定時間を18分とする。
次に、タグが付与されたシーン1,2,4,6の事前記録時間の合計が45分であり、第1の設定時間18分より大きく、図4のステップS510の判定がNoとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まらないので、ステップS510〜S511のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン2の事前記録時間の合計18分が、第1の設定時間18分以内であるので、シーン2をS0に設定し、シーン1,4,6をJ0〜J2に設定する。
次に、第1の設定時間18分からS0の事前記録時間18分を減算した値が0分であり、図4のステップS512の判定がNoであるので、第2の設定時間を変更しない。
次に、J0〜J2の事前記録時間の合計27分が第2の設定時間10分より大きく、図5のステップS514の判定がNoであるので、J0〜J2の事前記録時間の合計27分を10分に収めるため、間引き率を27/10=2.7とする。
また、タグが付与されていないシーンの事前記録時間の合計18.75分について、タグが付与されていないシーンの最終記録時間の合計(第3の設定時間)5分に収めるため間引き率を4×(18.75/5)=3.75とする。
次に、第2間引き率2.7が第3合計間引き率(第3間引き率×事前間引き率=3.75×4=)15以下であり、図5のステップS519の判定がYesであるので、第2間引き率と第3間引き率は変更しない。そして、第1間引き率が1、第2間引き率が2.7、第3間引き率が3.75に設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図8に示す。
なお、ケース2では、図4のステップS508の判定が最も重要なシーンが、第1の設定時間の初期値を3分超えているので、第1の設定時間の初期値を15分のままとした場合、合計記録時間は33分になってしまう。
最も重要なシーンが第1の設定時間を超えた分、第2・第3の設定時間を削減して最終記録時間を調整するという処理も考えられるが、通常の撮像においてはまず発生しない事案である事と最も重要なシーンが目標記録時間以上だった場合の処理も発生するため、このような処理は行わず、第1の設定時間を重要なシーンの事前記録時間とする。
また、原則として最も重要なシーンの間引き率は1とするので、最も重要なシーンが第1の設定時間を超えた分だけ全体の最終記録時間は延びるが、後処理として最終的に算出された最終記録時間から全体の間引き率を30分に収まるよう(33/30=1.1にして30分、)にしてもよい。
<ケース3>
ケース3では、第1の設定時間に収まらないために除外したシーンがなく、図4のステップS512の判定がNoである場合について、図9、10を用いて説明する。
まず、図3のステップS504の処理により、タグが付与されていないシーン2、3、4、6、7、8、9、11、12は、間引かれて1/4の事前記録時間となる。また、タグが付与されたシーン1、5、10は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計39分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、動画を全て1で記録した場合、目標記録時間に収まらないので、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間(第3の設定時間)が5分に設定される。
次に、最も重要なシーン5の事前記録時間は3分であり、第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,5,10の事前記録時間の合計が12分であり、第1の設定時間15分より小さく、図4のステップS510の判定がYesとなる。すなわち、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まるので、シーン1,5,10を重要度が上位であるシーンS0〜S2に設定する。また除外したシーンに対応するJ0〜Jmは設定されない。
次に、除外したシーンがなく、図4のステップS512の判定がNoであるので、第1の設定時間15分に第2の設定時間10分を加えS0〜S1の事前記録時間の合計12分を減算した値18分を、第3の設定時間とする。
また、タグが付与されていないシーンの事前記録時間の合計27分について、タグが付与されていないシーンの最終記録時間の合計(第3の設定時間)18分に収めるため間引き率を27/18=1.5とする。
次に、第2間引き率が設定されず、図5のステップS519の判定がYesであるので、(第2間引き率と)第3間引き率は変更されない。そして、第1間引き率が1、第2間引き率が無し、第3間引き率が1.5に設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図10に示す。
<ケース4>
ケース4では、図5のステップS514の判定がYesになる場合について、図11、12を用いて説明する。
まず、図3のステップS504の処理により、タグが付与されていないシーン2、4、6、7、8、9、11、12は、間引かれて1/4の事前記録時間となる。また、タグが付与されたシーン1、3、5、10は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計45.75分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
次に、最も重要なシーン5の事前記録時間は3分であり、第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,3,5,10の事前記録時間の合計が21分であり、第1の設定時間15分より大きく、図4のステップS510の判定がNoとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まらないので、ステップS510〜S511のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン1,5,10の事前記録時間の合計が12分であり、第1の設定時間15分以内であるので、シーン1,5,10をS0〜S2に設定し、シーン3をJ0に設定する。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図4のステップS512の判定がYesとなるので、第1の設定時間15分からS0の事前記録時間12分を減算した値3分を、第2の設定時間に加えて、第2の設定時間を13分とする。
次に、J0の事前記録時間9分が第2の設定時間13分より小さく、図5のステップS514の判定がYesであるので、J0の間引き率を1とする。
そして、第3の設定時間に第2の設定時間13分からJ0の事前記録時間9分を減算した値4分を加えて9分とする。
また、タグが付与されていないシーンの事前記録時間の合計24.75分について、タグが付与されていないシーンの最終記録時間の合計(第3の設定時間)9分に収めるため間引き率を24.75/9=2.75とする。
第2間引き率1が第3合計間引き率(第3間引き率×事前間引き率=2.75×4=)11以下であり、図5のステップS519の判定がYesであるので、第2間引き率と第3間引き率は変更しない。そして、第1間引き率が1、第2間引き率が1、第3間引き率が2.75に設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図12に示す。
<ケース5>
ケース5では、図5のステップS519の判定がNoである場合について、図13、14を用いて説明する。
まず、図4のステップS504の処理により、タグが付与されていないシーン8、11、は、間引かれて1/4の事前記録時間となる。また、タグが付与されたシーン1、2、3、4、5、6、7、9、10、12は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計104.25分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
次に、最も重要なシーン5の事前記録時間は3分であり、第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,2,3,4,5,6,7,9,10,12の事前記録時間の合計が99分であり、第1の設定時間15分より大きく、図4のステップS510の判定がNoとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まらないので、ステップS510〜S511のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン1,5,10の事前記録時間の合計が12分であり、第1の設定時間15分以内であるので、シーン1,5,10を重要度が上位であるS0〜S2に設定し、除外されたシーン2,3,4,6,7,9,12を重要度が下位であるJ0〜J6に設定する。
次に、タグが付与されたシーンが第1の設定時間内に収まらないことにより、図4のステップS512の判定がYesとなるので、第2の設定時間に第1の設定時間15分からS0〜S2の事前記録時間12分を減算した値3分を加えて、第2の設定時間を13分とする。
次に、J0〜J6の事前記録時間87分が第2の設定時間13分より大きく、図5のステップS514の判定がNoであるので、J0〜J6の最終記録時間を13分に収めるため間引き率を87/13=6.69とする。
また、タグが付与されていないシーンの事前記録時間の合計5.25分について、タグが付与されていないシーンの最終記録時間の合計(第3の設定時間)5分に収めるため間引き率を5.25/5=1.05とする。
第2間引き率6.69が第3合計間引き率(第3間引き率×事前間引き率=1.05×4=)4.2より大きく、図5のステップS519の判定がNoであるので、第2間引き率と第3間引き率とを再計算する。具体的には、J0〜J6の事前記録時間87分、とタグが打たれていないシーンの事前記録時間5.25分に事前間引き率4を掛けた21分、の和の108分を、第2の設定時間と第3の設定時間の和である18分に収めるため、第2間引き率と第3合計間引き率を108/18=6とし、第3間引き率は事前間引き率分を除いた6/4=1.5とする。
そして、第1間引き率が1、第2間引き率が6、第3間引き率が1.5に設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図14に示す。
<ケース6>
ケース6では、すべてのシーンにタグが有る場合について図15、16を用いて説明する。
まず、図4のステップS505の処理により、タグが付与されたシーン1、2、3、4、5、6、7、8、9、10、11、12は、間引かれずにシーン撮像時間が事前記録時間となる。
そして、事前記録時間の合計120分が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
次に、最も重要なシーン5の事前記録時間は3分であり、第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
次に、タグが付与されたシーン1,2,3,4,5,6,7,8,9,10,11,12の事前記録時間の合計が120分であり、第1の設定時間15分より大きく、図4のステップS510の判定がNoとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第1の設定時間内に収まらないので、ステップS510〜S511のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン1,5,10の事前記録時間の合計が12分であり、第1の設定時間15分以内であるので、重要度が上位であるシーン1,5,10をS0〜S2に設定し、除外されたシーン2,3,4,6,7,8,9,11,12を重要度が下位であるJ0〜J8に設定する。
次に、図4のステップS512の判定がYesとなるので、第2の設定時間に第1の設定時間15分からS0〜S2の事前記録時間12分を減算した値3分を加えて、第2の設定時間を13分とする。
次に、J0〜J8の事前記録時間の合計108分が第2の設定時間13分より大きく、図5のステップS514の判定がNoであるので、J0〜J8の最終記録時間を13分に収めるため間引き率を108/13=8.3とする。また、タグ無しのシーンが無いため、第3間引き率は設定されない。
次に、第3間引き率が設定されないため、図5のステップS519の判定を例外処理としてNoを選択し、第2の設定時間(と第3の設定時間)および第2の間引き率を再計算する。具体的には、J0〜J8の事前記録時間の合計108分を第2の設定時間と第3の設定時間の和である18分に収めるため、第2間引き率を108/18=6とする。
そして、第1間引き率が1、第2間引き率が6、第3間引き率が無しに設定される。
以上により、第1間引き率、第2間引き率及び第3間引き率が設定された場合の事前記録時間と最終記録時間とを図16に示す。
<ケース7>
ケース7では、タグがまったく無く、事前記録時間が30分より大きい場合について説明する(図は省略)。
まず、図4のステップS504の処理により、タグが付与されていないシーン1、2、3、4、5、6、7、8、9、10、11、12は、間引かれて1/4の事前記録時間となる。
そして、事前記録時間の合計が目標記録時間30分より大きいので、図3のステップS506の判定がYesとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。
次に、割り当て初期値について、重要度が上位であるシーンの最終記録時間の合計(第1の設定時間)が15分、重要度が下位であるシーンの最終記録時間の合計(第2の設定時間)が10分、タグ無しシーンの最終記録時間の合計(第3の設定時間)が5分に設定される。
最も重要なシーンの事前記録時間は、0分(すなわちタグが付与されたシーンが存在しないの)で第1の設定時間15分に収まるので、図4のステップS508の判定がYesとなり、第1の設定時間は変更されない。
重要度上位の映像は存在せず記録時間0分であり、図4のステップS510の判定がYesとなる。
次に、除外したシーンが無く、図4のステップS512の判定がNoであるので、第1の設定時間に第2の設定時間を加え、S0〜Snの事前記録時間0分を減算し、さらに第3の設定時間5分に加えた30分を、改めて第3の設定時間とする。
そして、第3間引き率は(事前記録時間の合計30分より大きい時間/30分)=1より大きい所定の値となる。
そして、第2間引き率が無い場合、図5のステップS519の判定を例外処理としてYesを選択し、第2間引き率と第3間引き率は変更しない。そして、第1間引き率が1(但し、該当シーン無し)、第2間引き率が無し、第3間引き率が1より大きなある値に設定される。
<ケース8>
ケース8では、事前記録時間が30分以下である場合について説明する(図は省略)。
事前記録時間の合計が目標記録時間30分以下であるので、図3のステップS506の判定がNoとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がない。
このように実施の形態1の記録装置によれば、タグが付与されていないシーンについて、動画データのフレームレートを下げる変換を行い、またタグが付与されているシーンについて、動画データのフレームレートを変換せず、動画データのフレームレートを撮像終了後に、希望する記録時間内に収まるように、変換後の動画データのフレームレートをシーン単位で更に変換することにより、撮像時に少ない記憶容量で動画データを一時記憶することができ、また限られた時間内で記録を希望する撮像データ全てを記録することができる。
また、実施の形態1の記録装置によれば、重要度が高いシーンは、低い間引き率で記録することにより、内容を十分に記録でき、また重要度が高くないシーンを高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。
また、実施の形態1の記録装置によれば、タグが付与されたシーンは、低い間引き率で記録することにより、内容を十分に記録でき、またタグが付与されていないシーンを高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。
また、実施の形態1の記録装置によれば、タグが付与されたかつ重要であるシーンは、低い間引き率で記録することにより、内容を十分に記録でき、またタグが付与されたかつ重要ではないシーンを高い間引き率で記録し、またタグが付与されていないシーンを更に高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。
また、タグと関連づけるデータは、動画のデータに限らず、音声または動画、あるいは音声及び動画を含むデータであれば、いずれも適用できる。
また、タギング装置100は記録装置200の外部にあってもよい。
次に、記録装置200が記録する動画データのタグ付与及び重要度の情報の作成の一例について説明する。
まず、タグ範囲処理部104のタグ範囲設定動作の概要について説明する。タグ範囲処理部104は、上述したように、受信したセンサーデータ及び入力タグデータを用いて、カメラ202が撮像した動画データの適切な範囲にタグを設定するものである。
図17は実施の形態1に係る心拍数の時間変化と、タグ範囲との関係を示す図である。心拍数のグラフに入力タグデータを示したものを上に、入力タグデータから設定したタグ範囲を動画データに関連付けたものを下に示している。心拍数のグラフの横軸は時刻、縦軸は心拍数を示す。また、心拍数75付近の横線はタグ範囲を設定するための閾値を示す。また、心拍数40付近に記入している横方向の矢印及び「平常」「緊張」等の文字は、そのときのユーザの状態を説明するためのものである。
図17に示した心拍数の例では、ユーザの状態はゲーム開始からゲーム終了までの間に心拍数の変化から、平常状態、緊張状態もしくは興奮状態、そして平常(緩和)状態へと変化する。緊張状態又は興奮状態のときに、心拍数の4つのピーク(1〜4)が生じ、それぞれのピークにおいてユーザはタグF1〜F4を入力している。
タグ範囲処理部104は、心拍数が所定値(ここでは、閾値の75)以上のときの時間範囲であって、当該時間範囲内でユーザがタグFを入力している場合に、当該時間範囲をユーザが入力したタグFの範囲として設定する。当該時間範囲のフレームに対してタグFを付与してもよい。
例えば、第1のピークについては、時間範囲t1〜t2において、心拍数が所定値を超え、かつ、ユーザがタグF1を入力しているので、時間範囲t1〜t2をタグF1のタグ範囲に設定する。また、第2のピークについては、時間範囲t3〜t4において、心拍数が所定値を超え、かつ、ユーザがタグF2を入力しているので、時間範囲t3〜t4をタグF2のタグ範囲に設定する。第3、4のピークについても同様である。
なお、タグ範囲処理部104は、心拍数が所定値以上の時間範囲であっても、当該時間範囲内でユーザがタグFを入力していない場合には、タグ範囲を設定しない。
また、タグ範囲処理部104は、ユーザがタグFを入力していても、心拍数が所定値以上でない場合には、デフォルト、又はユーザが設定した時間やフレーム数でタグ範囲を設定する。
次に、タグ範囲処理部104の詳細な処理手順について説明する。
図18は実施の形態1に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。心拍数のグラフを上に、タグ範囲を下に示している。グラフ中の横点線は閾値を示し、横点線上の等間隔の点は心拍数のサンプリング点、すなわち、サンプリング時間を示している。なお、心拍数のサンプリングは例えば1秒間隔で行う。
図19は実施の形態1に係るタグ範囲処理部104の詳細な処理手順を示すフローチャートである。
図18及び図19を参照しながら、タグ範囲処理部104の詳細な処理手順について説明する。
まず、処理を開始すると、まずバイタルデータの状態を示すステータスを「閾値未満」に設定し(ステップS601)、「前バイタルデータ時間値」を記録開始時間t0に初期化する(ステップS602)。
サンプリング時間t0において、ステータスが「閾値以上」か判断する(ステップS603)。時間t0では、ステータスはステップS601で設定した「閾値未満」のままなので(ステップS603のNo)、時間t0の受信したバイタルデータがあるか判断する(ステップS604)。
時間t0では受信したバイタルデータがあるので(ステップS604のYes)、時間t0のバイタルデータの値が閾値以上か判断する(ステップS605)。図18に示すように、時間t0のバイタルデータの値は閾値未満なので(ステップS605のNo)、現在のバイタルデータ時間t0を「前バイタルデータ時間値」として保存する(ステップS608)。そして、ステップS603に戻る。t11までは平常状態つまりバイタルデータが閾値未満のため、同様な処理を繰り返すことになる。
サンプリング時間t12になると、ステータスが「閾値未満」で、t12のバイタルデータがあるので(ステップS603のNo、ステップS604のYes)、時間t12のバイタルデータの値が閾値以上か判断する(ステップS605)。図18に示すように、時間t12のバイタルデータの値は閾値以上なので(ステップS605のYes)、「前バイタルデータ時間値」、ここでは、ステップS608で保存した時間t11を「タグ範囲開始時間値」として保存し(ステップS606)、ステータスを「閾値以上」に設定し(ステップS607)、現在のバイタルデータ時間t12を「前バイタルデータ時間値」として保存して(ステップS608)、ステップS603に戻る。
次に、サンプリング時間t13になると、ステップS607で設定したようにステータスが「閾値以上」であるので(ステップS603のYes)、時間t13のバイタルデータがあるか判断する(ステップS609)。
時間t13では受信したバイタルデータがあるので(ステップS609のYes)、時間t13のバイタルデータの値が閾値以上か判断する(ステップS610)。図18に示すように、時間t13のバイタルデータの値は閾値以上なので(ステップS610のYes)、現在のバイタルデータ時間t13を「前バイタルデータ時間値」として保存し(ステップS608)、ステップS603に戻る。
そして、サンプリング時間t21までは、時間t13のときの処理と同じ処理が継続する。
次に、サンプリング時間t22になると、ステータスが「閾値以上」で、時間t22の受信したバイタルデータがあるので(ステップS603のYes、ステップS609のYes)、時間t22のバイタルデータの値が閾値以上か判断する(ステップS610)。図18に示すように、時間t22のバイタルデータの値は閾値未満なので(ステップS610のNo)、現在のバイタルデータ時間t22を「タグ範囲終了時間値」として保存し(ステップS611)、タグ記録要求はあるか、すなわち、バイタルデータの値が閾値以上のときにタグを入力しているか判断する(ステップS612)。図18に示すように、時間t16と時間t17との間にユーザがタグFを入力しているので(ステップS612のYes)、ステップS606、S110で得られたタグ範囲の「タグ範囲開始時間値」t11〜「タグ範囲終了時間値」t22でタグFを記録し(ステップS613)、ステータスを「閾値未満」に設定し(ステップS614)、現在のバイタルデータ時間t22を「前バイタルデータ時間値」として保存し(ステップS608)、ステップS603に戻る。
次に、サンプリング時間t25になると、ステータスが「閾値未満」で、時間t25のバイタルデータもないので(ステップS603のNo、ステップS604のNo)、処理を終了する。
なお、現在のバイタルデータ時間tを「タグ範囲終了時間値」として保存し(ステップS611)、タグ記録要求がないとき、すなわち、ユーザがタグを入力していないときは(ステップS612のNo)、ステータスを「閾値未満」に設定する(ステップS614)。つまり、上述したように、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグを入力していない場合には、当該時間範囲をタグ範囲に設定しない。
また、ステータスが「閾値以上」で、その時間tのバイタルデータがないときは(ステップS603のYes、ステップS609のNo)、記録終了時間を「タグ範囲終了時間値」として保存し(ステップS615)、ステップS612、S413と同様に、タグ記録要求があるときは、得られたタグ範囲でタグFを記録して処理を終了し、タグ記録要求がないときは、そのまま処理を終了する。
実施の形態1に係るタギング装置100は、このような構成により、動画データを撮像中に、その重要範囲に精度良くタグを付与することができる。
なお、実施の形態1に係るタギング装置100では、心拍数が閾値を超える時間範囲として時間t11〜時間t22を選択し、この時間範囲をタグ範囲として設定したが、時間範囲としてそれぞれ一つ内側のサンプリング時間に対応する時間t12〜時間t21を選択し、この時間範囲をタグ範囲として設定してもよい。もちろん、時間範囲として時間t11〜時間t21、時間t12〜時間t22を選択することも可能であり、さらに、心拍数が閾値を超える交点〜交点を選択することも可能である。その際は交点を算出しても良く、動画のサンプリング数とバイタルデータのサンプリング数を同じにしてもよい。
また、実施の形態1に係るタギング装置100では、タグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて設定できるようにしてもよい。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグ範囲を調整できるようにしてもよい。
また、実施の形態1に係るタギング装置100では、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定したが、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、ユーザが入力したタグの前後の所定時間、例えば、当該タグの前後それぞれ3秒間をタグ範囲として設定してよい。もちろん、心拍数が所定値以上の時間範囲又はタグの前後の所定時間をユーザが選択できるようにしてもよい。
また、実施の形態1に係るタギング装置100では、バイタルデータとして心拍数を用いたが、バイタルデータとして心拍数以外のデータ、ユーザの興奮の度合いを示すようなデータを用いても良く、このときは、バイタルデータが所定値以下又は所定値未満などの時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定してもよい。
また、実施の形態1に係るタギング装置100は、センサー装置310、タグ入力装置320、カメラ202などを備える構成としたが、記録装置がセンサー装置及びタグ入力装置を兼ねる構成、又は、記録装置がセンサー装置、タグ入力装置の一方を兼ねる構成としてもよい。すなわち、タギングシステムをタギング装置として構成するようにしてもよい。
また、実施の形態1に係るタギング装置100は、ユーザがカメラ202を用いて撮像しているときの、すなわち、ユーザが動画データを記録しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定していたが、ユーザが画像処理装置などを用いて動画を視聴又は編集しているときなどの、すなわち、ユーザが動画データを再生しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定してもよい。このため、実施の形態1に係るタギング装置も記録装置に限るものではなく、画像処理装置などであってもよい。
上述したように、実施の形態1に係るカメラ202は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部337と、データ通信部337で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部104とを備えるものである。
また、実施の形態1に係るタギング装置100は、ユーザのバイタルデータを計測しデータ通信部337に出力するセンサー装置310と、タイミングデータをデータ通信部337に出力するタグ入力装置320と、カメラ202とを備えるものである。
また、実施の形態1に係るタギング方法は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップS612、S413とを有するものである。
上記のタギングシステムによって付与されたタグに基づいてシーン単位の重要度を定義してもよい。たとえば、タグの時間範囲や、バイタルデータのピーク値、タグの時間範囲でバイタルデータを積分した値、などによって重要度を定義してもよい。
また、実施の形態1に係るプログラムは、コンピュータに、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグF入力のタイミングデータを受け付けるデータ通信手順と、当該データ通信手順で受け付けた当該バイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、動画データの当該時間範囲をタグFの範囲に設定する手順S412、S413とを実行させるためのものである。
また、上記実施の形態においては重要度を高い、低い、の2種類とし、重要度の高いシーンに対する間引き率、重要度の低いシーンに対する間引き率、タグの付与されていないシーンに対する間引き率、の3種類の間引き率としたが、重要度の分割数を3つ4つと増やして4種類、5種類の間引き率に分類するように展開してもよい。
また、上記実施の形態における、タグ制御部103、タグ範囲処理部104、画像データ処理部204、データ入出力部206、記録時間変換処理部207については、ASIC(Application Specific Integrated Circuit)等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することとしてもよい。ソフトウェアで実施する際には、マイクロプロセッサ等の1つあるいは複数のCPU(Central Processing Unit)を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Compact Disc Read Only Memory)、CD−R、CD−R/W、DVD−ROM(Digital Versatile Disc Read Only Memory)、DVD−R(DVD Recordable)、DVD−R DL(DVD-R Dual Layer)、DVD−RW(DVD ReWritable)、DVD−RAM、DVD+R、DVR+R DL、DVD+RW、BD−R(Blu-ray(登録商標) Disc Recordable)、BD−RE(Blu-ray (登録商標)Disc Rewritable)、BD−ROM、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。