[第1の実施の形態]
−構成−
図1は本発明の第1の実施の形態に係る映像再生装置を示すブロック図である。この映像再生装置1は、アンテナ2、表示装置3、及び図示しないネットワークに接続されている。
映像再生装置1は、アンテナ2で受信された放送電波を選局するための受信部100と、受信部100により選局された信号から、映像データ、付加情報、及びハイライト情報などを分離するための付加情報分離部101とを含む。付加情報とは、番組の映像データと共に放送波に多重されている、当該番組情報の放送出演者等、番組に関する情報、天気情報などの公共的情報、放送全般に関係する番組表情報など等のことをいう。ハイライト情報は、これら付加情報の一種と見ることもできるが、本実施の形態ではハイライト情報は特別な意味を持つため、ここでは付加情報と区別して記載する。
映像再生装置1はさらに、映像データを圧縮エンコードするための映像エンコード部102と、分離された付加情報、ハイライト情報、及び圧縮エンコードされた映像データをそれぞれ記録する付加情報記録領域111、ハイライトシーン記録領域112、及び映像記録領域113を有する記録部110と、放送電波にハイライト情報が含まれていない場合に、映像データからハイライトシーンを検出し、その情報を記録部110のハイライトシーン記録領域112に記録させるためのハイライトシーン検出部103と、ハイライト情報を付加情報分離部101から取得するか、ハイライトシーン検出部103から取得するかを切り替えるためのスイッチ104とを含む。
以上述べた構成により放送電波中の映像データ、付加情報、放送電波から分離された、又はハイライトシーン検出部103により検出されたハイライト情報が記録部110に記録される。
映像再生装置1はさらに、映像記録領域113に記録された映像データを再生する映像デコード部135と、イライトシーン記録領域112に記録されたハイライト情報に基づき、映像デコード部135を制御して映像の再生を行なわせるための再生制御部134と、付加情報記録領域111に記録された付加情報及び再生制御部134から出力されるハイライト情報に埋め込まれた説明情報などを映像デコード部135により出力される映像に重ね合わせて表示装置3に与えるための情報重ね合わせ部136とを含む。情報重ね合わせ部136の出力は映像再生装置1の出力として表示装置3によって表示される。
映像デコード部135は、映像を通常再生モードと早送り再生モードとの二つの再生モードで再生可能である。映像デコード部135はさらに、早送り再生モードでも再生速度を複数段階に制御することが可能である。
付加情報やハイライト情報はネットワークから取得することもできる。そのために映像再生装置1はネットワークインタフェース部130と、ネットワークインタフェース部130及び付加情報記憶領域111のいずれかの出力を選択して情報重ね合わせ部136に与えるためのスイッチ131と、ネットワークインタフェース部130及びハイライトシーン記憶領域112のいずれかの出力を選択して再生制御部134に与えるためのスイッチ132とを含む。映像再生装置1はさらに、映像記録ディスクに記録された映像を再生するための映像記録ディスク再生部114と、映像記録ディスク再生部114からの映像データと映像記録領域113の出力する映像データとのいずれかを選択して映像デコード部135に与えるためのスイッチ133とを含む。
以上の構成によって、記録部110に記録された映像データ、付加情報、ハイライト情報が利用され、再生される。
ハイライトシーン検出部103の実現方法としては、特許文献1に示されたものと同様に、音声の大きさ、又は映し出される物体の特徴を利用する方法、画面中に現れるキャプションの表示タイミングを利用する方法などを用いることができる。特にスポーツ中継などの場合には、ある程度の期間にわたって競技場の特徴などを学習した後に、選手の動きを検出してハイライトシーンを検出するような方法も提案されている。ハイライトシーン検出部103が映像記録領域113に記録された映像にアクセスできるようにすれば、このようなマルチパスのハイライトシーン検出処理も利用できる。番組中に含まれるコマーシャルメッセージ(以下「CM」と呼ぶ。)と番組本編の映像モードが異なる場合、CM部分を非ハイライトシーン、それ以外の部分をハイライトシーンと認識するようにしても良い。映像モードは音声のチャネル数、音声の言語、映像のビットレート、映像のコピープロテクション設定、著作権者などの情報に基づいて判断することができる。
アンテナ2で受信された放送電波は受信部100で選局され、付加情報分離部101に入力される。付加情報分離部101では、映像データ、付加情報、ハイライト情報が分離される。分離された付加情報は必要に応じて記録部110の付加情報記録領域111に記録される。ハイライト情報も記録部110のハイライトシーン記録領域112に記録される。映像データは映像エンコード部102によって圧縮エンコードされ記録部110の映像記録領域113に記録される。
放送電波にハイライト情報が含まれていればスイッチ104は付加情報分離部101の出力するハイライト情報を選択しハイライトシーン記録領域112に記録する。放送電波にハイライト情報が含まれていない場合には、ハイライトシーン検出部103が映像データからハイライトシーンを検出し、スイッチ104がその情報を選択してハイライトシーン記録領域112に記録する。以上の動作により放送電波中の映像データ、付加情報、放送電波中から分離されたハイライト情報、又はハイライトシーン検出部103で検出されたハイライト情報が記録部110に記録される。
再生制御部134はハイライトシーン記録領域112に記録されたハイライト情報に基づき、映像デコード部135を用いて映像記録領域113に記録された映像データを再生する。再生制御部134はさらに、付加情報記録領域111に記録された付加情報又はハイライト情報に埋め込まれた説明情報などを情報重ね合わせ部136によって重ね合わせて出力する。情報重ね合わせ部136の出力は映像再生装置1の出力として表示装置3によって表示される。付加情報やハイライト情報はネットワークインタフェース130を介してネットワークから取得することもできる。映像記録ディスク再生部114からの映像データを再生することもできる。
以上の動作によって、記録部110に記録された映像データ、付加情報、ハイライト情報が利用され、再生される。
−再生制御部134の制御の詳細−
次に、再生制御部134による制御の詳細について説明する。本実施の形態に係る再生制御部134は、ハイライトシーンはゆっくりと、そうでない部分は早送りによって短縮して再生するように制御して、全体の視聴に要する時間を短縮する。ハイライト情報としては大きく2種類が考えられる。
第1の種類のハイライト情報は、シーンの開始点と終了点が指定されている区間としてのハイライト情報(以下、「区間情報」と呼ぶ。)である。第2の種類のハイライト情報は、シーンの開始点のみが指定されている点としてのハイライト情報(以下、「点情報」と呼ぶ。)である。
図2は本実施の形態に係る映像再生装置1の動作の概略を示す図である。映像180のうち、斜線により示される区間184,188,及び192が区間情報によりハイライトシーンとして指定された区間、他の区間182,186,190及び194はハイライトシーン以外の区間である。録画開始点の区間182はハイライトシーンに指定されていない。そのため、再生を開始すると直ちに早送り再生が開始される。区間184に到達すると、通常再生となる。区間184の終了点を越え、区間186に入ると再び早送り再生に戻る。区間188に到達すると通常再生に戻る。その後も同様である。この動作自体は前述の特許文献1で開示されている動作と同様であるが、本実施の形態に係る映像再生装置1は、特許文献1に開示のものより複雑な状況に対応できる。以下その処理手順について詳細に説明する。
まず、図3を用いて語を定義する。区間情報の始まりとなる時刻を開始点、終わりとなる時刻を終了点といい、区間情報でハイライトシーンとして指定されている区間をハイライト区間という。ハイライト区間以外の区間をギャップという。また、点情報として与えられた時刻をハイライト点という。
図4は本再生装置の再生時の処理を実現するためのプログラムのフローチャートである。図4を参照して、ステップ(以下「S」と略記する。)100ではハイライト情報の正規化処理を行なう。ハイライト情報の正規化処理とは、点情報として与えられたハイライト情報を区間情報に変換する処理のことをいう。この処理の詳細については後述する。S101で正規化されたハイライト情報に基づいて早見再生を行なう。S102で、早見再生されなかった部分を追いつき再生する。
図5はS100のハイライト情報正規化処理の詳細を示したフローチャートである。S110において、点情報を区間情報に変換する。この実施の形態では、定数として与えられた時間α、βを使い、ハイライト点−αを開始点、ハイライト点+βを終了点にする。もちろん、これ以外の処理も考えられる。ここでは、αとして20秒、ベータとして1分という固定した時間を与える。これに代えて、区間情報として与えられたハイライト区間の平均値γを求め、α=0.2γ、β=0.8γとするような方法も考えられる。開始点又は終了点が録画された範囲を超えた場合は、それぞれ録画開始点、録画終了点で置換える。
S111においては、もとのハイライト情報から得られた区間情報及びS110で得られた区間情報をその開始点の値でソートして、順序付けられたハイライト区間のリストを得る。S112ではハイライト区間の重複の削除を行なう。すなわちハイライト区間のリストに複数回現れる映像部分を1つにまとめる。
また、あまりにも短いギャップは視聴時に違和感を与える。そうしたギャップがある場合、そのギャップをはさむ二つのハイライト区間をS113においてひとつに統合する。本実施の形態では、20秒より短いギャップについては削除する。もちろん、この時間の値としてこれ以外の様々な値を採用できるし、全体時間に対する比率などにより計算することもできる。実施の形態によっては、S111からS113の処理を行なわないことも考えられる。
図6はS101の早見再生処理を実現するためのプログラムの詳細を示したフローチャートである。S120において、再生ポインタを録画開始点にセットして再生を開始する。この再生ポインタは再生が進むに従って自動的に更新される。S121sとS121eで囲まれたS122、S123、S124の処理は、S100で得られたハイライト区間リスト中の最後のハイライト区間の終了点に再生ポインタが到達するまで繰返される。
S122において再生ポインタとハイライト区間リストとが比較され、再生ポインタがハイライト区間内にあるか否かが判定される。再生ポインタがハイライト区間内にあれば、S123で再生状態は通常速度に設定される。再生ポインタがハイライト区間の外にあれば再生状態は早送りに設定される。
以上の処理により、すべてのハイライト区間についての再生が終わると、図4のS102に処理が移り、再生状態は早送りに設定される。
図7は以上の処理によって実現される再生状態の遷移の一例を示す。図7において、斜線部分はハイライト区間を示している。本実施の形態においては、図6のS124で実現されるギャップにおける早送り再生は、図7に示すように徐々に加速するような早送りである。こうした加速が実現困難であれば、ギャップの長さに従って、短ければ比較的遅い早送り、長ければ高速な早送りというように早送り速度を決めることも考えられる。S102の追いつき再生も同様である。
S100のハイライト情報正規化処理において、ユーザの好みに合わせて区間情報の開始点や終了点を前方、又は後方に移動してからS110以降の処理をはじめても良い。例えば、開始点を前方に10秒、終了点を後方に30秒移動することにより、ゆっくりと視聴したいというユーザの要求に答えることができる。反対に、開始点を後方に5秒、終了点を前方に20秒移動することにより、できるだけ短時間に視聴したいというユーザの要求に答えることができる。
図8は、早送り延期と早送り保留という2種類のユーザからの指示をうける機構と、ハイライト情報がすでに作られている区間を指定する情報が得られる場合についての本映像再生装置1の動作を示す図である。図8を参照して、映像220のうち、ハイライト情報あり区間222をハイライト再生する場合を考える。図8に示す例では、ハイライト情報あり区間222は、ギャップ224、228、238及び242と、ハイライト区間226,234及び240とを含む。
例えばギャップ228中でユーザから早送り延期指示が与えられると、その時点から一定期間(例えば30秒)は通常再生に戻って再生する(図の格子部分230)。また、ハイライト区間でユーザから早送り延期指示が与えられると、その時点から一定期間(例えば30秒)は、再生ポインタが終了点に到達したとしても早送り再生に移らない。
また、例えばギャップ236中でユーザから早送り保留指示が与えられると、その時点から次の開始点までは通常再生に戻って再生する(図の区間238)。また、ハイライト区間でユーザから早送り保留指示が与えられるとそのハイライト区間の終了点を無視し、次の開始点までは通常再生を継続する。
また、例えば生放送を録画しながらその録画を早見再生する場合には、すべての録画済部分についてハイライト情報が与えられているとは限らない。そのため、図7のように追いつき再生部分全体をギャップの再生と同じ様に早送り再生すると、ハイライトシーンのとして条件を満足するがハイライト情報が提供されていないシーンを見逃してしまうことになる。どこまでの区間についてハイライト情報が作られているかについての情報が得られるならば、その区間を抜けた時点で通常再生に戻るか、又は図8の区間244により示されるように比較的遅い早送り再生に移行することが考えられる。この比較的遅い早送り再生は音声付であることが望ましい。このような再生方法は、タイムシフト視聴と呼ばれる視聴形態をさらに発展させた視聴形態であり、本明細書ではタイムシフト追いつき再生と呼ぶ。このような方法は、前述の、競技場の特徴を学習した後、その学習結果を用いてハイライト情報を作るようなハイライト情報生成技術との組み合わせにおいて特に有効である。
これら早送り延期指示や早送り保留指示は、前述の徐々に加速する早送りと組合せて使用することが特に有効である。なぜなら、ユーザは、音声の聞取りや内容把握は可能であるが通常再生よりも早い再生に切替わったことで、再生ポインタがハイライト区間を出たことを知ることができるからである。その時点でユーザが指示を与えれば、ユーザは内容を途切れることなく把握できる。このような加速する早送りが使えない場合は、例えば、終了点の手前10秒の範囲に再生ポインタが到達すると、表示画面、音声、再生装置筐体の表示部、又はリモコン装置に設けられた振動部などでユーザにインディケーションを与えても良い。ユーザはこのインディケーションを受けることにより、早送りが始まる前に指示を与えることができる。表示装置の画面上のインディケーションとして、次にハイライト区間の内容を示すサムネイル表示を用いることができればなお良い。これ以外にも、早送り中に早送り延期指示や早送り保留指示が与えられた場合は、直前のハイライト区間の終了点に戻って通常再生するというような動作も考えられる。視聴の流れが中断される可能性はあるが、終了点で一旦停止しユーザに早送り延期、早送り保留を選択させる表示を行なうことも考えられる。
早送り保留では、次のハイライト区間が終わると再び加速が始まることになる。しかしこれに代えて、早送り禁止という指示で完全に通常再生だけの状態に移行することも考えられる。早送り延期中や早送り保留中、さらには通常再生中に強制的に早送りを開始させる早送り指示、ギャップ・ハイライト区間を問わず全体の再生速度をもともとの制御による再生速度のN倍(例えば、1.5倍、2倍等)にする全体加速指示があっても良い。
一般的には、早送り延期指示及び早送り保留指示は赤外線又は電波を使ったリモコンで行なうことが考えられる。もちろんこれに限定されるものではなく、音やユーザの動きを検出するセンサによって指示を与えても良い。さらにはインターネット接続を経由した指示、例えばインターネット接続機能を持った携帯電話から指示を与えることも考えられる。音やユーザの動きを検出するセンサを用いる場合は、誤動作を防ぐため、例えば終了点の前後5秒に限って指示を受け付ける等の対策を採ることが望ましい。再生ポインタがハイライト区間を抜け、早送り再生が始まった時点で一度手をたたくと、それを音センサで検出して早送り延期指示とみなし、さらに繰返して手をたたくと早送り保留、早送り禁止とみなすようなことが考えられる。延期中、保留中、及び禁止中に手をたたくと早送り指示とみなすようにしても良い。
なお、通常再生は必ずしも等倍再生である必要は無く、等倍より若干早い再生、又は等倍より若干遅い再生であっても良い。若干早い再生を用いるならば、全体の視聴時間を短縮することができる。また、若干遅い再生を用いるならば、聴覚の異常などにより等倍再生での内容把握が困難なユーザに適した再生となる。早送りに関しても、あまりにもギャップが長い場合には、徐々に加速して最高速に達した後、次のハイライト区間の開始点よりも所定時間だけ手前にまで再生をスキップするような制御も考えられる。
図9は本再生装置のユーザインタフェースによる表示例を示す図である。図9に示す画面は、ユーザがどの番組の録画を再生するかを選択した後の状態を示している。選択した番組についての情報が領域1000に示され、ハイライト情報が与えられている場合、バー表示1002〜1005のようにそれらハイライト再生の選択肢が表示される。バー表示1001は全体を再生するという選択肢である。それぞれの選択肢の左には、再生に要する時間を表示する。なお、この例は、4つのハイライト情報が与えられている状況を示す。フレーム1006は選択肢を選ぶフレームであり、ユーザはこれを移動してどの再生を行なうかを指示する。ユーザがフレーム1006を移動すると、それぞれの区間を代表するサムネイル1007〜1010が表示され、ユーザによる内容確認を助ける。
図10は図9で選択されているハイライト情報の一例である。図10を参照して、最初の行はハイライト情報のタイトルである。3行目、4行目は放送局と放送日を指定する。5行目以降はハイライトの区間情報であり、ハイライト区間の再生の順番、ハイライトの内容を示したタイトル、開始点と終了点の組が列挙されている。3行目、4行目の情報と開始点、終了点の情報から、再生すべき録画は一意に決まる。
このハイライト情報に基づいた再生の様子を図11に示す。再生の様子は図7、図8と基本的には同じとなるが、再生開始直後にハイライト情報タイトルを表示する画面が挿入され、内容の把握がより容易になっている。
これ以外にも次のような表示が考えられる。例えば野球中継など生放送の録画であれば、ハイライトに指定された場面が実際にはいつ起こったかについて時刻を逆算することができる。現時点において既に、野球放送に関し、どの時刻においてどの回、又はどちらの攻撃であったか、さらにはどの打者、又はピッチャーがプレーしていたかといった情報を、逆算した時刻から得ることのできるサービスがインターネット上で提供されている。このような情報をハイライト情報タイトルと組合せて表示することも考えられる。
図10で示されたハイライト情報は非常に簡単なフォーマットである。これ以外にも、種々のフォーマットが考えられる。例えば、いくつかの視聴時間にあわせたハイライト情報をひとつのファイルとして提供するフォーマットが考えられる。また、図3のS110で示される、点情報を区間情報に変換する手順を用いることにより、本来ハイライト情報ではない情報、例えば、映画などのDVDパッケージソフトに含まれるチャプタ情報をハイライト情報として流用することもできる。ハイライトシーンを代表するサムネイルの取得方法としては、ハイライト情報として直接的にサムネイル画像を与える方法、特定の時刻を指定してその瞬間の画像をサムネイルとする方法、開始点付近又は終了点付近、開始点と終了点の中間付近の画像をサムネイルとする方法などが考えられる。
なお、図9では、録画された番組情報に対するハイライト情報をすべて表示しているが、ユーザの指示によって、例えば50分以内に視聴できるハイライト情報だけを選択的に表示するインタフェースも考えられる。また、早送り再生の開始の際の加速を緩やかにする、又は急激にすることによって再生時間の微調整を行なうこともできる。例えば、ユーザの指定した視聴時間が50分であり、それに対して52分で視聴できるハイライト情報が用意されている場合、加速を急激にすることで再生時間を50分に短縮すればユーザの要求に合わせることができる。
同様に、指定の時間までに視聴が完了するハイライトを表示するようなインタフェースも考えられる。例えば、「8:30まで」という指定、又はあらかじめ時刻が登録された「出勤まで」という指定と現在時刻とから残り時間を算出し、視聴可能なハイライト情報を選択することができる。
これらの選択方法を、二つ以上のハイライト情報の合計から条件に合う再生パターンを選択する、未視聴の番組から優先的に表示するといった様々なバリエーションと組合せれば、より使いやすいインタフェースが実現できる。
図12は、再生中画面のより詳細な説明のための図である。画面には、全体の再生時間とすでに再生が終わった時間とを示す時刻表示1100が表示されている。この情報は、全体の再生時間に対する割合や、残り部分の再生に必要な時間であってもよい。さらに画面には、録画全体のどの部分を再生しているかを示すバー1102が表示されている。このバー1102は、ハイライト区間(斜線部で示す。)とそれ以外の区間とを示す。図12の例では、バー1102は現在ハイライト区間1101を再生中であることを示している。再生画面はさらに、次のハイライト区間を代表するサムネイル1103を表示している。このサムネイル1103を前述のハイライト区間の終了点に近いことを示すインディケータとして利用しても良い。
図13は、複数の番組にまたがり、かつ、放送時の順序と早見再生におけるハイライト区間の再生の順序とが異なるようなハイライト情報を示す。各行の意味は基本的に図10と同じである。ただし、図13に示す例では、複数の番組のハイライト情報が与えられている点で図10とは異なる。番組ごとのハイライト情報は空行で区切られている。
図14はこのようなハイライト情報が与えられた場合の再生制御の一例を示す。図14を参照して、第1の番組のハイライト情報250は、ギャップ260,264,268及び272と、ハイライト区間262,266及び270とを含む。同様に第2のハイライト情報252は、ギャップ280、284、288及び292と、ハイライト区間282、286及び290とを含む。
この場合、録画を一点差線で示される各ギャップ264、268、284及び288の中心点で分割し、それを矢印で示したように、ハイライト情報で指定された順序で再生することで、矛盾無く複数番組にまたがる早見再生ができる。もちろん、分割点を明示的に指定できるようなハイライト情報のフォーマットを採用しても良い。ここで示したような方法は、複数の録画をひとつの映像に変換してそれに対してハイライト情報を適用しているとみなすことができる。ひとつとみなされる映像に対してであれば、順方向の再生だけではなく、逆方向の巻き戻し再生も矛盾することなく行なえる。
本実施の形態を、2回目、3回目の視聴を効率化する目的に応用することもできる。例えば、一回目の視聴の開始前に全体をハイライト区間とみなしておき、ユーザが一度でも早送り再生を指示した区間を順次ギャップとして認識していく方法が考えられる。一回目の視聴の開始前に全体をハイライト区間とみなしておくのは同様であるが、逆にユーザが一度でも通常再生で視聴した区間を順次ギャップ区間として認識していく方法も考えられる。前者は、最初の視聴で早送りした箇所、例えばCMを2回目の視聴時にも早送りする用途に適している。後者は、最初の視聴で内容確認した部分を2回目の視聴では早送りして見飛ばす用途に適している。ハイライト区間とギャップを相互に入れ替え、ハイライト区間に指定されている部分を早送り、ギャップを通常再生するモードを設けても良い。
以上説明したように、本実施の形態に係る映像再生装置1では、ハイライトは通常再生、ハイライト以外は早送り再生とすることにより、短時間の番組視聴を可能にする。さらに、ギャップを単純にスキップするのではなく、早送り再生とすることにより、番組全体の流れを見落とすことも無くなる。なお、デジタルレコーダはその再生を非常に柔軟に制御でき、ここにあげた制御以外にもさまざまなバリエーションをとりうるため、考えうるバリエーションをすべて列挙することは不可能であるが、本実施の形態の本質は、ハイライトシーンは通常再生、ハイライトシーン以外は早送り再生とすることにより、短時間の見落としの無い番組視聴を可能にすることにある。
−映像配信装置−
図15は、図1に示した映像再生装置1と対になる映像配信装置4の構成を示すブロック図である。図15を参照して、映像配信装置4は、撮影装置6から入力された映像をアンテナ5から放送電波として配信するとともに、関連する情報をネットワーク経由で配信する機能を備える。撮影装置6の代わりに、撮影した映像を編集する編集装置が接続されていても良い。
映像配信装置4は、入力された映像を蓄積するための映像記録部410と、この映像に対してハイライト情報を付加するためのハイライトシーン検出部401と、映像に対して付加される番組名などの付加情報を入力するための付加情報入力部400とを含む。映像配信装置4はさらに、付加されたハイライト情報を蓄積するためのハイライトシーン記録領域413、及び付加情報入力部400により入力された付加情報を蓄積するための付加情報記録領域412とを有する記録部411と、放送時に、映像記録部410から映像を読出し、必要に応じて付加情報又はハイライト情報を付加情報記録領域412又はハイライトシーン記録領域413から読み出して多重化するための付加情報多重化部420と、多重化された映像信号をアンテナ5に与えるための送信部423とを含む。
生放送の場合、付加情報又はハイライト情報の生成は映像の放送よりも遅れることになる。この場合でも放送電波に付加情報又はハイライト情報を多重化しても良いが、インターネットなどネットワークを通じて配信しても良い。このために映像配信装置4はさらに、ネットワークに接続され、映像再生装置1からの要求に応じて適切な付加情報又はハイライト情報を記録部411から読出し、要求を発信した映像再生装置1に対して返送するためのネットワークインタフェース部421を含む。
映像配信装置4でハイライト情報を集中的に生成することで、ハイライト情報を自動生成する場合には、強力な処理装置を利用することができる。またオペレータによりハイライト情報を生成する場合には、熟練したオペレータによるサービスを提供することができる。なお、ハイライトシーン検出部401は、図1に示す映像再生装置1のハイライトシーン検出部103と同様の機能を持つが、事業としてハイライト情報を提供するならばオペレータが映像を見ながらハイライト情報を作ることも考えられる。
−映像配信装置4の動作−
映像配信装置4は以下のように動作する。入力された映像は映像記録部410に一度蓄積され、この映像に対してハイライトシーン401でハイライト情報を付加する。付加されたハイライト情報は、ハイライトシーン記録領域413に蓄積される。付加情報は付加情報入力部400から与えられ、付加情報記録領域412に蓄積される。
放送時には、映像が映像記録部410から読み出され、必要に応じて付加情報又はハイライト情報が付加情報多重化部420によって多重化され、送信部423からアンテナ5に送り出される。生放送の場合、ネットワークインタフェース部421は映像再生装置1からの要求に応じて適切な付加情報やハイライト情報を読み出し、返送する。
なお、ネットワークを有効活用すれば、映像そのものをネットワークで配信すること、ユーザが手動で生成したハイライト情報をネットワーク経由で収集し、適宜処理してハイライト情報として配信することも考えられる。さらに、映像配信装置4で映像自体の配信は行なわず、ハイライト情報のみを提供することも考えられる。例えば、撮影装置6の代わりにチューナを接続して、放送業者が放送した番組の映像に関してのハイライト情報のみを提供する応用が考えられる。この場合には、付加情報多重化部420や送信部423、アンテナ5は不要である。
−早送り指示−
点情報を区間情報に変換せず、そのまま利用することも考えられる。図16はこの場合の再生の様子を示している。ハイライト情報300が、ハイライト点情報302、304及び306を含むものとする。録画開始点から最初のハイライト点情報302までは早送り再生を行ない、ハイライト点情報302で指定された時刻以降は通常再生を行なう。通常再生中にユーザが例えば時刻308において早送り指示を与えると、徐々に再生速度を加速し、次のハイライト点情報304の手前で減速し、通常再生を開始する。以後、時刻310、312などで早送り指示があった場合も同様である。
この場合、早送り再生中であっても、ユーザの指示によって即座に通常再生に戻れるようにすることが望ましい。又は、ユーザによる通常再生の指示があった時点での早送り速度を勘案し、早送りで行き過ぎたと推定される時間だけ戻って通常再生を行なうように構成することが望ましい。このように制御することで、ユーザが興味を持てなくなった個所から、次のハイライト点情報までを短縮して視聴することができる。
一般的な番組録画において、CMが終わり、番組が再開する時刻を点情報として与えれば、CMは早送りで再生し、番組が再開すると通常再生に戻るという効率的な視聴が可能になる。また、早送り中のCMの概要を見逃すことなく、興味を引かれるCMを見つけた場合はそのCMも通常再生で視聴することができる。
−変形例−
本実施の形態に係る映像再生装置1の構成に関するいくつかの変形例について説明する。
受信装置100は放送電波の受信装置に限定されず、ケーブルテレビや光ファイバによる放送など様々な放送形態の受信機を用いることができる。映像をユーザの要求に応じてネットワークを通じて供給するVOD(Video On Demand)の構成をとれば、映像記録領域113は不要である。映像の供給元はVOD事業者のサーバとは限らず、同じ住居内にある別の映像再生装置でもよい。
映像エンコード部102による圧縮エンコード処理には多くの実装例が提案されている。映像データが映像記録領域113に記録可能なデータに変換可能であれば、圧縮を伴わない処理も含めてどのような圧縮エンコード処理を採用しても良い。
付加情報、ハイライト情報、又は映像データは放送電波から取得する必要は無い。ネットワークインタフェース部130を介してネットワークからこれらを取得し、記録部110に記録するような構成であっても良い。この場合、ユーザが必要なときに各種情報を取得するオンデマンドの形態を取ることもできる。
さらに、映像記録領域113に記録した映像を、ハイライト情報提供事業者又は同じ住居内にある別の映像再生装置に解析させて、その結果得られるハイライトシーン検出の出力を利用することも考えられる。この場合、ハイライトシーン検出部103は不要となるが、ハイライトシーン検出の結果を受信する機能が必要となる。
ハイライトシーン検出部103によるハイライトシーン検出技術としては、特許文献1に記載されている方法を用いることもできる。また、これ以外にも多くの提案がある。ユーザがハイライトシーンだと思うシーンを直接指定するユーザインタフェースを使用してハイライト情報を取得しても良い。放送電波に多重化されたハイライト情報、ハイライトシーン検出部103によって作られたハイライト情報、及びユーザによって指定されたハイライト情報を任意に組合せて再生制御装置134に与えても良い。
記録装置110としては現在HDDが一般的に使われているが、フラッシュメモリ等の半導体メモリや、それをカートリッジに収めたメモリカードなどを使ってもよい。ネットワークインタフェース部130としては、インターネットへの接続インタフェース、又は携帯電話網への接続インタフェースなどが利用できる。ネットワークインタフェース130は各種情報の取得とともに情報に対する課金処理を行なっても良い。
ディスク自身の識別情報又はディスクに記録された作品の識別情報がディスク自体に記録されている場合、それら識別情報を取得して、対応する付加情報又はハイライト情報をネットワークインタフェース部130によりネットワーク上の所定のアドレスから自動的に取得するようにしてもよい。付加情報又はハイライト情報をディスクそのものに記録しておき、映像記録ディスク再生部114により取得するようにしてもよい。記録媒体に記録されたチャプタ情報など、本来はハイライト情報でない情報をハイライト情報として流用することもできる。もちろん、記録媒体はディスクに限定されず、メモリカードなど他の記録媒体でも良い。
ハイライトシーンは様々であり、ユーザの嗜好により、スポーツの得点シーン又は好プレイシーン、情報番組の各コーナの導入部分、CM直後のシーン、CM自体のシーン、特定の登場人物のシーンをハイライトシーンとみなすこともできる。
以上の実施の形態では、ひとつのハイライト情報に基づいて、一つ又は複数の映像データを再生することについて述べた。これとは逆に、ひとつの映像データを指定して、その映像データに含まれるハイライトの点情報、又は区間情報を複数のハイライト情報にまたがって検索して再生することも考えられる。さらには、ハイライト情報に含まれる点情報や区間情報を説明に対するキーワード検索などによってフィルタリングしてから利用することも考えられる。このようにすれば、例えば、野球の試合に対する一般的なハイライト情報を使って、見たい選手に関するハイライト映像だけを通常再生するようなことも可能になる。
機器の構成は図1、図15のブロック図に限定されず、前述のように、映像配信装置が、映像再生装置の映像記録領域に記録された映像をネットワーク経由で参照してハイライト情報を生成するような構成であっても良い。同様に、映像配信装置の映像配信機能と、ハイライト情報配信機能が独立した装置として実現されても良い。
ハイライト情報の点情報、区間情報それぞれにレベルが設定されていても良い。例えば、最も重要度の高いハイライトをレベル5として、重要度が下がるとそれに応じてレベルが下がるようにすれば、図9のように複数ハイライト情報を提供するのとほぼ同等の機能が実現できる。さらには、ハイライト情報が区間情報であれば、レベル0はスキップ、レベル1は100倍までの加速早送り、レベル2は32倍までの加速早送り、レベル3は4倍速再生、レベル4は1.5倍の音声付再生、レベル5は通常再生といった制御も考えられる。
レベルをキーワードにしたフィルタリング、又は区間情報又は点情報の説明に含まれる単語からレベルへの変換があっても良い。この場合、レベルが与えられていない区間はレベル0、レベルが指定されていない区間情報又は点情報のレベルはレベル5とみなすといった処理を行なうことが望ましい。ユーザが注目している選手の名前が説明に含まれていれば、無条件にレベル5、他の試合の途中経過の映像であることを示すキーワードが含まれていれば無条件にレベル0とみなすといった操作が可能になる。
ハイライト情報とは逆に、ハイライトではない部分を指定しても良い。映像再生装置は、映像からハイライトではないと指定された部分を早送り再生し、指定されていない部分については通常再生する。
以上、説明した第1の実施の形態によれば、映像配信装置から映像再生装置にハイライト情報を与える、又は映像再生装置でハイライト情報を生成することにより、番組内容を見落とすことなく、短時間で視聴することが可能になる。
−変形例−
以上の説明では、ハイライト情報をあらかじめ用意しておく構成を示したが、本発明で開示される再生装置は、これに限定されるものではない。ハイライト情報の基準をユーザからの指示に頼っても良い。例えば、ユーザがCMスキップボタンを押すと、徐々に加速し、CMの区切りである15秒又は30秒程度後の地点で通常再生に戻るように制御しても良い。これは、ユーザからの指示により、15秒又は30秒後にハイライト点情報を設定すると考えられる。さらには、スキップボタンを連打すると早送り期間が15秒、30秒、45秒と順次長くなるようにしても良い。また、加速時と減速時のパターンが異なってもよく、加速時は短時間で最高速に至り、減速時には早めに減速が始まっても良い。CMスキップのような応用であれば、15秒周期で加減速を繰返すような早送りパターンも有効である。
[第2の実施の形態]
−映像再生装置の構成−
第1の実施の形態では、映像再生装置1はハイライト情報を受取ることにより短時間の視聴を可能にした。しかし、再生制御を指示する情報を受取ることによっても同様の効果を得ることができる。
図17はこの方法を採用した映像再生装置7のブロック図であり、図18はこれと組み合わされる映像配信装置8のブロック図である。なお、以下の説明では、再生制御を指示する情報を再生スクリプトと呼ぶ。再生スクリプトは、映像の再生すべき部分と再生速度を指定するための情報、又は説明のための画像を生成するための情報を与える。再生スクリプトは映像を制御する一種のプログラムであり、単純なハイライト情報のみを与える構成に比べて、より多彩な映像表現が可能となる。
図17を参照して、映像再生装置7は、放送電波を受信するアンテナ2と、再生した映像を出力する表示装置3とに接続されている。映像再生装置7は、アンテナ2で受信された放送電波を選局するための受信部700と、受信部700により選局された放送電波から、映像データと再生スクリプトを分離するための再生スクリプト分離部701と、再生スクリプト分離部701により分離された映像データを圧縮エンコードするための映像エンコード部702と、再生スクリプト分離部701により分離された再生スクリプトを記録するための再生スクリプト記録領域711及び映像エンコード部702によりエンコードされた映像データを記録するための映像記録領域712を有する記録部710とを含む。
映像再生装置7はさらに、映像記録領域712に記録された映像データをデコードするための映像デコード部722と、再生スクリプト記録領域711に記録された再生スクリプトに基づき、映像デコード部722を用いて映像記録領域712に記録された映像データを再生するとともに、再生スクリプト中に埋め込まれた文字情報などを出力するための再生制御部721と、再生スクリプト中に埋め込まれた文字情報などを映像デコード部722により再生された映像に重ね合わせて出力するための情報重ね合わせ部723とを含む。情報重ね合わせ部723の出力は映像再生装置7の出力として表示装置3によって表示される。
簡単のため、図17にはネットワークインタフェースが示されていない。しかし、図1の映像再生装置1と同様、再生スクリプト又は映像をネットワーク経由で受信することも当然考えられる。例えば、予約録画された番組に対応する再生スクリプトをネットワーク経由で検索してダウンロードした上でユーザに提示し、ユーザの選択した再生スクリプトに基づいて再生を行なうことも考えられる。
−動作−
アンテナ2で受信された放送電波は受信部700で選局され、再生スクリプト分離部701に入力される。再生スクリプト分離部701は、映像データと再生スクリプトとを分離する。分離された再生スクリプトは記録部710の再生スクリプト記録領域711に記録される。映像データは映像エンコード部702によって圧縮エンコードされ記録部710の映像記録領域712に記録される。
再生制御部721は再生スクリプト記録領域711に記録された再生スクリプトに基づき、映像デコード部722を用いて映像記録領域712に記録された映像データを再生する(すなわち、再生スクリプトを実行する。)とともに、再生スクリプト中に埋め込まれた文字情報などを情報重ね合わせ部723によって重ね合わせて出力する。情報重ね合わせ部723の出力は映像再生装置7の出力として表示装置3によって表示される。
−映像配信装置の構成−
次に図18のブロック図で示される映像配信装置8の構成について説明する。映像配信装置8は、撮影装置6から入力された映像をアンテナ5から放送電波として配信するとともに、再生スクリプトを多重化して配信する機能を備える。撮影装置6の代わりに撮影した映像を編集する編集装置が接続されていても良い。
映像配信装置8は、入力された映像を蓄積するための映像記録部810と、この映像に対してハイライト情報を生成するためのハイライトシーン検出部801と、映像に対する説明等の付加情報を入力するための付加情報入力部800と、付加情報とハイライト情報を組合せて再生スクリプトを生成するための再生スクリプト編集部802とを含む。
映像配信装置8はさらに、再生スクリプト編集部802により生成されたスクリプトを記録するための再生スクリプト記録部811と、映像記録部810に記録された映像が放送電波で配信されるときに、映像記録部810から映像を、再生スクリプト記録部811から対応の再生スクリプトを、それぞれ読出し、再生スクリプトを映像に多重化するための再生スクリプト多重化部820と、再生スクリプト多重化部820から出力される、再生スクリプトが多重化された映像をアンテナ5に送るための送信部821とを含む。
なお、前述のように、再生スクリプトがネットワーク経由で配信される場合には、それに対応したネットワークインタフェースが必要となるが、図18には簡単のため図示していない。
再生スクリプト802で生成される再生スクリプトは、第1の実施の形態の図1に示す再生制御部134によって実現される再生制御と同等の指示を与えるものである。その一例を図19に示す。
図19を参照して、スクリプトは空行によってブロックB1〜B12に分けられている。最初のブロックB1は再生スクリプトのタイトルを示しており、二番目以降のブロックB2〜B12は再生の制御を示している。再生の制御を示す各ブロックB2〜B12は、再生すべき映像を特定する情報(この例では「放送局」)と、再生範囲(「放送時間」)と、再生速度とを含む。
ブロックB2でオープニング映像を通常再生した後、1.5倍速(ブロックB3)、8.0倍速(ブロックB4)、1.5倍速(ブロックB5)再生と加速・減速し、キックオフのシーン(ブロックB6)で通常再生に戻る。
スクリプト中で1.0倍速再生が指定されている区間(ブロックB2,B6〜B8及びB12)を第1の実施の形態におけるハイライト区間とみなし、高速再生指示を無視すれば、早送り延期や早送り保留の機能も実現できる。もちろん明示的に通常再生に戻るための指示を与えても良い。また、ブロックB8のように別の番組のシーンを一部組合せての再生も考えられる。
−動作−
入力された映像は映像記録部810に一度蓄積され、この映像に対してハイライトシーン801でハイライト情報が生成される。映像に対する付加情報が付加情報入力部800を通じて入力され、再生スクリプト編集部802に与えられる。再生スクリプト編集部802は付加情報とハイライトシーン検出部801が出力したハイライト情報を組合せて再生スクリプトを生成する。生成されたスクリプトは再生スクリプト811に記録される。
映像が放送電波で配信されるとき、又は別の映像を配信するときには、再生スクリプト多重化部820が映像記録部810から映像を読出し、再生スクリプト記録部811から対応の再生スクリプトを読出して映像に多重化する。多重化後、映像は送信部821を通じてアンテナ5に送られる。
再生スクリプト編集部802において以上説明したような再生スクリプトを生成すれば、番組内容を見落とすことなく、短時間で番組を視聴することができる。また、配信装置8側で集中的に制御を指定するため、放送時とは順序を入れ替えて再生する、CM部分では4倍速以下になるよう加速再生を緩める等、配信側の意図をより正確に反映した制御を行なうことができる。図7に示す映像再生装置7との情報交換により、ユーザの嗜好に合わせた再生スクリプトを提供することも考えられる。この場合には、再生スクリプトをあらかじめ記録しておくのではなく、ハイライトシーン情報と付加情報のみをあらかじめ用意しておき、映像再生装置7からユーザの嗜好情報を追加する要求があったときに、再生スクリプト編集部802がスクリプトを生成するような構成が適している。
[第3の実施の形態]
−映像切出し装置の構成−
ハイライト情報を利用することで、番組録画の一部を切出して利用することも考えられる。図20に示される映像切出し装置9は、このような目的を達成するものである。図20に示す構成要素のうち、多くの構成要素は図1に示された映像再生装置と同じであるため、重複する構成要素についての説明はここでは繰返さない。
図20を参照して、映像切出し装置9は、図1に示される各要素と同様の構成要素100、101、102、103、104、110、114、130、131、132及び133に加えて、映像記録領域113に記録された映像データをトランスコーディングするための映像トランスコーディング部901と、ハイライトシーン記録領域112に記録されたハイライト情報に基づき、映像トランスコーディング部901を用いて映像記録領域113に記録された映像データのうち、ハイライト情報により定まる所定の区間をトランスコーディングするとともに、再生時に必要となるハイライト区間を出力するための切出し制御部900と、トランスコーディングされた映像、付加情報記憶領域111から取出された付加情報、及び切出し制御部900が取出したハイライト情報をメモリカード903に書込むためのメモリカードインタフェース902とを含む。このメモリカード903を図示しない再生装置に装着することにより、映像の再生を行なうことができる。
−動作−
切出し制御部900はハイライトシーン記録領域112に記録されたハイライト情報に基づき、映像トランスコーディング部901を用いて映像記録領域113に記録された映像データのうちで以下に述べるようにハイライト情報により定まる所定の区間をトランスコーディングするとともに、再生時に必要となるハイライト情報を取出す。映像トランスコーディング部901によりトランスコーディングされた映像、スイッチ131を介して付加情報記憶領域111から読出された付加情報、及び切出し制御部900によりハイライトシーン記憶領域112から取出されたハイライト情報は、メモリカードインタフェース902を介してメモリカード903に書込まれる。
図21は切出し制御部900による映像情報の切出しを説明するための図である。図21を参照して、切出し制御部900は、ハイライト情報を元に、ハイライト区間とその前後の映像を切出して映像トランスコーディング部901にトランスコーディングさせ、その出力をメモリカード903に記録させる。通常、メモリカード903の容量は記録部110の容量に比べると小さく、またメモリカード903に記録された映像を再生する再生装置のデコード能力も低いことが想定される。そのため、メモリカード903に記録する映像は映像トランスコーディング部901によって低ビットレートに変換される。メモリカード903の容量と映像再生装置のデコード能力が十分であれば、トランスコーディングは不要である。
ハイライト情報を元に必要な部分だけが切出される。切出された映像情報の容量は小さくなり、トランスコーディングに掛かる時間、又はメモリカード903への書込み時間が短縮される。また、本実施の形態では単純にハイライト区間だけを切出すのではなく、ハイライト区間の前後の映像を残す。これにより、ハイライトの続き又はハイライトの前の様子を知りたいというユーザの要求に答えることもできる。このような要求は、例えばスポーツの試合などで多く見られる。前後映像の時間については用途によって異なる。例えば野球の試合などであれば、前の映像については30秒、後の映像については1分程度が適当である。
ハイライト情報に切出しのための情報を別途付加することも考えられる。再生装置では、記録された映像をすべてそのまま再生するか、ハイライト情報を解析して図1の再生制御装置134と同等の制御を行なうことによって番組録画を短時間で再生することができる。
メモリカード903に映像情報を記録する場合、ひとつの映像としてまとめて記録することもできるし、図21に示すようにそれぞれの部分ごとに分かれた映像として記録することもできる。ひとつの映像にまとめて記録する方法は、ハイライト情報を使った再生に対応していない再生装置での再生に適している。この場合、ハイライト区間の前後については早送りされた映像にトランスコーディングすることも考えられる。一方、再生装置がハイライト情報を利用できるのであれば、図21のように分割して記録する、又は一つにまとめたとしても、分割点がもともとの映像情報ではどの時刻に相当するかの情報を残すことによって、図1の再生機と同等のハイライト情報を用いた早見再生ができる。
なお、メモリカード903は取外し可能な記録媒体の一例である。これ以外にも、取外し可能なハードディスク装置又は書込み可能な光学記録媒体を利用することも可能である。メモリカードインタフェース902の代わりにネットワークインタフェース130を介して再生装置内部に固定された記憶装置に書込みを行なうような構成も考えられる。
映像記録領域113に記録された映像がコピーワンスを指定されている映像であれば、メモリカード903への書込み後に映像記録領域113の映像情報を消去するか、メモリカード903に書込まれた情報を消去するまでアクセス不能になるよう制御する必要がある。メモリカード903に書込まれた情報が時限付で無効化できる仕組みが別途用意できるのであれば、一定期間だけ映像記録領域113中の映像情報をアクセス不能にすることも考えられる。
[第4の実施の形態]
−構成−
第1から第3の実施の形態に示した動作を実現するためには、録画とハイライト情報に埋め込まれた時刻情報とが一致していなければならない。例えば、図1の映像再生装置1が番組録画に用いる時計が進んでおり、これに対して正確な時計を元に図15の映像配信装置4で作成されたハイライト情報を適用すると、本来ハイライトとして表示されるべき映像の開始点よりも早く通常再生が始まり、終了点よりも早く加速再生が始まってしまうことになる。すなわち、開始点前が冗長で、終了点後が不十分な再生となる。映像再生装置1の時計が正確で、映像配信装置4の時計が不正確な状況でも同様である。
映像の録画された時刻を知るための基準としては、従来のアナログVTR(Video Tape Recorder)で用いられてきた機器内蔵の時計、デジタル放送波に埋め込まれた時刻情報、デジタルビデオ入力など外部映像入力に埋め込まれた時刻情報などが想定される。また、アナログ入力を使って映像をダビングした場合など、もともとの録画時刻がまったく不明な場合もある。ここでは、図22に示された表のように時刻の正確度を定義する。
図23は本発明の第4の実施の形態に係る映像記録装置10の構成を示すブロック図である。図23に示す映像記録装置10は、映像入力を受けて記録媒体に記録する機能を果たすため、図1、図17、又は図20に示される映像再生装置1、7又は映像切出し装置9の一部分としてこれらに含まれるのが一般的である。しかしここでは、説明を簡単にするため独立した装置として示している。なお、映像記録部151として着脱可能な記録媒体を使えば、図23に示すとおり、独立した装置としても構成しうる。
図23を参照して、映像記録装置10は、アンテナ2又は入力端子からの映像入力を受け映像記録部151に記録するためのものである。映像記録部151は、後述する正確度を記録するための正確度記録領域152と、時刻情報に基づいて算出される記録開始時刻を記録するための記録開始時刻記録領域153と、映像データを記録するための映像データ記録領域154とを含む。
映像記録装置10は、アンテナ2で受信された放送電波を選局するための受信部141と、受信部141により選局された放送電波を受け、映像データと時刻情報とを分離するための時刻情報分離部142と、外部入力端子から受けた映像信号から映像データと時刻情報とを分離するための時刻情報分離部143と、正確度を後述するようにして決定し出力するための正確度決定部140とを含む。
映像記録装置10はさらに、映像記録装置10の現在時刻情報を出力するための時計部145と、時計部145を補正するための時計補正部144と、映像の再生時間の計時又は後述するように外部入力とされる装置の再生時間を示す情報(アナログビデオカメラのカウンタなど)の読取を行なうための計時部146とを含む。
映像記録装置10はさらに、時刻情報分離部142からの映像データ及び時刻情報、時刻情報分離部143からの映像データ及び時刻情報、時計部145からの時刻情報、及び計時部146からの計時情報を受け、正確度決定部140により決定される正確度に応じて、時刻情報分離部142及び時刻情報分離部143の出力する映像データのいずれか、及び時刻情報分離部142、時刻情報分離部143、時計部145及び計時部146の出力のいずれかを選択してそれぞれ出力するためのスイッチ147と、スイッチ147の出力する映像データを圧縮エンコードして映像記録部151の映像データ記録領域154に記録するためのするための映像エンコード部148と、時刻情報に対するオフセットを算出し出力するためのオフセット算出部149と、スイッチ147の出力する時刻情報に対してオフセット算出部149の出力するオフセットを加算し、記録開始時刻記録領域153に書込むための加算器150とを含む。オフセット算出部149の動作の詳細については後述する。
正確度決定部140で決定された正確度はスイッチ147による映像データ及び時刻情報の選択に使われるとともに正確度記録領域152にも記録される。映像記録部151には、通常、複数の映像が記録されるが、各々の映像について、正確度、記録開始時刻、映像データの組が記録される。
放送電波や入力映像から分離された時刻情報のほかに、時計部145、計時部146からも時刻情報が得られる。時計部145はNTP(Network Time Protocol)や放送電波の音声に含まれる時報音、電話のサービスとして提供される時報音によって適宜補正されているとする。この補正は時計補正部144によって実現されるが、その仕組みは公知であるため説明を省略する。
正確度決定部140の動作の詳細は図24の表で示される。デジタル放送受信時など放送電波中に時刻情報が含まれていれば、正確度4の時刻情報として分離された時刻情報を用いる。アナログ放送受信時など放送電波中に時刻情報が含まれていなければ、正確度2の時刻情報として時計部145が出力する時刻情報を用いる。デジタルビデオ入力など外部入力端子からの映像入力に時刻情報が含まれていれば、正確度1の時刻情報として分離された時刻情報を用いる。これはデジタルビデオカメラなど、補正手段をもたない自走式の時計による時刻が記録されている場合を仮定している。アナログビデオ入力など外部端子からの映像入力に時刻情報が含まれていなければ、正確度0の時刻情報として計時部146が出力する時刻情報を用いる。これはアナログビデオカメラなど、時刻情報がない映像を記録する場合を仮定している。このように、正確度決定部140は、映像が蓄積される際の、映像取得の伝送経路という環境に基づいて正確度を決定する。
図23に示す計時部146は時刻情報として0を出力するだけでも良いが、例えば外部入力端子に接続されたアナログビデオ再生機のテープカウンタが読み込めるのであれば、その値を出力しても良い。外部入力端子にデジタル放送チューナを接続した場合など、あらかじめ正確度が予測できる場合には図24の表に拠らず他の方法で正確度を決定しても良い。
図25は図23に示すオフセット算出部149の動作を示す表である。オフセット算出部149は、時刻情報と正確な時刻との補正値を与える働きを持つ。
正確度0の場合は、オフセットの算出は不能であり、オフセット算出部149は0を出力する。
正確度1の場合は、オフセット算出部149は外部入力端子に接続された機器に依存したオフセット値を与える。例えば、デジタルビデオカメラ1が接続されている場合には0を、デジタルビデオカメラ2が接続されている場合には5秒を出力する。このような動作は、ひとつの被写体を複数のデジタルビデオカメラで撮影した場合に、それぞれのデジタルビデオカメラの内蔵時計のオフセットを補正する機能を実現する。前述の例ではデジタルビデオカメラ1の内蔵時計に比べてデジタルビデオカメラ2の内蔵時計が5秒遅れていた状況を補正することになる。それぞれの機器に対応するオフセット値はユーザが指定する。
正確度が2の場合は、オフセット算出部149は受信部141が選局しているチャンネルによって決まる値を出力する。この動作は、例えば、アナログ放送やデジタル放送をケーブルテレビのひとつのチャンネルとして伝送する際にその変換に要する時間を補正する、又はデジタル放送波をアナログ放送波に変換して受信する際に変換に要する時間を補正するといった場合に効果がある。変換に要する時間は、チャンネルごとに一定であると考えられるため、チャンネルが決まるとオフセットが一意に算出できる。
正確度が3の場合は、補正が不要と考えられるためオフセット算出部149は0を出力する。なお、予約録画を行なう際の録画開始、録画終了の制御を行なうために、加算装置150から出力される時刻情報を使えば、前述のチャンネルによる変換時間の違いに影響を受けにくい映像記録装置10の予約録画動作が実現できる。
以上説明した構成により、それぞれの映像データについての記録開始時刻を得ることが可能になる。
次に、ハイライト情報と映像データとの間の相対的な時刻についての管理の方法を説明する。
映像データの記録開始時刻と同様に、ハイライト情報についても正確度を定義することができる。ハイライト情報を生成する際に参照した映像データの正確度をハイライト情報の正確度とみなす。例えば、正確度2の映像を参照してハイライト情報を生成した場合、そのハイライト情報に含まれる時刻は、参照された映像と同じく正確度2であると考えられる。そして、ハイライト情報と映像データとの間の相対的な正確度は、ハイライト情報と映像データのそれぞれの正確度の低いほうに一致すると考えられる。なぜなら、例えば、正確度4の映像データと、正確度2のハイライト情報を組合せた場合、相対的な時刻のずれは、正確度2の時刻情報の誤差とほぼ一致すると考えられるからである。ただし、図1のハイライトシーン検出部103で生成されたハイライト情報と、映像記録領域113に記録された映像データのように、同一装置内で完結している場合については相対的な正確度は4と考えられる。
このように映像データとハイライト情報との時刻情報の相対的な正確度が定義されると、この正確度を使って適切な時刻情報補正処理を行なうことができるようになる。相対的な正確度が4の場合、誤差はほとんど無いと考えられるため、時刻情報を補正する必要は無い。相対的な正確度が2の場合、基本的には補正する必要は無いが、ユーザに違和感があれば補正を行なう。相対的な正確度が0又は1の場合は、早見再生を開始する前に補正を行なう。
補正値の管理は図26に示されるような管理テーブルを用いて行なう。それぞれのハイライト情報は、その正確度と補正値を持っている。同様に、映像データについても正確度と補正値を持っている。図26に示す例では、ハイライト情報4については、まだ一切の情報が無い状態である。各ハイライト情報の列と各映像データの行との交点の欄には、そのハイライト情報と映像データとの相対的な補正値とその正確度を格納する。これらの欄はさらに、その補正値が実際に測定された値であるか、間接的に算出された値であるかを意味する状態情報をもっている。実際に測定された値であれば状態は確定となり、間接的に算出された値であれば状態は未確定となる。
なお、以下の説明では、ある欄を「欄x」としたときに、同一の行の映像データを「映像データx」、同一の列のハイライト情報を「ハイライト情報x」と表記する。この表は図27〜図29に示されるフローチャートに従って更新される。これら手順の詳細については後述することとして、その概略について、図30に示す例を用いて説明する。
図30に示す表は、例えば、映像データ1について、本来、10:23:42でなければならない時刻が時刻0:00:00として記録されていることを示している。同様に、ハイライト情報1において、10:30:00と指定されている時刻の映像は、正確には10:31:23(10:30:00との差分が+0:01:23)の映像であることを示している。よって、映像データ1とハイライト情報1との相対的な誤差は+10:22:19であり、ハイライト情報1において、10:30:00と指定されている映像データ1の映像を再生するには、10:30:00から補正値+10:22:19を引いた時刻、0:07:41を指定して映像データ1を再生しなければならないことになる。実際には図30の情報を知ることはできないため、与えられた情報を元に、図26の表を用いて、図30に示された値にできるだけ近い値を推定する必要がある。その時刻補正処理については後述する。
図26は管理テーブルの初期状態であり、それぞれの欄xについて、その正確度は映像データxの正確度とハイライト情報xの正確度のうちの高くない方の値、補正値は0:00:00、状態は「未確定」に初期化される。推定のために与えられる情報は、映像データとハイライト情報との相対的な補正値の近似値である。近似値の取得方法は後述する。
図27を参照して、時刻補正処理について説明する。図27のS200は上述した補正値の近似値を取得するステップである。S201において、取得した補正値は映像データ1とハイライト情報2との交点にあたる欄A(図31中、下線で示す)に補正値として記録される。欄Aの状態は「確定」となる。
次に、S202で、映像データAの正確度がハイライト情報Aの正確度と不一致か否かを判定する。不一致であればS203に、それ以外であれば処理を終了する。現在の例では映像データ1の正確度<ハイライト情報2の正確度であるため、S202の判定結果はYesとなる。
S203では映像データAの正確度がハイライト情報Aの正確度未満か否かを判定する。判定結果がYESであればS204に進み、さもなければS207に進む。
S204ではハイライト情報Aの正確度を欄Aの正確度の欄に代入する。続くS205では欄Aの正確度を映像データAの正確度に代入し、ハイライト情報Aの補正値と欄Aの補正値とを加算した値を映像データAの補正値に代入する。さらにS206で行更新処理を実行する。行更新処理の詳細については後述する。ここでは、引数は(欄A、打切りなし)である。第1引数は処理対象の欄を示し、第2引数は後述するようにこの処理の再帰的な起動を打切りなしで行なうか、所定階層で打切るかを指定する引数である。
一方、S207では映像データAの正確度の値を欄Aの正確度に代入する。続くS208では、欄Aの正確度の値をハイライト情報Aの正確度の値に代入し、映像データAの補正値から欄Aの補正値を引いたものをハイライト情報Aの補正値の欄に代入する。さらにS209で列更新処理を実行する。その詳細については後述する。ここでは、引数は(欄A、打切りなし)である。
図28及び図29をそれぞれ参照して、行更新処理及び列更新処理について説明する。行更新処理と列更新処理は、欄Aについての情報が得られたことで、推定可能になった欄を更新する処理である。
図28を参照して、まずS210で第1引数を欄Bに代入する。すなわち、第1引数で指定された欄の内容を欄Bの内容とみなして以下の処理を実行する。なお、代入しようとする欄の正確度が正確度4であるとき、そしてそのときに限り、正確度を3に変換した後に代入する。
映像データ1のうち、欄Bを除いた各欄を対象として、以下に述べるようにS211sとS211eとの間の処理が繰返される。以下の説明では、対象となる欄を欄Cとする。
繰返しのうち、S212では映像データCの正確度がハイライト情報Cの正確度以下か否かを判定する。判定結果がYESであればS213に進み、さもなければS216に進む。
S213では映像データCの正確度を欄Cの正確度に代入する。S214では欄Cの状態が「確定」か否かについて判定する。判定結果がYESであれば欄Cに対する処理を終わる。NOであればS215で映像データCの補正値からハイライト情報Cの補正値を減算した値を欄Cの補正値に設定し、欄Cの処理を終了する。
一方、S212からS216に進んだ場合、S216では欄Cの状態が「確定」か否かについて判定する。判定結果がYESであればS217に進み、さもなければS221に進む。
S217では、第2引数が「打切りなし」であるか否かについて判定する。判定結果がYESであればS218に進み、さもなければ欄Cに対する処理を終了する。
S218では映像データCの正確度を欄Cの正確度に代入する。S219で欄Cの正確度をハイライト情報Cの正確度に代入し、映像データCの補正値から欄Cの補正値を減算したものをハイライト情報Cの補正値に代入する。S220では列更新処理を実行する。引数は(欄C、打切りあり)である。S220の完了後、欄Cに対する処理を終了する。
S216からS221に進んだ場合、S221では映像データCの補正値からハイライト情報Cの補正値を減算したものを欄Cの補正値に代入する。この後欄Cに対する処理を終了する。
図27のS209及び図28のS220で実行される列更新処理について図29を参照して説明する。まずS230で、第1引数を欄Bに代入する。以下、列Bの欄Bを除いた全ての欄を対象としてS231s〜S231eの処理を繰返し実行する。なお、代入しようとする欄の正確度が4であるとき、そしてそのときに限り、正確度を3に変換して代入する。以下、処理対象の欄を欄Cとする。
S232で、映像データCの正確度がハイライト情報Cの正確度以上か否かについて判定する。判定結果がYESであればS233に進み、さもなければS236に進む。
S233では、ハイライト情報Cの正確度を欄Cの正確度に代入する。S234で欄Cの正確度が「確定」か否かについて判定する。判定結果がYESであれば欄Cに対する処理を終了する。判定結果がNOであればS235で映像データCの補正値からハイライト情報Cの補正値を減算したものを欄Cの補正値に代入し、欄Cの処理を終了する。
一方S232の判定結果がNOの場合、S236で欄Cの状態が「確定」か否かについて判定する。判定結果がYESであればS237に進み、さもなければS241に進む。
S237では第2引数が「打切りなし」か否かを判定する。判定結果がYESであればS238に進み、さもなければ欄Cに対する処理を終了する。
S238では、ハイライト情報Cの正確度を欄Cの正確度に代入する。S239では欄Cの正確度を映像データCの正確度に代入し、ハイライト情報Cの補正値に欄Cの補正値を加算したものを映像データCの補正値に代入する。さらにS240で引数=(欄C、打切りあり)として行更新処理を実行し、欄Cに対する処理を終了する。
以上、図27〜図29を参照して、補正値の更新処理の構成について説明した。
−動作−
映像記録装置10は、アンテナ2や入力端子からの映像入力を受け、映像記録部151に記録する。アンテナ2で受信された映像を記録する場合、受信された放送電波は受信部141で選局され、時刻情報分離部142に入力される。時刻情報分離部142では、映像データと時刻情報が分離される。分離された映像データはスイッチ147をとおり、映像エンコード部148によって圧縮エンコードされて映像記録部151の映像データ記録領域154に記録される。時刻情報分離部142により放送電波から分離された時刻情報は、スイッチ147をとおり、加算器150でオフセット算出部149が算出したオフセットと足し合わされて記録開始時刻記録領域153に書込まれる。
同様に、入力端子から入力された映像も時刻情報分離部143で映像データと時刻情報に分離され、それぞれがスイッチ147の選択の対象となる。放送電波や入力映像から分離された時刻情報のほかに、時計部145、計時部146からも時刻情報が得られる。
以下、時刻補正処理の具体例について、映像データ1とハイライト情報2との相対的な補正値の近似値+10:23:47が与えられたとして説明する。図27を参照して、映像データ1の正確度<ハイライト情報2の正確度であるためS202、S203のいずれにおいても判定結果はYESとなり、その結果処理はS204に分岐する。S204において、ハイライト情報2の正確度(正確度2)が欄Aの正確度に設定される。以上で、欄Aについての更新は完了である。次にS205において、欄Aの正確度(正確度2)が映像データ1の正確度に、映像データ1の補正値が+10:23:47(=+10:23:47+0:00:00)に、それぞれ設定され、映像データ1についての更新が完了する。さらに、S206において、映像データ1の行の各欄の情報が更新されて一連の更新処理が完了する。
図28を参照して、図27のS206における行更新処理における動作を説明する。行更新処理の引数として、欄Aと「打切りなし」とが与えられた状態で処理を開始する。S210にて欄Aを欄Bとみなすことが指示され、映像データ1の行の欄Aを除いた各欄について、S211sとS211eとの間の処理が繰返される。映像データ1とハイライト情報1との交点の欄(以下欄1−1)については、映像データ1正確度>ハイライト情報1正確度であるため、S212の判定結果はNOとなり、S216に分岐する。
欄1−1の状態は未確定であるからS216の判定結果はNOとなる。その結果S221において欄1−1の補正値が+10:23:47(=+10:23:47−0:00:00)に設定される。
次に、映像データ1とハイライト情報3との交点の欄(以下欄1−3)については、映像データ1の正確度<ハイライト情報2の正確度である。そのため、S212の判定結果はYESとなる。制御はS213に分岐する。S213において、映像データ1の正確度(正確度2)が欄1−3の正確度に設定される。欄1−3の状態は「未確定」であるから、S214の判定結果はNOとなり、S215において欄1−3の補正値が+10:23:47(=+10:23:47−0:00:00)に設定される。以上で、行更新処理は完了する。
列更新処理を含む場合の動作も同様である。ここでは、それらの詳細は説明を簡略にするために省略する。
図31は以上の処理が行なわれた後の管理テーブルの状態を示している。斜体で示される部分が図26に示す状態から更新された項目である。
同様に映像データ3とハイライト情報1との補正値の近似値が−0:01:18と与えられた場合の更新結果を図32に示す。さらに、映像データ3とハイライト情報3との補正値の近似値が+0:00:03と与えられた場合の更新結果を図33に示す。
図33の表への行更新処理の際、映像データ3とハイライト情報1との交点(以下欄3−1)の補正値は確定している。そのため、図28のS216の判定結果はYESとなり、制御はS217に分岐する。そのときの第2引数は「打切りなし」であるため、S217の判定結果もYESとなり、S218に分岐することになる。その結果、欄3−1の正確度、ハイライト情報1の正確度、ハイライト情報1の補正値もそれぞれ更新され、さらに再帰的にハイライト情報1の列更新処理も行なわれる。
行又は列更新処理をどれだけ再帰的に呼び出すかについては特に制約はない。しかし、もともと取得した補正値の近似値が持つ誤差の蓄積による影響を防ぐため、ここでは、2度目の更新処理で再帰呼出しを打切るよう処理している。なお、正確度の値4を代入する際に正確度3に変換する理由は、図27のS200で補正値を取得する際の誤差により、正確度4に相当するだけの精度が保てないと考えられるためである。
図34は、新たに正確度2のハイライト情報4が与えられた後の管理テーブルの状態を示している。それぞれの欄の正確度は映像データの正確度とハイライト情報の正確度の高くない方、補正値は映像データの補正値からハイライト情報の補正値を引いた値に、それぞれ設定される。状態はすべて「未確定」である。
以上、説明したような処理によって補正値を推定することで、効率よく映像データとハイライト情報との時刻のずれを管理するテーブルを更新することができ、その推定結果は図30と図34との比較からもわかるように高精度である。
この表の利用方法は以下のとおりである。例えば、ハイライト情報1に基づいて映像データ2を早見再生する際、ハイライト情報で与えられた時刻T1からT2のハイライト区間の映像については、映像データ2とハイライト情報1との交点の欄の補正値−0:01:21を用いて、映像データ2のT1−0:01:21からT2−0:01:21を再生することによって得られる。
最後に、S200における補正値の取得について説明する。補正値の取得のタイミングは再生前と再生中、取得の手段については機械的な手段による取得とユーザによる指定とが考えられる。
これらのうち、取得のタイミングについて、明らかに誤差が大きいと推定される場合には、補正値取得処理によって視聴を妨げないよう、再生前に補正値を取得することが望ましい。誤差の大きさは補正値管理テーブルの正確度を参照すれば推定できる。正確度0かつ未確定、正確度1かつ未確定の補正値は常に、正確度2かつ未確定の補正値については状況に応じて、再生前に補正値を取得する。正確度2かつ未確定の補正値について補正値を取得するか否かについては、例えばもっとも短いハイライト区間の長さが20秒以下である、又は映像データの内容(番組情報などから推定可能)がスポーツなど動きの激しいものである、というような情報を加味して判断することが望ましい。
確定の補正値又は正確度3、正確度4の補正値はその誤差が小さいと推定されるため、再生前の補正値取得は行なわない。通常は再生前の補正値取得で十分と考えられるが、早見再生中、ユーザが誤差ありと感じた場合には、再生を一度中断して補正値の取得を行なうことになる。
補正値の取得は映像や音声のマッチングによって実現される。
図35は補正値取得のための情報の一例である。この情報は、ブロックB21〜B23を含み、これらはそれぞれ異なる時刻についての補正値を取得するための情報を与える。これらブロックB21〜B23の情報は独立して配布されても良いが、ハイライト情報に埋込んで配布することが望ましい。例えば、図19の情報の前又は後に図35の記述を埋込むことが考えられる。
ブロックB21はユーザにマッチングを依頼する場合の情報の与え方を示している。再生装置は、補正値の取得が必要になると、「説明」で示される内容(「『ブラジルVSドイツ』の文字が光った瞬間を指定してください」という文字列)を画面に表示した後、テレビ局「テレビ東阪」が放送した映像の2003年11月11日13時の少し前から少し後までの範囲を一度又は繰返し再生し、ユーザが説明で指示された瞬間を指定するのを待つ。ユーザの指定が記録装置内で13:00:10と認識されている時点を指示したならば、その場合の補正値は+0:00:10(=13:00:10−13:00:00)となる。
ブロックB22は、機械的にマッチングをとる場合の情報の与え方を示している。再生装置は、補正値の取得が必要になると「画像」で示される静止画を取得し、テレビ局「テレビ東阪」が放送した映像を2003年11月11日13時の少し前から少し後までの範囲を検索し、映像と取得した静止画とが最もよく一致する瞬間を検出して補正値を得る。画像の一致検出にはさまざまな方法が提案されており、どのような方法を採用してもよい。
ブロックB23はユーザの指示又は機械的なマッチングのいずれにでも対応できる情報の与え方を示している。なお、マッチングのための再生又は探索範囲は前述の管理テーブルの正確度から決定できる。正確度が0の場合は録画全体を範囲としなければならないが、正確度が1、2、3、4であれば、それぞれ指定時刻の前後10分、前後10秒、前後2秒、前後1秒を範囲とすれば十分な結果が得られると予想される。ハイライト情報の作成環境によっては、それぞれの映像データの記録開始点を時刻0:00:00とみなしていると仮定することによって、正確度が0のハイライト情報についても探査範囲を狭めることができる可能性がある。また、マッチングの対象は映像とは限らず、音声であっても良い。なお、ここで説明した補正値の取得方法は、図23に示すオフセット算出部149内に設けられたチャンネルごとのオフセット値の設定にも適応することが出来る。
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
1,7 映像再生装置、2,5 アンテナ、3 表示装置、4,8 映像配信装置、6 撮影装置、9 映像切出し装置、10 映像記録装置、100,141,700 受信部、101 付加情報分離部、102,148,702 映像エンコード部、103,401,801 ハイライトシーン検出部、104,131,132,133,147 スイッチ、110,411,710 記録部、111,412 付加情報記録領域、112,413 ハイライトシーン記録領域、113,712 映像記録領域、114 映像記録ディクス再生部、130,421 ネットワークインタフェース部、134,721 再生制御部、135,722 映像デコード部、136 情報重ね合わせ部、140 正確度決定部、142 時刻情報分離部、143 時刻情報分離部、144 時計補正部、145 時計部、146 計時部、149 オフセット算出部、150 加算器、151,410,810 映像記録部、152 正確度記録領域、153 記録開始時刻記録領域、154 映像データ記録領域、400 付加情報入力部、420 付加情報多重化部、423,821 送信部、701 再生スクリプト分離部、711,811 再生スクリプト記録領域、723 情報重ね合わせ部、800 付加情報入力部、802 再生スクリプト編集部、820 再生スクリプト多重化部、900 切出し制御装置、901 映像トランスコーディング部、902 メモリカードインタフェース、903 メモリカード