JP5076892B2

JP5076892B2 - 同一シーン検出装置およびプログラムを格納した記憶媒体

Info

Publication number: JP5076892B2
Application number: JP2007523921A
Authority: JP
Inventors: 充照片岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-06-27
Filing date: 2006-06-26
Publication date: 2012-11-21
Anticipated expiration: 2026-06-26
Also published as: JPWO2007000959A1; US20090103886A1; WO2007000959A1

Description

本発明は、デジタルテレビの受信する情報を処理する装置において、重複部分を含んだ映像や音声をユーザに提示する装置に関する。

特開２００１−２４９８７４号公報は、インターネットのＷｅｂページの更新を、それぞれのＷｅｂページを巡回することで検出するソフトウェアに関する。一般にはこの種のソフトウェアは「巡回ソフト」と呼ばれる。特開２００１−２４９８７４号公報は特に、１枚のＷｅｂページ上で更新された部分だけを、フォントや色などを変化させることで際立たせた表示について開示している。

特開平１−２０２９９２号公報は、テレビ信号に重畳した文字情報によってニュースなどを伝送する文字多重放送に関する。内容が更新されたことを検出し、受像器に取り付けられたランプを点灯したり、アラーム音を出してユーザに更新したことを知らせる技術について開示している。

特開２００４−３１８３８９号公報は、Ｗｅｂページを表示するソフトウェアであるＷｅｂブラウザなどに搭載されているブックマークリストに関する。ブックマークリストに登録されたＷｅｂページが更新されているかを、ソフトウェアが自動的にＷｅｂページを巡回参照することで調査する。そして、ブックマークを表示する際に更新の状況を表示に付加する方法について開示している。

本発明の従来技術との違いを明確化するために、本発明の実施の形態に近い従来技術であるデジタルテレビの構成について説明する。

図１９は従来のデジタルテレビの構成図である。図１９において、デジタルテレビ１９００は、アンテナ１９０１、受信部１９０２、再生部１９０３、ＥＰＧ（ＥｌｅｃｔｒｉｃＰｒｏｇｒａｍＧｕｉｄｅ）データ蓄積部１９０４、入力部１９０５、制御部１９０６、ＯＳＤ生成部１９０７、提示部１９０８とから構成される。

アンテナ１９０１は、放送の電波を高周波信号に変換する。受信部１９０２は、アンテナ１９０１が出力する高周波信号を受信し、映像、音声、ＥＰＧデータ等の付加情報などのデジタル信号に分離（Ｄｅｍｕｌｔｉｐｌｅｘ）し出力する。受信部１９０２はデジタルチューナーモジュール及び、ＭＰＥＧ２−ＴＳ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ２−ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）のトランスポートデコーダで良い。なお、ＭＰＥＧ２−ＴＳは国際規格であるＩＳＯ／ＩＥＣ１３８１８−１で定義されている。

再生部１９０３は、受信部１９０２の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。受信部１９０２が出力する映像や音声データがＭＰＥＧ２と呼ばれる形式であれば、再生部１９０３は、ＭＰＥＧ２デコーダで良い。

ＥＰＧデータ蓄積部１９０４は、受信部１９０２の出力するＥＰＧデータを蓄積する。蓄積部は半導体メモリやハードディスクなどの２次記憶媒体でよい。

入力部１９０５は、ユーザからの操作を受け付ける。すなわちユーザによる物理的な操作を電気信号に変換する。入力部１９０５は、リモコンとその受光部、本体に付けられている電気スイッチ、あるいはキーボード、マウスなどのポインティングデバイス、マイクと音声認識デバイスなどでよい。

制御部１９０６は、デジタルテレビ全体の制御を行うと共に、入力部１９０５から入力されるユーザ操作に応じて画面に表示するグラフィック映像（ＯＳＤ−ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）を変化させるＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）などの、ユーザとの対話処理を実現する。制御部１９０６は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、半導体メモリなどから構成されるマイクロコンピュータで良い。

ＯＳＤ生成部１９０７は、制御部１９０６から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部１９０８に出力する。

提示部１９０８は、再生部１９０３からの映像や音声の信号と、ＯＳＤ生成部１９０７からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。提示部１９０８は、プラズマディスプレイパネルや液晶ディスプレイパネルと、スピーカーとから構成されていてよい。

次に従来の装置の提示部１９０８において、ユーザに対し提示される画面例について説明する。

図２０は、従来の装置による番組表全体を表す図である。図２０において、番組表２０００は、新聞の番組欄を模した配置で表示されている。横方向の各列は、コンテンツ（番組）が伝送される伝送路（放送チャンネル）を表す。また、縦方向は時間軸を表す。中央にある矩形のそれぞれは、番組表を構成する元データであるＥＰＧデータにより定義された１つの番組を表している。またそれぞれの枠には番組のタイトルを表す文字列が表示される。図２０では簡単のため、タイトルの文字列は、番組２００１を除き省略してある。

ここで、番組２００１に注目する。番組２００１はＥＰＧデータにおいて、１つの長い番組として定義されているため、１つの矩形として表示されている。しかしながら、ユーザが知覚する実際の映像や音声の観点においては、必ずしも１つの長い番組であることを保証してはいない。

このため例えば、ニアＶＯＤ（Ｎｅａｒ−ＶｉｄｅｏＯｎＤｅｍａｎｄ）や放送局のプロモーション・チャンネルの様に同じ番組が番組２００１の中で繰り返し放送されることがある。

また、同日の別時刻や、別の日に同じ番組が再放送されることがある。さらには、同じ系列局の地上アナログ放送と地上デジタル放送の様に、同時刻に別の伝送路（放送チャンネル）において同じ番組がサイマル放送（ｓｉｍｕｌｔａｎｅｏｕｓｂｒｏａｄｃａｓｔｉｎｇ）として伝送される場合がある。これらが同一の番組であることを表すＥＰＧデータが伝送されなかったり、そもそも同一と表現できるデータ形式が定義されていなかったりする場合もある。

また、音楽専門の放送局などでは実際に１つの番組（曲）毎に別々の番組として伝送していないことが多い。

また、災害発生直後に急遽放送されることになる災害状況の放送などでは、ＥＰＧデータが災害発生前の通常番組のままで、映像や音声だけが災害状況の放送になっている場合がある。また、繰り返し同じ映像や音声が流されることがある。

さらには、インターネット上のブロードバンド技術を伝送に用いた放送局などにおいては、ＵＲＩ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＩｄｅｎｔｉｆｉｅｒ）などによって特定される１つの伝送路が１つのコンテンツとなっていることがある。また、１または数個のコンテンツが繰り返し伝送されることがある。コンテンツ毎にわけられたＥＰＧデータに相当する情報が十分に提供されていなかったり、そもそもＥＰＧデータにあたるフォーマットが定義されていないために、どの時刻から各コンテンツが開始するか不明な可能性がある。

以上のように、実際の映像や音声といったコンテンツ（番組）が繰り返し伝送されているが、どの時刻に、各コンテンツの繰り返しの頭が始まるのかがＥＰＧデータから得られない状況が起こり得る。上記の状況に対し、従来技術における課題は以下の通りである。

（１）同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合を考える。番組表データなどのメタデータが不十分である場合にはどこに同一のシーンが重複して含まれているかは、実際にコンテンツを全て視聴するまで分からない。このため、同じシーンを何度も視聴してしまい時間を浪費してしまったり、重複していないシーンがまれに含まれていても見落としたりしていた。また、早送り再生などを用いれば多少の時間短縮は可能であるが、逆に操作を行う煩雑さは増加してしまっていた。

（２）繰り返し同じコンテンツが送られる放送を視聴しており、不定期に内容が更新される場合を考える。ユーザは更新内容をもれなく視聴するには、何度もまたは長時間、同じ内容を視聴する作業を強制される。

（３）複数の伝送路でリアルタイムに送られるコンテンツを受信可能であり、各伝送路で同じコンテンツが繰り返し送られ、不定期にコンテンツが更新される場合を考える。この時、全ての伝送路で流されているコンテンツを全て得るには、伝送路を順に変更して新しいコンテンツが流れていないかユーザが確認する必要がある。インターネットのＷｅｂページなどであればコンテンツが、ファイル形式であるため、ファイル同士の比較や、ファイルのバイト数やタイムスタンプの比較によって更新されたかどうかは速やかに判断が可能である。しかしながら、映像や音声の場合には区別ができないため、人手に頼るしかなかった。

（４）連続ドラマの複数話をまとめて蓄積しそれを再生する場合を考える。各話毎に毎回同じオープニングやエンディングあるいはＣＭを視聴することを強制され、ユーザにとっては時間の無駄であった。３０秒間早送りするＣＭスキップなどの機能も従来の機器にあるが、余分な操作が必要となる。さらに、オープニングは３０秒の倍数でない可能性があるので、本編が一部欠けてしまったり、重複部分を完全にスキップできなかったりした。

（５）同じコンテンツが繰り返し送られる放送を長時間蓄積した後、再生する場合を考える。蓄積の途中でコンテンツが更新された場合に、そのコンテンツの開始する位置に頭出しするためには、ユーザが画面を見て、早送りや巻き戻しなどの操作を繰り返し操作する必要があり煩雑であった。また、操作した結果、結局は更新されたコンテンツが蓄積されておらず無駄な手間を費やしてしまうこともあった。

（６）蓄積したコンテンツに含まれる重複した同一シーンやコンテンツが複数含まれていた場合、それを視聴するユーザにとって時間の無駄であり、また蓄積領域を浪費していた。

（７）同じコンテンツが繰り返し送られるが、各繰り返しに対しＥＰＧデータに含まれる時刻情報が対応付けられていない場合を考える。このとき、１周分だけ蓄積しておきたい場合、ユーザがコンテンツの開始するタイミングを放送を視聴しながら判断して蓄積を開始し、１周終わったところで蓄積を停止する操作を行う必要があった。この様な操作は、煩雑であるだけでなく、操作するタイミングを間違えてしまうことで、蓄積したコンテンツの一部が欠けてしまったり、不必要な部分を蓄積してしまうことで蓄積領域を浪費してしまったりしていた。

本発明に係る同一シーン検出方法は、映像や音声の時間的部分であるシーンに対し、内容が同一とユーザが知覚する同一シーンを検出し同一シーン集合として抽出する。次に、各同一シーン集合に含まれる同一シーンの出現時刻の差分値を求める。そして、複数の同一シーン集合の差分値が近い同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択する。そして、同一リージョンに含まれる同一シーンの時間長の合計が所定の値を超える場合に同一リージョンが差分値を出現周期とするシーンループであると判定する。そして、得られた周期性をユーザに提示する。

これにより、同一のシーンを含んだり、同じシーンが繰り返し出現するコンテンツを視聴する場合にも、どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。従って、視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。

（実施の形態１）
本発明の実施の形態１を図１〜図１１を用いて説明する。

図１は、本発明の実施の形態１における同一シーン検出装置の構成図である。図１において、同一シーン検出装置１００は、アンテナ１０５、受信部１０６、再生部１０７、入力部１０８、ＯＳＤ生成部１０９、提示部１１０、比較映像蓄積部１０１、映像比較部１０２、ループ検出部１０３、制御部１０４とから構成される。

以下では、複数の図の間で同一の構成要素には同一の符号を付与することで、説明を省略する。また、同じ構成要素が同一の図に複数現れる場合には、符号の末尾にアルファベット１文字を付与するものとする。

アンテナ１０５は、放送の電波を高周波信号に変換する。受信部１０６は、アンテナ１０５が出力する高周波信号を受信し、映像、音声、ＥＰＧデータ等の付加情報などのデジタル信号に分離し出力する。再生部１０７は、受信部１０６の出力する映像と音声のデータを受け取り、ユーザに提示すべき映像や音声の電気信号にデコードする。入力部１０８は、ユーザからの操作を受け付けて、ユーザによる物理的な操作を電気信号に変換する。

また、ＯＳＤ生成部１０９は、制御部１０４から与えられる描画命令に従い、内部に持つフレームメモリに対しグラフィックスや文字フォントを描画する。そして、フレームメモリに作られたグラフィック映像を電気信号として提示部１１０に出力する。提示部１１０は、再生部１０７からの映像や音声の信号と、ＯＳＤ生成部１０９からのグラフィック映像とを入力し、ユーザが知覚可能な物理現象である光や音に変換する。

比較映像蓄積部１０１は、受信部１０６からの映像や音声を蓄積する。映像や音声を再生部１０７にて再度再生可能な形式で蓄積しても良いし、２つの映像または音声が同じか否かを判断するのに十分なデータのみを蓄積してもよい。

例えば、静止画や音声をサンプリングする時間的頻度を減らしてもよい。映像の画面解像度や音声の表現ビット数を減らしてもよい。映像の輝度情報のみや音声の片チャンネルのみを用いてもよい。映像の特定の色のみや音声の特定周波数のみを用いてもよい。映像や音声の圧縮された形式におけるビットレートを用いてもよい。映像や音声を圧縮形式にエンコードする際にエンコーダ内部で中間的に得られる各種パラメータを用いてもよい。映像の輝度のヒストグラム分布や音声の周波数スペクトラム分布や音量を用いたりしてもよい。

比較映像蓄積部１０１は、２つの映像または音声が同じか否かを判断するのに十分なデータのみに変換する構成要素と、半導体メモリやハードディスク装置などの受動的な蓄積媒体の構成要素とから構成される。前者の構成要素はＭＰＥＧ２などのエンコーダでもよい。あるいは受信部１０６の出力をそのまま蓄積するのであれば、半導体メモリやハードディスク装置などの受動的な蓄積媒体そのものであっても良い。

映像比較部１０２は、複数の映像や音声が、ユーザの知覚において同一であるかを判定する。映像比較部１０２は、比較映像蓄積部１０１に含まれる複数の映像や音声、または受信部１０６からの映像や音声に対し、相互に同一であるか否かを判定し、判定結果を出力する。判定結果を出力する際、どの伝送路のどの時刻からどの時刻の部分が、別のどの部分と一致するのかを表す情報を出力する。

映像や音声が圧縮されている形式であったり、途中で一旦アナログ信号に変換されたあと、Ａ／Ｄコンバータによって再度デジタルデータ化される場合においては、データのビット比較において多くの部分が異なってしまう可能性がある。この場合でもユーザが提示された映像を見たり、音を聞いたりすると同一であると知覚することができる。映像比較部１０２においては、データのビット比較により異なっていても、ユーザの知覚により同一と判断されれば、同一であるとする。

映像や音声を比較する方法として、映像に対しては、輝度や色彩のヒストグラムや圧縮形式のビットレート変化を用い、複数の映像を比較する方法などがある。また音声に対しては、音量変化を用いたり、周波数スペクトラムのヒストグラムを用いる方法などがある。

また、映像や音声の差異をある程度許容したり、差異の大小を確からしさを表すパラメータとして出力するようにしても良い。

例えば、連続ドラマのオープニングにおいては、映像の中で出演者や話数やタイトルのテロップが異なってることがある。また、エンディングにおいては、今回のドラマの中の一部の映像が再利用されていたりする事がある。また、ＣＭのスポンサー表示が異なることがある。音声においては、オープニング映像の裏で流される音声が異なっていることがある。また、音声と映像との切り替えを数秒ずらすなどの演出的な効果が施されることもある。

次に、映像比較部１０２の動作を図２を用いて詳細に説明する。図２は、発明の実施の形態１におけるにおける映像比較部１０２による同一リージョン情報生成のフローチャートである。同一リージョンとは、映像や音声の時間的部分（リージョン）において、ユーザの知覚の意味で同一なリージョンである。

サーチ情報を初期化する（ステップＳ２０１）。サーチ情報は映像比較部１０２で次にどの時刻の映像や音声を比較すべきかを示すのデータである。

次に、サーチ情報を図３を用いて説明する。

図３は、発明の実施の形態１におけるある時点でのサーチ情報の例の図である。図３において、サーチ情報３１０はステップＳ２０１で初期化されたサーチ情報の例である。サーチ情報３１０は、表形式の情報である。各行は、入力する映像や音声に対しサーチを行うべき時刻が格納される。各行は、列ｉｓ＿ｈｉｔ３１１、列ｓｔａｒｔ３１２、列ｓｈｉｆｔ３１３、列ｈｉｔ＿ｄｕｒａｔｉｏｎ３１４とから構成されている。

列ｉｓ＿ｈｉｔ３１１は、この行に対応するサーチによって映像や音声が同一であると判定されたか否かの値を格納する。

列ｓｔａｒｔ３１２は、サーチを行う映像や音声の時刻の先頭を格納する。

列ｓｈｉｆｔ３１３は、注目する映像や音声において比較すべきもう一方の時刻との時間の差分を格納する。すなわち時刻ｓｔａｒｔと、時刻（ｓｔａｒｔ＋ｓｈｉｆｔ）とを比較した結果、同一であると判定された際に、値が代入される。なお、列ｉｓ＿ｈｉｔ３１１が偽（Ｆａｌｓｅ）の場合は同一であると判定がされていないので、列ｓｈｉｆｔ３１３に格納された値は意味を持たない。図３では、意味を持たない値であることを便宜上、横線で表している。

列ｈｉｔ＿ｄｕｒａｔｉｏｎ３１４は、注目する映像や音声において、αが０からｈｉｔ＿ｄｕｒａｔｉｏｎの間の値を取るとき、時刻（ｓｔａｒｔ＋α）と、時刻（ｓｔａｒｔ＋ｓｈｉｆｔ＋α）とが同一であると判定されたことを表す。列ｈｉｔ＿ｄｕｒａｔｉｏｎ３１４は、列ｉｓ＿ｈｉｔ３１１が偽の値を持つときは意味を持たない。図３では意味を持たない値であることを便宜上、横線で表している。なお、処理の効率化のため、必ずしもαが０からｈｉｔ＿ｄｕｒａｔｉｏｎの間のあらゆる値をとった場合のみを同一であると判定する必要はない。すなわちαとして例えば所定時間間隔の離散値に対して同一であると判定することを条件として良い。

受信部１０６の出力する映像や音声を、比較映像蓄積部１０１が、所定間隔で映像をキャプチャして保存する（ステップＳ２０２）。全てのフレームを格納しても良いし、例えば一定時間間隔で格納しても良い。あるいは、ＭＰＥＧ２ＶｉｄｅｏのＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）といった圧縮形式固有のデータ構造により定められる時間的位置で格納しても良い。

サーチ情報から１つずつ選択することを試みる（ステップＳ２０３）。すなわち、ステップＳ２０３に入る度に、サーチ情報の行が１エントリ（１行）ずつ順に選択される。

ステップＳ２０３において、既にサーチ情報から全てのエントリを選択済みであったために、直前のステップＳ２０３で選択すべきエントリが無かった場合にはステップＳ２０２に戻る（ステップＳ２０４）。

ステップＳ２０３で選択されたサーチ情報のエントリのｓｔａｒｔと、現在時刻ｎｏｗとが近い場合に、ステップＳ２０３へ戻る（ステップＳ２０５）。ｓｔａｒｔとｎｏｗとが十分な時間間隔を持たないと、例えば同じ映像が比較的長い時間持続しているときに、自分自身に対して同一であるという意味のない判定を行う可能性がある。ステップＳ２０５の条件判断を導入する意図は、このような可能性をなくすためである。

ｓｔａｒｔが所定の時刻より古すぎた場合ステップＳ２０７へ、それ以外の場合ステップＳ２０８へ進む（ステップＳ２０６）。

この条件判断を導入する意図は、サーチ情報のエントリ数を一定個数に制限することで、サーチ情報全体を格納する領域を格納可能な最大サイズ以下に制限すると同時に、映像比較部１０２による処理速度が想定以上に遅くなることを防ぐことである。あるいは、サーチ情報のエントリ数が定数である場合には、サーチ情報の各エントリのｓｔａｒｔがほぼ均等に配置される様に、各エントリのｓｔａｒｔの間隔に、エントリ数を乗算した値より古いか否かで判定するようにしても良い。

ｓｔａｒｔにｎｏｗを代入する。そしてステップＳ２０３へ戻る（ステップＳ２０７）。ステップＳ２０６によって、ｓｔａｒｔが古すぎて意味がないと判定されているので、ｓｔａｒｔ値を適切な値に設定し直す。

ｉｓ＿ｈｉｔが真（Ｔｒｕｅ）のときステップＳ２１３へ、それ以外の場合ステップＳ２０９へ進む（ステップＳ２０８）。

映像比較部１０２を用い、ｎｏｗとｓｔａｒｔの２つの時刻それぞれに対し、入力の映像や音声が同一であるか否か比較判定する（ステップＳ２０９）。

ステップＳ２０９で同一であると判定された場合ステップＳ２１１へ、それ以外の場合ステップＳ２０３へ進む（ステップＳ２１０）。

次に、伝送されるコンテンツがどのような場合に同一と判定されるかを図４を用いて詳細に説明する。

図４は、発明の実施の形態１における送出予定情報の例の図である。図２のフローチャートの説明を簡単にするために、同じ送出予定情報を４つに分けて記載している。

図４で横長の帯は、特定の伝送路においてどの時刻に、ユーザが知覚する意味でのコンテンツが伝送され、これがどの時刻に重複し繰り返しているかを模式的に表現した図である。すなわち横長の帯は、右方向が時刻の進行方向に対応しており、帯の下には伝送される時刻が記載される。なお、コロン「：」から始まる数字は、時（ｈｏｕｒ）を省略した分（ｍｉｎｕｔｅｓ）のみの表記である。

帯中で縦線で分割されるそれぞれの矩形がコンテンツを表す。この矩形の中にアルファベットを記入してあるが、アルファベットが同じ矩形同士はユーザの知覚において同じコンテンツであることを表す。

送出予定情報４１０は、図３のサーチ情報３１０のエントリ３１１に対応している。入力の映像や音声として時刻２０：００〜２０：１３と、２０：３０〜２０：４３とで同一のコンテンツＡが伝送されている。ここで、サーチ情報３１０のエントリ３１１の時刻ｓｔａｒｔ＝２０：０２に対して現在時刻ｎｏｗが２０：３２に到達した時点で、同じコンテンツのＡの開始から２分目が同一であるとステップＳ２１０で判定される。

ｓｈｉｆｔに（ｎｏｗ−ｓｔａｒｔ）の値を代入する。そしてステップＳ２０３へ戻る（ステップＳ２１１）。

ステップＳ２０８で、ステップＳ２０３で選択されたエントリの入力の映像や音声が同一であると判定されていなかった（ｉｓ＿ｈｉｔが偽）とき、かつステップＳ２１０で同一であると判定された場合、このステップＳ２１１に進んでくる。すなわち、選択されたエントリに対して、今回初めて同一であると判定されたことになる。

ステップＳ２０９の比較においては、現在時刻ｎｏｗと、時刻ｓｔａｒｔとを比較していたので、時刻のずれとしては（ｎｏｗ−ｓｔａｒｔ）となり、そのずれの値をｓｈｉｔに格納する。

図４の送出予定情報４１０を用いて説明すると、時刻ｓｔａｒｔが２０：０２で、現在時刻ｎｏｗが２０：３２であるため、ｓｈｉｆｔとして（２０：３２−２０：０２）＝３０（分）がｓｈｉｆｔに代入する値として採用される。

ｉｓ＿ｈｉｔに真を代入する（ステップＳ２１２）。そしてステップＳ２０３へ戻る。選択されたエントリに対して同一であると判定されたことを表すためにこの代入を行う。

ｈｉｔ＿ｄｕｒａｔｉｏｎに値（ｎｏｗ−ｓｔａｒｔ−ｓｈｉｆｔ）を代入する（ステップＳ２１３）。すなわち映像または音声が、時刻ｓｔａｒｔから時刻（ｓｔａｒｔ＋ｈｉｔ＿ｄｕｒａｔｉｏｎ）の間と、時刻（ｎｏｗ−ｈｉｔ＿ｄｕｒａｔｉｏｎ）から現在時刻ｎｏｗの間とで、同一であると判定したことを表している。

図４の送出予定情報４２０で説明すると、時刻ｓｔａｒｔが２０：０２、現在時刻ｎｏｗが２０：４０で、ｓｈｉｆｔが３０分であるため、ｈｉｔ＿ｄｕｒａｔｉｏｎには（２０：４０−２０：０２−３０）＝８（分）が代入される。そして、斜線４２１（すなわち時刻２０：０２から２０：１０）と、斜線４２２（すなわち時刻２０：３２〜２０：４０）とで、映像や音声がこの期間同一であったことを表している。このとき、サーチ情報３２０には、エントリ３２１の情報が格納されている。

映像比較部１０２を用い、現在時刻ｎｏｗと時刻（ｎｏｗ−ｓｈｉｆｔ）の２つの時刻に対し、映像や音声が同一であるか否かを比較する（ステップＳ２１４）。

このステップＳ２１３に入るのは、選択されたエントリに対し、ステップＳ２０８で同一であると判定されたことがある場合である。現在時刻ｎｏｗと時刻（ｎｏｗ−ｓｈｉｆｔ）の代わりに、比較映像蓄積部１０１に保存されている映像や音声と比較できるように、比較する時間を調整しても良い。

ステップＳ２１４で映像が同一であると判定されなかった場合ステップＳ２１６へ、それ以外の場合ステップＳ２０３へ進む（ステップＳ２１５）。

ｉｓ＿ｈｉｔに偽の値を代入する（ステップＳ２１６）。これまでの比較で同一であると判定されていたが、ステップＳ２１４で同一でないと判定されたので、同一でないと判定されたことを表すために偽の値を代入する。

図３で説明すると、このとき、サーチ情報は、サーチ情報３３０のエントリ３３１の様になっている。

時刻ｓｔａｒｔから逆方向に、ｓｈｉｆｔだけ時刻をずらして同じ映像がどこまでの範囲にあるかをサーチする（ステップＳ２１７）。サーチ情報の各エントリに対し、ｓｔａｒｔの値はステップＳ２０７の代入により設定される。しかし、エントリ間でｓｔａｒｔの間隔が広い場合には、同一の映像や音声である区間の開始がｓｔａｒｔと一致するとは限らないので、ｓｔａｒｔから時間をさかのぼっても一致する範囲が存在する可能性がある。

このステップＳ２１７においては、時刻（ｓｔａｒｔ−β）と時刻（ｓｔａｒｔ＋ｓｈｉｆｔ−β）とで、入力の映像や音声が同一であるβの範囲を０から順に値を大きくして探す。βの探索範囲は、ステップＳ２０３で選択されたエントリのｓｔａｒｔより過去でかつ最も近いｓｔａｒｔを持つ、エントリのｓｔａｒｔの値である。

図４で説明すると、ｓｔａｒｔの２０：０２から、コンテンツＡの先頭２０：００までさかのぼることができるので、βの値として２（分）が得られる。

ステップＳ２１７で逆方向にサーチした範囲の和集合をとり、その結果を同一リージョン情報にマージする（ステップＳ２１８）。そしてステップＳ２０３へ戻る。

図５は、発明の実施の形態１における同一リージョン情報の例の図である。同一リージョン情報は、注目する映像や音声の同一である時間的部分である同一リージョンを１つの行（エントリ）として表形式で表したデータである。各同一リージョンは、列ｓｔａｒｔ５１１、列ｓｈｉｆｔ５１２、列ｈｉｔ＿ｄｕｒａｔｉｏｎ５１３を持つ。サーチ情報と同一の名前は同種の内容が格納される。ただし、サーチ情報との違いは、サーチ情報で時間的に隣接する同一と判定された複数のエントリが、同一リージョン情報では単一のエントリにマージされることがあることである。

サーチ情報３３０のエントリ３３１と、ステップＳ２１７で得られたβ＝２（分）に対し、同一リージョン情報５１０の様に、ｓｔａｒｔ＝２０：０２から逆方向にβ＝２分だけ戻した値が、ｓｔａｒｔに代入される。また、ｈｉｔ＿ｄｕｒａｔｉｏｎに対しても、サーチ情報３３０のエントリ３３１の１１分に対し、βだけのばした１３分が、同一リージョン表のエントリに代入される。

以上のステップＳ２０５からステップＳ２１８の処理を、ステップＳ２０３で選択されるサーチ情報のエントリそれぞれに対して行うことで、サーチ情報が作成されていく。

コンテンツＡに対しては、サーチ情報３４０のエントリ３４１、エントリ３４２、エントリ３４３が作られる。

また、コンテンツＤに対しては、図４の送出予定情報４３０に対応して、サーチ情報３４０のエントリ３４４が作成され、最終的にはサーチ情報３５０のエントリ３５２が得られる。そして同一リージョン情報のエントリ５２１が追加される。

また、コンテンツＢに対しては、図４の送出予定情報４４０に対応して、サーチ情報３５０エントリ３５１が作成され、最終的にはサーチ情報３６０のエントリ３６１が得られる。そして同一リージョン情報のエントリ５３２が追加される。

次に、ループ検出部１０３の動作を図６と図７と図８とを用いて詳細に説明する。ループ検出部１０３は、映像比較部１０２の判定結果を入力し、複数の映像や音声の間で同一のものが出現する周期性の情報であるループ情報を検出し出力する。

図６は、発明の実施の形態１におけるループ情報生成の処理フローチャートである（ステップＳ６０１）。

同一リージョン情報から１つずつエントリを選択する処理を試みる。

ステップＳ６０１で既に同一リージョン情報から全てのエントリを選択済みであったために、直前のステップＳ６０１で選択すべきエントリが無かった場合には処理を終了する（ステップＳ６０２）。

同一リージョン情報に対し、同一ｓｈｉｆｔ毎にｄｕｒａｔｉｏｎのヒストグラムを求める（ステップＳ６０３）。

なお、この際、ある程度近いｓｈｉｆｔ値を同一の値としてヒストグラムを求める。これにより、コンテンツ伝送側の時刻の揺れや、サーチ情報のエントリのｓｔａｒｔが離散的な値をとる場合においても、取りこぼしのない検出を行うことが可能となる。

求めたヒストグラムで最大値を取るｓｈｉｆｔの値を求める（ステップＳ６０４）。

ｓｈｉｆｔに対するヒストグラムの値の割合を求める（ステップＳ６０５）。

ステップＳ６０５で求めた割合が閾値以上であればステップＳ６０７に、それ以外の場合はステップＳ６０８へ進む（ステップＳ６０６）。

上記割合が１００％に近い場合は、非常に類似したコンテンツの系列が、時間的に隣接して出現している場合に対応している。

ステップＳ６０４で得られたｓｈｉｆｔを持つ同一リージョン情報に対して、ループ情報に情報をマージする（ステップＳ６０７）。そしてステップＳ６０１へ戻る。このループ情報へのマージ処理に対しては、図７を用いた説明を後述するものとする。

（ステップＳ６０８）３回以上同じ繰り返しであった場合にはステップＳ６０７ａへ、それ以外の場合はステップＳ６０１へ進む（ステップＳ６０７）。

ステップＳ６０６で割合が少ないためにループとして却下されてステップＳ６０８に進んだ場合でも、十分な回数の繰り返しが周期的に行われることが確認できれば、ループが検出されるものとする。

次に、ステップＳ６０７の処理について、図７を用い改めて詳細に説明する。

図７は、発明の実施の形態１におけるループ情報のマージ処理のフローチャートである。

当該伝送路（チャンネル）で追加するループと隣接するエントリをループ情報から検索する（ステップＳ７０１）。

図８は、発明の実施の形態１におけるループ情報の例の図である。ループ情報において、各行はコンテンツのループに対応した表形式の情報である。ループ情報は複数の伝送路に対するループの情報を提示する。

ループ情報８００の各エントリは、列ｃｈａｎｎｅｌ８０１、列ｌｏｏｐ＿ｔｙｐｅ８０２、列ｓｔａｒｔ８０３、列ｄｕｒａｔｉｏｎ８０４、列ｃｙｃｌｅ８０５を持つ。

列ｃｈａｎｎｅｌ８０１は、どの伝送路に対応するかを区別するために、伝送路を特定する情報を格納する。

列ｌｏｏｐ＿ｔｙｐｅ８０２は、ループの種類を表す。列ｌｏｏｐ＿ｔｙｐｅ８０２に格納される値は、ｏｐｅｎ＿ｌｏｏｐ、ｃｌｏｓｅ＿ｌｏｏｐ、ｕｎｋｎｏｗｎである。

ｏｐｅｎ＿ｌｏｏｐは、ループが存在することが分かっていても、そのループがコンテンツとしてどの時刻から開始しているのか分からない状態を表してる。この値は、ループ情報にエントリが新たに追加される際のデフォルト値である。

ｃｌｏｓｅ＿ｌｏｏｐは、ループがコンテンツとしてどの時刻から開始しているのかが分かっている点以外、ｏｐｅｎ＿ｌｏｏｐと同様である。

ｕｎｋｎｏｗｎは擬似的なループ情報のエントリであることを表している。ｕｎｋｎｏｗｎなループを用いる意味は、ループを検出できた前後の時間が、図６でまだ処理されていないのか、あるいは、図６で処理されたが結局はループではなかったのかを区別するためある。後者の場合、ｌｏｏｐ＿ｔｙｐｅの値がｕｎｋｎｏｗｎのエントリをループ情報に追加する。

列ｓｔａｒｔ８０３は、ループの開始時刻である。ｌｏｏｐ＿ｔｙｐｅの値がｃｌｏｓｅ＿ｌｏｏｐの場合には、列ｓｔａｒｔ８０３にはループの繰り返しが開始する時刻が格納される。ｏｐｅｎ＿ｌｏｏｐの場合には、ループの繰り返し中に含まれる時刻がｓｔａｒｔ８０３に格納される。

列ｄｕｒａｔｉｏｎ８０４は、ループで同一であると判定されたコンテンツの系列の繰り返しによって覆われる時間長である。

列ｃｙｃｌｅ８０５は、ループが出現する間隔（周期）である。

ステップＳ７０１で検索結果があった場合にはステップＳ７０３に、それ以外の場合ステップＳ７０６に進む（ステップＳ７０２）。

ｃｙｃｌｅとｓｈｉｆｔが一致した場合ステップＳ７０４へ、それ以外の場合ステップＳ７０６へ進む（ステップＳ７０３）。ここで、ｃｙｃｌｅがほんのわずか違う場合においても一致すると判定させることで、ループ検出の失敗を防げるケースがある。

例えば同一リージョン情報５３０において、エントリ５３１と、エントリ５３２とはｌｏｏｐが３０分と２９分と少し異なるが、１分程度のｓｈｉｆｔとｃｙｃｌｅの差異を許容することで、ループ情報８００のエントリ８２０において、１つの繰り返しの長さ（ｃｙｃｌｅ）が３０分のエントリにマージされる。

ステップＳ７０１で取り出されたループ情報中のエントリと、類似リージョン情報のマージすべきエントリとで、一方が他方のループ先と共通する時間的部分がある場合ステップＳ７０５へ、それ以外の場合ステップＳ７０６へ進む（ステップＳ７０４）。ここでループ先とは、同じループに含まれる繰り返しのうちの１つであることを表している。

登録済みのエントリにマージする（ステップＳ７０５）。そしてステップＳ７０８へ進む。２つのループが、ｃｙｃｌｅが一致し、かつ時間的に重複する部分があるので、同じループであると判定された場合、このステップに入る（ステップＳ７０６）。

新規にループのエントリをループ情報に追加する。

隣接したループがない場合（ステップＳ７０２からステップＳ７０６に入った場合）、ｃｙｃｌｅが一致しない場合（ステップＳ７０３からステップＳ７０６に入った場合）、一方が他方と時間的に重複しない場合（ステップＳ７０４からステップＳ７０６に入った場合）、のいずれかにおいては現在登録されているループとは異なると判断し、新たなループのエントリとして新規登録される。

ｔｙｐｅを”ｏｐｅｎ＿ｌｏｏｐ”に設定する。そしてステップＳ７０８へ進む（ステップＳ７０７）。

図７の処理において、当該ＣＨで、相互に隣接するエントリが新たに出現したか検索する（ステップＳ７０８）。ここで隣接したというのは、ループ先を含め時間的共通部分が無いが、時間が隙間無く隣接している場合である。

ステップＳ７０８での検索の結果が存在する場合ステップＳ７１０へ、それ以外の場合は処理を終了する（ステップＳ７０９）。

ステップＳ７０８で得られた１組のエントリにおいて、”ｏｐｅｎ＿ｌｏｏｐ”の値を持つｔｙｐｅがあれば、値を”ｃｌｏｓｅｄ＿ｌｏｏｐ”に変更する（ステップＳ７１０）。コンテンツの系列として異なるループが隣接して存在している場合には、その時刻が、直前のループの終了点であり、直後のループの開始点であると判断する。

ステップＳ７０８で得られた１組のエントリの接する境界が、ループの開始または終了になるようにｓｔａｒｔの値を更新する（ステップＳ７１１）。そして処理を終了する。

次に、制御部１０４を説明する。制御部１０４は、同一シーン検出装置１００全体の制御を行う。また、制御部１０４は、入力部１０８から入力されるユーザ操作に応じて画面に表示するグラフィック映像（ＯＳＤ；ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）を変化させるＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）などの、ユーザとの対話処理を実現する。制御部１０４は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、半導体メモリなどから構成されるマイクロコンピュータで良い。対話処理を行う際には、ループ検出部１０３の出力するループ情報を用いる。

図９は、発明の実施の形態１における画面表示の例の図である。図９において、バナー表示画面９１０は、再生部１０７で再生された映像や音声を提示部１１０の全面９１１で提示中に、バナー９１２をオーバーレイ表示したものである。バナー９１２は現在視聴している映像や音声に付随する情報を表示する。

例えば、映像や音声が伝送された伝送路（放送された放送チャンネル）や、タイトル、録画したデータ中の再生している時間的位置、そして映像や音声の中に含まれる同一コンテンツの時間的配置である。

図９において、同一コンテンツの時間的配置を表す帯表示９１３は横方向が再生している映像や音声の時間軸に対応している。帯表示９１３は着色により時間軸方向の複数の領域に分割されている。分割された領域で同じ色や模様や網掛けをされている部分は同一のコンテンツであることを表している。

帯表示９１３は、映像や音声の全体を一度に画面に表示しても良い。また、横軸方向に適宜スクロールさせて表示することで、同一コンテンツが細分化されて存在する場合でも視認性よく表示可能になる。あるいは横方向のスクロール表示を行う帯表示と、全体を表示する帯表示との両方を同時に表示したり、切り替えて表示させても良い。

また、現在全面９１１で再生している場所が映像や音声のどの時間的場所かを、カーソル９１４と帯表示９１３との相対的な位置関係により表現している。制御部１０４は、同一リージョン情報を参照することで、同一のコンテンツがどこに配置されているかを知り、帯表示の描画をＯＳＤ生成部１０９に指示する。

ここで、帯表示の他の例として図１０で説明する。

図１０は、本発明の実施の形態１における同一コンテンツの表示例の図である。図１０では、図４の送出予定情報に対応して５種類の画面表現の例を描いている。図１０において、帯表示１０１０は、背景巡回による帯表示の例である。背景巡回による帯表示１０１０は、予め色や模様の順序を決めておき、その順番で繰り返し、帯の時間軸方向を描画する。色や模様の順序は、繰り返した部分を含めて、どこが始まりでどこが終わりか分からない様な色や模様の順序を用いる。そして、コンテンツのループの周期に同期させて、色や模様が１周するように帯を着色する。

ユーザは背景巡回表示による帯表示１０１０を見て、巡回している周期は分かるが、帯状の時間軸で、どこが始まりでどこが終わりか分からない。

なお、簡単のため色や模様が離散的に変化するとして説明したが、帯の時間軸方向に対し連続して変化するグラデーションを用いても良い。また、三角波やサイン波などの周期的な波形を、ループの周期に同期させ帯に表示させても良い。

帯表示１０２０は、同一のコンテンツには同じ色や模様を施した帯表示の例である。図４の、コンテンツＡ、コンテンツＢ、コンテンツＤの順の濃さの色で着色している。なお、同一のコンテンツがみつからなかったコンテンツＣ、コンテンツＥに対しては着色していない。

このように、同一のコンテンツを同じ色で着色することは、同一のコンテンツがどこにあるのか画面表示から直感的に把握しやすい利点がある。

帯表示１０３０は、同一のコンテンツが存在するところを１種類の色や模様で着色する帯表示の例である。１つの帯に同一のコンテンツが数多く存在したり、帯表示の大きさに比べて非常に短い同一のコンテンツである場合には、コンテンツ毎に別々の色や模様でわけると逆に視認性が低下する可能性がある。しかし、この帯表示によれば視認性の低下を防ぐことができる。

なお、背景色を分けて描画する以外に、背景色が変わる帯の時間的位置に境界線を描画してもよい。

なお、帯表示１０１０での背景巡回による表示と併用し、背景巡回をさせるが、どことも一致していない部分は着色しない表示にしたり、逆にどことも一致していない部分のみ着色する表示にしても良い。

または、帯表示１０２０の表示と併用し、ある程度以上時間的に細かい同一コンテンツに対しては同一の色や模様で着色させても良い。

帯表示１０４０は、ループの繰り返しの開始と終了とが分かっている場合、それを帯の時間軸方向に分割する絵柄によって表現する方法である。ループの繰り返しの開始と終了は、ループ情報でｌｏｏｐ＿ｔｙｐｅの値がｃｌｏｓｅ＿ｌｏｏｐである場合、ｓｔａｒｔから（ｓｔａｒｔ＋ｄｕｒａｔｉｏｎ）までの範囲の時刻（ｓｔａｒｔ＋Ｎ＊ｃｙｃｌｅ）に発生する。ただしＮは任意の正数で、「＊」は乗算の演算子である。

帯表示１０５０は、帯表示１０４０のループの繰り返しの開始と終了を分割する絵柄と、帯表示１０３０による同一コンテンツが存在する部分への着色を併用した例である。同様に帯表示１０５０は、帯表示１０１０や帯表示１０２０併用して表示しても良い。

次に、録画された映像や音声の一覧表示画面の例について説明する。

図９において、一覧表画面９２０は、録画した映像や音声を、複数リスト表示する。一覧表画面９２０のリスト表示９２１が１つの録画を表し、伝送路（放送チャンネル）、録画日時、タイトルなどが表示される。更に図１０で説明した帯表示も併記されている。ここでは、図１０で説明したいずれの帯表示を用いても良い。

次に、番組表表示の例について説明する。

図１１は、本発明の実施の形態１における番組表表示の例の図である。ここでは過去の番組表を表示しているか、毎日同じ時間には同じ放送がされるなどして、事前に伝送される映像や音声に含まれる同一リージョンやループを検出できていたと仮定している。

図１１は、図２０の画面２０００を元に、本発明の技術を導入した画面である。従来１つの矩形で表示されていただけの番組２００１が、番組１１１１では同一コンテンツが同色で着色され表示されている。このため、番組表示上でのコンテンツの重複が一目で分かる。同一コンテンツのうちのいずれかのみにフォーカスを表示・移動させ、フォーカスのあるコンテンツに対して予約録画することで、必要十分なコンテンツの録画を行うことが可能になる。

あるいは、過去の放送の多くを事前に録画して後日の再生に備える「ホームサーバー」にも適用できる。この場合は、過去の番組表を表示し、録画した番組について、帯表示を行い、必要なコンテンツの部分のみを永続的に保存したり、別の記憶媒体に移し替えたり、視聴したりすることが、フォーカスを移動して選択するだけで容易に実現可能になる。これにより、従来のように映像や音声をユーザが早送りや巻き戻し再生などを繰り返しながら探し出す操作が不要になる。

また、図２０の伝送路２００２に関する表示は、ＥＰＧデータとして別々の番組として分割しているが、そのどれとどれとが同一か視聴するまで分からない。これに対し、図１１では、同一コンテンツを同じ色に着色すると共に、ループが変わる部分に絵柄１１１４を表示することで、コンテンツが変化する時刻も表現できる。全てのコンテンツを１回ずつ視聴したいユーザは、伝送路２００２の番組の全てを視聴しながら選択しなくても、絵柄１１１４の上下から１つずつを選んで視聴するだけでよい。

また、画面１１２０は背景色の着色のかわりに、境界線を描画することで同一コンテンツの変化点を表現した番組表表示の例である。ここでは、図１０の表示帯１０４０同様にループのｌｏｏｐ＿ｔｙｐｅがｃｌｏｓｅ＿ｌｏｏｐであり、ループの繰り返しの開始と終了とが分かる場合を想定している。ループの繰り返しの開始と終了は点線１１２３の様な細かい点線で、別のループに入る境界は荒い点線１１２２で描画している。

また、元々別々の番組としてＥＰＧデータが送られている伝送路２００２においては、同じコンテンツとの境界を一点鎖線１１２５で、別のコンテンツになる部分を二点鎖線１１２６で表現している。

（実施の形態２）
本発明の実施の形態２を図１２、図１３を用いて説明する。

本発明の実施の形態２は、映像や音声をリアルタイムに受信、録画、再生を行っている際に、含まれるコンテンツが、新たなコンテンツに変わることを検出しユーザに提示する処理を示す。

実施の形態１の、図２、図６、図７のフローチャートを用いて説明した、ループ情報を生成する処理は、実施の形態２においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態１と同様に図１で説明されるので、以下では、差分がある場合のみ説明を行う。

図１２は、本発明の実施の形態２におけるコンテンツ更新の通知画面の例の図である。画面１２００では、比較映像蓄積部１０１に録画された映像や音声が全面９１１に再生表示されている。全面９１１で視聴している最中に、新たなコンテンツに変わることを検出すると、画面１２００にポップアップ画面をオーバーレイ表示する。

ここでは、別の伝送路に対して新たなコンテンツが伝送されたことを、その伝送路名、更新された時刻をポップアップ画面１２０１で表示する。また、その伝送路で伝送されている映像や音声をポップアップ画面１２０２にピクチャー・イン・ピクチャーで表示する。

次に、図１２の表示を実現する処理について詳細に説明する。

図１３は、本発明の実施の形態２におけるコンテンツ更新検出のフローチャートである。

ループ情報から、現在選局しているＣＨ対に関するエントリを１つずつ選択することを試みる（ステップＳ１３０１）。

ステップＳ１３０１で既に全てのループを選択済みであったために、直前のステップＳ１３０１で選択すべきエントリが無かった場合にはステップＳ１３０１へ進む（ステップＳ１３０２）。それ以外の場合はステップＳ１３０３へ進む。

新たに検出されたループであればステップＳ１３０４へ、それ以外の場合はステップＳ１３０１へ進む（ステップＳ１３０３）。

新たに検出されたループであることの判定は、いくつかの実現方法がある。

まず、第１の方法は、図７のループ情報を生成するフローチャートにおいて、ステップＳ７１０に到達したときの対象とするチャンネル（伝送路）を新たなループであると判定することである。

第２の方法は、ループ情報の該当するエントリにおいて、時刻（ｓｔａｒｔ＋ｄｕｒａｔｉｏｎ）から時刻（ｓｔａｒｔ＋ｄｕｒａｔｉｏｎ＋ｃｙｃｌｅ）においても、時刻ｓｔａｒｔから時刻（ｓｔａｒｔ＋ｃｙｃｌｅ）と同じ映像や音声が受信されると期待する。そして、図２により生成されるサーチ情報のエントリを監視して、上記期待に背いて映像や音声が同一でないと判断された時点で新たなループに入ったと判定する方法である。

この方法は複数回以上繰り返さない場合にも検出されてしまう可能性があるが、更新されると直ぐに通知できる利点がある。

制御部１０４が、ＯＳＤ生成部１０９に対し、画面１２００を生成する指示を送る（ステップＳ１３０４）。画面１２００が提示部１１０に提示されることで、ユーザにコンテンツ更新が通知される。そしてステップＳ１３０１へ戻る。

なお、受信部１０６で受信中の映像や音声に対してループ情報を生成する処理を行い、画面１２００にピクチャー・イン・ピクチャーによる画面１２０２の映像表示を行わず、番組に関する情報１２０１のみを表示することもできる。また、チャイム音を発生させたりすることで、現在視聴中の映像や音声に対するコンテンツの更新を通知するようにしてもよい。チャイム音を鳴らすことで、装置の電源を入れてはいるが、提示部１１０を凝視せず、家事など別のことをユーザ行っている使用状況でも、更新されたコンテンツを見落とさない。

あるいは、受信部１０６に複数の伝送路を同時に受信できる能力があれば、画面９１１に表示している伝送路の映像や音声と異なる伝送路に対し、新たなコンテンツに更新されたことを検出でき、ピクチャー・イン・ピクチャー表示が可能となる。

あるいは、通知の方法として、通知のタイミングで自動的に画面を提示部１１０に表示したり、提示部１１０に表示する映像の輝度を低い状態から高い状態に変更したり、音声の再生レベルを、低い状態から高い状態に変更したりすることが考えられる。

特に、デジタルテレビなどの民生機器においては、リモコンからの電源オフの赤外線信号を受け取った状態では、ＥＰＧデータなどの受信のためにＣＰＵやメモリなどからなる制御部は動作しているが、ＣＲＴ、ＰＤＰ、液晶などの表示デバイスには通電しない。このような状態を「スタンバイ状態」と呼ぶ。

このとき、新たなコンテンツの検出をスタンバイ状態で処理し、検出後に通知を行うタイミングでスタンバイ状態から、通常の電源オン状態に変更する。また、新たなコンテンツでない場合には自動的にスタンバイ状態に遷移することもできる。

一般に通常の電源オン状態よりもスタンバイ状態の方が消費電力は大幅に低いため、全体としての消費電力量の削減が可能になる。

（実施の形態３）
本発明の実施の形態３を図１４を用いて説明する。

本発明の実施の形態３は、複数の伝送路で伝送される映像や音声に対し、同じループに属さない映像や音声をなるべく多く、かつ、短時間に巡回し終える処理を示す。これを実現するために、受信する伝送路を自動的に切り替える。

重複した映像や音声が出現すると、選局が自動的に切り替わるため、より多くの映像や音声を視聴したり蓄積したりするのに、必要最低限の時間しか必要としない。これにより、ユーザの煩雑さを低減でき、また、蓄積に必要な容量も節約できるし、全ての録画を終えるまでに必要な総電力量も削減できる。

実施の形態１の、図２、図６、図７のフローチャートを用いて説明した、ループ情報を生成する処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態１と同様に図１で説明されるので、以下では、差分がある場合のみ説明を行う。

図１４は、本発明の実施の形態３における複数伝送路で自動巡回する処理のフローチャートである。

ループを１周以上受信したことを検出した場合にはステップＳ１４０２に、それ以外の場合にはステップＳ１３０１に戻る（ステップＳ１４０１）。

具体的には、実施の形態１の図７で説明したループ情報にマージする処理において、ステップＳ７０６で新規にループを追加する処理に到達したタイミングで、ループを１周以上受信したと判断させる。

入力する映像や音声の１ループ分を比較映像蓄積部１０１に保存する（ステップＳ１４０２）。比較映像蓄積部１０１へは、再生部１０７で再生可能な形式で蓄積される。

ステップＳ１４０１でループを１周以上受信したと判断したタイミングでは、受信する映像や音声はループの２周目以上に到達している可能性がある。

なぜなら、ステップＳ１４０１での処理の処理遅延だけでなく、実施の形態１の図６のループ情報のマージ処理でステップＳ６０８からステップＳ６０７ａに入った場合には、受信を初めてから３回以上ループを回っている可能性があるからである。

なお、ここでは１周分としたが、２周分を蓄積するようにしてもよい。２周分以上蓄積しておけば、ループの先頭が何処か分からなくても１周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれいる。従って、頭出しさえ出来れば１周分をつなぎ目がなく再生できる利点がある。

次のＣＨに選局を変更する（ステップＳ１４０３）。そしてステップＳ１３０１に戻る。

（実施の形態４）
本発明の実施の形態４を図１５を用いて説明する。

本発明の実施の形態４は、録画済みの映像や音声の再生中に、重複した時間的部分を自動的にスキップする方法を示す。

図１５は、本発明の実施の形態４における重複自動スキップ再生のフローチャートである。

入力部１０８から、ユーザが映像や音声の再生を開始させる指示を入力する（ステップＳ１５０１）。

制御部１０４が再生部１０７に指示して、比較映像蓄積部１０１に蓄積されている映像や音声の再生を開始する（ステップＳ１５０２）。

現在再生している時間的場所がどこであるかを、対応する同一リージョンに対応付けて記録する（ステップＳ１５０３）。

ステップＳ１５０３で記録した情報を用い、既に再生済みの同一リージョンであるか判定する（ステップＳ１５０４）。再生済みであった場合にはステップＳ１５０５へ、それ以外の場合にはステップＳ１５０６へ進む。

同一リージョンの長さだけ早送りする（ステップＳ１５０５）。既に再生済みである同一リージョンはこの処理によりスキップされる。

コンテンツの最後まで再生を終えた場合には処理を終了する（ステップＳ１５０６）。それ以外の場合にはステップＳ１５０３へ戻る。

なお、録画済みの映像や音声について説明をしたが、ネットワーク経由のストリーミング再生においても、早送り再生が行えて、その中で同一シーン検出やループ検出の処理が行えるのであれば実現可能である。

（実施の形態５）
本発明の実施の形態５では、録画済みの映像や音声の再生中に、ユーザからのスキップ再生を指示する操作を受け付け、重複した時間的部分を自動的にスキップする方法について説明する。

図１６は、本発明の実施の形態５における手動スキップ再生のフローチャートである。

ユーザからの操作の入力が無いか確認する（ステップＳ１６０１）。

ステップＳ１６０１において再生スキップの操作が入力されていた場合にはステップＳ１６０３へ、それ以外の場合にはステップＳ１６０１へ進む（ステップＳ１６０２）。

次の別ループが存在している場合にはステップＳ１６０４へ、それ以外の場合にはステップＳ１６０５へ進む（ステップＳ１６０３）。

次の別ループの先頭まで再生箇所を移動する（ステップＳ１６０４）。そしてステップＳ１６０１に戻る。

次の映像や音声の録画の再生を開始する（ステップＳ１６０５）。そしてステップＳ１６０１に戻る。

上記のように通常は次の録画までスキップするが、１つの録画の中に繰り返しが存在する場合には、次の繰り返しの冒頭までスキップして再生を始める。これにより、従来はスキップすることで見落としてしまっていた映像や音声を、見落とさない。

また、スキップ再生を行う操作は、従来からある操作に対する互換性を保持したまま拡張している。このため、ユーザにとっては新たな操作を覚えることなく高度な機能を使いこなすことが可能となる。

（実施の形態６）
本発明の実施の形態６を図１７を用いて説明する。

本発明の実施の形態６は、録画された映像や音声中から重複している部分を自動的に削除する処理を示す。

実施の形態１の、図２、図６のフローチャートを用いて説明した処理は、この実施の形態においても実行されるものとする。また、同一シーン検出装置全体の構成も、実施の形態１と同様に図１で説明されるので、以下では、差分がある場合のみ説明を行う。

図１７は、本発明の実施の形態６における重複シーンの削除編集のフローチャートである。

同一リージョン情報から同一リージョンを検索する（ステップＳ１７０１）。

既出の同一リージョンであればステップＳ１７０３へ、それ以外の場合にはステップＳ１７０４へ進む（ステップＳ１７０２）。

比較映像蓄積部１０１に蓄積された映像や音声から、同一リージョンの長さだけ省略する（ステップＳ１７０３）。

この省略処理は、蓄積されている映像や音声の実体の一部を削除しても良い。あるいは、プレイリストを編集することで、データとして存在しているが再生時にスキップされるようにしても良い。

最後まで到達した場合にはステップＳ１７０１へ、それ以外の場合には処理を終了する（ステップＳ１７０４）。

上記では単に同一リージョンであるかで削除したが、実施の形態１の図７で説明したループの検出に基づき、ループである場合のみ削除するようにしてもよい。この場合、ニアＶＯＤの様に繰り返し再生される伝送路に適し、たとえ途中に短時間挿入されたＣＭ等が毎回異なる状況であっても、正しく削除できる。

（実施の形態７）
本発明の実施の形態７を図１８を用いて説明する。

本発明の実施の形態７は、ユーザ操作により開始された映像や音声の録画の停止を自動的に行う処理を示す。

図１８は、本発明の実施の形態７における蓄積自動停止のフローチャートである。

ユーザからのコンテンツの蓄積を開始させる指示を入力する（ステップＳ１８０１）。

蓄積を停止する（ステップＳ１８０２）。

なお、ここでは１周分としたが、２周分を蓄積するようにしてもよい。２周分以上蓄積しておけば、ループの先頭が何処か分からなくても１周分はつなぎ目のない完全な形で、蓄積した映像や音声中に含まれている。従って、頭出しさえ出来れば１周分をつなぎ目がなく再生できる利点がある。

なお、全ての実施の形態において、映像や音声をユーザが視聴する対象としたが、いずれか一方のみでも実現可能である。例えば音声のみを扱う場合、映像比較部１０２は音声を比較する様に構成すればよい。

また、映像比較部１０２による処理で、映像による判断と音声による判断との両方を同時に実行し、２種類の結果に重み付けなどを行って総合的に判断してもよい。こうすることで、より精度を高めることができる。

あるいは、より処理負荷の軽い処理を先におこない真偽の目星を予めつけることで、平均的な処理速度の向上や、消費電力の低減を達成することができる。

以上説明した本発明の同一シーン検出方法によれば、以下の効果が得られる。

（１）どの部分が内容的に重複しているか、またどこで内容が一周しているかを映像や音声を実際に視聴することなく、画面表示を見て把握できる。視聴したい部分を短時間に把握でき、時間的な無駄を省くことができる。

（２）重複していない映像や音声になったことがユーザに通知されるため、何度も同じ映像や音声を視聴する必要がない。この結果、短時間でより多様な情報を視聴可能となる。ユーザは別のコンテンツを見ていたり、あるいは画面を見ていない場合でも、通知を用いることで新たな情報を見逃さない。

（３）複数の伝送路から映像や音声を受信可能な状況において、重複部分の出現を検出した場合に自動的に別の伝送路に切り替える。無操作で行われるため、ユーザによる操作手順を省略できるだけでなく、同じ内容であるかをユーザが判別する必要すらないため、ユーザの煩雑が改善される。

（４）ニアＶＯＤの蓄積や、連続ドラマなどを複数回蓄積した際に複数回含まれる主題歌やＣＭなどを、同一シーンとして検出することで、自動的に再生時にスキップする。冗長な内容を視聴する必要がなくなる。

（５）蓄積したコンテンツを再生中に、スキップ再生ボタンを押すことで、重複した部分をスキップして冗長でない場所まで再生場所を進めることができる。

（６）蓄積したコンテンツに含まれる重複したシーンをユーザが確認することなく自動で省略することができる。視聴時間の短縮や、編集の自動化、蓄積領域の削減などが達成できる。

（７）ニアＶＯＤ的な放送が行われている伝送路で蓄積開始すると、コンテンツデータ情報によって繰り返しの始めや終わりが分からなくても自動的に繰り返し１回分だけ蓄積することができる。蓄積領域の無駄な浪費や、受信する為の資源を解放しないために他の伝送路の蓄積を妨げることを防止できる。

本発明の方法及び装置は、映像や音声を再生する装置において、映像や音声に過去に出現した時間的部分であるシーンが含まれる可能性がある場合に、効率よく映像や音声をユーザが視聴可能とする手法として有用である。

このため、放送を受信するテレビやセットトップボックス、ハードディスクまたはＤＶＤのビデオレコーダ、パッケージメディアを再生するＤＶＤプレーヤやＡＶビューワ、あるいはインターネットの放送局から受信するブロードバンド・レシーバなどの用途に有用である。

本発明の実施の形態１における同一シーン検出装置の構成図本発明の実施の形態１における同一リージョン情報生成のフローチャート本発明の実施の形態１におけるサーチ情報の例の図本発明の実施の形態１における送出予定情報の例の図本発明の実施の形態１における同一リージョン情報の例の図本発明の実施の形態１におけるループ情報生成の処理フローチャート本発明の実施の形態１におけるループ情報のマージ処理のフローチャート本発明の実施の形態１におけるループ情報の例の図本発明の実施の形態１における画面表示の例の図本発明の実施の形態１における同一コンテンツの表示例の図本発明の実施の形態１における番組表表示の例の図本発明の実施の形態２におけるコンテンツ更新の通知画面の例の図本発明の実施の形態２におけるコンテンツ更新検出のフローチャート本発明の実施の形態３における複数伝送路自動巡回のフローチャート本発明の実施の形態４における重複自動スキップ再生のフローチャート本発明の実施の形態５における手動スキップ再生のフローチャート本発明の実施の形態６における重複シーンの削除編集のフローチャート本発明の実施の形態７における蓄積自動停止のフローチャート従来の装置の構成図従来の装置の画面表示の図

符号の説明

１００同一シーン検出装置
１０１比較映像蓄積部
１０２映像比較部
１０３ループ検出部
１０４制御部
１０５アンテナ
１０６受信部
１０７再生部
１０８入力部
１０９ＯＳＤ生成部
１１０提示部

Claims

映像または音声を受信して出力する受信部と、
前記映像または音声を蓄積する蓄積部と、
前記蓄積部に含まれる前記映像または音声の時間的部分であるシーンに対しユーザが内容を同一と知覚する同一シーンを検出し同一シーン集合として抽出し出力する比較部と、
前記比較部の出力する各前記同一シーン集合に含まれる同一シーンの出現時刻の差分値を求めると共に複数の前記同一シーン集合の前記差分値が近い前記同一シーンで出現時刻が近接するものの集合を同一リージョンとして選択し前記同一リージョンに含まれる前記同一シーンの時間長の合計が所定の値を超える場合に前記同一リージョンが前記差分値を出現周期とする周期性を持って出現すると判定しループ情報として出力するループ検出部と、
前記ループ検出部の出力するループ情報を入力しユーザに提示するデータを作成する制御部とを有することを特徴とする同一シーン検出装置。
前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記出現周期で繰り返す巡回する色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、同じ前記同一シーン集合に含まれる同一シーンは同じ色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分に対して色または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、映像または音声をある方向を時間軸に対応させた図形として提示し、前記周期性を持つ時間的部分を周期性の切れ目を線分または絵柄または文字を前記図形上で時間軸に対応させて提示することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、注目する時刻の前記映像または音声が、前記注目する時刻以前とは異なるシーンループに属する場合に新たなシーンループであることをユーザに提示することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、前記注目する時刻が現在時刻近辺に到達したタイミングで前記新たなシーンループに関する前記映像または音声を提示する小ウィンドウで表示することを特徴とする請求項６記載の同一シーン検出装置。
前記制御部は、現在のシーンループに入った時刻または経過時間を提示することを特徴とする請求項６記載の同一シーン検出装置。
前記制御部は、映像を表示している画面領域の表示の画質を変化させることを特徴とする請求項６記載の同一シーン検出装置。
前記制御部は、再生している音声の音量を変化させることを特徴とする請求項６記載の同一シーン検出装置。
前記受信部は複数の伝送路から前記映像または音声が受信可能であり、
前記制御部は現在時刻における前記映像または音声が既に存在しているシーンループに含まれたと検出された場合には別の伝送路に変更することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、異なるシーンループ毎に蓄積を行うことを特徴とする請求項１１記載の同一シーン検出装置。
前記蓄積部に保存された前記映像または音声をデコード再生する再生部をさらに備え、
前記制御部は前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるまで再生場所をスキップさせることを特徴とする請求項１記載の同一シーン検出装置。
前記蓄積部に保存された前記映像または音声をデコード再生する再生部と
ユーザからのスキップ再生の指示を入力する入力部とをさらに備え、前記制御部は前記入力部にスキップ再生の指示が入力されると前記映像または音声がいずれかの伝送路ループに含まれる場合には伝送路ループに含まれなくなるまで再生場所をスキップさせることを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、保存されている前記映像または音声における同一シーンの重複を一部または全て取り去って再度保存することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、蓄積を行っている前記映像または音声に同一シーンを検出すると蓄積を停止することを特徴とする請求項１記載の同一シーン検出装置。
前記制御部は、同一シーンの２回目の繰り返しが終わった時点で蓄積を停止することを特徴とする請求項１６記載の同一シーン検出装置。
前記制御部は、同一シーンの２回目の繰り返しを検出した時点で蓄積を停止すると共に繰り返し１周分になるように蓄積した映像または音声をトリミングすることを特徴とする請求項１６記載の同一シーン検出装置。
請求項１乃至請求項１８記載のいずれか１項の同一シーン検出装置として、コンピュータを機能させるコンピュータプログラムを格納した記憶媒体。