JP2007528146A - デジタルビデオストリーム中のコンテンツ項目の検出 - Google Patents

Abstract

本発明は、デジタルビデオストリームにおけるコンテンツ項目の境界を検出する方法に関する。本方法は、ある時間期間にわたるビデオストリームの平均ビットレートを決定し（１３０）、コンテンツ項目の境界の指標となる平均ビットレートの変化を検出する（１４０）、ステップを有する。ビットレートの移動平均を決定してもよい。本方法は暗号化されたデジタルビデオストリームについても使うことができる。本発明はまた、デジタルビデオストリーム中のコンテンツ項目の境界を検出するための装置にも関する。本発明はさらに、デジタル放送ビデオストリーム中の少なくとも一つのコンテンツ項目を受信するための受信機および少なくとも一つのテレビ番組を記録するためのビデオレコーダに関する。

Description

本発明は、デジタルビデオストリーム中のコンテンツ項目の境界を検出する方法に関するものである。本発明はまた、デジタルビデオストリーム中のコンテンツ項目の境界を検出するための装置にも関する。本発明はさらに、デジタル放送ビデオストリーム中の少なくとも一つのコンテンツ項目を受信するための受信機および少なくとも一つのテレビ番組を記録するためのビデオレコーダに関する。

米国特許第2002/0186768号は、たとえばMPEGエンコーダによってビデオを圧縮する処理で得られるデータに基づくコンテンツ検出の方法を記載している。MPEGエンコーダはテレビ放送事業者、インターネットなどからのビデオデータをエンコードする。MPEGエンコーダは、ビデオにおける変化の激しい、あるいは非常に複雑な場面の指標、たとえば視覚的に複雑な映像または速い動きを含む映像の指標として、量子化器の値と組み合わされた現在のビットレート値のようなデータを生成する。このエンコードビットレートは、一片のビデオをエンコードするために必要とされるビット数の尺度となり、通例、動きの速い映像および視覚的に複雑な場面ほど大きくなる。

しかし、エンコードビットレートは、たとえば、その映像が速い動きを含む映画のものなのか動きの速い場面のあるコマーシャルのものなのかの信頼できる指標にはできない。既知の方法は、エンコードビットレートを使ってコンテンツ項目の境界の信頼できる指標を与えることはできないのである。さらに、米国特許第2002/0186768号から知られている方法はMPEGエンコーダが利用可能であるときにしか使えない。

既知の方法の欠点を解消し、デジタルビデオストリームにおけるコンテンツ項目の境界を検出する方法であって、より信頼でき、MPEGエンコーダが全くなくても使うことのできる方法を提供することが本発明の一つの目的である。

この目的は、本発明の方法が：
・ある時間期間にわたるビデオストリームの平均ビットレートを決定し、
・コンテンツ項目の境界の指標となる平均ビットレートの変化を検出する、
ステップを有することにおいて実現される。

コンテンツ項目は画質、したがってビットレートにおいてさまざまでありうる。たとえば、企業は通例高品質の宣伝物に金を出すのでコマーシャルはより高いビットレートであるなどである。放送デジタルビデオストリームの場合、放送事業者はたとえば、あるチャンネルのビットレートを一定に保ちはするが、複数のコンテンツ項目に対してコンテンツの種類に応じて異なるビットレートを割り当てることがありうる。

ビットレートとはデジタルビデオストリーム中のコンテンツ項目に割り当てられるデータのレートである。ビットレートは、デジタルストリーム中の追加的な情報として示されることがある。たとえば、デジタルビデオ放送（DVB: digital video broadcasting）においては、ある種のパケットに成形されたビデオ、オーディオ、制御データを担ういくつかのストリームが送信されうる。パケット中のビデオデータが所定の、あるいは指標で示されたサイズである場合には、ビデオストリームのビットレートを決定することが可能である。

平均ビットレートはさまざまな方法で計算することができる。たとえば、一連の時間期間について単純に計算してもよいし、あるいはまたビットレートの移動平均を決定してもよい。もちろん、ある時間期間にわたるビットレートの値を計算するその他の諸方法も考えられる。

コンテンツ項目の境界は、平均ビットレートの変化を検出することに基づいて見きわめることができる。その変化はたとえば、平均ビットレート値の偏位が所定の閾値を超過すること、平均ビットレート値の変化の偏位が前記値のある割合を超過すること、などを決定することによって行える。

本発明は、平均ビットレートは従来技術において既知のエンコードビットレートよりも信頼でき、堅牢であるという利点がある。前記時間期間にわたる平均ビットレートを決定することで、コンテンツ種類の真の変化を示すものではない変動がならされるのである。

コンテンツ検出の既知の方法に関連しては、コンテンツが暗号化されたデジタルストリームになっているときにさらなる問題が生じる。従来技術文書である米国特許第2002/0186768号において既知の方法は暗号化されたデジタルストリームには適用できない。この既知の方法は、ストリームを復号し、それをデコードして当該ストリームを圧縮解除し、当該ストリームを再エンコードしてエンコードビットストリームを計算することを必要とする。既知の方法は、ストリーム中のピクチャーグループを表すMPEGデータにしか適用できず、平均絶対差（MAD: mean absolute difference）の値に基づいている。このＭＡＤ値は、フレーム中のビデオブロックの動きを記述するのに使われるベクトルの大きさの平均を表している。明らかに、この情報は暗号化されたビデオストリームにおいては利用できない。

一方、本発明に基づくコンテンツ項目の境界を検出する方法は、暗号化されたデジタルビデオストリームにも適用できる。当該方法はストリームの平均ビットレートに基づいており、暗号化されたストリームの場合においても顕著な影響は受けない。

本発明の方法は、暗号化されたストリームに対して高速にはたらくという利点がある。すなわち、暗号化されたストリームについても全く復号することなく容易に平均ビットレートが計算できるのである。さらに、暗号化されたストリームにおけるコンテンツ項目の境界が検出された場合、そのコンテンツ項目の録画などさらなる目的のために復号する必要があるのはそのコンテンツ項目に属する暗号化されたデジタルストリームの一部だけでもよい。ストリームの残りの部分は復号する必要がないのである。

実施形態の一つでは、本発明の方法はテレビシステムの電子番組表（EPG: Electronic Program Guide）において適用することができる。ＥＰＧでは、少なくとも一つのコンテンツ項目の放送の開始または終了またはその両方を指示する放送予定データ（ＥＰＧデータ）が事前に、すなわち当該コンテンツ項目の放送前に利用可能となりうる。本発明の方法によれば、コンテンツ項目の境界の検出は、そのＥＰＧデータが、ビデオストリーム中のそれぞれのコンテンツ項目の検出された境界と一致しているかどうかを検証するのに用いることができる。これは放送コンテンツ項目の録画の開始および終了を精密に制御するためにビデオレコーダにおいて利用されうる。

本発明の目的は、本発明が：
・ある時間期間にわたるビデオストリームの平均ビットレートを決定する手段と、
・コンテンツ項目の境界の指標となる平均ビットレートの変化を検出する手段、
とを有する、デジタルビデオストリーム中のコンテンツ項目の境界を検出するための装置を提供することにおいても実現される。

前記装置はデジタル放送ビデオストリーム中の少なくとも一つのコンテンツ項目を受信するための受信機に組み込んでもよいし、そのような受信機およびビデオストリーム中の検出された境界に基づいてテレビ番組を記録する手段を有する、少なくとも一つのテレビ番組を記録するためのビデオレコーダに組み込んでもよい。

これらのことを含む本発明のさまざまな側面は付属の図面を参照しつつさらに解説され、記述される。

図１は、デジタルビデオストリーム中のコンテンツ項目の境界を検出する方法のある実施形態を示している。ビデオストリームはＣＤ−ＲＯＭディスク（Compact Disk Read Only Memory［コンパクトディスクを利用した読み出し専用メモリ］）、ＤＶＤディスク（Digital Versatile Disk［デジタル多用途ディスク］）、磁気担体などといったデータ担体から情報を読み出すことなどによって得ることができる。あるいはまた、ビデオデータは、たとえばデジタルビデオ放送（DVB）、ビデオオンデマンドシステム、インターネットなどを使ってビデオ放送事業者から既知の仕方において受信してもよい。

ステップ１１０においてビデオストリームのビットレートが決定されうる。ビデオストリームは通例パケット化されており、いわゆるフレームの形で管理されている。フレームはヘッダおよびボディを有することができ、該ヘッダはボディに含まれているデータについての情報を含む。ヘッダはビットレートに関する情報を、通例は一秒あたりに送信されるビット数として表して示してもよい。たとえば、ＤＶＢ放送を使って、あるいはＤＶＤディスクのトラックから得られるMPEG規格に基づくデジタルストリームは、複数のパケット化された基本ストリームを含みうる。基本ストリームのパケットは固定サイズでも可変サイズでもよい。パケットはさまざまな種類であることができ、さまざまな基本ストリームに属することができる。したがって、ペイロード情報を担う基本ストリームに属するパケット、たとえばいわゆるトランスポートストリームは、フィルタによって除去する必要があることがある。トランスポートストリームの固定サイズのパケットはたとえば１８４Ｂのペイロードおよび４Ｂのヘッダを含みうる。

もう一つの例では、ビデオストリームはデジタルビデオ（DV: Digital Video）規格で得ることができる。たとえば、ＤＶパケットは、ＤＶビデオカメラまたはＤＶレコーダなどのＤＶ機器からＩＥＥＥ１３９４プロトコル（一般にFireWireとして知られる）を通じて得ることができる。DVフォーマットにおいては、NTSC（National Television System Committee［全米テレビジョンシステム委員会］）ビデオ方式（フレームあたりの走査線５２５本、毎秒３０ビデオフレーム）に従うビデオフレームは１５００のDVブロックからなり、DVブロックは８０Bのサイズをもつ。DV機器から得られるDV/IEEE1394パケットは、１２Bのヘッダと４８０B（６DVブロック）のボディをもつフォーマットをもちうる。よって、ビデオフレームは２５０DVブロックを含みうる。この情報に基づいて、そのようなDV機器から得られるビットストリームのビットレートを決定することが可能である。その他のフォーマットのビデオストリームのビットレートを計算することもできる。

ステップ１２０では、ビデオストリームの平均ビットレートを計算するための時間期間が決定される。その期間は２ないし５秒またはそれ以上という数秒の値にあらかじめ設定することができる（ステップ１２１）。あるいはまた、時間期間は可変としてもよい。たとえば、ビデオコンテンツ項目における場面変化などのカットの切れ目がステップ１２５において検出されることができ、ステップ１２６で検出されたカットの切れ目に応じて時間期間が調整されうる。これにより、ある特定の時間期間は場面変化から次の場面変化までの期間に等しいものとなりうる。さらなる例では、検出された場面変化の間の時間期間が長すぎる――たとえば何らかの所定の最大閾値を超えるなど――場合には、該時間期間をより短い時間期間に分割してその時間期間にわたって平均ビットレートを計算してもよい。場面変化は、たとえば欧州特許EP1,006,685の文書から知られる場面変化検出器を使って決定することができる。場面変化検出器は、一連のフレーム画像の逆相関値を計算する。相関値は画像どうしの対応するピクセルのピクセル値の間の差の絶対値に基づいて推定される。この相関値がある所定の閾値を超えれば場面変化が判別される。場面変化の検出のためには、従来技術において既知の速い動き検出器を使ってもよい。ビデオストリームがエンコードされるとき、パケットのヘッダの分布を得て場面変化を検出するためには、MPEGストリームなどのビデオストリームを完全にデコードすることなく、当該ストリームを部分的にデコードするだけで十分なこともある。

次のステップ１３０では、決定された時間期間にわたるビデオストリームの平均ビットレートがさまざまな仕方で推定されうる。平均ビットレートは、決定された時間期間にわたってビットレートの値を足し合わせ、合計を値の個数で割ることによって計算できる。別の例では、移動平均ビットレートが計算されうる。たとえば、固定長の直前の期間をずらした期間に対して計算される平均値である。ビットレートの平均は、コンテンツ項目の真の境界やコンテンツ種類の真の変化ではなくノイズなどに起因するビットレートの小さな変動をならすことができる。

ステップ１４０では、算定された平均ビットレートの変化を検出することによって、コンテンツ項目の境界が見出されうる。たとえば、閾ビットレート値を算定された平均ビットレートと比較することができ、閾値を超えていたら当該コンテンツ項目の境界を判別することができる。閾値は固定でも可変でもよい。たとえば、閾値は、平均ビットレートのある割合でよい。平均ビットレートは直前の期間またはいくつかの先行期間について計算された平均ビットレートの値と比較してその範囲内の変動が許されるのである。この場合、平均ビットレートに対する閾値の絶対値は固定されていない。別の例では、相続く時間期間に対する平均ビットレートの値の一階微分を推定して平均ビットレートの素早い変化を検出してもよい。

平均ビットレートを計算するための時間期間が、許容できる精度でコンテンツ項目の境界を決定するために十分短い――たとえば0.5秒、1秒など――場合には、ステップ１５０で、対応する時間期間内でのコンテンツ項目の検出された境界の位置が決定されうる。境界の位置は、ビデオストリーム中の順次のフレームについてのビットレートの値を比較することによって、所与の時間期間を小さな区間に分割して一連の区間についての平均ビットレート値をコンテンツの境界が判別された時間期間と比較することによって、あるいはその他の仕方によって決定されうる。

図２は、デジタル放送から受信されたテレビ番組『推定無罪』について計算されたビデオストリームの平均ビットレートを示している。この番組は約２時間５５分の長さをもつ。この番組の放送の開始時刻および終了時刻はテレビ番組表（EPG）に基づいており、数分伸ばされている。番組とコマーシャルブロックの本当の開始および終了を直線でマークしてある。図２および図３の縦軸は平均ビットレートをキロビット毎秒で示し、横軸は順次のフレーム番号を示している。

この例では、図２に示された平均ビットレートは番組境界およびコマーシャルブロックにおいて劇的に変化する。平均ビットレートは番組の開始において、特に最初の1500フレームにおいて著しく変化している。番組中の３回のコマーシャルも平均ビットレートにおける多くの変化を引き起こしている。最後に、番組終了の時点でも平均ビットレートは著しく変化している。それは図３に示されている。図３は、番組の最後の部分の1000ビデオフレーム内の平均ビットレートの変化を示している。これらの変化は、ビデオコンテンツの提供業者が使うスプライサーによって引き起こされたものでありうる。スプライサーは、すでにデジタル化されているかもしれないビデオコンテンツに、コンテンツ品質を劣化させうる高価なデコードおよび再エンコードをする必要なくコマーシャルのようなデジタルコンテンツを挿入するために使うものである。

典型的には、テレビ放送事業者またはその他のコンテンツ提供業者はコマーシャルブロックをさまざまなコンテンツ項目中に同じような形でたとえば最初または最後またはその両方に、そしておそらくはコンテンツ項目の中で何度か挿入する。コンテンツ項目内におけるコマーシャルの特定の典型的な配置のこのパターンをコンテンツ項目の境界を検出するための機器が学習して、検出された平均ビットレートの変化がコンテンツ項目のコマーシャルブロックの指標であるのかどうかを信頼できる形で判定するために使うことができる。さらに、コンテンツ項目のオーディオおよび／またはビデオ特徴の解析に基づいてコマーシャルブロックを認識する既知の諸方法を検出された境界がコマーシャルに属するのかどうかを検証するのに使うこともできる。

上述したようなコンテンツ項目の境界を検出する方法は、コンテンツ項目を含む暗号化されたビデオストリームにも適用できる。たいていのデジタルビデオストリーム、たとえば有料テレビおよびペイパービューは従来式の仕方でパケット化されているが、パケットは特定の鍵および方法を使って暗号化されている。放送事業者およびセットトップボックスメーカーによって採用されている限定受信システムは、ストリームに対して、リアルタイムで視聴するためにデコードするほかはいかなる処理を実行することも認めない。暗号化されたストリームの扱いは記憶を有するあらゆる製品について非常に重要となるであろう。

本発明に基づく方法が暗号化されたストリームに適用可能であるのは、それが特定の時間期間にわたる平均ビットレートに基づいており、ストリームの暗号化が平均ビットレートに顕著な影響を与えないからである。コンテンツ項目の境界を検出するためにはビデオストリームを復号する必要はない。必要なら、暗号化されたビデオストリームを境界が検出された部分でのみ復号してもよい。これは、コンテンツ項目の境界を検出するためにストリーム全体を復号またはデコードするよりも効率的であり、データ処理負荷が小さい。

暗号化されたストリームの平均ビットレートは、たとえば、パケットのヘッダからストリームのペイロードを区別することによって計算されうる。たとえば、DVBストリームがスクランブルされていても、ヘッダはエンコードされていなくてもよい。そのことはスクランブルと限定受信システムの場合について、H・ベノワによる書物『デジタルテレビジョン：MPEG-1，MPEG-2およびDVBシステムの原理』、アーノルド、１９９７年（第５章、pp75〜80）において記載されている通りである。

図４は、デジタルビデオストリーム中のコンテンツ項目の境界を検出するための装置のある実施形態を示している。この装置は、ビデオストリームを処理して時間期間にわたってこのビデオストリームの平均ビットレートを決定するよう構成されたプロセッサ４１０、および、コンテンツ項目の境界の指標となる平均ビットレートの変化を検出するための検出器４２０を有していることができる。

プロセッサ４１０は上述したような本発明の方法のステップ１１０から１３０までを実行するよう構成されていることができる。プロセッサは既知の仕方で当業者によって実装されうる。たとえば、プロセッサは、該プロセッサによって実行されて該プロセッサをしかるべき機能ができるようにする命令を保存するメモリを具備することができる。検出器４２０は、本発明のステップ１４０を参照しつつ上に開示した処理を実行するよう構成されていることができる。検出器は、同じプロセッサ４１０を使うことによって実装してもよいし、あるいはたとえばプロセッサによって決定される平均ビットレートを閾ビットレート値と比較してコンテンツ項目の境界が検出されたことを示す信号を生成するよう構成された別個の回路を検出器としてもよい。

プロセッサ４１０は、デジタル放送ビデオストリーム中の少なくとも一つのコンテンツ項目を受信するための受信機４３０、たとえばテレビチューナー、DVB-TまたはDVB-S受信機に結合されていてもよい。そのようなチューナー／受信機は従来からのもので、当業界において既知の仕方で実装されてよい。

当該装置は、ストリーム中の検出された番組の境界に基づいてテレビ番組を記録するためのレコーダ４４０に結合されていてもよい。レコーダは、放送予定データ、たとえば番組の開始および終了を示すEPGデータに基づいてテレビ番組を録画するよう構成されていてもよい。しかし、番組が予定と違う時間に受信機によって受信されるということも起こりうるので、レコーダは必要でないコンテンツを録画することになる。これは上述したようなコンテンツ項目の境界を検出するための装置によって解消されうる。当該装置は、放送予定データがそれぞれのコンテンツ項目の検出された境界に一致しているかどうかを検証するよう構成されてもよい。前記検出された境界と予定データとの間に何らかの相違がある場合、すなわちコンテンツ項目が実際には予定データが示すよりも遅く、あるいは早く受信された場合には、レコーダには境界が判別された位置においてコンテンツ項目の録画を開始するよう命令することができる。さらに、ストリーム中で当該装置によってコマーシャルブロックが検出された場合には、レコーダはそれを飛ばすよう命令されることもでき、そうすれば実際のコンテンツ項目だけが録画されることになる。

さまざまなプログラムプロダクトが本発明の装置および方法の機能を実装することができる。そのようなさまざまなプログラムプロダクトはいくつかの方法で当該ハードウェアと組み合わせることもできるし、さまざまな他の機器内に格納されることもできる。記載された実施形態のさまざまな変形および修正が本発明の概念の範囲内で可能である。よって、たとえば、動詞「有する」およびその活用形の使用は請求項において規定されている以外のその他の要素またはステップの存在を排除するものではない。本発明はいくつかの別個の要素を有するハードウェアによって実装されることもできれば、好適にプログラミングされたコンピュータによって実装されることもできる。いくつかの手段を列挙する装置請求項においては、それらの手段のいくつかが同一のハードウェア要素によって具現されることもできる。

本発明の方法のある実施形態を示す図である。 ビデオストリームの計算された平均ビットレートの例を示す図である。 コンテンツ項目の終わりにおける計算された平均ビットレートの例を示す拡大図である。 本発明を実装するために好適な装置の動作を図解する図である。

Claims (13)

1. デジタルビデオストリームにおけるコンテンツ項目の境界を検出する方法であって、
   ・ある時間期間にわたるビデオストリームの平均ビットレートを決定し、
   ・コンテンツ項目の境界の指標となる平均ビットレートの変化を検出する、
   ステップを有することを特徴とする方法。
2. 前記コンテンツ項目がデジタル放送ビデオストリーム中にあることを特徴とする、請求項１記載の方法。
3. ・前記コンテンツ項目のカットの切れ目を検出し、
   ・検出されたカットの切れ目に合わせて前記時間期間を調整する、
   ステップを有することを特徴とする、請求項１記載の方法。
4. ビットレートの移動平均が決定されることを特徴とする、請求項１記載の方法。
5. 前記コンテンツ項目がコマーシャルであることを特徴とする、請求項１記載の方法。
6. 前記デジタルビデオストリームがMPEG圧縮されていることを特徴とする、請求項１記載の方法。
7. 前記コンテンツ項目が暗号化されたデジタルビデオストリーム中にあることを特徴とする、請求項１記載の方法。
8. ・少なくとも一つのコンテンツ項目の放送の開始および／または終了の指標となる放送予定データを取得し、
   ・前記放送予定データが前記ビデオストリーム中のそれぞれのコンテンツ項目の検出された境界と一致しているかどうかを検証する、
   ステップをさらに有することを特徴とする、請求項１記載の方法。
9. 前記コンテンツ項目の検出された境界の対応する時間期間の中での位置を決定するステップをさらに有することを特徴とする、請求項１記載の方法。
10. デジタルビデオストリームにおけるコンテンツ項目の境界を検出する装置であって、
    ・ある時間期間にわたるビデオストリームの平均ビットレートを決定する手段と、
    ・コンテンツ項目の境界の指標となる平均ビットレートの変化を検出する手段、
    とを有することを特徴とする装置。
11. デジタル放送ビデオストリーム中の少なくとも一つのコンテンツ項目を受信するための、請求項１０記載の装置を有する受信機。
12. ・デジタルビデオストリーム中の少なくとも一つのテレビ番組を受信するための受信機と、
    ・前記コンテンツ項目がテレビ番組である請求項１０記載の装置と、
    ・テレビ番組を、ビデオストリーム中で検出されたその境界に基づいて録画する手段、
    とを有することを特徴とする、少なくとも一つのテレビ番組を録画するためのビデオレコーダ。
13. コンピュータプログラムであって、該コンピュータプログラムを実行中のプログラム可能装置を請求項１０記載の装置として機能できるようにすることを特徴とするコンピュータプログラム。

Images