JP4929128B2 - 録画再生装置 - Google Patents

Description

本発明は、字幕データを有する番組データを録画再生する場合の録画再生装置に関する。

近年の放送では、映像をデジタルデータとして、放送するデジタル放送が主流になってきている。このデジタル化によって、高画質化(ハイビジョン放送)や多チャンネル化、データ放送、移動受信(携帯電話など)向け放送などの新しい放送サービスが可能になると言われている。

デジタルテレビ放送の記憶媒体として、ＤＶＤ(Digital Versatile Disk)などの光ディスクやハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などの、番組を大量に予約することができ、編集や消去を高速かつ容易におこなうことが可能なデジタル記憶媒体が用いられている。ユーザは、記憶媒体の容量が許す限り、取り敢えず興味のある番組は録画をおこない、番組を放送時間に縛られることなく自分の好きな時間に閲覧することが容易になっている。このような状況下では、視聴可能な時間は限られているため、ユーザは、所望のシーンを頭だしして視聴したいと考えることになる。

特許文献１には、映像と共に多重化されて蓄積されている字幕情報を取り出し、文字列探索などをおこなうことにより、ユーザの要求に適合すると思われる要求シーンを抽出する手段が開示されている。

特許文献２では、キーワードの発生頻度などによりレベル付けをおこない、一定以上のレベルのキーワードをインデックス情報として記録媒体に記録することが開示されている。

特開２００５−１１５６０７号公報 特開２００６−１５７１０８号公報

特許文献１に開示された技術では、字幕情報を蓄積し、ユーザの要求に適合すると思われる要求シーンを候補として抽出して、それに対して画像解析や音声解析をして、その結果ユーザの要求を満たすと判断されるシーンを抽出する。このように字幕を利用することにより、従来技術に比べてコンテンツに関する情報を人手により作成する手間を省くことができるとしている。

しかしながら、特許文献１においては、多重化されて蓄積されている字幕情報を取り出して検索をおこなう場合には、字幕を含むパケットの検索に時間が掛かるため、シーン検索に時間が掛かるという課題がある。

また、特許文献２に開示された技術は、キーワードの発生頻度のみによるレベル付けは、番組の内容次第では、インデックスとして必ずしも適切ではないという課題があった。

本発明は、上記課題を解決するためになされもので、その目的は、デジタル放送の番組を録画再生する場合に、字幕を利用した好適なインデックスによる再生することにある。

上記課題を解決するために、本発明の一実施の形態は、例えば特許請求の範囲に記載されるように構成すればよい。

本発明によれば、字幕データを有する番組データをより好適に録画再生することが可能となる。

以下、本発明に係る一実施形態を、図１ないし図９を用いて説明する。

先ず、図１を用いて本発明の一実施形態に係る録画再生装置の構成について説明する。

図１は、本発明の一実施形態に係る録画再生装置の構成を示すブロック図である。

図１に示すように、本実施形態の録画再生装置は、録画再生部１０１と、表示装置１０２と、入力装置１０３と、チューナ１０４と、アンテナ１０５と、ＲＡＭ１０６と、外部記憶装置１０７とを備えている。

録画再生部１０１は、外部記憶装置１０７に放送番組の録画や再生をおこなう部分である。録画再生部１０１は、番組を録画や再生する際の各処理をおこなうための処理ブロックに分かれる。

表示装置１０２は、映像や音声を表示する部分であり、録画されたコンテンツを再生した場合に、映像の表示や音声の出力をおこなう。表示装置１０２は、例えばテレビやパソコンのディスプレイあるいは液晶パネル等によって構成される。

入力装置１０３は、ユーザがこの録画再生装置に対する操作をおこない、ユーザによって入力される操作に関する制御情報やデータを入力する装置であり、例えば、例えば、リモコン、キーボード、マウス、ペン入力装置等のポインティングデバイス、あるいは、液晶タッチパネル等によって実現される。

ＲＡＭ１０６は、揮発メモリであり、録画再生部１０１で処理される一時的なデータやプログラムを記憶する記憶装置である。

チューナ１０４は、放送局より受信した電波より、選局して放送番組データを取得する部分である。

アンテナ１０５は、デジタル放送の帯域に応じて、放送電波を受信する部分である。例えば、地上波デジタル放送用のアンテナでは、ＵＨＦ帯の電波を受信するようになっている。

外部記憶装置１０７は、大容量の記憶容量を有する装置であり、例えば、ＤＶＤなどの光ディスクやＨＤＤである。

次に、録画再生部１０１の各処理ブロックについて説明する。なお、各処理ブロックは、例えば、ＣＰＵなどの汎用プロセッサ上で動作するソフトウェアとしてもよく、ブロック毎に専用のハードウェアで処理してもよい。またソフトウェアとハードウェアが混在する装置であってもよい。

録画再生部１０１は、図１に示されるように、システム制御部１１０と、信号分離部１１１と、字幕解析部１１２と、番組記録部１１３と、チャプタ生成部１１４と、キーワードリスト取得部１１５と、再生位置リスト取得部１１６と、番組再生部１１７と、映像出力部１１８とで構成される。

システム制御部１１０は、ユーザの操作要求を入力装置１０３を介して受けとり、録画再生部１０１の各ブロックの動作を制御する。また、番組の録画および再生等における録画再生部１０１の各ブロックの動作を制御する。

信号分離部１１１は、受信した放送データを、映像データ、音声データ、字幕文データ、番組情報データなどの種類毎に分離して他の処理ブロックに渡す機能を有する。また、他の処理部からデータ送信要求があった場合には指定されたデータを、要求元ヘデータを送信する。さらに、信号分離部１１１にはチューナ１０４から受信した放送番組データや外部記憶装置１０７に保存されている録画番組データ１２１を入力することができる。

再生位置リスト取得部１１６は、システム制御部１１０の指示により、録画番組に対する再生位置リストを映像出力部１１８に出力する。

番組再生部１１３は、システム制御部１１０の指示により、ユーザが指示した番組の外部記憶装置１０７に保存されている録画番組データを１２１を取得して、信号分離部１１１へと入力する。その後、信号分離部１１１から映像ＥＳ（後述）と音声ＥＳ（後述）を取得して復号化をおこない、映像出力部１１８へ映像および音声データを出力する。

番組記録部１１３は、システム制御部１１０を介して、番組の録画要求があった場合に、信号分離部１１１に対して、データストリームを要求して、外部記憶装置１０７へ録画番組データ１２１として保存する。番組記録部１１３は、ユーザの指定によりデータストリーム全てを録画番組データ１２１として保存してもよいし、記憶領域削減のため取捨選択することにより、映像ＥＳや音声ＥＳのみを保存してもよい。

映像出力部１１８は、再生位置リスト取得部１１６および番組再生部１１７の出力を受けて、画面を構成し、表示装置１０２へ映像および音声を出力する。

字幕解析部１１２は、システム制御部１１０から字幕解析要求を受けると信号分離部１１１より字幕ＥＳ（後述）とタイムスタンプを取得する。そして、字幕ＥＳを解析して、ＲＡＭ１０６上に字幕特徴データ１２０として保存する。

チャプタ生成部１１４は、字幕特徴データ１２０と辞書データ１２２を用いて、外部記憶装置１０７に、チャプタデータ１２３を出力する。

字幕特徴データ１２０は、字幕解析部１１２が、字幕ＥＳを解析して、独自の形式でＲＡＭ１０６に保存するデータである。字幕特徴データ１２０の詳細については、後述する。

外部記憶装置１０７には、録画番組データ１２１、辞書データ１２２、チャプタデータ１２３を格納する。

辞書データ１２２は、字幕特徴データ１２０に出力すべきキーワードのリストを並べたデータである。ただし、字幕特徴データ１２０が空白区間を検出する場合のみの処理しかおこなわない等、字幕の内容を解析しない場合には、辞書データ１２２を持たないようにすることも可能である。また、必ずしも外部記憶装置１０７にのみ存在するわけではなく、インターネットや放送波あるいはフラッシュメモリ等の手段により取得してもよい。あるいは、ユーザの操作履歴やＥＰＧから辞書を更新する仕組みを所持してもよい。

録画番組データ１２１は、映像、音声、字幕などの情報を含む番組のデータである。

チャプタデータ１２３は、番組ごとに、字幕に含まれているキーワードに関する情報を保持するデータである。チャプタデータ１２３の詳細については、後述する。

次に、図２および図４を用いて本実施形態の番組録画再生方法に関連するデータ構造について説明する。

図２は、デジタル放送におけるデータストリームのデータ構造を示す図である。

図３は、字幕文データ１２０の形式を示す図である。

図４は、チャプタデータ１２３のデータ構造を示す図である。

デジタル放送では、伝送方式にＭＰＥＧ−２ ＴＳ（Transport Stream）が用いられている。映像データ、音声データおよびデータ放送で用いられている全てのデータは、図２に示されるＴＳパケット２０１で伝送される。

特に、映像データや音声データや字幕文データは、ＥＳ（Elementary Stream）に符号化圧縮され、それぞれ、映像ＥＳ２０２、音声ＥＳ２０３、字幕ＥＳ２０４となる。これらのＥＳには、表示時刻情報などを示すＰＥＳヘッダ２０５が付加されたＰＥＳ（Packetized Elementary Stream）形式でパケット化される。ＰＥＳヘッダ２０５には、タイムスタンプが含まれ、このタイムスタンプによって、各パケットの再生同期をとることが可能である。図２からも分かるように、複数のＴＳパケットのペイロードより、一つのＰＥＳパケットが作られることがある。

図１に示された信号分離部１１１は、図２のデータストリームを解析してパケットの種類毎に分離する。

次に、図３を用いて字幕特徴データ１２０について説明する。

字幕特徴データ１２０は、図３に示されるように、タイムスタンプ３０１と字幕種別情報３０２のテーブル形式で保存される。

タイムスタンプ３０１は、ＰＥＳヘッダ２０５に含まれる字幕表示時刻であり、録画開始時刻からの相対時間で表示される。

字幕種別情報３０２は、字幕ＥＳ２０４に含まれる字幕文３０３を解析した結果を保存する。字幕ＥＳ２０４に含まれるテキスト情報の解析方法及び出力方法については後述する。

また、字幕特徴データ１２０はＲＡＭ１０６の容量に応じて一定量蓄積される。字幕解析部１１２は字幕特徴データ１２０の蓄積されているデータ量を監視して、所定データ量以上がＲＡＭ上に蓄積されたと判断されると、システム制御部に通知する。

次に、図４を用いてチャプタデータ１２３について説明する。

チャプタデータ１２３は、番組毎に生成されるデータであり、自動チャプタを利用した番組再生時に用いられる。

チャプタデータ１２３は、図４に示すように階層構造を持っていて、一番上位のレイヤは、先頭の一つのチャプタヘッダ４０１と、その後に続いて、複数含まれる可能性のあるチャプタセクション４０２からなる。

チャプタヘッダ４０１は、チャプタデータの属性となるデータが含まれており、一つしか含まれない情報、例えば、録画開始時刻や終了時間およびチャプタの指し示す時刻であるＰＴＳ（Presentation Time Stamp）の単位や番組情報等が含まれ、また、チャプタセクション４０２の合計数を含んでいる。番組情報は、ＥＰＧから取得したものの他、画質の設定等の録画時における付加情報等を加えてもよい。またチャプタデータのバージョン番号や作成日時等の情報を保持してもよい。

チャプタセクション４０２は、キーワードの属性やキーワード有用性判定アルゴリズムの違いにより、他のチャプタセクションと区分けして作成される。例えば、番組のカテゴリーが異なる場合には、チャプタ生成アルゴリズムは、異なったものが用いられるので、チャプタセクションは、それぞれの番組のカテゴリーに対応して作成される。例えば、スポーツ番組というカテゴリーと、ニュース番組というカテゴリーは、それぞれのチャプタ生成アルゴリズムは、異なるのでそれぞれ別のチャプタセクションが作成される。

また、各チャプタセクションは、図４に示すように、階層構造を持った複数のセグメントに区分けされる。先頭に一つのチャプタヘッダ４０３と、複数含まれる可能性のあるＰＴＳ部４０４が続いて構成される。

セクションヘッダ４０３は、チャプタセクションの属性を示すセグメントである。セクションヘッダ４０３は、例えば、セクションＩＤ４０５とセクションサイズ４０６とＰＴＳタイプ４０７とＰＴＳ数４０８とすることができる。

セクションＩＤ４０５は、セクションの属性を示すＩＤ番号であり、同一チャプタデータに含まれるチャプタセクション毎にユニークである。チャプタデータを扱う番組再生装置は、セクションＩＤを調べて当該チャプタセクションの使用方法を決定するため、複数の番組の各チャプタデータはチャプタ生成アルゴリズムを用いた場合には、同じセクションＩＤを使用するのが好ましい。

セクションサイズ４０６は、当該セグメントの全体のサイズ示している。またＰＴＳタイプ４０７は、ＰＴＳ部４０４に含まれるＰＴＳの表現方法を区別するコードである。ＰＴＳの表現方法の例は、後述する。またＰＴＳ数４０８は当該セグメントに含まれているＰＴＳ部の数を示す。

ＰＴＳ部４０４は、チャプタ位置、あるいは、検出したシーンの位置を示している。ＰＴＳ部４０４は、セクションヘッダ４０３に含まれるＰＴＳタイプ４０７により格納方法が異なる。例えば、ＰＴＳ４０７においてタイプ１が指し示されていれば、チャプタ位置のみが格納され、また、タイプ２が指し示されている場合には、シーンの開始・終了時刻の対として格納されるものとする。

次に、図５ないし図９を用いて本発明の一実施形態に係る番組録画再生方法の各部の処理について説明する。

図５は、字幕解析部１１２が字幕特徴データを生成する処理を示すフローチャートである。

図６は、字幕特徴データ出力詳細の詳細を示すフローチャートである。

図７は、チャプタ生成部１１４がチャプタデータを生成する処理を示すフローチャートである。

図８は、番組録画時の処理を示すフローチャートである。

図９は、字幕を利用した自動チャプタ再生をおこなう番組再生画面のユーザーインタフェイスの例を示す図である。

先ず、図５を用いて字幕解析部１１２が字幕特徴データを生成する処理について説明する。

字幕解析部１１２は、システム制御部１１０により字幕特徴データの生成する処理の開始を指示される。

チャプタ生成部１１２は、最初に外部記憶装置１０７より辞書データ１２２を取得する（ステップ５０１）。ただし辞書データ１２２を使用しないで字幕特徴データを生成する場合には本ステップは省略される。

次に、字幕ＥＳ及びタイムスタンプを取得する（ステップ５０２）。字幕ＥＳは、図２に示した放送データを解析することにより信号分離部１１１から取得する。同様に字幕ＥＳに対するタイムスタンプについてもＰＥＳヘッダ２０５より取得する。

次に、字幕ＥＳを解析してデータユニットを１個取得する（ステップ５０３）。データユニットは、ＡＲＩＢ規格に記述されている字幕ＥＳの構成要素の一つであり、字幕ＥＳ中に複数言語の字幕文を含む場合には、それぞれの言語毎に別データユニットしてグループ分けされている。言語種別に関してはデータユニットに含まれているデータグループＩＤにより識別することができる。

次に、データユニットを解析してデコード処理を行う（ステップ５０４）。デコード処理を行い、図３に示した字幕文３０３を取得する。

次に、ステップ５０４で取得した字幕文３０３とステップ５０２で取得したタイムスタンプを用いて字幕特徴データ出力処理を行う（ステップ５０５）。字幕特徴データ出力処理については図６を用いて詳細に説明する。

次に、ステップ５０２で取得した字幕ＥＳのうち未処理のデータユニットが存在するか否かを判定する。未処理のデータユニットが存在した場合にはステップ５０３に戻り、次のデータユニットに対する処理を行う。但し特定の言語を含むデータユニットのみを処理するようにしてもよい。

次に図６を用いて字幕特徴データの出力処理の詳細について説明する。最初にステップ５０３で取得した字幕文３０３についてテキストを含んでいるか否かを判定する（ステップ６０１）。

データユニットには図３の字幕文３０３に示すように「こんにちは〜」といった文字列が含まれる。また一方で文字色変更や表示字幕文を消去といった、字幕表示方法に関する制御データやビットマップとして描画される記号データが含まれる。

ステップ６０１において、ステップ５０３で取得して字幕文３０３についてテキスト部分を含んでいると判定された場合には、有効キーワード判定処理を行う（ステップ６０２）。

有効キーワード判定処理は、例えば辞書データ１２２に含まれる各単語データやあるいは初めからシステムに備わっている検出語句が含まれているかどうかを判定する。

例えば音楽番組の場合、番組中が複数の曲目で構成されており、曲の先頭に自動的にチャプタをつけるものとする。本ステップでは、曲の区切りとして想定される語句（「次の曲どうぞ。」等）、あるいは音楽が流れている場合に表示される「♪」といった記号が含まれているか否かを判定する。
次にステップ６０２における判定結果において、有効キーワードが含まれていると判定された場合（ステップ６０３）には字幕種別情報３０２に出力される（ステップ６０４）。またステップ６０１において、ステップ５０３で取得して字幕文３０３についてテキスト部分を含んでないと判定された場合にも同様の処理を行う。

字幕種別情報３０２は、例えば図３に示すように複数種別を格納するために、それぞれの種別の含有情報をビットフラグとして表現し、それを１０進数等でコード化して格納する。例えばテキスト部分を含むデータの場合に１ビット目を１とする。また制御コードのみを含むデータの場合には３ビット目を１とする。また音楽に関するキーワードを含む場合には、２ビット目を１とする。またその他にも他のキーワードを含む場合には、何れかのビットを１とする。またビットマップ記号等に関しても同様に音楽に関する記号については２ビット目を１とし、ビットマップ記号が含まれたことを示すために何れかのビットを１とする。

図３の例で説明すると、最初にタイムスタンプ３に文字色変更といった制御データのみを含む字幕ＥＳが取得された場合には、制御コードのみを含んでいたことを示すように下位３ビット目を１とする。次のタイムスタンプ４に「こんにちは〜」といったテキストを含む字幕文データを取得した場合には、テキスト部分を含んでいるといして下位１ビット目を１とする。続いてタイムスタンプ１０２に「♪」の音楽記号を含むテキスト部分を含む字幕文データを取得した場合には、テキスト部分と音楽に関するキーワードを含むものとして下位１ビット目と２ビット目を同時に１とする。続いてタイムスタンプ２９９に「次の曲をどうぞ」といったテキスト部分と音楽に関するキーワードを含むものとして下位１ビット目と２ビット目を同時に１とする。続いてタイムスタンプ８０２において「今週のランキング」といったテキスト部分を含む字幕文データを取得した場合には、辞書キーワード１２２に「ランキング」といったキーワードが含まれ合致したとして、下位１ビット目と下位６ビット目を同時に１とする。

以上のようにして、字幕種別情報３０２には字幕文データの種類や辞書データ１２２の各キーワードに合致したか否かの情報を同時に格納する。字幕種別情報３０２を図３のようにビットフラグで格納してもよいが、例えば辞書データが巨大になった場合にはビット表現ではなく、含まれていると判定された場合のみ辞書キーワード番号のみを別データとして表現してもよい。また例のように「♪」や「次の曲どうぞ」といった同じカテゴリーで検出されるキーワードに関しては、同じビットに割り当てられるのが後々のチャプタ生成部での処理等を考慮すると好ましい。

以上のようにして、ステップ６０４の字幕種別情報の出力処理を行う。次に、未適応の有効キーワード判定方法があるか否かを判定する（ステップ６０５）。またステップ６０３において有効キーワードとして判定されなかった場合には直接ステップ６０５に進む。有効キーワード判定方法が残っていると判定された場合には、ステップ６０２に戻り次のキーワード判定法を適用する。複数のキーワード判定方法を行った場合には結果を以前の字幕種別情報にマージされる。
ステップ６０５において全ての有効キーワード判定方法を行ったと判定された場合には処理を終了する。またステップ６０１においてテキスト部分を含んでいないと判定された場合にはステップ６０４の字幕種別情報への出力処理を行った後に、処理を終了する。

次に図７を用いてチャプタ生成部１１４がチャプタデータを生成する処理について説明する。

チャプタ生成部１１４は、システム制御部１１０によりチャプタデータ生成処理の開始を指示される。

チャプタ生成部１１４は、最初に番組情報を取得する（ステップ７０１）。番組情報は、デジタル放送の電子番組表（ＥＰＧ）等であり、図２に示した放送データや録画番組データ１２１を解析することにより信号分離部１１１から取得する。

次に図３に示した字幕特徴データをタイムスタンプ３０１と字幕種別情報３０２を一つのレコードとして取得する（７０２）。

次に、取り出した字幕特徴データがチャプタ抽出ルールと合致するかどうかを判定する（ステップ７０３）。チャプタ抽出ルールは、入力された字幕特徴データ１２０が特定パターンであるかを判定するために用いられるルールであり、ステップ７０２で取得した１レコードに対して、前後の字幕種別情報やその時間間隔を評価する。

例として音楽番組に対するチャプタ抽出ルールを説明する。音楽番組では例えば曲目の先頭部分にチャプタ設定するルールを適用する。そこで字幕特徴データを１レコードずつ評価して音楽に関するキーワードを含む字幕特徴データを見つける。図３のような字幕特徴データが得られた場合、タイムスタンプ１０２が条件に合致する。次に合致した前記字幕特徴データの次のレコードのタイプと時間間隔を評価する。図３のような字幕特徴データの場合には、次のレコードは文字列であり、時間間隔が２９９−１０２＝１９７秒となっている。音楽キーワードが出現して一定以上の間隔で字幕特徴間隔が得られなかった場合は、曲のシーンである可能性が高いため、タイムスタンプ１０２のデータがチャプタ抽出ルールと合致したことになる。

チャプタ抽出ルールは他にも番組のカテゴリー毎に複数のルールを持つことが可能である。特徴データとして所持している辞書キーワードとのマッチング状況や文字列のない一定区間の検出を行うことにより、辞書キーワードの出現したところをチャプタとして設定するルールや、ＣＭ区間と思われる文字列がない区間が一定以上続いた場合には、次の文字列部分の先頭にチャプタを設定するといったルールを設ける。これらのルールを複数適用することが可能である。

ステップ７０３においてチャプタ抽出ルールと合致すると判定された場合には、チャプタデータに出力される（ステップ７０４）。図３の場合ではタイムスタンプ１０２のデータがチャプタ抽出ルールと合致したこととなるので、図４のチャプタデータに対して、音楽番組セクションのＰＴＳ部にタイムスタンプ１０２が出力される。複数カテゴリーのルールを適用した場合には、合致したカテゴリーセクションにおけるＰＴＳ部にそれぞれ出力する。

また図４のチャプタデータのＰＴＳ部にはＰＴＳタイプ４０７の表現により、チャプタの開始ポイントだけでなく、開始・終了ポイントして格納できる。ＰＴＳの格納方法はカテゴリー毎のチャプタ抽出ルールにより制御される。

ステップ７０４においてチャプタデータを出力した後、及びステップ７０３でチャプタ抽出ルールと合致しないと判定された場合には、次の字幕特徴データレコードが存在するか否かを判定する（ステップ７０５）。残りの字幕特徴データがあると判定された場合にはステップ７０３に戻り、次のレコードについて評価を行う。ステップ７０５において、全ての字幕特徴データについて処理を行ったと判定された場合には、チャプタ生成部１１４は処理を終了する。

チャプタ抽出ルールは、図１に示されていないが、チャプタ生成部１１４の制御データとして内部に保持してもよいし、外部記憶装置１０７に格納して必要に応じて取り出すようにしてもよい。

もし、その番組のカテゴリーが多くて、チャプタ抽出ルールを判定するための計算量やチャプタデータ１２３が大きくなる場合には、カテゴリーを限定する手段を適用して出力カテゴリーを削減してもよい。例えば、デジタル放送のＥＰＧに含まれる番組情報には、一つの番組に対し複数のジャンルコードを付与していることがある。よって、これらのジャンルコードから得られるジャンルに適したアルゴリズムによる有効キーワード判定をおこないそれぞれジャンルコード毎に、別のチャプタセクション４０２を構成するように出力してもよい。

また全てのカテゴリーに対するルールを設ける必要はなく、共通ルールカテゴリー用のチャプタ抽出ルールを設けてもよい。例えばＣＭ区間と思われる部分の終了位置のみにチャプタを設定するといったチャプタ抽出ルールとする。例えば音楽番組以外は共通ルールを適用するといった運用も可能である。

次に、図８を用いて番組録画時の録画再生装置の処理について説明する。

ユーザが番組の録画を指示したときには、図８に示す処理に従い、録画番組データ１２１の出力と、字幕特徴データ１２２及びチャプタデータ１２３の生成をおこなう。

先ず、番組の予約録画やユーザの録画指示により、システム制御部１１０は、番組録画状態への遷移を指示する。信号分離部１１１は、放送データを受信すると、図２のような形式の放送データに対して分析および録画前に登録されている転送要求に基づき分離処理をおこない（ステップ８０１）、番組記録部１１３および字幕解析部１１４への所望データの転送処理をおこなう。そして、番組記録部は、外部記憶装置１０７に録画番組データ１２１の記録をおこなう（ステップ８０２）。

一方、システム制御部１１０は、ユーザの録画開始時の設定、あるいはシステムの録画方法設定により自動チャプタを行うかどうかの判定を行う（ステップ８０３）。もし自動チャプタ生成がＯＮであると判定された場合には、字幕解析部１１２に字幕ＥＳ２０４が入力され、字幕解析部１１２は字幕特徴データ１２２を出力する（ステップ８０４）。

ステップ８０３で自動チャプタがＯＦＦと判定された場合、及びステップ８０４を終えた後には、番組が終了したか否かを判定し（ステップ８０５）、番組が終了したときには、システム制御部１１０は、字幕特徴データが一定量以上蓄積されたか否かを判定する（ステップ８０６）。一定量以上蓄積された場合には、チャプタチャプタ生成部１１４はＲＡＭ１０６上の字幕文データ１２２を用いて、チャプタデータ生成をおこない（ステップ８０７）、処理を終了する。ステップ８０６において一定量以上蓄積されていないと判定された場合には、チャプタチャプタ生成部１１４はチャプタデータ生成部はチャプタデータ生成処理を行わず、処理を終了する。ステップ８０５において番組が終了していないと判定されたときには、その後、再び放送データの受信待ち状態となる（ステップ８０８）。

次に、図９を用いてユーザが字幕を利用した自動チャプタ再生をおこなう際のユーザーインタフェイスについて説明する。

本実施形態のチャプタ再生がおこなえる番組再生画面９００は、プログレスバー表示部９０１と、自動チャプタ再生方法表示部９０２と番組映像表示部９０３で構成されている。

本実施形態の自動チャプタ再生がおこなえる番組再生画面９００は、ユーザが入力装置１０３を介して、番組再生を指示したときに起動される。

プログレスバー表示部９０１には、番組全体長を示すプログレスバーと、当該番組のチャプタデータ１２４の内容に応じたチャプタの再生位置がチャプタ位置９０４として表示される。

番組再生を指示されると、再生位置リスト取得部１１６に対して当該番組のカテゴリー情報が入力される。再生位置リスト取得部１１６は、当該番組のチャプタデータ１２３の中からチャプタセクション４０２を選択して、チャプタセクションに含まれる全てのＰＴＳユニットを取得する。続いて取得したＰＴＳユニット６０９を映像出力部１１８に渡す。映像出力部１１８は取得したＰＴＳユニット６０９の対応するチャプタの再生位置をプログレスバー上に表示する。ここで、映像出力部１１８は、ＰＴＳユニットが図４のタイプ１（出現時刻のタイプ）である場合には、出現位置のみをプログラスバーの基準色とは別の色で表示する。一方、ＰＴＳユニットが図６のタイプ２である場合には、開始・終了時刻で囲まれた区間をプログラスバーの基準色とは別の色で表示する。

チャプタデータは複数セクションの格納をサポートしており、チャプタデータ生成時にシステムがサポートしている全てのカテゴリーが出力されている可能性がある。再生位置リスト取得部１１６は、番組再生時には例えば、デジタル放送のＥＰＧに含まれる番組情報に付与されるジャンルコードに応じて、これらのジャンルコードから得られるジャンルのチャプタセクション４０２を特定して、特定チャプタセクション中のＰＴＳユニットのリストを取得してもよい。

この場合、例えば、当該ジャンルコードの種類に「音楽」「ニュース」「スポーツ」というカテゴリーがある場合に、「音楽」の場合は、チャプタセクション４０２のうちチャプタセクション１を取得し、「ニュース」の場合は、チャプタセクション４０２のうちチャプタセクション２を取得し、「スポーツ」の場合は、チャプタセクション４０２のうちチャプタセクション３を取得するなど、ジャンルコードに応じて取得するチャプタセクションを選択してもよい。この場合は、番組の種類に応じて、それぞれ異なるチャプタを選択することが可能となり、より番組内容に適したチャプタ位置を用いた再生が可能となる。

また、デジタル放送のＥＰＧに含まれる番組情報に付与されるジャンルコードには複数ジャンルが含まれている可能性がある。そのような場合に、再生位置リスト取得部１１６は一部あるいは全てのジャンルコードを調査して、ジャンルコードとマッチする全てのチャプタセクションのＰＴＳユニットを取得して表示してもよい。

この場合、例えば、当該ジャンルコードの種類に「音楽」「ニュース」「スポーツ」がある上述の例においては、ある番組のジャンルコードに「ニュース」と「スポーツ」の両方が含まれる場合には、チャプタセクション４０２のうちチャプタセクション２とチャプタセクション３の両方を取得すればよい。この場合は、番組番組のジャンルコードに複数の種類のコードがある場合に、その複数の種類の両方に対応したチャプタをもれなく用いることが可能となる。

あるいはチャプタデータ１２４に含まれるカテゴリーが最初に見つかった時点でチャプタセクションの探索を終えてもよい。

この場合、例えば、当該ジャンルコードの種類に「音楽」「ニュース」「スポーツ」がある上述の例においては、ある番組のジャンルコードに「ニュース」と「スポーツ」の両方が含まれ、先に「ニュース」が見つかった場合には、チャプタセクション４０２のうちチャプタセクション２を取得すればよい。この場合は、より簡便で、高速に処理を行うことが可能となる。

あるいは最初のジャンルコードのみを調べて、マッチすれば当該チャプタセクションのＰＴＳユニットを取得し、マッチしなければ共通ルール用のチャプタセクションのＰＴＳユニットを取得してもよい。この場合も、より簡便に処理を行うことが可能である。

また、ジャンルコード別のチャプタセクション以外に、共通ルール用のチャプタセクションを用意し、ジャンルコードが見つからない場合には共通ルール用のチャプタセクションを取得してもよい。

またチャプタ生成部１１４によるチャプタ生成時において、例えば、デジタル放送のＥＰＧに含まれる番組情報に付与されるジャンルコードを用いて、その番組のカテゴリーを特定し、その特定カテゴリーのルールを用いてチャプタを生成してもよい。すなわち、チャプタ生成時にチャプタを生成する番組情報に付与されるジャンルコードに応じてチャプタの生成ルールを変更してもよい。この場合には、再生時には、チャプタセクションを探索せず再生しても、カテゴリーごとに好適な再生を行うことが可能である。すなわち、カテゴリーごとに好適な再生を行うことができながら、再生時の処理量を低減することが可能となる。

またユーザの指定によりカテゴリーを選択するためのオプション画面を表示してもよい。その場合には当該カテゴリーとマッチするチャプタセクションのＰＴＳユニットを取得する。

またシステムの都合により、再生位置リスト取得部１１６より取得された各チャプタ位置を評価し、前後のチャプタが一定以下の間隔となった場合には、一つのチャプタとして纏める。チャプタを纏める方法は、単純に前方あるいは後方の一定方向のチャプタに纏めるとしても良いが、番組カテゴリー毎に纏め方を異なる方法にしてもよい。例えば音楽番組において、曲の先頭位置とＣＭ位置を同時にチャプタとして表示する場合に、ＣＭ終了後のすぐ後に曲の先頭位置が検出された場合には、後方に位置する曲の先頭位置で纏め、その他のカテゴリーで辞書データ１２４に含まれる出現位置のチャプタ位置を表示する場合には、前方のチャプタに纏めるようにしても良い。

プログレスバー表示部９０１は、入力装置１０３を介してユーザの次のチャプタ位置へのジャンプ要求を受けると、現在の再生位置から最も近くの後方に位置するチャプタにジャンプして再生することができる。また同様に前のチャプタ位置へのジャンプ要求を受けると、現在の再生位置から最も近傍の前方に位置するチャプタにジャンプして再生することができる。但し、チャプタ位置からある一定時間以内の再生位置を再生しているときに前のチャプタ位置へのジャンプ要求を受けた場合には、前方２個分のチャプタへジャンプする。

自動チャプタ再生方法表示部９０２はユーザに自動チャプタの操作方法を示すものである。例えば自動チャプタが可能な番組を再生するときのみ表示するようにすることが可能である。また再生が始まってから一定時間後に、プログレスバー表示部９０１と共に消去するようにすれば、視聴画面を邪魔しないようにすることが可能である。ユーザがジャンプ要求や早送りや早戻しといった特殊操作を行った際にのみ表示し直すようにしても良い。

以上により、ユーザが番組再生を選んだ際に自動チャプタ再生を行うことができるようになる。

なお、プログレスバー表示部９０１及びチャプタ位置９０４のうち、自動チャプタ再生時のみ表示するものや自動チャプタ再生方法表示部９０２は、いわゆる「追っかけ再生」すなわち、番組記録部における記録と、番組再生部における再生を並行して行う場合には、表示しない設定としてもよい。

本実施形態における録画再生装置は、字幕データを録画中に解析して、字幕特徴データ１２２に生成し、録画直後にチャプタデータ１２３を生成しているが、例えば深夜の空き時間などユーザが未使用時に字幕特徴データ１２２とチャプタデータ１２３の生成を行うようにしてもよい。

また、本実施形態における録画再生装置は、ＲＡＭ１０６の使用量を節約するために図３のように字幕文そのものでなく字幕種別情報を所持する字幕特徴データと保存しているが、大容量ＲＡＭが使用できる場合には、全字幕文データを保存して、チャプタ生成部１１４で解析するようにしてもよい。またＲＡＭ容量が小さく、録画中に字幕特徴データ１２２がＲＡＭに格納できなくなった場合には、字幕解析部１１２において、字幕特徴データ出力を制限するようにしてもよい。このような場合にはチャプタ生成部１１４は、録画番組の途中までの分のチャプタを生成するようになる。

また、本実施形態における録画再生装置は、チャプタデータ１２３をデジタル放送の字幕データから生成しているが、映像や音声を解析することにより、字幕以外でのシーン検出結果をチャプタデータ１２３に反映してもよい。例えば、映像中のテロップ認識結果やＣＭ検出結果等を用いて別のチャプタセクションとして出力するようにしてもよい。

また、実施形態における録画再生装置、録画番組データ１２１を外部記憶装置１０７から別の記録媒体に複製や移動をおこなう場合には、チャプタデータ１２３を同時に移動するようにしてもよい。例えば、再生専用プレーヤにおいても、再生位置取得部１１６を実装することにより、字幕を利用した自動チャプタ再生が可能となる。

本発明の一の実施形態に係る録画再生装置の構成を示すブロック図である。 デジタル放送におけるデータストリームのデータ構造を示す図である。 字幕文データ１２０の形式を示す図である。 チャプタデータ１２３のデータ構造を示す図である。 チャプタ生成部１１４がチャプタデータを生成する処理を示すフローチャートである。 チャプタデータ出力処理の詳細を示すフローチャートである。 番組録画時の処理を示すフローチャートである。 番組録画時の処理を示すフローチャートである。 字幕を利用したチャプタ再生をおこなう番組再生画面のユーザーインタフェイスの例を示す図である。

符号の説明

１０１…録画再生部、１０２…表示装置、１０３…入力装置、１０４…チューナ、１０５…アンテナ、１０６…ＲＡＭ、１０７…外部記憶装置、
１１０…システム制御部、１１１…信号分離部、１１２…字幕解析部、１１３…番組記録部、１１４…チャプタ生成部、１１６…再生位置リスト取得部、１１７…番組再生部、１１８…映像出力部、
１２０…字幕文データ、１２１…録画番組データ、１２２…辞書データ、１２３…チャプタデータ、
９００…番組再生画面、９０１…プログレスバー表示部、９０２…自動チャプタ再生方法表示部、９０３…番組映像表示部、９０４…チャプタ位置。

Claims (5)

1. デジタル放送を受信して、放送データの種類に応じて分離する信号分離部と、
   前記信号分離部より入力された字幕ＥＳ（Elementary Stream）を解析して字幕文の種別を含む字幕種別情報および表示時刻からなる字幕特徴データを生成する字幕解析部と、
   前記信号分離部より入力された放送データを録画データとして、記憶装置に記録する番組記録部と、
   前記字幕特徴データを解析して、ユーザが指定したチャプタにより番組を再生するためのチャプタデータを生成して、前記記憶装置に出力するチャプタ生成部と、
   前記チャプタデータから番組のカテゴリーに応じたチャプタ位置を検索して再生位置リストを取得する再生位置リスト取得部と、
   前記記憶装置に記録される前記録画データを再生し、前記再生位置リスト取得部が取得した再生位置リストに含まれる再生位置へ再生位置を変更する再生を行う番組再生部と、を有し、
   前記再生位置リスト取得部は、前記デジタル放送に含まれる前記番組に付されるジャンルコードに対応するそれぞれの再生位置リストを取得することを特徴とする録画再生装置。
2. デジタル放送を受信して、放送データの種類に応じて分離する信号分離部と、
   前記信号分離部より入力された字幕ＥＳ（Elementary Stream）を解析して字幕文の種別を含む字幕種別情報および表示時刻からなる字幕特徴データを生成する字幕解析部と、
   前記信号分離部より入力された放送データを録画データとして、記憶装置に記録する番組記録部と、
   前記字幕特徴データを解析して、ユーザが指定したチャプタにより番組を再生するためのチャプタデータを生成して、前記記憶装置に出力するチャプタ生成部と、
   前記チャプタデータから番組のカテゴリーに応じたチャプタ位置を検索して再生位置リストを取得する再生位置リスト取得部と、
   前記記憶装置に記録される前記録画データを再生し、前記再生位置リスト取得部が取得した再生位置リストに含まれる再生位置へ再生位置を変更する再生を行う番組再生部と、を有し、
   前記番組再生部は、前記デジタル放送に含まれる前記番組に付されるジャンルコードに対応するそれぞれの再生位置リストに基づいて、前記録画データの再生位置を変更することを特徴とする録画再生装置。
3. デジタル放送を受信して、放送データの種類に応じて分離する信号分離部と、
   前記信号分離部より入力された字幕ＥＳ（Elementary Stream）を解析して字幕文の種別を含む字幕種別情報および表示時刻からなる字幕特徴データを生成する字幕解析部と、
   前記信号分離部より入力された放送データを録画データとして、記憶装置に記録する番組記録部と、
   前記字幕特徴データを解析して、ユーザが指定したチャプタにより番組を再生するためのチャプタデータを生成して、前記記憶装置に出力するチャプタ生成部と、
   前記チャプタデータから番組のカテゴリーに応じたチャプタ位置を検索して再生位置リストを取得する再生位置リスト取得部と、
   前記記憶装置に記録される前記録画データを再生し、前記再生位置リスト取得部が取得した再生位置リストに含まれる再生位置へ再生位置を変更する再生を行う番組再生部と、を有し、
   前記再生位置リスト取得部は、前記デジタル放送に含まれる前記番組に付されるジャンルコードが複数種類ある場合に、前記複数種類のジャンルコードに対応する複数種類の再生位置リストをともに取得することを特徴とする録画再生装置。
4. デジタル放送を受信して、放送データの種類に応じて分離する信号分離部と、
   前記信号分離部より入力された字幕ＥＳ（Elementary Stream）を解析して字幕文の種別を含む字幕種別情報および表示時刻からなる字幕特徴データを生成する字幕解析部と、
   前記信号分離部より入力された放送データを録画データとして、記憶装置に記録する番組記録部と、
   前記字幕特徴データを解析して、ユーザが指定したチャプタにより番組を再生するためのチャプタデータを生成して、前記記憶装置に出力するチャプタ生成部と、
   前記チャプタデータから番組のカテゴリーに応じたチャプタ位置を検索して再生位置リストを取得する再生位置リスト取得部と、
   前記記憶装置に記録される前記録画データを再生し、前記再生位置リスト取得部が取得した再生位置リストに含まれる再生位置へ再生位置を変更する再生を行う番組再生部と、を有し、
   前記番組再生部は、前記デジタル放送に含まれる前記番組に付されるジャンルコードが複数種類ある場合に、前記複数種類のジャンルコードに対応する複数種類の再生位置リストの両者のリストに基づいて、前記録画データの再生位置を変更することを特徴とする録画再生装置。
5. デジタル放送を受信して、放送データの種類に応じて分離する信号分離部と、
   前記信号分離部より入力された字幕ＥＳ（Elementary Stream）を解析して字幕文の種別を含む字幕種別情報および表示時刻からなる字幕特徴データを生成する字幕解析部と、
   前記信号分離部より入力された放送データを録画データとして、記憶装置に記録する番組記録部と、
   前記字幕特徴データを解析して、ユーザが指定したチャプタにより番組を再生するためのチャプタデータを生成して、前記記憶装置に出力するチャプタ生成部と、
   前記チャプタデータから番組のカテゴリーに応じたチャプタ位置を検索して再生位置リストを取得する再生位置リスト取得部と、
   前記記憶装置に記録される前記録画データを再生し、前記再生位置リスト取得部が取得した再生位置リストに含まれる再生位置へ再生位置を変更する再生を行う番組再生部と、を有し、
   前記チャプタ生成部は、前記デジタル放送に含まれる前記番組に付されるジャンルコードに応じて、前記チャプタの生成ルールを変更することを特徴とする録画再生装置。

Images