JP3979566B2

JP3979566B2 - 動画像付帯時変テキスト情報分割装置

Info

Publication number: JP3979566B2
Application number: JP2001326227A
Authority: JP
Inventors: 茂之酒澤; 悟史宮地; 幸一高木; 泰利渡辺; 康弘滝嶋; 正裕和田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-10-24
Filing date: 2001-10-24
Publication date: 2007-09-19
Anticipated expiration: 2021-10-24
Also published as: JP2003134477A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像付帯時変テキスト情報分割装置に関し、特に、動画像・音声、およびそれらと同期して時間的に変化する文字情報（時変テキスト）からなるコンテンツを分割するときに、該時変テキストを視聴者に違和感なく分割できる動画像付帯時変テキスト情報分割装置に関する。
【０００２】
【従来の技術】
動画像、音声、および時変テキスト（すなわち、テロップ（商品名））を表現するための書式として、ＳＭＩＬ言語が存在する。ここに、時変テキストは、時間と共に変化する文字情報を意味し、例えば画面の左方から右方へ流れる文字情報を想定することができる。
【０００３】
これらの表現形式は、一旦作成した後は、そのまま配信されることが前提となっており、時変テキストを、動画像・音声の関係を考慮に入れて分割するコンテンツ分割技術は、提案されていない。
【０００４】
さて、ライブ中継などの場合には、途中から視聴を開始したユーザは、分割後のデータの先頭から受信を開始することになるため、その先頭データはそれ単独で復号可能なデータ形式である必要がある。例えば、動画像データの場合であれば、先頭データはキーフレーム（フレーム内符号化された画像フレーム）の先頭でなければならない。音声データの場合は、それ単独で復号が可能であるような音声フレームの切れ目で分割される必要がある。時変テキストの場合は、それ単独で復号が可能であるデータの塊で表現され、その塊は時間的広がりを持つ。例えばドラマにおける俳優の台詞を時変テキストで表現する場合には、俳優が一息で話す台詞を一塊りとし、俳優が話している時間だけ、その台詞が表示されることになる。
【０００５】
【発明が解決しようとする課題】
しかしながら、携帯電話などのように、通信路容量、蓄積容量に限りがあるような受信装置では、コンテンツ全体をダウンロードするのではなく、それを細分化してダウンロードおよび再生を行う必要が生ずる。また、前記したように、ライブ中継などの場合には、途中から視聴を開始したユーザは、分割後のデータの先頭から受信を開始することになる。
【０００６】
そこで、前記のような場合に、コンテンツ分割をしようとすると、単純に動画像のキーフレーム（フレーム内符号化された画像フレーム）に着目した分割、すなわち該キーフレームの先頭で分割することしか行われず、分割時点における動画像と時変テキストとの関係が不定となり、視聴者に違和感が生ずるという問題があった。
【０００７】
より具体的に説明すると、動画像のキーフレームで分割する場合には、音声データは動画像のキーフレームの１周期（例えば、１ＧＯＰ期間）に比べて短い時間間隔で分割できるため、その先頭データが本来出力されるべき時刻と、動画像の表示時刻とのずれは十分に小さくなる。しかし、時変テキストの場合には、動画像フレームに比べてかなり長い時間間隔でしか分割できないため、時変テキストを表示すべき時刻と、動画像の先頭フレームの表示時刻とが大きくずれてしまう。例えば、俳優が台詞を話している動画像が表示されているにも拘わらず、台詞データが分割の前の方に付属させられて、分割の後ろ側の台詞データがなくなってしまい、台詞が表示されなくなることが起こり得る。
【０００８】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、時変テキストを視聴者に違和感なく分割できる動画像付帯時変テキスト情報分割装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像、音声、およびそれらと同期して時間的に変化する文字情報（以下、時変テキストという）からなるコンテンツの該時変テキストを分割する動画像付帯時変テキスト情報分割装置において、前記時変テキストを、分割点である動画像のキーフレームの先頭に同期させて分割する分割手段を具備し、該分割手段は、前記分割点の時刻に表示される時変テキストを抽出し、該時変テキストを、ある時間解像度単位で時間的変化を伴わない静的時変テキストに展開し、該静的時変テキストの開始時刻および終了時刻を前記分割点の時刻で区切ることにより、前記時変テキストを分割するようにした点に特徴がある。
【００１１】
前記特徴によれば、時変テキストを、動画像の分割点と同期させて分割することができるようになり、時変テキストを視聴者に違和感なく分割できるようになる。
【００１２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明を含む動画像再生装置の概略構成を示すブロック図である。
【００１３】
図示されているように、時変テキスト付きコンテンツファイルが音声／動画／時変テキスト分離部１に入力すると、該分離部１は該時変テキスト付きコンテンツファイルを音声データ、動画像データ、および時変テキストデータに分離する。分離された音声データ２ａ、動画像データ３ａ、および時変テキストデータ４ａは、分割処理部５に入力し、分割処理の指示７があった場合には本発明による分割処理をされ、一方分割処理の指示がなかった場合にはそのまま通過して、音声／動画／時変テキスト多重化部６に送られる。該多重化部６は音声／動画／時変テキストを多重化し、元の時変テキスト付きコンテンツファイルと同様の形式にて出力する。
【００１４】
図２は、前記音声データ２ａ、動画像データ３ａ、および時変テキストデータ４ａの概念図を示す。
【００１５】
図示されているように、音声データ２ａは符号化時の符号化フレームＡ1，Ａ2，Ａ3、・・・から構成されている。
【００１６】
動画像データ３ａは画像列から構成されており、その画像列の中にキーフレーム（フレーム内符号化された画像フレーム）が定期的に挿入されている。図中の１１〜１４は、該キーフレームの先頭を示す。また、あるキーフレームから次のキーフレームまでの期間Ｋはキーフレーム周期（１ＧＯＰ期間）を示す。なお、該キーフレームは、図示されていない動画像符号化装置において挿入される。
【００１７】
また、時変テキストデータ４ａは、一塊りのデータ（例えば、台詞の一塊りのデータ）Ｔ１、Ｔ２、Ｔ３・・・の列から構成されている。図から明らかなように、時変テキストデータの塊Ｔ１、Ｔ２、・・・は、動画像データや音声データに比べて大きな時間的広がりを持つことは明らかである。また、時変テキストは、動画像の意味内容（例えば、ドラマの台詞など）に応じて挿入されるため、時変テキストデータの切れ目は、必ずしも動画像データのキーフレーム位置１１，１２，１３，・・・とは一致しない。
【００１８】
なお、時変テキストでは、文字情報に様々な修飾が施される。該修飾には、(1)時間的挙動を伴うものと、(2)伴わないものとがある。時間的挙動を伴うものには、スクロール、ブリンク、ワイプなどがある。スクロールは文字列が流れていくようにする挙動、ブリンクは文字列が点滅する挙動、ワイプは文字列中の文字色が変化していく挙動（例、カラオケの歌詞）である。一方、時間的挙動を伴わないものには、文字色、背景色、あるいは下線などがある。
【００１９】
次に、本発明の要部である分割処理部５の構成および動作を説明する。図３は、該分割処理部５中の動画像付帯時変テキスト情報分割装置の構成を示すブロック図である。該動画像付帯時変テキスト情報分割装置２０は、分割時変テキスト探索器２１と文字修飾分割器２２から構成されている。
【００２０】
前記分割処理部５は、任意の時間Ｔ’に分割指示信号７が入力すると、前記音声データ２ａ、動画像データ３ａ、および時変テキストデータ４ａを、図２に示されている分割点Ｔで分割する。すなわち、動画像データ３ａの分割点のデータは、それ単独で復号可能なデータ形式である必要があるため、その先頭データがキーフレーム（フレーム内符号化された画像フレーム）となるように分割しなければならない。このため、分割点Ｔはキーフレームの先頭に合わされる。
【００２１】
音声データ２ａは、分割点Ｔが符号化フレームＡ2の途中に来るので、符号化フレームＡ1とＡ2の境界で分割され、Ａ1は分割前のファイルに、またＡ2は分割後のファイルに格納される。
【００２２】
次に、時変テキストデータ４ａに関しては、例えば、図２に示されているように、時変テキストデータ４ａがデータの塊Ｔ２で二つに分割される時、分割の前後で整合性が保たれるように補完する必要が生ずる。また、文字情報の修飾も、分割の前後で連続性を保ちつつ、かつ分割点から受信を初めて開始した場合でも文字情報が失われないようにする必要がある。そこで、本実施形態では、下記のように分割処理を行う。
【００２３】
動画像付帯時変テキスト情報分割装置２０は、分割の対象となる時変テキストを探索する分割時変テキスト探索器２１と、該時変テキストおよびその修飾を分割する文字修飾分割器２２とからなる。
【００２４】
まず、分割時変テキスト探索器２１の動作を、図４のフローチャートを参照して説明する。前提として、分割時刻をＴ、時変テキストデータ４ａの塊Ｔ１、Ｔ２、・・・の各開始時刻をｔi、各終了時刻をｔi'とする。ステップＳ１では、時変テキストデータの塊を表す数ｉを０と置き、ステップＳ２では時変テキストデータ４ａの塊Ｔiを読み込む。ステップＳ３では、分割時刻Ｔがｔi＜Ｔ＜ｔi'を満足するか否かの判断がなされる。この判断が否定の時にはステップＳ４に進んで、全ての時変テキストデータを判定したか否かの判断がなされる。この判断が否定の時には、ステップＳ５に進んでｉに１が加算される。そして、ステップＳ２に戻り、前記した処理が繰り返される。前記ステップＳ３の判断が肯定になった時には、データの塊Ｔiは分割対象であるから、ステップＳ６に進んで処理対象の時変テキストとして保持される。
【００２５】
次に、前記文字修飾分割器２２の動作を説明する。該文字修飾分割器２２の動作手順は、次のようである。
(1)時間挙動のある時変テキストを、時変挙動のない時変テキスト（以下、静的時変テキストという）に展開する。
(2)分割時刻にある静的時変テキストを、分割時刻Ｔで二つに分割する。
【００２６】
前記の手順(1)、(2)を、具体的に説明する。この(1)では、ある時間解像度で時変テキストの状態を見て、その状態の静的時変テキストを順次出力する。
【００２７】
いま、時変テキストデータＴ２として、図５に示されているように、例えば、「ニューヨークで大事件が発生しました」を想定する。この時変テキストデータＴ２は、５文字表示され、毎秒１文字ずつ移動していくとすると、図示されているように、「０秒から１２秒までスクロール、１文字／秒、窓は５文字、ニューヨークで大事件が発生しました」と表すことができる。現象的には、図示されているように、５文字を通す窓Ｗが１秒毎に矢印ａの方向に移動すると考えることができる。なお、時間解像度の定め方は、例えばブリンクの場合はブリンク周期の１／２，ワイプの場合はワイプの１文字移動速度とする。
【００２８】
これを前記(1)の静的時変テキストに展開すると、図５に示されているように、第０秒「ニューヨー」、第１秒「ューヨーク」、第２秒「ーヨークで」、・・・、第１２秒「生しました」となる。この場合の時間解像度は１秒である。
【００２９】
次に、前記(2)では、前記静的時変テキストを、分割時刻Ｔで二つに分割する処理が行われる。
【００３０】
前記データ塊Ｔ２の静的時変テキストが図６に示されているように表されたとすると、前記分割点Ｔは、該静的時変テキストのどこかに対応することになる。今、該分割点Ｔが第４秒「ークで大事」に対応したとすると、前記(2)の処理では、まず、該分割点Ｔが属する静的時変テキストを探索する動作をし、該探索の結果、静的時変テキストとして、例えば第４秒「ークで大事」が検出されると、次いで、該第４秒「ークで大事」を分割点Ｔで分割する処理をする。なお、前記分割点Ｔが属する静的時変テキストを探索する処理は、図４と同様の処理を採用することができる。
【００３１】
この処理は、分割点Ｔを分割前の時変テキストの終了時刻、また該分割点Ｔを分割後の時変テキストの開始時刻とする処理である。前記の例では、４〜５秒の時変テキスト「ークで大事」の時間４〜Ｔを分割前の時変テキストの終了時変テキストとし、時間Ｔ〜５を分割後の時変テキストの開始時変テキストとする処理をする。
【００３２】
以上の分割処理により、時変テキストデータ４ａは、分割の前後で整合性が保たれるように補完され、かつ文字情報の修飾も、分割の前後で連続性を保ちつつ、かつ分割点から受信を初めて開始した場合でも文字情報が失われないようにできるようになる。また、分割点Ｔにおける動画像のキーフレームとの整合も取れるようになる。
【００３３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、任意の時刻に、動画像データおよび音声データと同期させて、時変データを分割できるようになる。このため、時変テキストを視聴者に違和感なく分割できるようになる。
【００３４】
また、携帯電話などのように、通信路容量、蓄積容量に限りがあるような受信装置において、コンテンツを細分化してダウンロードおよび再生をする場合であっても、分割点における時変テキストを視聴者に違和感なく提供できるようになる。
【図面の簡単な説明】
【図１】本発明が適用される再生装置の概略の構成を示すブロック図である。
【図２】音声データ、動画像データ、および時変テキストデータの概念図である。
【図３】本発明の一実施形態の動画像付帯時変テキスト情報分割装置の構成を示すブロック図である。
【図４】図３の分割時変テキスト探索器の動作を示すフローチャートである。
【図５】時変テキストと静的時変テキストの説明図である。
【図６】図３の文字修飾分割器の動作の説明図である。
【符号の説明】
１・・・ファイル仕分け部、２・・・音声復号部、３・・・動画像復号部、４・・・時変テキスト復号部、５・・・分割処理部、６・・・画像表示部、２０・・・動画像付帯時変テキスト情報分割装置、２１・・・分割時変テキスト探索器、２２・・・文字修飾分割器。

Claims

動画像、音声、およびそれらと同期して時間的に変化する文字情報（以下、時変テキストという）からなるコンテンツの該時変テキストを分割する動画像付帯時変テキスト情報分割装置において、
前記時変テキストを、分割点である動画像のキーフレームの先頭に同期させて分割する分割手段を具備し、
該分割手段は、前記分割点の時刻に表示される時変テキストを抽出し、該時変テキストを、ある時間解像度単位で時間的変化を伴わない静的時変テキストに展開し、該静的時変テキストの開始時刻および終了時刻を前記分割点の時刻で区切ることにより、前記時変テキストを分割することを特徴とする動画像付帯時変テキスト情報分割装置。
前記時変テキストは、時間的挙動を伴う修飾および時間的挙動を伴わない修飾の少なくとも一方が施されていることを特徴とする請求項１に記載の動画像付帯時変テキスト情報分割装置。