JP2005124169A - 吹き出し字幕付き映像コンテンツ作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体 - Google Patents

Abstract

【課題】 発話者と字幕との関係が分かりやすく、かつ全体の画面が見やすい映像コンテンツの作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体を提供すること。
【解決手段】 コンテンツ作成装置１は、吹き出しによる字幕付きの映像コンテンツを提供するために必要な吹き出しデータを作成する。吹き出しデータには、吹き出しを表示すべき時間の情報、吹き出しを表示する領域の情報、吹き出しの形状の情報、および吹き出しに挿入する字幕文字の情報の内、少なくとも一つの情報が格納されている。コンテンツ送信装置２は、吹き出しデータとコンテンツデータとを多重化して、放送装置３に放送させる。コンテンツ再生装置４は、吹き出しデータを解析して、吹き出し画像のための信号および字幕文字のための信号を生成し、映像画像と合成して、コンテンツ表示装置５に吹き出しによる字幕付きの映像を表示させる。
【選択図】 図１

Description

本発明は、映像コンテンツの作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体に関し、より特定的には、字幕付きの映像コンテンツの作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体に関する。

従来、外国語の映画の内容を理解するために、登場人物による会話を映像画面の上下左右の辺りに母国語の文字で表示していた。これによって、視聴者は、登場人物が外国語で会話していても、その内容を理解することができた。また、最近では、演出上の理由から、登場人物が母国語で会話しているような場合であっても、画面の上下左右の辺りに、登場人物がしゃべった内容を文字で表示するといったテレビ放送も行われている。また、登場人物の会話の内容以外に、画面の説明のために、画面の上下左右の辺りに文字が表示されることがある。このように、画面の上下左右の辺りに表示される文字のことを字幕という。映像内に字幕が表示されることによって、視聴者は、映像内の登場人物の会話を理解したり、映像の内容を理解したりすることができる。

近年では、画面中の発話者と字幕との関係を分かりやすくするために様々な方法が提案されている。たとえば、発話者が女性の場合には、字幕の色を暖色にし、発話者が男性の場合には、字幕の色を寒色にしたり、発話者の氏名を表示したりする方法がある。

また、画面中の発話者と字幕との関係を視覚的に分かりやすくするために、発話者の口元に字幕を表示するような方法も提案されている（特許文献１参照）。特許文献１に係る装置は、画面中の発話者の位置、その発話者の口の位置、発話者の体の向きを３次元的に計算する。さらに、当該装置は、画面中の発話者が発声している方向を３次元的に計算する。当該装置は、その発音方向を表示画面に２次元化して基準線とし、その基準線上に発話文字を表示する。
特表平９−５０５６７１号公報

一般に、字幕がある場合でも、視聴者は、音声を出力させ、字幕と共に、音声の高低等の特徴を認識して、発話者が誰であるのかを認識している。そのため、従来のような字幕を用いた場合、音声を完全に消してしまうと、視聴者は、画面上、誰が発話しているのかを理解することができない。このことは、画面上、発話者が複数存在する場合、特に問題となる。

また、従来のように、文字の色を変化させることによって、発話者が誰であるのかを示唆することもできるが、この方法はあくまでも発話者が誰であるかについて視聴者にヒントを与えているに過ぎず、音声を消してしまっている場合、視聴者は、発話者を完全に理解することができない場合がある。

また、発話者の氏名を表示させたりすることによって、発話者が誰であるのかを示すこともできるが、文字数が増えるなど、デメリットが大きい。

さらに、特許文献１のように、発話者の口元から字幕を基準線に沿って表示する方法にも、文字が発話者以外の登場人物の顔を隠してしまったり、重要な画面を隠してしまったりするなどの問題がある。

このように、従来の字幕を用いた映像の表示方法には、発話者と字幕との関係が分かりにくいという問題があり、さらに、発話者と字幕との関係が分かりやすかったとしても、全体の画面が見づらいものとなっていた。

それゆえ、本発明の目的は、発話者と字幕との関係が分かりやすく、かつ全体の画面が見やすい映像コンテンツの作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体を提供することである。

本発明のさらなる目的は、たとえ音声が消えていたとしても、発話者と字幕との関係が分かりやすく、かつ全体の画面が見やすい映像コンテンツの作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体を提供することである。

上記課題を解決するために、本発明は、以下のような特徴を有する。本発明は、吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータを作成するためのコンテンツ作成装置である。コンテンツ作成装置は、吹き出し時間抽出手段と、吹き出し領域決定手段と、吹き出し画像決定手段と、字幕文字決定手段と、吹き出しデータ作成手段とを備える。吹き出し時間抽出手段は、元データとなる映像コンテンツデータに基づく映像内において、吹き出しを表示すべき時間を抽出する。吹き出し領域決定手段は、吹き出し時間抽出手段が抽出した時間における映像内において、吹き出しの表示に適した吹き出し領域を決定する。吹き出し画像決定手段は、吹き出し領域決定手段が決定した吹き出し領域に合成する吹き出し画像を決定する。字幕文字決定手段は、吹き出し画像決定手段が決定した吹き出し画像に合成する字幕文字を決定する。吹き出しデータ作成手段は、吹き出しを表示すべき時間に関する情報、吹き出し領域に関する情報、吹き出し画像に関する情報、および字幕文字に関する情報の内、少なくとも一つの情報をデータ化することによって吹き出しデータを作成する。吹き出しデータ作成手段によって作成された吹き出しデータは、映像コンテンツデータと共に再生されることによって、吹き出しによる字幕付きの映像コンテンツを提供する。

好ましくは、吹き出し領域決定手段は、映像コンテンツデータに基づく画像内における色調の変化を検出して、色調が平坦な部分を抽出し、当該平坦な部分に含まれる枠を吹き出し領域とする。吹き出し画像決定手段は、枠内に字幕文字を表示するような大きさの画像を吹き出し画像とするとよい。

さらに、好ましくは、吹き出し領域決定手段は、ユーザからの指示に基づいて、抽出した枠を変更して、吹き出し領域を決定するとよい。吹き出し画像決定手段は、ユーザからの指示に基づいて、吹き出し画像の形状を変更するとよい。字幕文字決定手段は、ユーザからの指示に基づいて、字幕文字を変更するとよい。

また、字幕文字決定手段は、吹き出しを表示すべき時間における単位時間当たりの字幕文字の数が所定数以上であるか否かを判断して、所定数以上である場合、字幕文字を変更するようユーザに通知するとよい。

好ましくは、字幕文字決定手段は、ユーザからの指示に基づいて、字幕文字の属性を変更するとよい。

さらに、コンテンツ作成装置は、映像コンテンツデータと吹き出しデータ作成手段が作成した吹き出しデータとを多重化する多重化手段を備えるとよい。また、さらに、コンテンツ作成装置は、多重化手段によって多重化されたデータをネットワークを介して送信する多重化データ送信手段を備えるとよい。また、さらに、コンテンツ作成装置は、多重化手段によって多重化されたデータをパッケージメディアに格納するパッケージメディア格納手段を備えてもよい。

さらに、コンテンツ作成装置は、映像コンテンツデータの再生中の音声の音量を判断する音量判断手段を備えるとよい。このとき、字幕文字決定手段は、音量判断手段が判断した音量に応じて、字幕文字の属性を変化させるとよい。

さらに、コンテンツ作成装置は、映像コンテンツデータに基づく映像内における人物の顔の大きさを抽出する顔サイズ抽出手段を備えるとよい。このとき、吹き出し画像決定手段は、顔サイズ抽出手段によって抽出された顔サイズの大きさに応じて、吹き出し画像の開始点を決定するとよい。

好ましくは、映像コンテンツデータは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によって符号化されており、吹き出しデータは、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によって記述されているとよい。

また、本発明は、吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータを送信するためのコンテンツ送信装置である。コンテンツ送信装置は、吹き出しデータ取得手段と、映像コンテンツデータ取得手段と、多重化手段と、送信手段とを備える。吹き出しデータ取得手段は、 元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、映像内において吹き出しを表示する領域に関する情報、領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する。映像コンテンツデータ取得手段は、映像コンテンツデータを取得する。多重化手段と、吹き出しデータ取得手段が取得した吹き出しデータと映像コンテンツデータ取得手段が取得した映像コンテンツデータとを多重化する。送信手段は、多重化手段によって多重化されたデータを送信する。

たとえば、送信手段は、無線放送のための放送装置に対して、多重化データを送信してもよいし、ネットワークを介して、映像コンテンツデータおよび吹き出しデータを再生するためのコンテンツ再生装置に対して、多重化データを送信してもよい。

本発明は、吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータをパッケージメディア化するためのコンテンツパッケージメディア化装置である。コンテンツパッケージメディア化装置は、吹き出しデータ取得手段と、映像コンテンツデータ取得手段と、多重化手段と、格納手段とを備える。吹き出しデータ取得手段は、元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、映像内において吹き出しを表示する領域に関する情報、領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する。映像コンテンツデータ取得手段は、映像コンテンツデータを取得する。多重化手段は、吹き出しデータ取得手段が取得した吹き出しデータと映像コンテンツデータ取得手段が取得した映像コンテンツデータとを多重化する。格納手段は、多重化手段によって多重化されたデータをパッケージメディアに格納する。

また、本発明は、吹き出しによる字幕付きの映像コンテンツを再生するためのコンテンツ再生装置である。コンテンツ再生装置は、吹き出しデータ取得手段と、映像コンテンツデータ取得手段と、吹き出し信号生成手段と、字幕文字信号生成手段と、映像信号生成手段と、合成転送手段とを備える。吹き出しデータ取得手段は、元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、映像内において吹き出しを表示する領域に関する情報、領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する。映像コンテンツデータ取得手段は、映像コンテンツデータを取得する。吹き出し信号生成手段は、吹き出しデータに基づいて、吹き出しの画像に関する信号を生成する。字幕文字信号生成手段は、吹き出しデータに基づいて、字幕文字に関する信号を生成する。映像信号生成手段は、映像コンテンツデータに基づいて、映像に関する信号を生成する。合成転送手段は、吹き出し信号生成手段が生成した吹き出し信号、字幕文字信号生成手段が生成した字幕文字信号、および映像信号生成手段が生成した映像信号を合成し、合成信号を表示装置に転送する。

さらに、コンテンツ再生装置は、合成転送手段に吹き出し信号と字幕文字信号とを映像信号に合成させるか否かを命令する合成有無命令手段を備えるとよい。このとき、合成転送手段は、合成有無命令手段から吹き出し信号と字幕文字信号とを映像信号に合成する旨の命令を受けた場合、合成信号を表示装置に転送し、合成しない旨の命令を受けた場合、映像信号のみを表示装置に転送するとよい。

さらに、コンテンツ再生装置は、周囲の音の大きさを計測する音量計測手段と、音量計測手段が計測した音の大きさが、閾値を超えるか否かを判断する音量閾値判断手段とを備えるとよい。このとき、合成有無命令手段は、音量閾値判断手段の判断結果に応じて、合成の有無を合成転送手段に命令するとよい。

好ましくは、合成有無命令手段は、音量閾値判断手段が周囲の音の大きさが閾値を超えないと判断した場合、合成する旨の命令を合成転送手段に与え、さらに、音声を出力するための音声出力装置に音声を出力させないとよい。

また、合成有無命令手段は、音量閾値判断手段が周囲の音の大きさが閾値を超えると判断した場合、合成する旨の命令を合成転送手段に与えてもよい。

さらに、コンテンツ再生装置は、自機器の移動速度を計測する移動速度計測手段を備えるとよい。このとき、合成有無命令手段は、移動速度計測手段によって計測された移動速度が所定の閾値を超えるか否かを判断し、超える場合、合成する旨の命令を合成転送手段に与えるとよい。

また、合成有無命令手段は、ユーザからの指示に応じて、合成転送手段に吹き出し信号と字幕文字信号とを映像信号に合成させるか否かを命令してもよい。

また、字幕文字信号生成手段は、ユーザからの指示に応じて、字幕文字を画面の上下左右のいずれかに表示するための通常字幕文字信号を吹き出しデータに基づいて生成してもよい。このとき、合成転送手段は、字幕文字信号生成手段が通常字幕文字信号を生成した場合、通常字幕文字信号および映像信号のみを合成して、合成信号を表示装置に転送するとよい。

好ましくは、合成転送手段は、一フレーム毎に吹き出し信号、字幕文字信号、および映像信号を合成するとよい。

さらに、好ましくは、コンテンツ再生装置は、合成転送手段から転送された合成信号に基づいて、合成後の映像を表示する表示手段を備えるとよい。

また、本発明は、コンピュータ装置に吹き出しによる字幕付きの映像コンテンツを表示させるための構造を有するデータが記録されたコンピュータ読み取り可能な記録媒体である。記録媒体は、元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報を格納するための構造と、時間に関する情報と対応して、映像内において吹き出しを表示する領域に関する情報を格納するための構造と、時間に関する情報と対応して、領域内における吹き出しの形状に関する情報を格納するための構造と、時間に関する情報と対応して、吹き出しに挿入する字幕文字に関する情報を格納するための構造とを有するデータが格納されているとよい。

好ましくは、時間に関する情報を格納するための構造は、字幕の開始時間を示す情報を格納するための構造と、字幕を継続する時間を示す情報を格納するための構造とからなるとよい。

また、本発明は、コンピュータ装置に吹き出しによる字幕付きの映像コンテンツを表示させるための上記のようなデータ構造である。

また、本発明は、吹き出しによる字幕付きの映像コンテンツを提供するためコンテンツ提供システムであって、元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、映像内において吹き出しを表示する領域に関する情報、領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを作成するコンテンツ作成装置と、コンテンツ作成装置が作成した吹き出しデータと映像コンテンツデータとを多重化して、当該多重化データを映像コンテンツとして提供するコンテンツ提供手段と、コンテンツ提供手段から提供される多重化データに基づいて、吹き出しによる字幕付きの映像コンテンツを再生するコンテンツ再生装置とを備える。

コンテンツ提供手段は、無線放送によって、多重化データをコンテンツ再生装置に送信してもよいし、ネットワーク配信によって、多重化データをコンテンツ再生装置に送信してもよいし、パッケージメディアを介して、多重化データをコンテンツ再生装置に提供してもよい。

本発明によれば、映像コンテンツにおいて、字幕文字を吹き出し部分に挿入して表示することができるので、発話者と字幕との関係が分かりやすくなる。さらに、吹き出し部分に字幕文字が表示されるので、画面が見やすくなる。吹き出しには、始点があって、その始点が発話者が誰であるかを指しているので、たとえ、音声が出力されていなかったとしても、発話者と字幕文字とをユーザは対応付けることができ、映像の内容を認識することができる。これは、音声を出すことができない静かな場所や、逆に周囲の音が大きくてスピーカからの音を聞き取りにくい場所などでより役立つ。また、携帯通信端末に組み込むことによって、ヘッドホン等から音声を聞かなくても、映像の内容を認識することができる。

また、色調が平坦な部分に吹き出しが設けられることとなるので、画面上、重要な部分が隠れてしまう事態を回避することができる。また、ユーザの指示に応じて、吹き出し画像を表示する領域を変更することができるので、重要な部分が隠れるのを意識的に防止することができる。また、吹き出し画像の形状が変更できるので、発話者の発言内容に応じて、適切な吹き出しを選ぶことができる。たとえば、心に思っているようなことは、雲のような吹き出しを用いればよい。また、字幕文字を変更することができるので、強調を入れたい場合に加工を加えることができる。

字幕文字の数が多い場合は、自動的にユーザに通知するので、適切な字幕文字を作成することができる。

映像コンテンツデータとしてＭＰＥＧデータを用い、吹き出しデータとしてＸＭＬに準拠するデータを用いることによって、親和性を高めることができ、標準化に貢献できる。

コンテンツ再生装置は、周囲の音の大きさに応じて、音声の出力、字幕文字の表示を制御することができるので、場所に応じた出力が自動的に提供されることとなる。

以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る吹き出しを用いた字幕付きの映像コンテンツを放送するための放送システムの全体構成を示すブロック図である。図１において、放送システムは、コンテンツ作成装置１と、コンテンツ送信装置２と、放送装置３と、コンテンツ再生装置４と、コンテンツ表示装置５とを備える。なお、図１においては、コンテンツ作成装置１、コンテンツ送信装置２、放送装置３、コンテンツ再生装置４、およびコンテンツ表示装置５を簡単のために一つずつだけ示したが、二つ以上あってもよい。

コンテンツ作成装置１は、予め格納されているコンテンツデータによる映像に合致する字幕文字のリストを示すデータ（以下、字幕リストデータという）、およびコンテンツデータによる映像に吹き出しを用いた字幕付きの映像を合成するために用いる吹き出しデータを作成する。

コンテンツ送信装置２は、コンテンツ作成装置１からコンテンツデータおよび吹き出しデータを取得して、これらを多重化して多重化データとして、構内回線や公衆網、インターネット、電波網等のネットワークを介して、放送装置３に送信する。コンテンツ作成装置１およびコンテンツ送信装置２は、たとえば、製作会社等のコンテンツ作成者側に存在する。なお、ここでは、ネットワークを介して多重化データを放送装置３に送信することとしたが、ＤＶＤ等の記録媒体に多重化データを格納して、放送装置３に多重化データを読みとらせるようにしてもよい。

放送装置３は、コンテンツ送信装置２から送られてくる多重化データを受信し、アンテナを介して放送する。放送装置３は、たとえば、テレビ局等の放送事業者側に存在する。

コンテンツ再生装置４は、放送装置３から送信されてくる多重化データを受信して解析し、吹き出しを用いた字幕付きの映像をコンテンツ表示装置５に表示させる。コンテンツ表示装置５は、コンテンツ再生装置４から送られてくる信号に応じて、吹き出しを用いた字幕付きの映像を表示する。コンテンツ再生装置４およびコンテンツ表示装置５は、たとえば、視聴者等の自宅内に存在する。

図２は、コンテンツ作成装置１の機能的構成を示すブロック図である。図２において、コンテンツ作成装置１は、データ作成制御部１１と、入力部１２と、表示出力部１３と、タイムカウント部１４と、記憶部１５とを含む。

入力部１２は、マウスやキーボード、タッチパネル、ジョイスティック等の入力デバイスであって、これらを操作することによってユーザが入力した操作情報をデータ作成制御部１１に入力する。

記憶部１５は、ハードディスク等の記録装置である。記憶部１５には、コンテンツデータと、字幕リストデータと、吹き出し形状データと、吹き出しデータとが格納されている。

コンテンツデータは、映像および音声がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式によって符号化された結果得られた符号化後のストリームデータである。

字幕リストデータには、字幕文字とそれを表示する時間に関する情報とが格納されている。図３は、字幕リストデータのデータ構成の例を示す図である。図３に示すように、字幕リストデータには、たとえば、字幕開始時間と、字幕継続時間と、字幕文字とが登録されている。ここで、字幕開始時間は、コンテンツの先頭からどれだけ経過した時点で、対応する字幕文字を表示するかを示す情報である。字幕継続時間は、対応する字幕文字を表示し続ける時間を示す情報である。図３では、「君のアイデアに賛成する」という字幕文字を、コンテンツの開始から０時間２４分３０秒１５フレーム目を経過した時点から、０分２秒間表示するための字幕リストデータの例を示している。なお、図３に示した字幕リストデータは一例であって、これに限定されるものではない。また、１秒間当たりフレーム数も、特に限定されるものではない。

吹き出し形状データは、吹き出しの形状を定義したデータである。たとえば、吹き出し形状データには、吹き出し形状の名称と、吹き出し形状に関する情報とが対応付けられている。

図４は、吹き出しデータのデータ構成の例を示す図である。図４に示すように、吹き出しデータには、たとえば、コンテンツデータ名に対応して、字幕開始時間毎に、字幕継続時間、字幕文字展開スピード、字幕文字属性、吹き出し範囲、吹き出し開始点、吹き出し形状、および字幕文字が記述されている。字幕開始時間、および字幕継続時間は、吹き出しを表示すべき時間に関する情報である。字幕文字展開スピード、字幕文字属性、および字幕文字は、字幕文字に関する情報である。吹き出し範囲、および吹き出し開始点は、吹き出しの表示に適した映像内における吹き出し領域に関する情報である。吹き出し形状は、吹き出し領域に合成する吹き出し画像に関する情報である。吹き出しデータは、吹き出しを表示すべき時間に関する情報、吹き出し領域に関する情報、吹き出し画像に関する情報、および字幕文字に関する情報の内、少なくとも一つの情報をデータ化されたものであればよい。たとえば、吹き出しデータは、メタ言語で記述されている。ここで、字幕開始時間、字幕継続時間、および字幕文字は、字幕リストデータのものと同様である。字幕文字展開スピードは、字幕継続時間内に字幕文字を文章の先頭から順次表示する速度を示す情報である。字幕文字属性は、字幕文字のフォント種類や、字幕文字の色、字幕文字の背景と透過率、字幕文字の枠の種類等を示す情報である。吹き出し範囲は、吹き出しを合成する画面上の位置を示す情報である。吹き出し開始点は、吹き出しを開始する画面上の位置を示す情報である。吹き出し形状は、吹き出しデータに登録されている吹き出しの名称を示す情報である。

このように、吹き出しデータは、コンピュータ装置に吹き出しによる字幕付きの映像コンテンツを表示させるための構造を有している。このような構造は、元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報（たとえば、上述の字幕開始時間や字幕継続時間）を格納するための構造と、時間に関する情報と対応して、映像内において吹き出しを表示する領域に関する情報（たとえば、上述の吹き出し範囲や吹き出し開始点）を格納するための構造と、時間に関する情報と対応して、領域内における吹き出しの形状に関する情報（たとえば、上述の吹き出し形状）を格納するための構造と、時間に関する情報と対応して、吹き出しに挿入する字幕文字に関する情報（たとえば、上述の字幕文字展開スピードや字幕文字属性、字幕文字）を格納するための構造とを有している。本実施形態では、時間に関する情報を格納するための構造は、字幕の開始時間を示す情報を格納するための構造と、字幕を継続する時間を示す情報を格納するための構造とからなるとしている。このような構造を有するデータは、コンピュータ読み取り可能な記録媒体に格納可能である。

タイムカウント部１４は、時間を計測する。表示出力部１３は、データ作成制御部１１からの信号に応じて、映像および吹き出し作成のための画像を表示し、音声を出力する。

データ作成制御部１１は、コンテンツデータを再生して、音声の立ち上がり時間および立ち下がり時間を検出して字幕開始時間および字幕継続時間を認識する。データ作成制御部１１は、認識した字幕開始時間および字幕継続時間と入力部１２を介してユーザが入力した字幕文字と対応させて、字幕リストデータを作成し、記憶部１５に格納する。データ作成制御部１１は、字幕リストデータを参照して、音声の立ち上がり時間を検出し、当該表示時間における映像および音声を表示出力部１３に表示・出力させる。データ作成制御部１１は、表示している映像に吹き出し形状を合成させ、当該吹き出し形状の中に字幕文字を合成する。データ作成制御部１１は、上記合成の結果、ユーザによる最終決定がなされれば、当該字幕開始時間における吹き出しデータを作成する。データ作成制御部１１は、字幕開始時間毎に作成された吹き出しデータを総合して、最終的な吹き出しデータを生成する。データ作成制御部１１は、生成した最終的な吹き出しデータを記憶部１５に格納する。

図５は、コンテンツ送信装置２の機能的構成を示すブロック図である。図５において、コンテンツ送信装置２は、多重化制御部２１と、操作部２２と、誤り訂正符号付加部２３と、デジタル変調部２４と、送信部２５とを含む。

操作部２２は、マウスやキーボード等の入力デバイスであって、ユーザの指示に応じて、放送したいコンテンツデータに関する情報を多重化制御部２１に入力する。

多重化制御部２１は、操作部２２からの情報に基づいて、コンテンツ作成装置１の記憶部１５からユーザが所望するコンテンツデータとそれに対応する吹き出しデータとを読み出し、二つのデータを多重化する。以下、この多重化されたデータを多重化データという。

誤り訂正符号付加部２３は、多重化制御部２１によって多重化された多重化データに誤り訂正用の符号を付加する。デジタル変調部２４は、誤り訂正用の符号が付加された多重化データをデジタル変調する。送信部２５は、デジタル変調された多重化データを放送装置３へ送信する。なお、コンテンツデータと吹き出しデータとは、予めコンテンツ作成装置１が多重化してもよい。また、多重化データの送信機能は、コンテンツ作成装置に含まれていてもよい。

放送装置３は、コンテンツ送信装置２から送られてくる多重化データを電波に変換して放射する。放送装置３の内部構成は、公知のものと同様であるので、詳しい説明を省略する。

図６は、コンテンツ再生装置４の機能的構成を示すブロック図である。図６において、コンテンツ再生装置４は、再生制御部４１と、操作部４２と、合成転送部４３と、タイムカウント部４４と、吹き出し形状記憶部４５と、受信部４６と、復調部４７と、誤り訂正部４８とを含む。

受信部４６は、放送装置３が放送した電波を受信する。復調部４７は、受信部４６が受信した電波を復調する。誤り訂正部４８は、復調部４７によって復調された多重化データに含まれている誤り訂正符号を参照して、誤りを訂正する。

操作部４２は、リモートコントローラやボタンスイッチ等、ユーザがコンテンツ再生装置４の動作を制御するための入力デバイスである。タイムカウント部４４は、コンテンツデータを再生する際の時間をカウントする。吹き出し形状記憶部４５は、コンテンツ作成装置１の記憶部１５と同様、吹き出し形状データを格納している。

再生制御部４１は、誤り訂正部４８によって誤り訂正された多重化データの中から、コンテンツデータを読み出し、映像および音声に関する信号（以下、映像信号および音声信号という）を一フレーム毎に合成転送部４３に転送する。また、再生制御部４１は、誤り訂正部４８によって誤り訂正された多重化データの中から、吹き出しデータを読み出し、吹き出しデータに含まれている吹き出し形状に関する情報にしたがって、吹き出し形状記憶部４５から吹き出し形状に関するデータを読み出し、吹き出し画像に関する信号（以下、吹き出し信号という）を作成し、合成転送部４３に送る。なお、吹き出し信号は、複数のフレームに渡って同一である場合があるが、ここでは、再生制御部４１は、フレーム毎に、吹き出し信号を合成転送部４３に送ることとする。再生制御部４１は、吹き出しデータに含まれている字幕文字にしたがって、吹き出しの中に挿入すべき字幕文字に関する信号（以下、字幕文字信号という）をフレーム毎に作成して、合成転送部４３に送る。なお、受信部４６は、コンテンツ再生装置４の外部にあってもよい。

合成転送部４３は、再生制御部４１から送られてくる信号を一フレーム毎に合成して、コンテンツ表示装置５に転送する。

図７は、コンテンツ表示装置５の機能的構成を示すブロック図である。図７において、コンテンツ表示装置５は、表示出力デバイス部５１と、駆動回路部５２とを含む。表示出力デバイス部５１は、ブラウン管や液晶ディスプレイ、スピーカ等である。駆動回路部５２は、コンテンツ再生装置４から送信されてくる合成された信号および音声信号にしたがって、表示出力デバイス部５１に映像および音声を再生させる。

図８は、コンテンツ作成装置１の動作を示すフローチャートである。図９Ａ〜図９Ｄは、コンテンツ作成装置１における表示内容の一例を示す図である。以下、図８および図９Ａ〜図９Ｄを参照しながら、コンテンツ作成装置１の動作について説明する。

まず、コンテンツ作成装置１のデータ作成制御部１１は、入力部１２を介して入力されるユーザからの指示に応じて、記憶部１５に格納されている所望のコンテンツデータを読み出して、表示出力部１３に映像を表示させ、音声を出力させる（ステップＳ１０１）。

次に、データ作成制御部１１は、音声認識によって、音声の立ち上がりタイミングが到来するか否かを判断する（ステップＳ１０２）。音声の立ち上がりタイミングが到来しない場合、データ作成制御部１１は、ステップＳ１０４の動作に進む。一方、音声の立ち上がりタイミングが到来した場合、データ作成制御部１１は、音声の立ち上がりタイミングを字幕開始時間とし、音声が立ち下がる時間までの経過間隔を字幕継続時間として、この間の音声に対応する字幕文字をユーザに入力させる。データ作成制御部１１は、当該字幕開始時間、当該字幕継続時間、および当該字幕文字を字幕リストデータの一部として、記憶部１５に格納し（ステップＳ１０３）、ステップＳ１０４の動作に進む。この際、ユーザは、分かち書きによって、字幕文字を入力するとよい。

ステップＳ１０４において、データ作成制御部１１は、当該コンテンツデータの再生が全て終了したか否かを判断する。全て終了していない場合、データ作成制御部１１は、ステップＳ１０２の動作に戻って、次の音声立ち上がりタイミングからの字幕文字の作成を継続する。一方、全て終了した場合、データ作成制御部１１は、ステップＳ１０３で随時作成された字幕リストデータを一つにまとめて、当該コンテンツに対する字幕リストデータを最終的に作成し、記憶部１５に格納し（ステップＳ１０５）、ステップＳ１０６の動作に進む。

ステップＳ１０６において、データ作成制御部１１は、字幕リストデータを参照して、先頭から順に字幕開始時間および字幕継続時間を認識する。次に、データ作成制御部１１は、コンテンツデータを参照して、ステップＳ１０６で認識した字幕開始時間から字幕継続時間までの映像および音声を表示出力部１３に再生させる（ステップＳ１０７）。

次に、データ作成制御部１１は、字幕開始時間から字幕継続時間までの映像内における色彩の平坦度を計算して、同じような色調である部分（以下、平坦部分という）を抽出する（ステップＳ１０８）。次に、データ作成制御部１１は、抽出した平坦部分に入る程度の大きさの四角形を認識する（ステップＳ１０９）。次に、データ作成制御部１１は、認識した四角形を点線の枠（以下、四角枠という）で表すように、表示出力部１３に字幕開始時点における映像と合成させて表示させる（ステップＳ１１０）。この際、データ作成制御部１１は、四角枠の四隅を黒丸で表示させる。図９Ａは、ステップＳ１１０で表示される画面の一例を示す図である。図９Ａに示すように、色調が平坦な平坦部分Ｆａに最大限納まるように、四角枠Ｓａが表示されている。なお、枠は、四角形以外であってもよい。

次に、データ作成制御部１１は、ステップＳ１１０で表した四角枠を吹き出しを表示する範囲としてよいか否かをユーザに問う表示を表示出力部１３に表示させ、ユーザからの修正指示があれば、指示に応じた四角枠を吹き出しを表示する範囲とする（ステップＳ１１１）。このとき、データ作成制御部１１は、四角枠の四隅の座標をメモリ（図示せず）に一時的に格納する。また、ユーザによる修正は、入力部１２によって行われる。たとえば、ユーザは、マウスのポインタを四角枠の四辺または四隅に位置させ、ドラッグすることによって、四角枠の大きさおよび／または位置を修正する。このような手法は、画像用ソフトウエア等の分野で公知であるので、これ以上の詳しい説明を省略する。

次に、データ作成制御部１１は、映像から人物の顔部分を認識する（ステップＳ１１２）。このときの認識手法としては、様々考えられるが、肌の色や、顔の形状等に基づいて、データ作成制御部１１は、人物の顔部分を認識することができる。このような手法は、画像認識の分野で公知であるので、これ以上の詳しい説明を省略する。

次に、データ作成制御部１１は、認識した顔部分の面積を求め、当該面積が所定の閾値を超えるか否かを判断する（ステップＳ１１３）。超える場合、データ作成制御部１１は、口元部分を検出して、当該口元から四角枠の対角線交点（以下、四角枠中心という）に向けた基準線を表示出力部１３に表示させ、当該基準線上に吹き出しの開始点の候補を表示させ（ステップＳ１１４）、ステップＳ１１６の動作に進む。

一方、超えない場合、データ作成制御部１１は、顔の中心部分を認識して、当該中心部分から四角枠中心に向けて基準線を表示出力部１３に表示させ、当該基準線上に吹き出し開始点の候補を表示させ（ステップＳ１１５）、ステップＳ１１６の動作に進む。図９Ｂは、ステップＳ１１５において、吹き出し開始点の候補が表示されたときの一例を示す図である。図９Ｂに示すように、吹き出し開始点Ｐａは、顔の中心から四角枠Ｓａの中心に向けてひかれた基準線Ｌａ上に表示されている。このように、データ作成制御部１１は、顔サイズの大きさに応じて吹き出し画像の開始点を決定する。

ステップＳ１１６において、データ作成制御部１１は、入力部１２を介したユーザからの指示に応じて、吹き出し開始点を修正し、最終的な吹き出し開始点の座標をメモリ（図示せず）に格納し、ステップＳ１１７の動作に進む。なお、ユーザによる修正がない場合、データ作成制御部１１は、吹き出し開始点の候補とした座標を格納する。

ステップＳ１１７において、データ作成制御部１１は、標準の吹き出し形状であると予め設定されている吹き出し形状に関するデータを記憶部１５から読み出して、必要があれば、ステップＳ１１１で決定した四角枠の中に最大限納まるように、吹き出し形状のサイズを変更して、四角枠内にサイズ変更後の吹き出し画像を、表示出力部１３に表示させる。図９Ｃは、ステップＳ１１７で表示された吹き出し画像の一例を示す図である。図９Ｃに示すように、吹き出し画像Ｂａは、四角枠Ｓａ内に納まるように表示されている。

次に、データ作成制御部１１は、ユーザからの指示に応じて、吹き出し画像を修正する（ステップＳ１１８）。具体的には、吹き出しの形状や大きさ、向き等が修正される。このような修正は、吹き出しの形状を示すダイアログボックスからユーザが所望の形状を選択するようにして行われる。また、サイズ修正は、表示中の吹き出しをドラッグ等されることによって行われる。その他、修正の手法としては、様々考えられる。

ユーザによる修正が終了、または、修正が無かったら、データ作成制御部１１は、最終的な吹き出し画像を決定する（ステップＳ１１９）。この際、データ作成制御部１１は、吹き出し画像の形状を示す名称をメモリ（図示せず）に一時格納する。また、吹き出し画像のサイズが変更になっている場合は、データ作成制御部１１は、サイズ変更があった吹き出しを囲む最小の大きさの四角枠の四隅の座標を、吹き出しを表示する範囲として、メモリに格納されている四隅の座標を変更する。

次に、データ作成制御部１１は、当該字幕開始時間における字幕文字を字幕リストデータから読み出し、決定した吹き出しの中に、字幕文字を挿入する（ステップＳ１２０）。この際、データ作成制御部１１は、字幕開始時間から字幕継続時間が経過するまでの間、字幕文字が先頭から一フレーム毎に表示するように、表示出力部１３に指示する。このとき、データ作成制御部１１は、字幕文字展開スピードを決定する。字幕文字展開スピードは、一フレーム中に何文字の字幕を新たに表示するかを段階的に示すことによって定義される。たとえば、ノーマルスピードであれば、一フレーム中に新たに六文字を表示するといったように定義される。データ作成制御部１１は、字幕文字展開スピードもメモリに一時格納しておく。図９Ｄは、字幕文字が挿入されたときの表示の一例を示す図である。図９Ｄに示すように、吹き出し画像Ｂａの中に、字幕文字Ｃａが表示されている。

次に、データ作成制御部１１は、ユーザからの指示に応じて、字幕文字を修正する（ステップＳ１２１）。ここでは、字幕文字属性として、文字の種類、文字の色、字幕の背景、字幕の透過率、字幕の枠の種類、字幕文字の強調等が修正できるとする。データ作成制御部１１は、これら字幕文字属性もメモリに一時格納しておく。なお、コンテンツ作成装置１は、映像コンテンツデータの再生中の音声の音量を判断する音量判断部を備えるとよい。このとき、コンテンツ作成装置１は、音量判断部が判断した音量に応じて、字幕文字の属性を変化させるとよい。たとえば、音量が大きい場合、コンテンツ作成装置１は、字幕文字を大きくしたり、変色させたりするとよい。

次に、データ作成制御部１１は、メモリに一時格納した情報を読み出して、字幕開始時間に対応するように、字幕継続時間、字幕文字展開スピード、字幕文字属性、吹き出し範囲（四角枠の四隅の座標）、吹き出し開始点の座標、吹き出し形状および字幕文字を記憶部１５に格納する（ステップＳ１２２）。

次に、データ作成制御部１１は、コンテンツが全て終了したか否かを判断する（ステップＳ１２３）。終了していない場合、データ作成制御部１１は、ステップＳ１０６の動作に戻り、字幕開始時間毎の吹き出しデータの作成を継続する。一方、終了している場合、データ作成制御部１１は、今まで作成した字幕開始時間毎の吹き出しデータを一つに統合して、所望のコンテンツデータに対応する最終的な吹き出しデータを作成して、記憶部１５に格納し（ステップＳ１２４）、処理を終了する。

図１０は、最終的に作成された吹き出しデータの一例を示す図である。図１０では、コンテンツデータとして用いられるＭＰＥＧデータフォーマットとの親和性を保たせ、規格化し易くするために、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）に準拠したフォーマットで、吹き出しデータが記述されたの一例を示している。図１０に示すように、吹き出しデータには、字幕開始時間毎に、字幕文字展開スピード、字幕継続時間、吹き出し範囲、吹き出し開始点、吹き出し形状、および字幕文字が定義されている。図１０では、字幕文字属性は、全体で統一するようなものとしているが、字幕開始時間毎に定義するようにしてもよい。

図１１は、コンテンツ送信装置２の動作を示すフローチャートである。以下、図１１を参照しながら、コンテンツ送信装置２の動作について説明する。

まず、コンテンツ送信装置２の多重化制御部２１は、操作部２２を介したユーザからの指示に応じて、コンテンツ作成装置１の記憶部１５に格納されている所望のコンテンツデータを読み出す（ステップＳ２０１）。次に、多重化制御部２１は、当該コンテンツデータに対応する吹き出しデータを記憶部１５から読み出す（ステップＳ２０２）。次に、多重化制御部２１は、読み出したコンテンツデータと吹き出しデータとを多重化する（ステップＳ２０３）。多重化の方法としては、コンテンツデータのヘッダ部分に吹き出しデータを埋め込むなど、どのような方法であってもよい。

次に、誤り訂正符号付加部２３は、多重化データに誤り訂正符号を付加する（ステップＳ２０４）。次に、デジタル変調部２４は、誤り訂正符号が付加された多重化データをデジタル変調する（ステップＳ２０５）。次に送信部２５は、デジタル変調されたデータを放送装置３に向けて送信し（ステップＳ２０６）、処理を終了する。

図１２は、コンテンツ再生装置４の動作を示すフローチャートである。図１３Ａ〜図１３Ｄは、コンテンツ再生装置４によって作成される映像信号、吹き出し信号および字幕文字信号の内容の一例を示す図である。以下、図１２および図１３Ａ〜図１３Ｄを参照しながら、コンテンツ再生装置４の動作について、説明する。

まず、コンテンツ再生装置４は、受信部４６で受信した信号を復調部４７で復調して、誤り訂正部４８で誤り訂正した後、再生制御部４１に入力する（ステップＳ３０１）。次に、再生制御部４１は、誤り訂正された多重化データの中から、コンテンツデータを読み出して、当該コンテンツデータの再生に必要な映像信号および音声信号をフレーム毎に合成転送部４３に送る（ステップＳ３０２）。再生制御部４１は、映像信号および音声信号を、以下の動作と並行しながら、一フレーム毎に合成転送部４３へ送る。図１３Ａは、映像信号の内容の一例を示す図である。図１３Ａに示すように、ステップＳ３０２では、吹き出しに関する情報が含まれていない映像および音声に関する情報のみが転送される。

次に、再生制御部４１は、多重化データの中から、吹き出しデータを読み出して、字幕開始時間と字幕継続時間とを認識する（ステップＳ３０３）。次に、再生制御部４１は、タイムカウント部４４からの情報に基づいて、字幕開始時間が到来したか否かを判断する（ステップＳ３０４）。字幕開始時間が到来していない場合、再生制御部４１は、ステップＳ３１２の動作に進む。

一方、字幕開始時間が到来した場合、再生制御部４１は、吹き出しデータに格納されている吹き出し範囲に基づいて、吹き出しをはめ込む画面上の範囲を認識する（ステップＳ３０５）。次に、再生制御部４１は、吹き出しデータに格納されている吹き出し形状に基づいて、吹き出し形状記憶部４５から指定されている吹き出し形状に関する情報を読み出して、ステップＳ３０５で求めた範囲内に納まるように吹き出し画像のサイズを決定する（ステップＳ３０６）。次に、再生制御部４１は、決定した範囲および大きさに吹き出し画像が表示されるような吹き出し信号を作成して、合成転送部４３へ送る（ステップＳ３０７）。このとき、字幕継続時間中は吹き出し部分の形は変わることがないが、再生制御部４１は、映像信号および字幕文字信号と同期をとりやすくするために、その他の動作とは並行して、一フレーム毎に吹き出し信号を合成転送部４３に送る。図１３Ｂは、吹き出し信号の内容（吹き出し画像）の一例を示す図である。図１３Ｂに示すように、吹き出し信号は、吹き出し部分の画像のみに関する情報を提供する。

次に、再生制御部４１は、吹き出しデータに格納されている字幕継続時間に基づいて、字幕継続時間の間に存在するフレーム数を認識する（ステップＳ３０８）。次に、再生制御部４１は、字幕文字数をステップＳ３０８で求めたフレーム数で割って、一フレーム当たりに表示すべき字幕文字の文字数を認識し、一フレーム当たりの字幕文字を表示するための字幕文字信号を作成して（ステップＳ３０９）、合成転送部４３に送る（ステップＳ３１０）。図１３Ｃは、最初のフレームにおける字幕文字信号に基づく画像の一例を示す図である。図１３Ｄは、２回目のフレームにおける字幕文字信号に基づく画像の一例を示す図である。図１３Ｃ，Ｄに示すように、字幕文字信号によって、字幕継続時間の間に表示すべき字幕文字が徐々に追加されていく。

次に、再生制御部４１は、字幕継続時間における全てのフレームが終了したが否かを判断する（ステップＳ３１１）。終了していない場合、再生制御部４１は、ステップＳ３０８の動作に戻り、次のフレームに必要な字幕文字信号を作成して合成転送部４３に送る。一方、終了している場合、再生制御部４１は、コンテンツが終了したか否かを判断する（ステップＳ３１２）。コンテンツが終了していない場合、再生制御部４１は、ステップＳ３０４の動作に戻って、次の字幕開始時間からの吹き出し信号および字幕文字信号の転送を継続する。一方、コンテンツが終了している場合、再生制御部４１は、処理を終了する。

図１４は、コンテンツ再生装置４の合成転送部４３の動作を示す図である。図１５Ａおよび図１５Ｂは、コンテンツ表示装置５における表示例を示す図である。以下、図１４，図１５Ａおよび図１５Ｂを参照しながら、合成転送部４３の動作について説明する。

まず、合成転送部４３は、再生制御部４１から送られてくる一フレーム分の映像信号を受信する（ステップＳ４０１）。次に、合成転送部４３は、再生制御部４１から送られてくる一フレーム分の吹き出し信号および字幕文字信号を受信して、映像信号と吹き出し信号と字幕文字信号とを合成して（ステップＳ４０２）、音声信号と共に、コンテンツ表示装置５に転送して（ステップＳ４０３）、ステップＳ４０１に戻り、次のフレームの処理に進む。

合成転送部４３からの信号を受信したコンテンツ表示装置５は、第１回目のフレームで、図１５Ａに示すように字幕の一部を表示し、第２回目のフレームで、図１５Ｂに示すように第１回目のフレームにおける字幕と第２回目のフレームにおける字幕とを合わせた字幕を表示することとなる。

このように、本発明の一実施形態では、映像コンテンツにおいて字幕文字を吹き出し部分に挿入して表示することができるので、発話者と字幕との関係が分かりやすくなる。さらに、吹き出し部分に字幕文字が表示されるので、画面が見やすくなる。

上記実施形態におけるコンテンツ再生装置およびコンテンツ表示装置は、たとえ音声が消されていたとしても、吹き出し開始点を見れば、だれが発話しているのか一目瞭然である。したがって、本実施形態におけるコンテンツ再生装置およびコンテンツ表示装置は、音を出せないような環境においても、映像コンテンツの内容を理解するのに有効に利用できる。これにより、ユーザは、ヘッドホンなどの装置を用いずに、映像コンテンツを楽しむことができる。

たとえば、図書館や病院、公共施設など、音声を出すべきでない静かな場所などで、本実施形態に係るコンテンツ再生装置およびコンテンツ表示装置を固定情報端末として設置しておけば、周りの人に迷惑をかけずに、映像コンテンツを楽しむことができる。この場合、コンテンツ再生装置およびコンテンツ表示装置をパソコンなどで容易に実現することができる。その他、周囲の音がうるさいために、音声が聞き取りにくいような環境でも、屋外広告装置や公共案内サービス装置として設置しておけば、吹き出しによる字幕を見ることによって、音声を聞かなくても映像コンテンツを楽しむことができる。

上記実施形態では、コンテンツ再生装置とコンテンツ表示装置とが別々の装置であるとしたが、二つの装置を一体化し、携帯可能なように小型化にすることもできる。このような携帯情報端末を用いれば、マナーとして音を配慮しなければならない環境（たとえば、電車・バスの車中や、船の船内、図書館、病院、飛行機の機内等）でも、映像コンテンツを楽しむことができる。このように、本発明は、多岐に渡って利用価値を有するものである。

なお、上記実施形態では、コンテンツ再生装置とコンテンツ表示装置とを別々の装置であるかのように説明したが、一方の機能が他方に含まれているようにしてもよい。また、コンテンツ作成装置とコンテンツ送信装置とについても、一方の機能が他方に含まれているようにしてもよい。

上記のように、多岐に渡って利用価値の高いものとするために、以下のような機能をコンテンツ再生装置（コンテンツ表示装置が内蔵されているものも含む）がさらに有しているとなおよい。

たとえば、コンテンツ再生装置は、ユーザの指示に応じて、吹き出しの表示の有無を切り換えることができるとよい。この場合、具体的には、ユーザから吹き出しの表示をしない旨の指示があった場合、コンテンツ再生装置の再生制御部は、合成転送部に対して、映像信号と音声信号とのみを合成するように命令すればよい。

また、コンテンツ再生装置は、自動的に吹き出しの表示の有無を切り換えるようにしてもよい。たとえば、コンテンツ再生装置は、周囲の音量を計測する音量計測部をさらに備える。コンテンツ再生装置は、音量計測部が計測したスピーカから出力されている音量と周囲の音量とを比較する。比較の結果、周囲の音量が所定の閾値以上の場合、コンテンツ再生装置の再生制御部は、スピーカからの音声出力を停止させ、合成転送部に吹き出しによる字幕表示による合成に切り換えるよう命令する。これにより、周囲の音がうるさくなった場合に、自動的に吹き出し字幕表示となるので、音が伝わりにくい環境においても映像コンテンツを楽しむことができる。

また、コンテンツ再生装置の再生制御部は、周囲の音量が所定の閾値よりも低い場合、自動的にマナーモードとして、スピーカからの音声出力を停止させ、合成転送部に吹き出しによる字幕表示による合成に切り換えるよう命令するようにしてもよい。これにより、携帯電話やＰＤＡ等の移動体端末を用いている場合に、周囲が静かな場合、自動的にマナーモードとなって、映像コンテンツを楽しむことができる。

また、コンテンツ再生装置は、加速度センサや受信電波のドップラー効果等を計算して、自機器がどのくらいの速度で移動しているかを計測する移動速度計測部をさらに備える。速度計測部が計測した移動速度が歩行の速度よりも速い場合、コンテンツ再生装置の再生制御部は、運転中または乗り物に乗っていると判断して、マナーモードとして、吹き出しによる字幕表示に切り換えるように合成転送部に命令してもよい。

なお、コンテンツ再生装置は、ユーザからの指示に応じて、従来通りの字幕表示と吹き出しによる字幕表示とを切り換えることができるようにしてもよい。具体的には、ユーザから従来通りの字幕表示が指示された場合、コンテンツ再生装置は、吹き出しデータの字幕開始時間、字幕継続時間、および字幕文字情報のみを参照して、字幕開始時間で指定されている時間から字幕継続時間までの間、画面の上下左右のいずれかに字幕文字が配置されるような字幕文字信号を生成する。そして、合成転送部は、字幕文字信号と映像信号とを合成し、コンテンツ表示装置に表示させる。これによって、従来通りの字幕も表示することができる。

なお、コンテンツ作成装置は、字幕リストデータを作成する際、音圧の強さに応じて、文字を強調するような情報を字幕リストデータに登録してもよい。この場合、具体的には、コンテンツ作成装置は、圧電センサ等によって音圧を検出する音圧検出装置を備え、字幕継続時間中の音圧の平均が閾値よりも大きい場合は、文字を大きくする属性を字幕リストデータに登録し、小さい場合は、文字を小さくする属性を字幕リストデータに登録しておけばよい。

なお、字幕継続時間が短いために、吹き出し部分に字幕文字が入りきらない場合、コンテンツ作成装置は、字幕文字が入りきらない旨を示すマーク等で表示出力部に表示させることによって、ユーザに通知する。ユーザは、この通知があった場合、吹き出し部分の大きさや、字幕文字の内容等を変更させるようにすればよい。コンテンツ作成装置による吹き出し部分に字幕が入りきるか否かは、字幕継続時間中における単位時間（たとえば、一フレーム）当たりの前記字幕文字の数が所定数以上であるか否かによって判断されればよい。所定数以上である場合、コンテンツ作成装置は、字幕が入りきらないとして、字幕文字を変更するように、ユーザに通知すればよい。

なお、字幕文字の文字数が多い場合は、吹き出し部分に入るだけの字幕文字を表示した後、入り切らなかった字幕文字を新たに同一の吹き出し部分に入れるようにすればよい。具体的には、コンテンツ再生装置が、ステップＳ３０９で字幕文字信号を作成する際に、入りきらなかった字幕文字からなる字幕文字信号を作成することによって、容易に実現できる。

なお、吹き出し形状データは、標準化されるのが理想的であるが、コンテンツ作成装置とコンテンツ再生装置との間で使用する吹き出し形状データが異なる場合、コンテンツ再生装置は、標準データを吹き出し形状データとして用いればよい。いかなる標準データを用いるかは、予めガイドラインを決めておけばよい。

なお、上記実施形態では、コンテンツ作成装置は、字幕リストデータを吹き出しデータとを別々に作成することとしたが、吹き出しデータと一緒に字幕リストデータを作成してもよい。具体的には、コンテンツ作成装置は、音声立ち上がり位置を認識した際、吹き出し形状と字幕文字とを同時に登録するようにすればよい。

なお、上記実施形態では、吹き出しデータを作成する直前に字幕リストデータを作成することとしたが、字幕リストデータは、吹き出しデータとは別に予め作成されていてもよい。

なお、上記実施形態では、まず、コンテンツ作成装置が吹き出し形状を自動的に選び出した後、必要があればユーザが修正を加えることとしたが、コンテンツ作成装置は、ユーザによる修正を認めずに、全て自動的に吹き出しデータを作成してもよいし、また、全て手動で吹き出しデータを作成してもよい。

なお、上記実施形態では、コンテンツデータおよび吹き出しデータが放送されることとしたが、コンテンツを提供するためのシステムは、これに限られるものではない。

図１６は、インターネットを介して、コンテンツデータおよび吹き出しデータを提供するためのシステムの全体構成を示す図である。図１６に示すように、コンテンツ送信装置２ａは、インターネット３ａを介して、コンテンツ再生装置４ａにコンテンツデータおよび吹き出しデータが多重化されたデータを送信するようにしてもよい。この場合、コンテンツ作成装置１、コンテンツ表示装置５については、上記実施形態と同様の構成である。コンテンツ送信装置２ａは、多重化データをインターネットを介して、ＴＣＰ／ＩＰにしたがって、パケット送信するようにすればよい。コンテンツ再生装置４ａは、インターネットを介して送信されてくる多重化データをパケット単位で受信すればよい。

図１７は、コンテンツデータおよび吹き出しデータが多重化された多重化データをＤＶＤ等のパッケージメディアに格納して流通するためのシステムの全体構成を示す図である。図１７に示すように、パッケージメディア化装置２ｂは、多重化データをＤＶＤ等の記録媒体に格納して、パッケージメディア化する。当該パッケージメディアは、流通システム３ｂを介して、視聴者の下に届く。パッケージメディア再生装置４ｂは、当該パッケージメディアに格納されている多重化データを読み出して、吹き出し字幕付きの映像コンテンツを再生する。

本発明にかかる吹き出し字幕付き映像コンテンツ作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体は、発話者と字幕との関係が分かりやすく、かつ全体の画面が見やすい映像コンテンツを提供することができ、コンテンツの作成分野等において有用である。

本発明の一実施形態に係る吹き出しを用いた字幕付きの映像コンテンツを放送するための放送システムの全体構成を示すブロック図 コンテンツ作成装置１の機能的構成を示すブロック図 字幕リストデータのデータ構成の例を示す図 吹き出しデータのデータ構成の例を示す図 コンテンツ送信装置２の機能的構成を示すブロック図 コンテンツ再生装置４の機能的構成を示すブロック図 コンテンツ表示装置５の機能的構成を示すブロック図 コンテンツ作成装置１の動作を示すフローチャート コンテンツ作成装置１における表示内容の一例を示す図 コンテンツ作成装置１における表示内容の一例を示す図 コンテンツ作成装置１における表示内容の一例を示す図 コンテンツ作成装置１における表示内容の一例を示す図 最終的に作成された吹き出しデータの一例を示す図 コンテンツ送信装置２の動作を示すフローチャート コンテンツ再生装置４の動作を示すフローチャート コンテンツ再生装置４によって作成される映像信号に基づく画像の一例を示す図 コンテンツ再生装置４によって作成される吹き出し信号に基づく画像の内容の一例を示す図 コンテンツ再生装置４によって作成される字幕文字信号に基づく画像の一例を示す図 コンテンツ再生装置４によって作成される字幕文字信号に基づく画像の一例を示す図 コンテンツ再生装置４の合成転送部４３の動作を示す図 コンテンツ表示装置５における表示例を示す図 コンテンツ表示装置５における表示例を示す図 インターネットを介して、コンテンツデータおよび吹き出しデータを提供するためのシステムの全体構成を示す図 コンテンツデータおよび吹き出しデータが多重化された多重化データをＤＶＤ等のパッケージメディアに格納して流通するためのシステムの全体構成を示す図

符号の説明

１ コンテンツ作成装置
２，２ａ コンテンツ送信装置
２ｂ パッケージメディア化装置
３ 放送装置
３ａ インターネット
３ｂ 流通システム
４，４ａ コンテンツ再生装置
４ｂ パッケージメディア再生装置
５ コンテンツ表示装置
１１ データ作成制御部
１２ 入力部
１３ 表示出力部
１４，４４ タイムカウント部
１５ 記憶部
２１ 多重化制御部
２２，４２ 操作部
２３ 誤り訂正符号付加部
２４ デジタル変調部
２５ 送信部
４１ 再生制御部
４３ 合成転送部
４５ 吹き出し形状記憶部
４６ 受信部
４７ 復調部
４８ 誤り訂正部
５１ 表示出力デバイス部
５２ 駆動回路部

Claims (34)

1. 吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータを作成するためのコンテンツ作成装置であって、
   元データとなる映像コンテンツデータに基づく映像内において、吹き出しを表示すべき時間を抽出する吹き出し時間抽出手段と、
   前記吹き出し時間抽出手段が抽出した時間における映像内において、吹き出しの表示に適した吹き出し領域を決定する吹き出し領域決定手段と、
   前記吹き出し領域決定手段が決定した前記吹き出し領域に合成する吹き出し画像を決定する吹き出し画像決定手段と、
   前記吹き出し画像決定手段が決定した前記吹き出し画像に合成する字幕文字を決定する字幕文字決定手段と、
   前記吹き出しを表示すべき時間に関する情報、前記吹き出し領域に関する情報、前記吹き出し画像に関する情報、および前記字幕文字に関する情報の内、少なくとも一つの情報をデータ化することによって吹き出しデータを作成する吹き出しデータ作成手段とを備え、
   前記吹き出しデータ作成手段によって作成された吹き出しデータは、前記映像コンテンツデータと共に再生されることによって、吹き出しによる字幕付きの映像コンテンツを提供することとを特徴とする、コンテンツ作成装置。
2. 前記吹き出し領域決定手段は、前記映像コンテンツデータに基づく画像内における色調の変化を検出して、色調が平坦な部分を抽出し、当該平坦な部分に含まれる枠を吹き出し領域とし、
   前記吹き出し画像決定手段は、前記枠内に前記字幕文字を表示するような大きさの画像を吹き出し画像とする、請求項１に記載のコンテンツ作成装置。
3. 前記吹き出し領域決定手段は、ユーザからの指示に基づいて、抽出した前記枠を変更して、前記吹き出し領域を決定することを特徴とする、請求項２に記載のコンテンツ作成装置。
4. 前記吹き出し画像決定手段は、ユーザからの指示に基づいて、前記吹き出し画像の形状を変更することを特徴とする、請求項２に記載のコンテンツ作成装置。
5. 前記字幕文字決定手段は、ユーザからの指示に基づいて、前記字幕文字を変更することを特徴とする、請求項２に記載のコンテンツ作成装置。
6. 前記字幕文字決定手段は、前記吹き出しを表示すべき時間における単位時間当たりの前記字幕文字の数が所定数以上であるか否かを判断して、所定数以上である場合、前記字幕文字を変更するようユーザに通知する、請求項５に記載のコンテンツ作成装置。
7. 前記字幕文字決定手段は、ユーザからの指示に基づいて、前記字幕文字の属性を変更することを特徴とする、請求項２に記載のコンテンツ作成装置。
8. さらに、前記映像コンテンツデータと前記吹き出しデータ作成手段が作成した前記吹き出しデータとを多重化する多重化手段を備える、請求項１に記載のコンテンツ作成装置。
9. さらに、前記多重化手段によって多重化されたデータをネットワークを介して送信する多重化データ送信手段を備える、請求項８に記載のコンテンツ作成装置。
10. さらに、前記多重化手段によって多重化されたデータをパッケージメディアに格納するパッケージメディア格納手段を備える、請求項８に記載のコンテンツ作成装置。
11. さらに、前記映像コンテンツデータの再生中の音声の音量を判断する音量判断手段を備え、
    前記字幕文字決定手段は、前記音量判断手段が判断した音量に応じて、前記字幕文字の属性を変化させることを特徴とする、請求項１に記載のコンテンツ作成装置。
12. さらに、前記映像コンテンツデータに基づく映像内における人物の顔の大きさを抽出する顔サイズ抽出手段を備え、
    前記吹き出し画像決定手段は、前記顔サイズ抽出手段によって抽出された顔サイズの大きさに応じて、前記吹き出し画像の開始点を決定することを特徴とする、請求項１に記載のコンテンツ作成装置。
13. 前記映像コンテンツデータは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によって符号化されており、
    前記吹き出しデータは、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によって記述されていることを特徴とする、請求項１に記載のコンテンツ作成装置。
14. 吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータを送信するためのコンテンツ送信装置であって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、前記映像内において吹き出しを表示する領域に関する情報、前記領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する吹き出しデータ取得手段と、
    前記映像コンテンツデータを取得する映像コンテンツデータ取得手段と、
    前記吹き出しデータ取得手段が取得した前記吹き出しデータと前記映像コンテンツデータ取得手段が取得した前記映像コンテンツデータとを多重化する多重化手段と、
    前記多重化手段によって多重化されたデータを送信する送信手段とを備える、コンテンツ送信装置。
15. 前記送信手段は、無線放送のための放送装置に対して、多重化データを送信することを特徴とする、請求項１４に記載のコンテンツ送信装置。
16. 前記送信手段は、ネットワークを介して、前記映像コンテンツデータおよび吹き出しデータを再生するためのコンテンツ再生装置に対して、多重化データを送信することを特徴とする、請求項１４に記載のコンテンツ送信装置。
17. 吹き出しによる字幕付きの映像コンテンツを提供するために必要なデータをパッケージメディア化するためのコンテンツパッケージメディア化装置であって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、前記映像内において吹き出しを表示する領域に関する情報、前記領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する吹き出しデータ取得手段と、
    前記映像コンテンツデータを取得する映像コンテンツデータ取得手段と、
    前記吹き出しデータ取得手段が取得した前記吹き出しデータと前記映像コンテンツデータ取得手段が取得した前記映像コンテンツデータとを多重化する多重化手段と、
    前記多重化手段によって多重化されたデータをパッケージメディアに格納する格納手段とを備える、コンテンツパッケージメディア化装置。
18. 吹き出しによる字幕付きの映像コンテンツを再生するためのコンテンツ再生装置であって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、前記映像内において吹き出しを表示する領域に関する情報、前記領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを取得する吹き出しデータ取得手段と、
    前記映像コンテンツデータを取得する映像コンテンツデータ取得手段と、
    前記吹き出しデータに基づいて、吹き出しの画像に関する信号を生成する吹き出し信号生成手段と、
    前記吹き出しデータに基づいて、字幕文字に関する信号を生成する字幕文字信号生成手段と、
    前記映像コンテンツデータに基づいて、映像に関する信号を生成する映像信号生成手段と、
    前記吹き出し信号生成手段が生成した吹き出し信号、前記字幕文字信号生成手段が生成した字幕文字信号、および前記映像信号生成手段が生成した映像信号を合成し、合成信号を表示装置に転送する合成転送手段とを備える、コンテンツ再生装置。
19. さらに、前記合成転送手段に前記吹き出し信号と字幕文字信号とを前記映像信号に合成させるか否かを命令する合成有無命令手段を備え、
    前記合成転送手段は、前記合成有無命令手段から前記吹き出し信号と字幕文字信号とを前記映像信号に合成する旨の命令を受けた場合、前記合成信号を前記表示装置に転送し、合成しない旨の命令を受けた場合、前記映像信号のみを前記表示装置に転送することを特徴とする、請求項１８に記載のコンテンツ再生装置。
20. さらに、
    周囲の音の大きさを計測する音量計測手段と、
    前記音量計測手段が計測した音の大きさが、閾値を超えるか否かを判断する音量閾値判断手段とを備え、
    前記合成有無命令手段は、前記音量閾値判断手段の判断結果に応じて、合成の有無を前記合成転送手段に命令することを特徴とする、請求項１９に記載のコンテンツ再生装置。
21. 前記合成有無命令手段は、前記音量閾値判断手段が周囲の音の大きさが閾値を超えないと判断した場合、合成する旨の命令を前記合成転送手段に与え、さらに、音声を出力するための音声出力装置に音声を出力させないことを特徴とする、請求項２０に記載のコンテンツ再生装置。
22. 前記合成有無命令手段は、前記音量閾値判断手段が周囲の音の大きさが閾値を超えると判断した場合、合成する旨の命令を前記合成転送手段に与えることを特徴とする、請求項２０に記載のコンテンツ再生装置。
23. さらに、自機器の移動速度を計測する移動速度計測手段を備え、
    前記合成有無命令手段は、前記移動速度計測手段によって計測された移動速度が所定の閾値を超えるか否かを判断し、超える場合、合成する旨の命令を前記合成転送手段に与えることを特徴とする、請求項１９に記載のコンテンツ再生装置。
24. 前記合成有無命令手段は、ユーザからの指示に応じて、前記合成転送手段に前記吹き出し信号と字幕文字信号とを前記映像信号に合成させるか否かを命令することを特徴とする、請求項１９に記載のコンテンツ再生装置。
25. 前記字幕文字信号生成手段は、ユーザからの指示に応じて、字幕文字を画面の上下左右のいずれかに表示するための通常字幕文字信号を前記吹き出しデータに基づいて生成し、
    前記合成転送手段は、前記字幕文字信号生成手段が前記通常字幕文字信号を生成した場合、前記通常字幕文字信号および前記映像信号のみを合成して、合成信号を表示装置に転送することを特徴とする、請求項１８に記載のコンテンツ再生装置。
26. 前記合成転送手段は、一フレーム毎に吹き出し信号、字幕文字信号、および映像信号を合成する、請求項１８に記載のコンテンツ再生装置。
27. さらに、前記合成転送手段から転送された合成信号に基づいて、合成後の映像を表示する表示手段を備える、請求項１８に記載のコンテンツ再生装置。
28. コンピュータ装置に吹き出しによる字幕付きの映像コンテンツを表示させるための構造を有するデータが記録されたコンピュータ読み取り可能な記録媒体であって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、前記映像内において吹き出しを表示する領域に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、前記領域内における吹き出しの形状に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、吹き出しに挿入する字幕文字に関する情報を格納するための構造とを有するデータが記録された記録媒体。
29. 前記時間に関する情報を格納するための構造は、
    字幕の開始時間を示す情報を格納するための構造と、
    字幕を継続する時間を示す情報を格納するための構造とからなることを特徴とする、請求項２８に記載の記録媒体。
30. コンピュータ装置に吹き出しによる字幕付きの映像コンテンツを表示させるためのデータ構造であって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、前記映像内において吹き出しを表示する領域に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、前記領域内における吹き出しの形状に関する情報を格納するための構造と、
    前記時間に関する情報と対応して、吹き出しに挿入する字幕文字に関する情報を格納するための構造とを有する、データ構造。
31. 吹き出しによる字幕付きの映像コンテンツを提供するためコンテンツ提供システムであって、
    元データとなる映像コンテンツデータに基づく映像内において吹き出しを表示すべき時間に関する情報、前記映像内において吹き出しを表示する領域に関する情報、前記領域内における吹き出しの形状に関する情報、および吹き出しに挿入する字幕文字に関する情報の内、少なくとも一つの情報がデータ化されている吹き出しデータを作成するコンテンツ作成装置と、
    前記コンテンツ作成装置が作成した前記吹き出しデータと前記映像コンテンツデータとを多重化して、当該多重化データを映像コンテンツとして提供するコンテンツ提供手段と、
    前記コンテンツ提供手段から提供される多重化データに基づいて、吹き出しによる字幕付きの映像コンテンツを再生するコンテンツ再生装置とを備える、コンテンツ提供システム。
32. 前記コンテンツ提供手段は、無線放送によって、前記多重化データを前記コンテンツ再生装置に送信することを特徴とする、請求項３１に記載のコンテンツ提供システム。
33. 前記コンテンツ提供手段は、ネットワーク配信によって、前記多重化データを前記コンテンツ再生装置に送信することを特徴とする、請求項３１に記載のコンテンツ提供システム。
34. 前記コンテンツ提供手段は、パッケージメディアを介して、前記多重化データを前記コンテンツ再生装置に提供することを特徴とする、請求項３１に記載のコンテンツ提供システム。

Images