JP2005039340A - 再生装置 - Google Patents

Abstract

【課題】個別に提供された音響データと動画データとを従来に比べより少ないずれで再生開始出力タイミングをそろえる再生装置を提供する。
【解決手段】個別に提供された動画データおよび音響データを同期再生する再生装置１であって、動画再生部４０と、音響再生部５０とを備え、前記動画再生部５０は、前記動画データをデコードする動画デコーダ４２と、前記動画デコーダでデコードされた動画データを表示装置用の映像信号に変換して前記表示装置６０に出力する表示制御器４４と、を有し、前記音響再生部５０は、前記音響データをデコードする音響デコーダ５２と、前記音響デコーダ５２でデコードされた音響デコータを格納するＰＣＭデータバッファ５３と、前記データバッファに格納されデコードされた音響データをスピーカ用の音響信号に変換して前記スピーカ７１に出力するデジタルアナログコンバータ５４と、を有する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、それぞれが個別に提供された動画データと音響データとを再生する技術に関する。
【０００２】
【従来の技術】
通常、ネットワークにより配信されるマルチメディアデータは、ヘッダ情報とペイロードとで構成される。ペイロードには、それぞれ同期情報が付加された動画データと音響データとが交互に折り込まれている。このような構成を有するマルチメディアデータとして、例えば、ＭＰＥＧ１形式またはＭＰＥＧ２形式のプログラムストリーム、トランスポートストリームなどがある。
【０００３】
特許文献１には、ＭＰＥＧ１形式またはＭＰＥＧ２形式の音響付動画像データを、再生装置に蓄積し再生するシステムが開示されている。
【０００４】
また、特許文献２には、音響データと動画データとを個別に蓄積し、再生する再生システムが開示されている。通常、動画データは、音響データに比べて再生のための処理量が多い。そのため、再生された動画データの出力が、実時間で再生された音響データの出力より遅れる場合がある。この再生システムでは、このような場合に一定の時間間隔で、いくつかの動画データのフレームを再生せずに廃棄する。そして、音響データの再生時刻に合わせてフレームの時刻を繰り上げて再生するように動画データのデコーダに指示する。このように、意図的にフレームレート下げることで、再生する音と映像との時間的ずれを解消し、音と映像の同期を取る。
【０００５】
【特許文献１】
特開平８−１７２６０６
【特許文献２】
特開平７−０９５５２２
【０００６】
【発明が解決しようとする課題】
ところで、特許文献１に記載された再生システムでは、あらかじめ、動画データに音響データが付加されている。そのため、音響データとこれに対応する動画データとを、それぞれ個別に購入して再生装置に格納することを想定していない。したがって、このような場合に音響データと動画データとをどのようにして同期再生するかについては、何ら考慮されていない。
【０００７】
また、特許文献２では、個別に蓄積された音響データと動画データとを再生する場合に、音響データの再生時刻に合わせて動画データのフレームの時刻を繰り上げ、動画データのフレームレートを下げることで、音響データと動画データの同期をとっている。しかしながら、音響データのデコーダと動画データのデコーダとの再生処理時間の違いから各デコーダの出力にずれが生じる。そのため、再生開始から動画データのデコーダにフレームレートを下げる指示をするまでの間、音響データと動画データとのずれが解消しないことになる。また、特許文献１および特許文献２では、個別に提供された音響データおよび動画データが個別のライセンス鍵で保護されている場合に、両者を再生することについて考慮されていない。
【０００８】
本発明は、上記事情を考慮してなされたものであり、本発明の目的は個別に提供された音響データと動画データとを、従来に比べてより少ないずれで再生出力開始タイミングをそろえることにある。また、個別のライセンス鍵で保護された音響データと動画データとを再生することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の再生装置は、動画再生部と、音響再生部とを有し、個別に提供された動画データおよび音響データを同期再生する。また、動画再生部は暗号化された動画データを復号化し、音響再生部は暗号化された音響データを復号化する。この際、音響データの再生出力開始タイミングを動画データの再生出力開始に合わせるようにする。
【００１０】
例えば、本発明の再生装置は、それぞれが個別に提供された動画データおよび音響データを同期再生する再生装置であって、動画再生部と、音響再生部とを備える。前記動画再生部は、前記動画データをデコードする動画デコーダと、前記動画デコーダでデコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力する表示制御手段と、を有する。前記音響再生部は、前記音響データをデコードする音響デコーダと、前記音響デコーダでデコードされた音響データを格納するデータバッファと、前記データバッファに格納されデコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力する音響変換手段と、を有する。そして、前記表示制御手段は、前記動画データの先頭フレームに対応する前記映像信号の出力に合わせて同期再生開始信号をアサートし、前記音響変換手段は、前記同期再生開始信号のアサートに合わせて前記音響信号の出力を開始する。
【００１１】
また、本発明の再生装置は、個別に提供された動画データおよび音響データそれぞれのライセンス鍵をネットワークを介して外部から入手する。そして入手したライセンス鍵各々で、動画データおよび音響データを復号化して再生する。
【００１２】
例えば、本発明の再生装置は、それぞれが個別に提供された動画データおよび音響データを有するコンテンツを再生する再生装置であって、動画再生部と、音響再生部と、通信部とを備える。前記通信部は、ネットワークを介してコンテンツ提供装置にコンテンツの識別情報を送信し、前記コンテンツ提供装置より音響データの音響ライセンス鍵と動画データの動画ライセンス鍵とを入手するライセンス鍵入手手段と、前記ライセンス鍵入手手段で入手した音響ライセンス鍵および動画ライセンス鍵を記憶するライセンス鍵記憶手段と、を有する。前記動画再生部は、前記ライセンス鍵記憶手段に記憶された動画ライセンス鍵を用いて暗号化された動画データを復号化する動画デクリプタと、前記動画デクリプタで復号化された動画データをデコードする動画デコーダと、前記動画デコーダでデコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力する表示制御手段と、を有する。前記音響再生部は、前記ライセンス鍵記憶手段に記憶された音響ライセンス鍵を用いて暗号化された音響データを復号化する音響デクリプタと、前記音響デクリプタで復号化された音響データをデコードする音響デコーダと、前記音響デコーダでデコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力する音響変換手段と、を有する。
【００１３】
【発明の実施の形態】
以下に、本発明の一実施形態を説明する。
【００１４】
図１は、本発明の一実施形態に係るマルチキャリア対応動画再生コンボ装置１の機能ブロックを示した図である。なお、マルチキャリア対応動画再生装置１は、以下「ＭＣＭＰ（ｍｕｌｔｉ ｃａｒｒｉｅｒ ｍｅｄｉａ ｐｌａｙｅｒ）１」と記載する。
【００１５】
図示するように、ＭＣＭＰ１は、通信制御部１０と、通信モジュール部２０と、バッファ制御部３０と、動画再生部４０と、音響再生部５０と、動画データまたは音響データのデータパスの制御を行うデータ制御部７２と、ＭＣＭＰ１に装着されるストレージ７４の読み書きを制御するストレージ制御部７３とを有する。
また、ＭＣＭＰ１は、周辺機器として、液晶ディスプレイまたは有機ＥＬ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのタッチパネル付き表示装置６０と、スピーカ７１と、を有する。なお、ＭＣＭＰ１に装着されるストレージ７４は、ＭＤ（ｍｉｎｉ ｄｉｓｋ）、ＤＶＤなどの交換可能な記録媒体を用いる。これにより、ハードディスクのように固定的にＭＣＭＰ１に接続するのではなく、必要に応じてストレージ７４を差し替えながらデータの読み書きが行なえる。本実施形態では、ストレージ７４にＭＤを使用している。本発明は、これに限定されるものではない。
【００１６】
通信制御部１０は、通信管理を行うコミュニケーションマネジャ（以下「ＣＭ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍａｎａｇｅｒ）」）１１と、データを不正に読み出そうとするとデータ自体が壊れる性質を持つ（耐タンパ性）データを格納するためのタンパレジスタモジュール（以下、「ＴＲＭ（ｔａｍｐｅｒ ｒｅｇｉｓｔａｎｃｅ ｍｏｄｕｌｅ）」）１２とを有する。ＴＲＭ１２は、電子商取引を行うｅコマースマネジャ（以下「ＥＣＭ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｍｍｅｒｃｅ ｍａｎａｇｅｒ）」）１３と、動画データまたは音響データのライセンス管理を行うライセンスマネジャ（以下「ＬＭ（ｌｉｃｅｎｓｅ ｍａｎａｇｅｒ）」）１４とを有する。
【００１７】
通信モジュール部２０は、無線ＬＡＮ用アンテナ２１と、無線ＬＡＮ用通信モジュール２３と、携帯電話網用アンテナ２２と、携帯電話網用通信モジュール２４と、動画データが暗号化されてネットワークより配信された場合にこの暗号化された動画データを復号化する動画データ復号器２５と、音響データが暗号化されてネットワークより配信され場合にこの暗号化された音響データを復号化する音響データ復号器２６と、を有する。
【００１８】
バッファ制御部３０は、動画バッファ３１と、音響バッファ３２と、を有する。
【００１９】
動画再生部４０は、著作権保護技術により保護（暗号化）された動画データをライセンス鍵により復号化する動画デクリプタ４１と、圧縮（符号化）がされた動画データを伸張（復号化）する動画デコーダ４２と、動画データの輝度信号（ｙ値）の平均値を算出する平均値算出器４３と、動画データの表示を制御する表示制御器４４と、を有する。
【００２０】
音響再生部５０は、著作権保護技術により保護（暗号化）された音響データをライセンス鍵により復号化する音響デクリプタ５１と、圧縮（符号化）がされた音響データをＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）信号に伸張（復号化）する音響デコーダ５２と、音響デコーダ５２の出力（ＰＣＭ信号）を蓄積するＰＣＭバッファ５３と、デジタルアナログコンバータ５４と、を有する。
【００２１】
なお、図１には、インターネットまたは携帯電話網などの各種ネットワーク３と、各種ネットワークを利用してＭＣＭＰ１に動画データまたは音響データを配信するコンテンツプロバイダ２と、を記載している。
【００２２】
図２は、図１で説明したＭＣＭＰ１の機能ブロックを、ＭＣＭＰ１の機能部品（いわゆるチップ）単位で示した機能部品構成である。
【００２３】
ＭＣＭＰ１は、ベアラ２４１と、ＳＩＭ（ｓｕｂｓｃｒｉｂｅ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ）２４２と、無線ＬＡＮ用通信モジュール２３と、ＴＲＭ１２と、ＭＣＭＰ１の全体の制御と動画を再生するモバイルアプリケーションプロセッサ８５と、ＭＤプレーヤ８６と、を有する。
【００２４】
ベアラ２４１およびＳＩＭ２４２は、携帯電話網用通信モジュール２４（図１）に相当する。ベアラ２４１は、通信の開始前にその通信が通常の音声通話かまたはデータ通信かを識別し識別結果に応じた通信処理行うものである。これにより音声通話とデータ通信とを１つの加入者番号で両立させることが可能である。ＳＩＭ２４２は、携帯電話の加入者情報を記録したＩＣカードである。ＳＩＭ２４２がベアラ２４１に加入者情報を受け渡し、ベアラがこの加入者情報を用いて携帯電話網に接続する。これにより、ＭＣＭＰ１は、外部システムと音声通話またはデータ通信を行う。なお、携帯電話網への接続には、携帯電話網用アンテナ２２を使用する。
モバイルアプリケーションプロセッサ８５は、図１に示すＣＭ１１、バッファ制御部３０、データ制御部７２、動画再生部４０に相当し、ＭＣＭＰ１の全体の制御と動画の再生を行う。
【００２５】
ＭＤプレーヤ８６は、図１に示す音響再生部５０とストレージ制御部７３に相当し、モバイルアプリケーションプロセッサ８５またはリモコン７７から入力された指示によりストレージ７４であるＭＤに対してデータの読み書きを行う。ＭＤプレーヤ８６には、スピーカ７１と、ヘッドホン７５、マイクロフォン７６、リモコン７７などが接続される。
【００２６】
モバイルアプリケーションプロセッサ８５は、タッチパネル付き表示装置６０のソフトキーから入力された各種の指示を受け付け、受け付けた指示応じて図２に示す各機能構成部品にソフトキーまたは制御信号を送出する。
【００２７】
携帯電話網を介して外部システムと通信を行う場合、モバイルアプリケーションプロセッサ８５はベアラ２４１に、ソフトキーまたは制御信号を送出する。そして、ベアラ２４１は、携帯電話網を介してダウンロードした各種コンテンツ（ストリーム）を受信して、制御信号とともに、モバイルアプリケーションプロセッサ８５に受け渡す。
【００２８】
また、インターネットを介して外部システムと通信を行う場合、モバイルアプリケーションプロセッサ８５は、無線ＬＡＮ用通信モジュール２３に制御信号を送出し、無線ＬＡＮ用通信モジュール２３から各種コンテンツ（ストリーム）を受け取る。なお、モバイルアプリケーションプロセッサ８５は、無線ＬＡＮ用通信モジュール２３に電源制御信号を送出し、インターネットに接続していないときの消費電力を削減する。
【００２９】
モバイルアプリケーションプロセッサ８５は、ＴＲＭ１２に制御信号を送出し、ライセンス鍵の格納または読み出しを行う。また、タッチパネル付き表示装置６０に対して、モバイルアプリケーションプロセッサ８５は、ソフトキーから入力された指示に基づき、制御信号とともに動画データを出力する。
【００３０】
そして、モバイルアプリケーションプロセッサ８５は、ＭＤプレーヤ８６に対して、各種制御信号とともに、ストレージ７４（ＭＤ）に格納する動画データを送出し、またストレージ７４に格納された動画データを読み出す。音響データについても同様に、格納または読み出しを行う。また、モバイルアプリケーションプロセッサ８５は、動画データと音響データの同期再生時に、ＭＤプレーヤ８６に再生信号を送出する。また、ＭＤプレーヤ８６は、動画データと音響データの同期再生時に、モバイルアプリケーションプロセッサ８５に、再生信号を送出する。なお、モバイルアプリケーションプロセッサ８５は、ＭＤプレーヤ８６に電源制御信号を送出し、ＭＤプレーヤ８６を使用していないときの消費電力を削減する。また、ＭＤプレーヤ８６は、必要に応じて、リモコン７７から受け付けたコマンドをモバイルアプリケーションプロセッサ８５に送出する。
【００３１】
図３は、ＭＣＭＰ１の概観を示したものである。図示するように、ＭＣＭＰ１は、リモコン７７と、音声を出力するヘッドホン７５Ｒ、７５Ｌと、音声を入力するマイクロフォン７６とが接続されている。なお、マイクロフォン７６は、リモコン７７とヘッドホン７５Ｒ、７５Ｌとの間に接続されている。また、リモコン７７は、通信状態、再生状態などを表示する表示部７７１と、図示しないボタンまたはジョグダイアルなどの入力部とを有する。
【００３２】
ＭＣＭＰ１本体は、ＭＣＭＰ１本体の上部平面にタッチパネル付き表示装置６０を有する。そして、ＭＣＭＰ１の手前の側面には、ストレージ７４を挿入する挿抜スロット１０２と、挿入したストレージ７４を取り出すイジェクトボタン１０１とを有する。また、前記挿抜スロット１０２と反対側の側面には、ＭＣＭＰ１の通信モジュール部２０を備えて構成される通信部１０３を有する。また通信部１０３の端部には、無線ＬＡＮ用アンテナ２１および携帯電話網用アンテナ２２を有し、これらのアンテナはＭＣＭＰ１本体から突起し露出している。なお、通信部１０３は、ＭＣＭＰ１本体から取り外し可能であり、その場合はＭＣＭＰ１本体のみで機能することも可能である。なお、図示しないが、ＭＣＭＰ１本体はスピーカ７１を有している。
【００３３】
次に、ストレージ７４に格納されている音響データと、コンテンツプロバイダ２からネットワーク配信された動画データとを同期再生する場合の処理の流れを、図１を参照して説明する。
【００３４】
まず、通信制御部１０のＣＭ１１は、通信モジュール部２０を制御してコンテンツプロバイダ２に接続する。そして、ＣＭ１１は、タッチパネル付き表示装置６０を介してユーザから動画データの購入指示を受け付ける。次に、通信制御部１０のＥＣＭ１３が、コンテンツプロバイダ２との間で電子決済により動画データの購入を行う。電子決済の終了後、コンテンツプロバイダ２は、購入した動画データを、ネットワーク３を介してＭＣＭＰ１に配信する。ＭＣ１１は、通信モジュール部２０を制御して動画データをダウンロードし、この動画データをバッファ制御部３０の動画バッファ３１に蓄積する。また、ストレージ制御部７３は、ＣＭ１１の指示を受け付けて、ストレージ７４から購入した動画データに対応する音響データを読み出し、データ制御部７２を介して音響バッファ３２に出力する。
【００３５】
そして、ＣＭ１１は、ＬＭ１４に格納されている動画データのライセンス鍵およびを音響データのライセンス鍵を、動画デクリプタ４１および音響デクリプタ５１にそれぞれ送出する。
【００３６】
動画再生部４０では、動画デクリプタ４１が、動画バッファ３１に格納中の動画データを先頭から読み出し、著作権保護技術により暗号化されているこの動画データを、ライセンス鍵を用いて復号化し動画デコーダ４２に出力する。
【００３７】
動画デコーダ４２は、動画デクリプタ４１から出力された圧縮（符号化）された動画データを伸張（復号化）する。その際に、動画デコーダ４２は、動画データをフレームメモリに、輝度信号（Ｙ）、輝度信号と赤色成分の差（Ｕ）および輝度信号と青色成分の差（Ｖ）の３つの情報で色を表すｙｕｖ形式のフレーム単位で展開する。そして、表示制御器４４は、このフレームメモリに展開されたｙｕｖ形式のフレームを、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３つの色の組み合わせとして表現するＲＧＢ形式に変換し、タッチパネル付き表示装置６０に出力する。なお、平均値算出器４３の処理については図５において後述する。
音響再生部５０では、音響デクリプタ５１が、音響バッファ３２に格納中の音響データを先頭から読み出し、著作権保護技術により暗号化されているこの音響データをライセンス鍵を用いて復号化し音響デコーダ５２に出力する。音響デコーダ５２は、圧縮（符号化）された音響データを伸張（復号化）し、伸張したＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）形式の音響データをＰＣＭバッファ５３に蓄積する。そして、デジタルアナログコンバータ５４は、ＰＣＭバッファ５３に蓄積された先頭のＰＣＭ形式の音響データのみを読み出し、デジタルからアナログに変換した状態で音響データの再生のタイミングを待つ。音響デコーダ５２は、ＰＣＭバッファ５３の全容量が音響データで蓄積された時点で、音響データのデコードを一旦中断する。
【００３８】
本実施形態において、動画デコーダ４２の処理時間と音響デコーダ５２の処理時間を比較すると、明らかに動画デコーダ４２の処理時間の方が長い。そのため、音響データと動画データの同期がとれた再生をするために、音響データの先頭の再生出力と動画データの１フレーム目の再生出力タイミング（出だし）を揃える必要がある。その方法について、以下に説明する。
【００３９】
動画デコーダ４２は、動画データの先頭の１フレーム目をデコードし、表示制御器４４に出力する。その際に、動画デコーダ４２は、デジタルアナログコンバータ５４へ同期再生開始信号４２１をアサート（有効またはアクティブな状態）する。そして、表示制御器４４は、デコードされた１フレーム目の動画データを読み出し、ＲＧＢ形式のフレームに変換してタッチパネル付き表示装置６０に出力する。そのタッチパネル付き表示装置６０に出力する際に、表示制御器４４は、デジタルアナログコンバータ５４へ同期再生開始信号４４１をアサートする。
【００４０】
デジタルアナログコンバータ５４は、動画デコーダ４２からの同期再生開始信号４２１がアサートされている状態で表示制御器４４からの同期再生開始信号４４１がアサートされると、既にアナログに変換された音響データをスピーカ７１に出力する。以上により、音響データと動画データの出力の開始タイミングを精度よく揃えることができる。
【００４１】
一旦再生が始まると、ＰＣＭバッファ５３から音響データがデジタルアナログコンバータ５４に出力されるため、ＰＣＭバッファ５３に空きができる。すると、音響デコーダ５２は、中断していた音響データのデコードを再開し、ＰＣＭバッファ５３に音響データを補充する。このため、スピーカ５０から流れる音声は途切れず、音響データの終わりまで再生される。この間、動画デコーダ４２は動画データの終わりまで動画データのデコード処理を行い、表示制御器４４はフレームメモリのデータをタッチパネル付き表示装置６０に出力する。しかしながら、前述のとおり、音響デコーダに比べて動画デコーダの処理は遅いため、音声と動画の再生出力にずれが生じてくる。次に、音響データと動画データの再生出力中に、両者の同期をとる方法について説明する。
【００４２】
まず、デジタルアナログコンバータ５４は、前述の同期再生開始信号４２１、４４１のアサートのタイミングで、動画デコーダ４２および表示制御器４４に音響同期信号５４１の送信を開始する。この音響同期信号５４１は、音響データと動画データとを同期再生するための基準信号であって、デジタルアナログコンバータ５４で再生する音響データのサンプリングレート（例えば４４．１ｋＨｚ）に従ったクロックで、動画デコーダ４２に送出される。動画デコーダ４２は、この音響同期信号５４１をカウントすることで時間（例えば４４．１ｋＨｚの場合は１秒）を計測し、基準時間とする。なお、この時間は、音声の再生時間（経過時間）である。
【００４３】
動画デコーダ４２、この基準時間にもとづき、動画データのフレームレートの逆数で表される１フレーム当たりの再生間隔を算出し、この再生間隔で順次フレームを再生する。なお、この音響同期信号５４１は、動画デコーダ４２からの音響停止指示により送信を停止する。具体的には、動画デコーダ４２より送出される同期再生開始信号４２１が、ネゲート（無効またはインアクティブな状態）されたタイミングで、デジタルアナログコンバータ５４は音響同期信号５４１の送信を停止する。
【００４４】
この同期再生において、動画デコーダ４２は、逐次入力される動画データの各フレームのデコード処理終了時刻を計測している。また、動画デコーダ４２は、逐次入力される動画データの各フレームの再生予定時刻を、デコード開始から当該フレームまでの動画データのフレーム数に、１フレーム当たりの再生間隔を乗算して計算する。そして、動画デコーダ４２のデコード処理の遅延が累積し、あるフレームのデコード処理終了時刻が当該フレームの再生予定時刻を過ぎている場合、動画デコーダ４２は、当該フレームをデコードした後、表示制御器４４へ当該フレームの送出（表示更新）を行わないように制御する（スキップする）。表示制御器４４は、新たなフレームが送出されるまで、当該フレームの前のフレーム（現在表示中のフレーム）を表示し続ける。
【００４５】
このように、動画データのデコード処理が遅延した場合、フレームを表示しないことでフレームレートを下げて音響データの再生出力と同期をとる。なお、デジタルアナログコンバータ５４は、一旦再生を開始すると、同期再生開始信号４２１がアサートされている限り再生処理を継続しているので、非表示によりスキップされた中間フレームの表示を更新しない場合でも、音声は再生される。
【００４６】
以上説明したように、デジタルアナログコンバータ５４は、動画デコーダ４２に音響同期信号５４１の送信をすることで音響データ再生開始後の基準時間を動画デコーダ４２に通知する。動画データは、この基準時間をもとにフレームを間引きしつつあらかじめ定めたフレームの再生間隔を維持することにより音声と動画の同期再生を実現することができる。これにより、画面上の人物から音声が唇（リップ）の動きとずれないで同期（シンクロナイズ）している印象を与えること（すなわちリップシンク）ができる。これにより動画を見る人に違和感無く、また快適に音声および動画を視聴させることができる。
【００４７】
次に、動画再生中にＭＣＭＰ１を使用しているユーザが、再生を停止した場合について説明する。動画再生中にＭＣＭＰ１のタッチパネル付き表示装置６０からユーザの停止指示を受け付けると、動画デコーダ４２は、処理中のフレームのデコード処理を終了した時点で停止し、表示制御器４４へデコードされたフレームデータの送出を行わない。そして、動画デコーダ４２は、前記算出した１フレーム分の再生間隔経過後に、デジタルアナログコンバータ５４への同期再生開始信号４２１をネゲートにする。これを受けて、デジタルアナログコンバータ５４は、音声データの再生出力を停止する。また、表示制御器４４は、所定時間（例えば前記算出した１フレーム分の再生間隔）を経過しても新たなフレームデータが動画デコーダ４２から送られてこない場合、同期再生開始信号４４１をネゲートするとともに、現在出力中のフレームデータの出力を維持する。これにより、タッチパネル付き表示装置６０は現在表示された映像の状態で停止し、スピーカからは音声は流れない。
【００４８】
そして、動画停止中にＭＣＭＰ１のタッチパネル付き表示装置６０からユーザの停止解除指示を受け付けると、動画デコーダ４２は、デジタルアナログコンバータ５４への同期再生開始信号４２１をアサートし、そして、表示制御器４４へデコードしたフレームを送出する。表示制御器４４は、送出されたフレームをＲＧＢ形式に変換してタッチパネル付き表示装置６０に出力し、その際にデジタルアナログコンバータ５４への同期再生開始信号４４１をアサートする。デジタルアナログコンバータ５４は、同期再生開始信号４２１がアサートされた状態で、同期再生開始信号４４１のアサートを受け付けると、音響データの再生出力を再開する。これにより、動画再生中に再生停止指示を受け付けた後に、再生停止状態から再生を再開する場合に、音響と動画の同期の取れた再生を実現することができる。
【００４９】
次に、動画データの再生を優先した再生方法であるクリッピングモードおよび繰り返しモードの音響データと動画データの再生について説明する。
図４は、クリッピングモードおよび繰り返しモードにおいて、音響データと動画データを再生する場合を模式的に示したものである。
【００５０】
通常の同期再生は、図４（ａ）に示すように、動画データ８１０は、デジタルアナログコンバータ５４から送出された音響同期信号５４１に従って、音響データ８２０に合わせて再生され、音響データ８２０と同時に再生を終了する。なお、図４（ａ）では、動画データ８１０と音響データ８２０の再生時間の具体例として０３分４８秒としている。動画データ８１０と音響データ８２０は、それぞれ０分０秒に再生を開始し（８１０Ｓ、８２０Ｓ）、０３分４８秒に再生を終える（８１０Ｅ、８２０Ｅ） 。
【００５１】
図４（ｂ）は、クリッピングモードの再生を示した模式図である。例えば広告用の動画データの場合、一般的に再生時間を１５秒ないし３０秒の短い時間に編集する。クリッピングモードでは、編集した短い時間の動画データ８１０を再生し、動画データ８１０の再生時間だけ音響データ８２０の一部を再生する。図４（ｂ）では、動画データ８１０の再生時間（８１１Ｓ、８１１Ｅ）に合わせ、音響データ８２０は全体の再生時間（０３分４８秒）のうち０１分１２秒（８２１Ｓ）から０１分４２秒（８２１Ｅ）までの３０秒間だけ再生出力される。
【００５２】
このようなクリッピングモードを実現するために、コンテンツプロバイダ２から動画データ（動画コンテンツ）をダウンロードする際に、対応する音響データの再生情報（開始アドレスおよび再生終了アドレス）を同時に受信し、動画データとともにストレージ７４に格納する。なお、再生情報の格納については、図８において後述する。そして、ストレージ制御部７３は、この再生情報に基づき、１分１２秒からの音響データを音響バッファ３２に入力し、音響制御部５０は動画データの先頭フレームの表示（８２１Ｓ）にあわせて音響データの再生出力を開始する。そして、音響再生部５０は、３０秒後に動画データの最終フレームの表示（８２１Ｅ）とともに音響データの再生を終了する。クリッピングモードによる音響データの再生により、サビまたはリフレインと呼ばれる視聴者の記憶に残りやすい音楽のフレーズまたはメロディラインを再生して、印象的な動画の場面を見る人に強く印象付けることができる。
【００５３】
図４（ｃ）は、繰り返しモードの再生を示した模式図である。繰り返しモードでは、音響データより再生時間の短い動画データを繰り返し再生する。例えば、図示するように動画データの一回の再生時間は３０秒、音響データの再生時間を０３分４８秒とする。この場合、動画データは、１回目として００分００秒（８１３Ｓ１）から００分３０秒（８１３Ｅ１）までに再生され、２回目として００分３１秒（８１３Ｓ２）から０１分００秒（８１３Ｅ２）までに再生される。同様に８回目まで再生を繰り返し、全体で０４分００秒再生する。一方、音響データ８２０は、０３分４８秒間再生する。動画データの再生時間（４分）の残りの時間（２２秒）は、再度音響データの先頭から２２秒間だけ再生するか、または無音状態とする（８２４）。なお、クリッピングモードと同様に、繰り返しモードの再生をする場合、コンテンツプロバイダ２から動画データ（動画コンテンツ）をダウンロードする際に、対応する音響データの再生情報を同時に受信し、動画データとともにストレージ７４に格納する。繰り返しモードでは、動画データの内容と音響データの内容は一致することなく、動画の内容と関係のない音楽が流れるなかで、動画が繰り返し表示される。動画が繰り返し表示されることにより、視聴者に走馬灯のような印象を与え、動画データを印象付けることができる。
【００５４】
クリッピングモードまたは繰り返しモードを使用する動画データ（動画コンテンツ）は、映画の予告編や、テレビドラマ等の番組宣伝、イベントまたはプロモータのコンサートチケットの販売広告などの広告宣伝に使用することが考えられる。またそれ以外にも、環境ビデオのコンテンツにも使用される場合もある。
【００５５】
次に、動画データが音響データより早く終了した場合、または音響データが動画データより早く終了した場合の処理について説明する。例えば、前述の繰り返しモードにおいて、図４（ｃ）とは逆に音響データの再生時間が、動画データの全体の再生時間より長い場合は、動画データの再生が終了した後は音響データが終了するまで所定のフレームを表示する。以下に、図５を参照して所定のフレームの作成方法を説明する。
【００５６】
図５は、図１に示す動画再生部４０の動画デコーダ４２と平均値算出器４３の詳細な構成を示した図である。動画デコーダ４２は、上述したように動画データを輝度信号（Ｙ）、輝度信号と赤色成分の差（Ｕ）および輝度信号と青色成分の差（Ｖ）の３つの情報で色を表すｙｕｖ形式のフレームデータに変換する。動画デコーダ４２は、３つの情報ｙ、ｕ、ｖ毎にフレームメモリ（４２２ｙ、４２２ｕ、４２２ｖ）を有する。平均値算出器４３は、ｙ値の加算器４３１と、ｙ値の加算結果レジスタ４３２と、ｙ値の平均値レジスタ４３３と、ｕ値の固定値を記憶するｕ値レジスタ４３４と、第１のｖ値の固定値を記憶する第１のｖ値レジスタ４３５と、第２のｖ値の固定値を記憶する第２のｖ値レジスタ４３６とを有する。
【００５７】
平均値算出器４３は、動画データの最終フレームについて、動画デコーダ４２のｙ値のフレームメモリ４２１ｙからｙ値を順次読み出し、加算器４３１に入力する。加算器４３１は順次入力されたｙ値の加算処理を繰り返し行い、加算処理が終わると加算結果レジスタ４３２に加算結果を格納する。そして平均値算出器４３は、加算結果レジスタ４３２の値からｙ値の平均値を算出し、平均値レジスタ４３３にｙ値の平均値を記憶する。
【００５８】
動画デコーダ４２からのフレームの出力が終了したにもかかわらず、デジタルアナログコンバータ５４から音響同期信号５４１が送信されている場合、表示制御器４４は、ｙ値の平均レジスタ４３３に記憶されているｙ値の平均と、ｕ値レジスタ４３４に記憶されているｕ値の固定値“１２８”と、第１のｖ値レジスタ４３５に記憶されているｖ値の固定値“１２８”と、を読み出す。そして、表示制御器４４は、デジタルアナログコンバータ５４から音響同期信号５４１が送信されている間、前記読み出したｙ値、ｕ値、ｖ値に基づいたフレームをタッチパネル付き表示装置６０に出力する。
【００５９】
なお、ｙ値および第１のｖ値の固定値“１２８”は、８ビットで色差信号を表現した場合の中間の値（プラスマイナスゼロ）である。ｙ値およびｖ値の値が“１２８”の場合は、色がなくなるため、表示制御器４４は、ｙ値の平均値レジスタ４３３に記憶されているｙ値の輝度に従い白、グレーないし黒のフレームをタッチパネル付き表示装置６０に出力する。
【００６０】
また、第２のｖ値の固定値“０”は、８ビットで色差信号を表現した場合において、青色成分の全く無いマイナスの値である。したがって、表示制御器４４が、第１のｖ値レジスタ４３５に記憶されている固定値“１２８”代わりに、第２のｖ値レジスタ４３６に記憶されている“０”を読み出すと、ｙ値平均値の輝度に従い明るさが変わるセピア色のフレームを、タッチパネル付き表示装置６０出力する。
【００６１】
図６は、動画データの再生時間と音響データの再生時間とが異なる場合を模式的に示した図である。図６（ａ）に示す例では、音響データ８２０の再生時間が動画データ８１０の再生時間より長い場合である。音響データ８２０の再生時間は０３分４８秒（８２６）で、動画データ８１０は００分００秒（８１５Ｓ）から０３分４７秒（８１５Ｅ）までの再生時間とする。この場合、平均値算出器４３は、動画データの最後のフレーム（７１５Ｅ）の全体のｙ値の平均値を算出する。そして表示制御器４４は、平均値算出器４３の各レジスタ４３３、４３４、４３５から、ｙ値の平均値、ｖ値の固定値、およびｕ値の固定値を読み出し、フレーム全体を白ないしグレーないし黒で塗りつぶし、このフレームをタッチパネル付き表示装置６０に出力する。０３分４７秒（８１６Ｓ）から０３分４８秒（８１６Ｅ）までの間、タッチパネル付き表示装置６０は、このフレームを表示し続ける。
【００６２】
図６（ｂ）に示す例では、動画データ８１０の再生時間が音響データ８２０の再生時間より長い場合である。音響データの再生時間は０３分４８秒（８２７）で、動画データは００分００秒（８２７Ｓ）から０３分４９秒（８２７Ｅ）までの再生時間とする。音響データの再生が３分４８秒で終了した後も動画データ再生が続く。この間（０３分４８秒から０３分４９秒）は無音状態とし、デジタルアナログコンバータ５４はスピーカ７１に音響データを出力しないこととする（８２８）。
【００６３】
次に、音響データおよび動画データのストレージ７４への格納方法、および管理方法について説明する。
【００６４】
図７は、ストレージ７４としてＭＤ（ｍｉｎｉ ｄｉｓｋ）を使用した場合の音響データと動画データの格納方法を示したものである。ここでは図示していないが、音響データをトラック番号１、動画データをトラック番号２としてＭＤに記録している。なお、トラック番号は通常、楽曲の通し番号を表したものである。本実施形態では、ＭＤに格納されるデータを、ＭＤのクラスタ、セクタ、サウンドグループの階層構造で管理している。したがって、ＭＤデータの格納先アドレスは、クラスタ．セクタ．サウンドグループで表現される。なお、１クラスタには３２セクタが、また２セクタには１１サウンドグループが存在する。
【００６５】
図７（ａ）は音響データの格納方法を例示している。７０５はトラック番号１の音響データが書き込まれたセクタ群であり、７０５０は５０番目のクラスタ、７０５９は５９番目のクラスタを示している。図７（ａ）に示すＭＤでは、５０番目のクラスタ（７０５０）から５９番目のクラスタ（７０５９）に音響データが格納されている。そして、５０番目のクラスタ（７０５９）の０番目のセクタから５９番目のクラスタ（７０５９）の２５番セクタまでを占有している。さらに最後のセクタ（５９番目のクラスタの２５番のセクタ）は、７番目のサウンドグループまで占有している。したがって、トラック１の音響データの占有領域は、アドレス００５０．００．０〜アドレス００５９．２５．７で示される。音響データは、５１２サンプルが最大４２４バイトに圧縮され、１サウンドグループに格納される。
【００６６】
図７（ｂ）は動画データの格納方法を例示している。７０８はトラック２の動画データが書き込まれたセクタ群であり、７０８０は８０番目のクラスタ、７１２８は１２８番目のクラスタを示している。動画データは８０番目のクラスタ（７０８０）の０番目のセクタから、１２８番目のクラスタ（７１２８）の２３番目のセクタを占有し、また、最後のセクタのサウンドグループは９番目のサウンドグループまで占有している。したがって、領域はアドレス００８０．００．０〜アドレス０１２８．２３．９で示される。
【００６７】
動画データは、１サウンドグループの容量４２４バイトに収めるため、動画データ圧縮方式であるＭＰＥＧのＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）単位とは無関係に分割してサウンドグループに格納する。８０番目のクラスタ（７０８０）の０番目のセクタから順に動画データを格納すると、０番目のサウンドグループ（＃００）には、一定量のヌル（ＮＵＬＬ）データ（７０８００）に続いて、ＭＰＥＧ４のビデオファイルフォーマットであるｍ４ｖ形式ファイルのヘッダ（７０８０１）、ＩＶＯＰ（ｉｎｔｒａ ｖｉｄｅｏ ｏｂｊｅｃｔ ｐｌａｎｅ）（７０８０２）、ＰＶＯＰ（ｐｒｅｄｉｃｔｉｖｅ ｖｉｄｅｏ ｏｂｊｅｃｔ ｐｌａｎｅ）（７０８０３）の順に格納され、最後にＰＶＯＰを分割したｐＶＯＰ（７０８０４）が格納される。ヌルデータ（７０８００）から最後のＰＶＯＰ（７０８０４、７０８１１）の容量は４２４バイトを超えるため、４２５バイト目以降のｐＶＯＰ（７０８１１）は１番目のサウンドグループ（＃０１）の先頭のヌルデータ（７０８１０）の後に、分割して格納される。同様に他のサウンドグループにおいても、最後のＩＶＯＰまたはＰＶＯＰは、４２５バイト毎に分割され２つのサウンドグループにまたがって格納される。
【００６８】
動画データは、１２８番目のクラスタの２３番目のセクタの９番目のサウンドグループまで格納されている。この９番目のサウンドグループでは、ヌルデータ（７０８２０）から最後はＰＶＯＰ（７０８２１）で終わる。ヌルデータ（７０８２０）からＰＶＯＰ（７０８２１）の容量が４２４バイトに満たない場合は、ヌルデータまたは０を残り領域（７０８２２）に埋め込む。
【００６９】
各サウンドグループの先頭に、一定量のヌルデータを挿入することにより、在来のＭＤプレーヤが誤って動画データを音響データとして再生することを防ぐことができる。
【００７０】
図８は、音響データと動画データの管理方法を示したものである。本実施の形態では、ストレージ７４としてＭＤを用いている。
【００７１】
図８（ａ）は、ＭＤのトラックの管理情報を格納するユーザが書き換え可能なＵＴＯＣ（Ｕｓｅｒ Ｔａｂｌｅ ｏｆ Ｃｏｎｔｅｎｔｓ）を示したものである。
【００７２】
図８（ａ）において、７００３は３番目のクラスタ、７００４は４番目のクラスタ、７００５は５番目のクラスタを示す。また、７００３０は３番目のクラスタの０番目のセクタ、７００３１は３番目のクラスタの１番目のセクタ、７００３５は３番目のクラスタの５番目のセクタ、７００３６は３番目のクラスタの６番目のセクタを示す。
【００７３】
ＵＴＯＣは、３番目のクラスタ（７００３）に格納され、障害時のバックアップ用に４番目（７００４）と５番目（７００５）のクラスタに７００３と同一内容のＵＴＯＣの複製が格納される。本実施の形態では、ＵＴＯＣは、３番目のクラスタ（７００３）の０番目のセクタ（７００３０）から６番目のセクタ（７００３５）までを使用している。
【００７４】
図８（ｂ）に、セクタ０、セクタ１、セクタ５、セクタ６の詳細を示す。
【００７５】
０番目のセクタ（７００３０）には、トラック番号と、占有アドレスと、モードとが格納される。占有アドレスは、当該トラック番号に格納されているデータの開始および終了アドレスである。モードは、当該トラック番号に格納されているデータが音響データか否か、またデータのコピー制限の有無を示すものである。１行目には、トラック番号００１の音響データが格納され、図７（ａ）に示す音響データの場合は、トラック番号に”００１”が、占有アドレスに”００５０．００．０，００５９．２５．７”が、モードに”０１１０”がそれぞれ格納される（７０５）。モードの”０１１０”は、音響データでかつステレオであることを示している。そして、２行目には、トラック番号に”００２”が現れるまで未使用領域であることを示すため、トラック番号に”ＢＬＡＮＫ”が、占有アドレスに“ＡＶＡＩＬＡＢＬＥ”が、モードには”ＢＬＡＮＫ”がそれぞれ格納される。
【００７６】
３行目には、トラック番号００２の動画データが格納され、図７（ｂ）に示す動画データの場合は、トラック番号に”００２”が、占有アドレスに”００８０．００．０，０１２８．２３．９”が、モードに”１０００”が、それぞれ格納される（７０８）。モードの”１０００”はコピーが制限されていることを示す。そして、４行目には、未使用領域であることを示すため、トラック番号に”ＢＬＡＮＫ”が、占有アドレスに“ＡＶＡＩＬＡＢＬＥ”が、モードには”ＢＬＡＮＫ”がそれぞれ格納される。
【００７７】
１番目のセクタ（７００３１）には、トラック毎にディスク名称とトラック名称とが格納される。１番目のトラックには”ｄｉｓｋ１”，”ｍｕｓｉｃ１”が、２番目のトラックには”ｄｉｓｋ１”，”ｖｉｄｅｏ１”が格納される。
【００７８】
本実施形態では、一般的なＭＤにおいて未使用（未定義）領域である５番目のセクタ（７００３５）に、音響データと動画データとの対応付けをする再生情報が格納される。この５番目のセクタ（７００３５）には、トラック番号と、対応するトラックの総数と、対応する開始・終了アドレスとが格納される。具体的には、まず音響データのトラック番号”００１”と、この音響データに対応する動画データの情報として、対応トラック数”１”と、動画データの開始・終了アドレス”００８０．００．０，０１２８．２３．９”と、が格納される（７００３５）。そして、未使用領域の”ＢＬＡＮＫ”の後に、動画データのトラック番号”００２”と、この動画データに対応する音響データの情報が格納される。このトラック番号”００２”の動画データと音響データとの対応付けは、トラック番号”００１”の音響データにおいて既に行っているため、音響データと動画データの再生時間が一致する通常の再生の場合は空白（”ＢＬＡＮＫ”）となる。但し、動画データがクリッピングモードまたは繰り返しモードで再生される場合は、動画データの再生時間にあわせて再生される音響データの対応トラック数および再生開始位置から終了位置までのアドレス（”１”，”００５０．００．０，００５２．２６．４”）などが格納される（７００３５２）。
【００７９】
また本実施形態では、従来のＭＤが未使用（未定義）のセクタである６番目のセクタ（７００３６）に、ライセンス情報が格納される。この６番目のセクタ（７００３６）には、トラック番号と、ライセンス鍵の識別情報と、有効期限と、楽曲の入ったＣＤバーコード情報とが格納される。ライセンス鍵の識別情報は、ＴＲＭ１２のＬＭ１４に格納されているライセンス鍵を特定するために必要な情報である。図示するトラック番号”００１”の音響データは、パソコンからチェックアウトした音響データであって、再生時にライセンスが不要な音響データを例示している。チェックアウトとは、パソコン内のデータをパソコンと接続した外部機器（ここではＭＣＭＰ１）に転送することをいう。そのため、ライセンス鍵の識別情報と有効期限は空白（”ＢＬＡＮＫ”）となり、次にＣＤのバーコード情報”Ｔ４ ｘｘｘｘｘｘ ｘｘｘｘｘｘ”が格納される。また、図示するトラック番号”００２”の動画データは、トラック番号の後に、ライセンス鍵の識別情報”ＫＥＹ＃０１”と有効期限”０”が格納され、続いてトラック番号”００１”と同じＣＤのバーコード情報”Ｔ４ ｘｘｘｘｘｘ ｘｘｘｘｘｘ”が格納される。有効期限”０”は有効期限が無く無期限に動画データの再生が可能なことを示している。また、トラック番号”００２”の動画データに音響データのＣＤのバーコード情報を格納することにより、トラック番号”００１”の音響データの情報を消去した後に、このＣＤのバーコード情報を用いて再度対応する音楽コンテンツを検索する場合に利用することができる。なお、トラック番号”００２”のライセンス鍵はＭＤの中には格納されていなく、次に説明するＴＲＭ１２中のＬＭ１４に格納されている。以上図８で説明したＭＤのトラックの管理情報は、音響データまたは動画データをストレージ７４に格納する際に、音響データまたは動画データとともに取得し、ストレージ７４に格納する。
【００８０】
次に、図９を参照してＴＲＭ１２におけるライセンス情報の管理について説明する。
【００８１】
図９（ａ）は、ＴＲＭ１２のデータの格納構造を例示した図である。ＴＲＭ１２はプログラム部とデータ部を有する複数の領域を有する。ＴＲＭ１２のプログラム部は、０番目の領域のプログラムローダ１２１と、１番目の領域のＥＣＭ１３と、２番目の領域の音楽再生ＬＭ１４１と、３番目の領域の動画再生ＬＭ１４２と、を有する。０番目の領域のプログラムローダ１２１は、プログラムの正当性を判断したうえで１番目以降のプログラム領域に前述のプログラムをそれぞれ格納する。音楽再生ＬＭ１４１は、コンテンツプロバイダ２から音響データである音楽コンテンツを購入するときに、コンテンツプロバイダ２またはコンテンツプロバイダが指示したサイトからダウンロードされる。そして、プログラムローダ１２１が、ダウンロードされた音楽再生ＬＭ１４１を、ＴＲＭ１２のプログラム部に格納する。また、動画再生ＬＭ１４２についても、音楽再生ＬＭ１４１と同様に、動画データである動画コンテンツを購入時に、コンテンツプロバイダ２等からダウンロードされ、ＴＲＭ１２のプログラム部に格納される。
【００８２】
プログラムローダ１２１（領域＃０）のデータ部には、１番目以降の領域のプログラム部に格納されているプログラムの名称（ＥＣＭ、音楽再生ＬＭ、動画再生ＬＭ）が、順に記録されている。また、音楽再生ＬＭ（領域＃２）の１番目のデータ部（１４１０）には、トラック１に格納されている音響データのライセンス情報が格納され、動画再生ＬＭ（領域＃３）の１番目のデータ部（１４２０）には、トラック２に格納されている動画データのライセンス情報が格納されている。これらのライセンス情報について、次に図９（ｂ）、（ｃ）を参照し説明する。
【００８３】
図９（ｂ）は、２番目の領域の音楽再生ＬＭ１４１のデータ部を例示した図である。データ部の０番目（１４１０）には、音響データであるトラック１のライセンス情報が格納されている。ライセンス情報には、ディスク名称と、トラックの名称と、トラック番号と、ライセンス鍵識別情報および有効期限またはチェックアウト元情報と、ライセンス鍵自体とが格納される。具体的には、ディスク名称（”ｄｉｓｋ１”）と、トラックの名称（”ｍｕｓｉｃ１”）と、トラック番号（”００１”）と、チェックアウト元（”ｈｏｍｅＰＣ”）と、が順に格納される。図示する音響データは、パソコンからチェックアウトした音響データであるため、ライセンス鍵識別情報ではなくチェックアウト元情報が格納される。なお、データ部の１番目（１４１１）には、データが格納されていないため”ＢＬＡＮＫ”となっている。
【００８４】
図９（ｃ）は、３番目の領域の動画再生ＬＭ１４２のデータ部を例示した図である。データ部の０番目（１４２０）には、動画データであるトラック２のライセンス情報が格納されている。具体的には、ディスク名称（”ｍｕｓｉｃ１”，”ｄｉｓｋ１”）と、トラックの名称（”ｖｉｄｅｏ１”）と、トラック番号（”００１”，”００２”）と、ライセンス鍵識別情報および有効期限（”Ｋｅｙ＃１，０”）と、ライセンス鍵（”Ｋｅｙ”）と、が順に格納される。有効期限の”０”は、前述のとおり動画データの再生が無期限にできることを示している。なお、データ部の１番目（１４２１）は、データが格納されていないため”ＢＬＡＮＫ”となっている。
【００８５】
以上説明した音響データと動画データの格納方法により、個別に入手した音響データと動画データを一つのストレージ７３（ＭＤ）で管理することができる。
【００８６】
次に、音楽コンテンツの音響データと、動画コンテンツの動画データの検索、購入、ダウンロードおよび再生について、図１０、図１１および図１を参照し説明する。
【００８７】
図１０は、音楽コンテンツおよび動画コンテンツの購入の流れを示した図である。実施形態では、まず、以下に示す種々の経路から音楽コンテンツを入手し、この音楽コンテンツの音響データをストレージ７４に格納する。音楽コンテンツの入手経路としては、２つの方法が考えられる。
【００８８】
第１の方法（９００〜９０５）としては、市販されている音楽ＣＤに格納されている音響データをパソコン上で圧縮した後、パソコンからチェックアウトまたはダウンロードする方法や、インターネットで販売されている音楽をダウンロードする方法や、超流通ＣＤ等の無償配布メディアからコピーする方法や、地上デジタル放送局から録音する方法などが考えられる。超流通ＣＤは、音響データを暗号化したもの（暗号化コンテンツ）と、その暗号を復号する鍵（ライセンスキー）とを別々に流通させ、暗号化コンテンツは自由に流通およびコピーができる一方、ライセンスキーは、コンテンツとは異なる暗号法で保護され、認証された機器以外にはコピーができないＣＤをいう。
【００８９】
これらの音楽コンテンツは、ＣＭ１１がタッチパネル付き表示装置６０からユーザの指示を受け付けて、通信モジュール部２０（無線ＬＡＮ用通信モジュール２２または携帯電話網用モジュール２７）を制御して、インターネットなどを介し外部システムから音響データをダウンロードする。市販ＣＤまたは超流通ＣＤに記録されている音楽コンテンツの場合は、図１には図示していない通信モジュール部２０に存在するパソコンとの接続インタフェース（例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）など）を介して、パソコンから音響データをダウンロードする。なお、パソコンとの接続時のインタフェース（タッチパネル付き表示装置６０への画面表示）については、図１５で後述する。
【００９０】
そしてＣＭ１１は、通信モジュール部２０を介して入手した音響データを、バッファ制御部３０を介してストレージ７４に格納する（９００）。また、ＣＭ１１は、ストレージ７４に格納する際に、例えば曲名または音響データに埋め込まれた情報を識別子として、通信モジュール部２０を用いて、データベース（例えばインターネット上のＣＤＤＢサービス等）を検索する（９０１）。そして、ＣＤ番号、曲名、著作権者、プロバイダ名等の音響データの情報を取得する（９０２）。これらの音響データの情報は、コンテンツを識別するためのコンテンツ識別情報（以下、「コンテンツ情報」）である。
【００９１】
超流通ＣＤの音響データなどの再生制限のある音響データをストレージ７４に格納した場合は、その音響データの再生のためにライセンス鍵を購入する必要がある。その場合は、ＣＭ１１は、タッチパネル付き表示装置６０からユーザの指示を受け付けて、通信モジュール部２０を用いて、前記コンテンツ情報をコンテンツプロバイダに送信し（９０３）、そして、ライセンス鍵の購入指示をコンテンツプロバイダに送信する（９０４）。そして、通信モジュール部２０は、コンテンツプロバイダから、ライセンス鍵をダウンロードし（９０５）、ＣＭ１１に受け渡す。ＣＭ１１は、このライセンス鍵をＴＲＭ１２のＬＭ１４に受け渡し、ＬＭ１４は、ＬＭ１４のデータ部にライセンス鍵を格納する。このように、格納されたライセンス鍵は、音響データの再生時に、ＬＭ１４によって音響デクリプタ５１にダウンロードされる。そして音響デクリプタ５１が、このライセンス鍵を用いて音響データを復号化し、音響データの再生が可能となる。
【００９２】
第２の方法（９０６〜９０９）としては、コンテンツプロバイダ２から、音楽配信によりコンテンツを購入する場合である。ＣＭ１１は、タッチパネル付き表示装置６０からユーザの指示を受け付けて、通信モジュール部２０を制御し、ネットワーク３を介してコンテンツプロバイダ２に接続する。そして、コンテンツプロバイダ２からコンテンツ情報を入手する（９０６）。そして、ＣＭ１１は、入手したコンテンツ情報をタッチパネル付き表示装置６０に表示し、ユーザが選択した音楽コンテンツの購入指示を受け付ける。この購入指示を受け付け、ＣＭ１１は、通信モジュール部２０を介して、コンテンツプロバイダ２に選択された音楽コンテンツの購入指示を送信する（９０７）。
【００９３】
次に、ＥＣＭ１３が、ネットワークを介して、音楽コンテンツの電子決済を行なう。決済方法としては、様々な方法があるが、クレジットカードを利用するものが一般的である。なお、電子決済を行うときインタフェース（タッチパネル付き表示装置６０への画面表示）については、図１４で後述する。ＥＣＭ１３による電子決済が完了すると、ＣＭ１１が、通信モジュール部２０を介してコンテンツプロバイダ２からライセンス鍵をダウンロードする（９０８）。ＣＭ１１は、超流通ＣＤの処理（９０５）のと同様に、ＴＲＭ１２のＬＭ１４に受け渡し、ＬＭ１４は、ＬＭ１４のデータ部にライセンス鍵を格納する。次に、通信モジュール部２０は、コンテンツプロバイダ２から購入した音楽コンテンツ（音響データ）をダウンロードする。そして、ＣＭ１１は、音響バッファ３２を介して、ストレージ７４にダウンロードした音響データを格納する（９０９）。
【００９４】
以上説明した第１の方法または第２の方法により、入手した音響データは、ＣＭ１１が、タッチパネル付き表示装置６０からユーザの指示を受け付けて、音響データをストレージ７４から、また、ライセンス鍵をＬＭ１４からそれぞれ読み出して、音響再生部５０に入力する。これにより、購入した音響データを再生することができる（９１０）。なお、ストレージ７４に音響データを格納した後に音響データを再生する場合、コンテンツプロバイダ２と通信する必要はなく、ＣＭ１１は、コンテンツプロバイダ２とのネットワーク接続を解除することができる。また、音響データの再生は、前述のように一旦ストレージ７４に格納した後に、別途再生を行うだけでなく、コンテンツプロバイダ２からのダウンロード中、もしくはダウンロード後にストレージ７４に格納中に再生（すなわち、オンザフライ再生）することも可能である。
【００９５】
以上第１の方法（９０１〜９０５）もしくは第２の方法（９０６〜９０９）により音響データおよびライセンス鍵を取得した後、この音響データに対応する動画データを入手する。
【００９６】
ＣＭ１１は、タッチパネル付き表示装置６０からユーザの指示を受け付けて、通信モジュール部２０を用いてコンテンツプロバイダ２に接続する。そして、音響データの音楽コンテンツ情報（９０２または９０６で取得）をコンテンツプロバイダ２に送信する（９１１）。次に、ＣＭ１１は、コンテンツプロバイダ２から送信した音楽コンテンツに対応した動画コンテンツの情報を、通信モジュール部２０を介して取得する（９１２）。そして、ＣＭ１１は、入手した動画コンテンツ情報をタッチパネル付き表示装置６０に表示し、ユーザが選択した動画コンテンツの購入指示を受け付ける。この購入指示を受け付け、ＣＭ１１は、通信モジュール部２０を介して、コンテンツプロバイダ２に選択された動画コンテンツの購入指示を送信する（９１３）。その後、音楽コンテンツの購入と同様に（９０８、９０９）、動画データのライセンス鍵および動画データがダウンロードされる（９１３、９１４）。そして、ＣＭ１１は、動画データのライセンス鍵をＴＲＭ１２のＬＭ１４に格納し、動画データをストレージ７４に格納する。なお、動画コンテンツの購入時のインタフェース（タッチパネル付き表示装置６０への画面表示）については、図１３で後述する。
【００９７】
また、ＣＭ１１は、動画データをダウンロード中に、動画データを動画再生部４０に入力し、既に格納済みのライセンス鍵を用いてオンザフライ再生を行うことが可能である（９１５）。このオンザフライ再生において、ＣＭ１１は、ダウンロード中の動画データの再生だけではなく、既にストレージ７４に格納されている音響データとの同時再生によるオンザフライ再生も可能である（９１６）。
【００９８】
以上により音響データと音響データに対応する動画データが、ストレージ７４に格納され、その後はネットワーク３に接続することなく音楽および動画の再生を楽しむことができる。ＣＭ１１は、タッチパネル付き表示装置６０からユーザの指示を受け付けて、音響データと動画データをストレージ７４から読み出し、また、音響ライセンス鍵と動画ライセンス鍵をＬＭ１４から読み出し、それぞれ音響再生部５０と動画再生部４０に入力して、音響データと動画データとを同時に再生する。同期再生の方法は、前述のとおり、動画再生部４０の動画デコーダ４２と表示制御器４４が同期再生開始信号４２１、４４１をデジタルアナログコンバータ５４に送信し、動画データと音響データの再生出力タイミングを揃えて、再生を開始する。また再生中は、デジタルアナログコンバータ５４が、動画デコーダ４２に音響同期信号５４１を送信し、動画データと音響データの同期をとる。
【００９９】
なお、音響データと対応する動画データが、ストレージ７４に格納された状況で、音響データのみの単独の再生も可能である。この場合、ＣＭ１１が、タッチパネル付き表示装置６０から音響データのみの再生指示を受け付け、ストレージ制御部７３に制御信号を送信し、ストレージ７４から動画データの読み出しを行わないように制御する。動画データの再生をしないことにより、ストレージ制御部７３、動画再生部４０、タッチパネル付表示装置４０などにおいて消費電力の削減を図ることができ、バッテリの寿命を延ばすことが可能である。なお、音響データおよび動画データの再生時のインタフェース（タッチパネル付き表示装置６０への画面表示）については、図１２で後述する。
【０１００】
さて、９１１〜９１４において動画コンテンツを購入したが、その動画データをストレージ７４に格納しなかった場合に、再度コンテンツプロバイダ２から動画データをダウンロードする場合について説明する（９１９〜９２２）。動画データをストレージ７４に格納しない場合としては、ストレージ７４の記憶容量が不足した場合など動画データの格納に失敗した場合、もしくは、意図的に動画データをストレージ７４に格納しない場合が考えられる。
【０１０１】
ＣＭ１１は、通信モジュール部２０を用いてコンテンツプロバイダ２に接続し、再度、音楽コンテンツ情報をコンテンツプロバイダ２に送信する（９１９）。次に、ＣＭ１１は、ＬＭ１４から動画ライセンス鍵を読み出し、通信モジュール部２０を介してコンテンツプロバイダ２に送信する（９２０）。コンテンツプロバイダ２は、送信されたコンテンツ情報および動画ライセンス鍵を認証し、再びＭＣＭＰ１に動画データのコンテンツを送信する。ＣＭ１１は、通信モジュール部２０を介して動画データをダウンロードし、ストレージ７４に格納する（９２１）。なお、この再ダウンロード中においても、音響データと動画データを同期再生したオンザフライ再生をすることが可能である（９２１、９２２）。一旦、動画のライセンス鍵を購入した場合には、コンテンツプロバイダ２から何度でも動画データをダウンロード可能とすることで、ストレージ７４に動画データを格納する必要がなくなり、ストレージ７４の記憶容量を削減し、ストレージ７４の有効活用を図ることができる。
【０１０２】
次に、図１１を参照し、図１０以外のより広範な動画データの検索処理の流れについて説明する。この動画データの検索時点において、ストレージ７３には少なくとも音響データと音響データのコンテンツ情報とが格納され、ＬＭ１４には音響ライセンス鍵が格納されているものとする。なお、図１０に示す動画データのダウンロード（９１１〜９１４、９１９〜９２１）により、既に動画データと動画ライセンス鍵をストレージ７３とＬＭ１４に格納されている状態であってもかまわない。
【０１０３】
初めに広告用の動画コンテンツの検索処理について説明する（９３１〜９３６）。なお、この広告用の動画コンテンツは、ライセンス鍵が不要でかつ無償のコンテンツとする。ＣＭ１１は、タッチパネル付き表示装置６０からユーザの指示を受け付けて、通信モジュール部２０を用いて、音楽のコンテンツ情報を広告用の動画コンテンツを検索するポータルサイトに送信する（９３１）。このポータルサイトは、携帯電話のサービスまたはインターネットのＷｅｂサービスなどが考えられる。ポータルサイトは、このコンテンツ情報を受信し、イベンタプロモータ、プロダクション、広告代理店、放送局、コンテンツプロバイダなどに、受信したコンテンツ情報に関連する動画コンテンツの有無を問い合わせる（９３２）。
【０１０４】
ポータルサイトの問い合わせにより、イベンタプロモータ、プロダクション、広告代理店、放送局、コンテンツプロバイダから、動画コンテンツに関する情報が、ポータルサイト経由で、ＭＣＭＰ１に送信される（９３３）。ＣＭ１１は、通信モジュール部２０を介して受け取った動画コンテンツに関する情報を、タッチパネル付き表示装置６０に表示する。そして、ＭＣ１１は、タッチパネル付き表示装置６０に入力されたユーザの選択指示を受け付け、選択した動画コンテンツの情報をポータルサイトに送信する。このポータルサイトは、送信を受け付けて、選択された動画コンテンツをＭＣＭＰ１に送信する。これにより、選択された動画コンテンツの動画データがＭＣＭＰ１にダウンロードされる（９３３）。なお、ユーザの選択指示なしで、動画データが無条件にダウンロードされる場合もある。
【０１０５】
ダウンロードが終わると、ポータルサイトは、イベンタプロモータ、プロダクション、広告代理店等から、インセンティブ（報酬）またはキックバックを紹介手数料として受け取る（９３４）。また、動画データが広告用のコンテンツである場合、ＭＣＭＰ１で再生する際に、音響データを広告用動画データの挿入歌として再生するため著作権料が発生する。そのため、イベンタプロモータ、プロダクション、広告代理店、放送局は、この著作権料をコンテンツプロバイダ２もしくは著作権者に著作権料を支払う（９３５）。そして、ＣＭ１１は、タッチパネル付き表示装置６０に入力されたユーザの再生指示を受け付け、ダウンロードした動画データと、既にストレージ７４に格納している音響データとを同期再生する（９３６）。
【０１０６】
次に、コンテンツプロバイダ２が、自らＭＣＭＰ１に音響データのコンテンツ情報を配信する場合について説明する（９４１〜９４６）。コンテンツプロバイダ２は、ＭＣＭＰ１に対して、ポータルサイト経由または直接、ユーザの音楽コンテンツの購買傾向に合った音楽コンテンツ情報を配信する。例えば、前述のＭＣＭＰ１からの動画コンテンツの検索（９３１）、または音楽コンテンツの購入（図１０：７０３〜７０９）などのコンテンツプロバイダ２へのアクセス履歴情報をもとに、コンテンツプロバイダ２は各ＭＣＭＰ１にそれぞれのコンテンツ情報を配信する（９４１）。この配信された音楽コンテンツ情報の音楽コンテンツを購入する場合は、図１０に示すコンテンツプロバイダから音楽コンテンツを購入するときの処理（９０６〜９０９）と同様である（９４１〜９４４）。そして、音響データおよびライセンス鍵がストレージ７４およびＬＭ１４に格納され、音響データの再生が可能となる（９４６）。
【０１０７】
ＭＣＭＰ１がこの音楽コンテンツの購入を前述のポータルサイト経由で購入した場合は、コンテンツプロバイダ２はポータルサイトへ紹介手数料を支払う。また前述のイベントプロモータ等の著作権料の支払いは（９３５）、イベンタプロモータ等がコンテンツプロバイダ２とは独立に音楽コンテンツを利用したために発生したものである。本処理においては、コンテンツプロバイダ２は、連鎖的に別の音楽コンテンツを販売している。そのため、コンテンツプロバイダ２は、このインセンティブ（９３４）および著作権料の支払い・受け取り（９３５）の履歴に基づき、この別の音楽コンテンツの購入が成立した時点で、広告代理店および広告代理店経由で放送局に、それぞれインセンティブまたはキックバックを支払う（９４５）。
【０１０８】
そして、コンテンツプロバイダ２から配信された音楽コンテンツを購入した場合に、前記購入した音楽コンテンツに対応する動画コンテンツ情報が、コンテンツプロバイダ２からポータルサイト経由で、または直接ＭＣＭＰ１に送信される（９５１）。これは、ＭＣ１１が、タッチパネル付き表示装置９３に入力されたユーザの要求指示を受け付け、コンテンツプロバイダ２に要求して送信される場合と、コンテンツプロバイダが自らＭＣＭＰ１に送信する場合とが考えられる。この送信された動画コンテンツ情報を購入する場合は、図１０に示す動画コンテンツ購入処理（９１３〜９１５）と同様である（９５２、９５３、９５５）。そして、動画データおよびライセンス鍵がストレージ７４およびＬＭ１４に格納され、動画データおよび既に購入済みの音響データとの同期再生が可能となる（９５５、９５６）。この動画データのコンテンツの購入が成立した時点で、コンテンツプロバイダ２は、９４５と同様に、ポータルサイトへ紹介手数料を支払い、また広告代理店および広告代理店経由で放送局へ、それぞれインセンティブまたはキックバックを紹介手数料として支払う（９５４）。
なお、図１１に示す広範な範囲での動画データ（動画コンテンツ）の検索において、コンテンツプロバイダ２は、街頭または景勝地に街頭カメラを設置し、この該当カメラで撮影した映像を動画データとしてＭＣＭＰ１に配信することもできる。例えば、ＣＭ１１が、ネットワークを介してポータルサイト経由でコンテンツプロバイダ２に、音響データの再生時間を含む音響データのコンテンツ情報と、街頭の動画データまたは景勝地の動画データのいずれかを選択する選択指示とを送信する。そして、コンテンツプロバイダ２は、これらの情報を受信して、街頭の動画データまたは景勝地の動画データを、音響データの再生時間だけＭＣＭＰ１に送信する。
【０１０９】
以上説明したように、音楽コンテンツおよび動画コンテンツを個別に検索して、ストレージ７４に格納する。
【０１１０】
次に、タッチパネル付き表示装置６０に表示される画面（ユーザインタフェース）について図１２から図１５を例に説明する。ここで、表示画面の制御は、タッチパネル付き表示装置６０に入力された操作内容に応じて、ＣＭ１１が行う。
【０１１１】
図１２は、ストレージ７４に格納された音響データまたは動画データを再生する場合の表示画面の一例を示したものである。図１２（ａ）は、電源を投入したアイドル状態（ＭＤ ＩＤＬＥ）を示したものである。図示するように、タッチパネル付き表示装置６０は、プレビュー領域６２０１を有するコンテキスト表示領域６２０と、トラック情報表示領域６５０と、タッチパネルの操作ボタンとを有する。操作ボタンは、前トラックボタン６０１と、再生ボタン６０２と、停止ボタン６０３と、次トラックボタン６０４と、録音ボタン６０５と、動画再生ボタン６０６とを有する。なお、図１２（ａ）の例では、トラック情報表示領域６５０には、「ＴＲＡＫ ０１ ３’４８“」が表示され、トラック１の音響データの再生時間が、３分４８秒であることを示している。
【０１１２】
図１２（ｂ）は、図１２（ａ）と同じ電源が入ったアイドル状態（”ＭＤ ＩＤＬＥ”）である。この状態でＣＭ１１が、再生ボタン６０２の押下を受け付けると、図１２（ｃ）の音楽再生状態（”ＭＤ ＰＬＡＹ”）の画面に遷移する。また、この状態でＣＭ１１が、次トラックボタン６０４の押下を受け付けると、図１２（ｄ）の動画再生待ち状態（”ＶＭＤ ＩＤＬＥ”）の画面に遷移する。また、この状態でＣＭ１１が、動画再生ボタン６０６の押下を受け付けると、図１２（ｅ）の動画再生状態（”ＶＭＤ ＰＬＡＹ”）の画面に遷移する。
【０１１３】
音楽再生状態（図１２（ｃ））では、コンテキスト表示領域６２０に音楽再生中であることを示す回転状態インジケータ６２０２が表示される。また、この状態で停止ボタン６０３の押下を受け付けると、ＣＭ１１は電源が入ったアイドル状態（図１２（ｂ））に、動画再生ボタン６０６を押すと動画再生状態（図１２（ｅ））に遷移する。
【０１１４】
そして、動画再生待ち状態（図１２（ｄ））では、ＣＭ１１が動画再生ボタン６０６の押下を受け付けると、図１２（ｅ）の動画再生状態（”ＶＭＤ ＰＬＡＹ”）の画面に遷移する。また、この状態で、ＣＭ１１が前トラックボタン６０１の押下を受け付けると、アイドル状態（図１２（ｂ））の画面に遷移する。
【０１１５】
動画再生状態（図１２（ｅ））では、回転状態インジケータ６２０２は消え、コンテキスト表示領域６２０に動画が表示される。この状態で、ＣＭ１１が停止ボタン６０３の押下を受け付けると動画再生待ち状態（図１２（ｄ））に、動画再生ボタン６０６の押下を受け付けると動画再生を終了し音楽再生状態（図１２（ｂ））に遷移する。
【０１１６】
以上により、ストレージ７４であるＭＤの中に、音響データと動画データとが各々別のトラックに格納されている状態で、トラック単位での再生を迅速に切り換えることができる。また、音響データの単独再生と動画データの同時再生をシームレスに切り替えることが可能である。
【０１１７】
図１３は、動画データをネットワーク経由で検索する場合の表示画面の一例を示したものである。図１３（ａ）に示す表示画面は、ＣＭ１１が、リモコン７７から入力された検索モードへ切り換え指示を受け付け、通信制御モジュール部２０がコンテンツプロバイダ２に接続したタイミングで、図１２の再生時の表示画面から切り替わる。なお、モードの切り換え指示は、ＭＣＭＰ１本体に図示しない外部スイッチを設けることによって指示しても良い。
【０１１８】
図１３（ａ）は、検索モードへ切り換えた直後の状態を示す。図１２（ａ）に示す再生時の表示画面と、コンテキスト表示領域６２０にプレビュー領域６２０１を有しない点、また動画再生ボタン６０６の替りに動画データの検索を開始する検索ボタン６０７が表示される点において異なる。
【０１１９】
図１３（ｂ）は、ＣＭ１１が、検索ボタン６０７の押下を受け付けて、トラック１の音響データに対応する動画コンテンツをコンテンツプロバイダ２に要求し、その検索結果を表示したものである。図示するように、コンテキスト表示領域６２０には、検索された動画コンテンツ毎に、名称（６２１０、６２１１、６２１２）と、複数の画像を一覧表示するために縮小された画像であるサムネイルの表示領域（６２１４、６２１５、６２１６）と、料金とが表示される。またカーソルを移動させた動画コンテンツのサムネイルが拡大表示されるプレビュー領域（６２１３）が表示される。図１２（ｂ）では、３番目の動画コンテンツ（６２１２）にカーソルを移動させている。タッチパネルの操作ボタンには、キャンセルボタン４０８と、選択ボタン４０９とが表示され、その他のボタンは図１２と同様である。３番目のコンテンツ６２１２のカーソルを移動させた状態で、選択ボタン６０９の押下を受け付けると、図１３（ｃ）に画面が遷移する。
【０１２０】
図１３（ｃ）は、選択した動画コンテンツの購入をユーザに確認する画面である。図示するように、コンテキスト表示領域６２０には、選択された動画コンテンツの販売会社名６２２０と、動画コンテンツ名称および料金６２２１と、サムネイルが表示されたプレビュー領域６２２２とが表示される。タッチパネルの操作ボタンには、キャンセルボタン４０８と、購入ボタン４１０とが表示され、その他ボタンは図１２と同様である。この画面でユーザに購入の意思を確認し、購入ボタン４１０押下を受け付けると、図１４のコンテンツ購入画面に遷移する。
【０１２１】
図１４は、コンテンツの購入時の表示画面例である。図１４（ａ）は、図１３（ｃ）の購入ボタンの押下後に表示される画面である。図示するようにタッチパネル付き表示装置６０のコンテキスト表示領域６２０には、各種の支払手段が表示される（６２３１〜６２３３）。また、操作ボタンには、キャンセルボタン６０８と承認ボタン６１１とが表示され、その他ボタンは図１２と同様である。この購入画面では、ＴＲＭ１２のＥＣＭ２２がコンテンツプロバイダ２ないしクレジットカード会社等の決済サーバと決済手段の照会を行い、その結果が画面上に表示される（６２３１〜６２３３）。表示された決済手段のいずれかにカーソルを移動させた状態で承認ボタン４１１の押下を受け付けると、ＥＣＭ２２は決済サーバと決済手続きを進める。なお、携帯電話のポータルサイト例えばｉ−ｍｏｄｅ（登録商標）サーバで決済を行う場合は、ベアラ２４１に接続されたＳＩＭ２４２に格納された加入者情報をもとに決済手続きが進められる。
【０１２２】
図１４（ｂ）は、決済処理が終了した後のコンテンツのダウンロード処理の表示画面例である。図示するように、コンテキスト表示領域６２０では、ダウンロード中であることを示す状態メッセージ６２４１と、ライセンス鍵の処理状況のインジケータ６２４２と、動画コンテンツの処理状況のインジケータ６２４３と、オンザフライ再生が可能なことを示すメッセージ６２４４とが表示され、ダウンロード状況をユーザに知らせる。操作ボタンには、格納ボタン６１２と動画再生ボタン６０６とが表示され、その他ボタンは図１２と同様である。格納ボタン６１２の押下を受け付けると、図１４（ｃ）の画面が遷移する。
【０１２３】
図１４（ｃ）は、コンテンツをストレージ７４に格納する際の表示画面例である。図１４（ｂ）に示す画面とは、ＭＤの回転状態インジケータ６２０２が表示され、またコンテンツの格納を中止するキャンセルボタン６０８が表示される点において異なる。なお、動画再生ボタン６０６の押下を受け付けるとオンザフライ再生が始まる。
【０１２４】
次に、パソコンに格納されたデータをＭＣＭＰ１にチェックアウト、またはＭＣＭＰ１に格納されたデータをパソコンにチェックインする際に、パソコンとＭＣＭＰ１を接続する時のインタフェース画面を説明する。なお、チェックインとは、外部機器（ここではＭＣＭＰ１）にチェックアウト（転送）されたデータを、チェックアウト元であるパソコンに戻す（転出）ことをいう。
【０１２５】
図１５は、パソコンと接続する際の表示画面例である。パソコンと接続すると、まず図１５（ａ）に示す画面が表示される。コンテキスト表示領域６２０では、ＰＣからデータを転送または転出する方式が表示される。例えば、ＭＣＭＰ１側の操作により音響データまたは動画データをチェックインする方法（６２５１、６２５２）、またはパソコン側の操作によりＭＣＭＰ１側ではスタンバイ状態で音響データまたは動画データをチェックアウトする方法（６２５３）などが表示される。操作ボタンには、キャンセルボタン６０８と選択ボタン６０９とが表示され、その他ボタンは図１２と同様である。
【０１２６】
図１５（ｂ）は、ＭＣＭＰ１がスタンバイ状態で音響データまたは動画データがチェックアウトされる場合（図１５（ａ）：６２５３）の処理を示す表示画面である。コンテキスト表示領域６２０には、パソコンから音響データがトラック３にチェックアウト処理中であることを示す状態メッセージ６２５４と、ライセンス鍵の処理状況のインジケータ６２４２と、音楽コンテンツ（音響データ）の処理状況のインジケータ６２４３とが表示される。操作ボタンには、キャンセルボタン６０８と、機能を割り当てていないボタン４１３とが表示され、その他ボタンは図１２と同様である。
【０１２７】
図１５（ｃ）は、ＭＣＭＰ１側の操作により動画データをチェックインする場合（図１５（ａ）：６２５２）の処理を示す表示画面である。コンテキスト表示領域６２０には、動画データがトラック２にチェックイン処理中であることを示す状態メッセージ６２５５が表示され、その他については図１５（ｂ）と同様である。
【０１２８】
以上により、本発明に係る実施形態について説明した。本処理により、個別に入手した音響データと動画データを、それぞれ対応付けて、ストレージ７４に格納し、音響データと動画データの同期再生することができる。また、動画再生部４０が、音響再生部５０へ同期再生開始信号を送出することにより、容易に音響データと動画データの再生出力の開始タイミング（出だし）をそろえることができる。また、音響データと動画データとが、異なる著作権保護技術で保護されている場合において、音響データと動画データのライセンス鍵を個別に管理し、音響データと動画データをそれぞれ対応するライセンス鍵で復号化することで同時再生を可能とする。
【０１２９】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記の実施形態では動画デコーダ４２のデコード処理の遅延が累積し、あるフレームのデコード処理終了時刻が当該フレームの再生予定時刻を過ぎている場合、動画デコーダ４２は、当該フレームをデコードした後、表示制御器４４へ当該フレームの送出（表示更新）を行わないように制御する。しかしながら、本発明はこれに限定されるものではなく、あるフレームのデコード処理終了時刻が当該フレームの再生予定時刻を過ぎている場合、動画デコーダ４２は、当該フレームの次に入力されるフレームをデコード処理することなく破棄することとしてもよい。すなわち、動画デコーダ４２は、当該フレームの次のフレームのデコード処理および表示制御器４４へ送出（表示更新）を行わないように制御し、破棄したフレームの次のフレームのデコードを行う。このように、動画データのデコード処理が遅延した場合、フレームを破棄することでフレームレートを下げて音響データの再生出力と同期をとることができる。
【０１３０】
また、ＭＣＭＰ１を音響データおよび動画データの再生装置として用いるだけではなく、携帯電話として利用すること可能である。図１６は、携帯電話の機能も付加した場合のＭＣＭＰ１の機能部品（いわゆるチップ）単位で示した機能部品構成である。ＭＣＭＰ１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｉｏｄｅ）カメラまたはＣＭＯＳイメージセンサーなどの撮像画素８７を有する点で図２と異なる。
【０１３１】
音声のみの携帯電話としてＭＣＭＰ１を使用する場合、ベアラ２４１は携帯電話網を経由して送信された通信相手の音声を電源制御信号とともにＭＤプレーヤ８６に出力し、ＭＤプレーヤ８６は前記音声をスピーカ７１またはヘッドホン７５に出力する。これにより、ユーザは通信相手の音声を聞くことが可能である。一方、ユーザの音声は、マイクロフォン７６により入力され、ＭＤプレーヤ部６４を経由してベアラ２４１に入力される。ベアラ２４１は、マイクロフォン７６から入力された音声を、携帯電話網を介して通信相手に送信する。なお、ＭＤプレーヤ８６がベアラ２４１から通信相手の音声を受け取る際に、併せて通信相手の電話番号、通信状態などを受け取り、リモコン７７の表示部に表示することもできる。
【０１３２】
さらに、ベアラ２４１は、モバイルアプリケーションプロセッサ８５およびＭＤプレーヤ８５と連携して、ＭＣＭＰ１をカメラ機能付き携帯電話とすることも考えられる。モバイルアプリケーションプロセッサ８５は、ＣＣＤ８７などにより記録されたｙｕｖ形式のデータを、タッチパネル付き表示装置６０にｙｕｖ形式またはＲＧＢ形式のデータを出力し、このデータをベアラ２４１に画像データストリームとして送出する。これによりベアラ２４１は、ＣＣＤカメラ等で記録した画像を、携帯電話網を介して通信相手に送信することができる。なお、ＣＣＤカメラ等で記録した画像を、単にタッチパネル付き表示装置６０に出力してデジタルカメラとして機能することも可能である。
【０１３３】
【発明の効果】
以上のように本発明によれば、個別に提供された音響データと動画データとを従来に比べより少ないずれで再生開始出力タイミングをそろえることができる。また、個別のライセンス鍵で保護された音響データと動画データとを再生することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るＭＣＭＰの機能ブロックを示した図である。
【図２】本発明の実施形態に係るＭＣＭＰの機能部品構成を示した図である。
【図３】本発明の実施形態に係るＭＣＭＰの概観を示した図である。
【図４】本発明の実施形態に係るクリッピングモードと繰り返しモードの再生を模式的に示した図である。
【図５】本発明の実施形態に係るＭＣＭＰの平均値算出器を示した図である。
【図６】本発明の実施形態に係る再生時間が異なる音響データと動画データの再生を模式的に示した図である。
【図７】本発明の実施形態に係る音響データと動画データの格納方法の一例を示した図である。
【図８】本発明の実施形態に係る音響データと動画データの管理方法の一例を示した図である。
【図９】本発明の実施形態に係るライセンス情報の管理方法の一例を示す図である。
【図１０】本発明の実施形態に係る第１のコンテンツ検索時の処理の流れを示した図である。
【図１１】本発明の実施形態に係る第２のコンテンツ検索時の処理の流れを示した図である。
【図１２】本発明の実施形態に係る音響データまたは動画データ再生時の表示画面例を示した図である。
【図１３】本発明の実施形態に係るコンテンツ検索時の表示画面例を示した図である。
【図１４】本発明の実施形態に係るコンテンツ購入時の表示画面例を示した図である。
【図１５】本発明の実施形態に係るＭＣＭＰ１をパソコンと接続した時の表示画面例を示した図である。
【図１６】本発明の実施形態に係るＭＣＭＰを携帯電話として機能させた場合の機能部品構成を示した図である。
【符号の説明】
１…ＭＣＭＰ、２…コンテンツプロバイダ、３…ネットワーク、１０…通信制御部、１１…ＣＭ、１２…ＴＲＭ、１３…ＥＣＭ、１４…ＬＭ、２０…通信モジュール部、２１…無線ＬＡＮ用アンテナ、２２…携帯電話網用アンテナ、２３…無線ＬＡＮ用モジュール、２４…携帯電話網用モジュール、２５…動画復号器、２６…音響復号器、３０…バッファ制御部、３１…動画バッファ、３２…音響バッファ、４０…動画再生部、４１…デクリプタ、４２…動画デコーダ、４３…平均値算出器、４４…表示制御器、５０…音響再生部、５１…デクリプタ、５２…音響デコーダ、５３…ＰＣＭバッファ、５４…デジタルアナログコンバータ、６０…タッチパネル付き表示装置、７１…スピーカ、７２…データ制御部、７３…ストレージ制御部、７４…ストレージ

Claims (13)

1. それぞれが個別に提供された動画データおよび音響データを同期再生する再生装置であって、
   動画再生部と、音響再生部とを備え、
   前記動画再生部は、前記動画データをデコードする動画デコーダと、前記動画デコーダでデコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力する表示制御手段と、を有し、
   前記音響再生部は、前記音響データをデコードする音響デコーダと、前記音響デコーダでデコードされた音響データを格納するデータバッファと、前記データバッファに格納されデコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力する音響変換手段と、を有し、
   前記表示制御手段は、前記動画データの先頭フレームに対応する前記映像信号の出力に合わせて同期再生開始信号をアサートし、
   前記音響変換手段は、前記同期再生開始信号のアサートに合わせて前記音響信号の出力を開始すること
   を特徴とする再生装置。
2. 請求項１記載の再生装置であって、
   前記音響変換手段は、前記デコードされた音響データのサンプリングレートに従ったクロック信号である音響同期信号を送出し、
   前記動画デコーダは、逐次入力される前記動画データのフレームのデコード処理終了時刻を計測する手段と、前記音響同期信号より定まるフレーム再生間隔および当該フレームまでの前記動画データのフレーム数に基づいて当該フレームの再生予定時刻を計算する手段と、当該フレームのデコード処理終了時刻が当該フレームの再生予定時刻を過ぎている場合に、当該フレームを表示しないこと
   を特徴とする再生装置。
3. 請求項１記載の再生装置であって、
   前記音響変換手段は、前記デコードされた音響データのサンプリングレートに従ったクロック信号である音響同期信号を送出し、
   前記動画デコーダは、逐次入力される前記動画データのフレームのデコード処理終了時刻を計測する手段と、前記音響同期信号より定まるフレーム再生間隔および当該フレームまでの前記動画データのフレーム数に基づいて当該フレームの再生予定時刻を計算する手段と、当該フレームのデコード処理終了時刻が当該フレームの再生予定時刻を過ぎている場合に、当該フレームの次に入力されるフレームをデコード処理することなく破棄すること
   を特徴とする再生装置。
4. 請求項１記載の再生装置であって、
   暗号化された動画データを復号化する動画ライセンス鍵および暗号化された音響データを復号化する音響ライセンス鍵を記憶するライセンス鍵記憶手段を更に有し、
   前記動画再生部は、前記ライセンス鍵記憶手段に記憶された動画ライセンス鍵を用いて前記暗号化された動画データを復号化して、前記動画デコーダへ出力する動画デクリプタを更に有し、
   前記音響再生部は、前記ライセンス鍵記憶手段に記憶された音響ライセンス鍵を用いて前記暗号化された音響データを復号化して、前記音響デコーダへ出力する音響デクリプタを更に有すること
   を特徴とする再生装置。
5. 請求項４記載の再生装置であって、
   前記ライセンス鍵記憶手段は、耐タンパ性を有する記憶手段であること
   を特徴とする再生装置。
6. 請求項４記載の再生装置であって、
   前記暗号化された動画データ、前記動画ライセンス鍵の識別情報、前記暗号化された音響データ、および、前記音響ライセンス鍵の識別情報が記憶された記憶媒体から、情報を読み取る記憶媒体制御手段を更に有し、
   前記動画デクリプタは、前記記憶媒体制御手段を介して前記記憶媒体から読み出した前記動画ライセンス鍵の識別情報に基づいて、前記前記ライセンス鍵記憶手段から前記動画ライセンス鍵を読み出し、当該動画ライセンス鍵を用いて、前記記憶媒体制御手段を介して前記記憶媒体から読み出した前記暗号化された動画データを復号化し、
   前記音響デクリプタは、前記記憶媒体制御手段を介して前記記憶媒体から読み出した前記音響ライセンス鍵の識別情報に基づいて、前記ライセンス鍵記憶手段から前記音響ライセンス鍵を読み出し、当該音響ライセンス鍵を用いて、前記記憶媒体制御手段を介して前記記憶媒体から読み出した前記暗号化された音響データを復号化すること
   を特徴とする再生装置。
7. 請求項１記載の再生装置であって、
   前記動画再生部は、前記動画デコーダでデコードされた動画データのフレーム内の輝度平均値を算出する平均値算出手段を更に有し、
   前記音響変換手段は、音響同期信号を送出し、
   前記表示制御手段は、前記動画デコーダからの出力が終了したにもかかわらず、前記音響変換手段から前記音響同期信号が送出されている間は、前記平均値算出手段で算出された輝度平均値に基づいた前記映像信号を、前記表示装置に出力すること
   を特徴とする再生装置。
8. それぞれが個別に提供された動画データおよび音響データを有するコンテンツを再生する再生装置であって、
   動画再生部と、音響再生部と、通信部とを備え、
   前記通信部は、ネットワークを介してコンテンツ提供装置にコンテンツの識別情報を送信し、前記コンテンツ提供装置より音響データの音響ライセンス鍵と動画データの動画ライセンス鍵とを入手するライセンス鍵入手手段と、前記ライセンス鍵入手手段で入手した音響ライセンス鍵および動画ライセンス鍵を記憶するライセンス鍵記憶手段と、を有し、
   前記動画再生部は、前記ライセンス鍵記憶手段に記憶された動画ライセンス鍵を用いて暗号化された動画データを復号化する動画デクリプタと、前記動画デクリプタで復号化された動画データをデコードする動画デコーダと、前記動画デコーダでデコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力する表示制御手段と、を有し、
   前記音響再生部は、前記ライセンス鍵記憶手段に記憶された音響ライセンス鍵を用いて暗号化された音響データを復号化する音響デクリプタと、前記音響デクリプタで復号化された音響データをデコードする音響デコーダと、前記音響デコーダでデコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力する音響変換手段と、を有すること
   を特徴とする再生装置。
9. 請求項８記載の再生装置であって、
   記憶媒体に対する情報の読み書きを制御する記憶媒体制御手段を更に有し、
   前記記憶媒体には、コンテンツの識別情報と、当該コンテンツを構成する暗号化された音響データおよび動画データとが記憶されており、
   前記ライセンス鍵入手手段は、前記記憶媒体制御手段を介して前記記憶媒体から読み出したコンテンツの識別情報を前記コンテンツ提供装置に送信し、前記コンテンツ提供装置より音響データの音響ライセンス鍵と動画データの動画ライセンス鍵とを入手し、
   前記動画デクリプタは、暗号化された動画データを前記記憶媒体制御手段を介して前記記憶媒体から読み出し、前記ライセンス鍵記憶手段に記憶された動画ライセンス鍵を用いて暗号化された動画データを復号化し、
   前記音響デクリプタは、暗号化された音響データを前記記憶媒体制御手段を介して前記記憶媒体から読み出し、前記ライセンス鍵記憶手段に記憶された音響ライセンス鍵を用いて暗号化された音響データを復号化すること
   を特徴とする再生装置。
10. 請求項９記載の再生装置であって、
    前記通信部は、前記コンテンツ提供装置にコンテンツの識別情報を送信し、前記コンテンツ提供装置より当該コンテンツを構成する音響データおよび動画データの少なくとも１つを入手し、前記記憶媒体制御手段を介して前記記憶媒体に記憶するコンテンツ入手手段を更に有すること
    を特徴とする再生装置。
11. 請求項８記載の再生装置であって、
    前記動画データは、街頭または景勝地に設置した街頭カメラにより撮影した動画データであって、前記音響データの再生時間と同じ再生時間を有すること
    を特徴とする再生装置。
12. それぞれが個別に提供された動画データおよび音響データを同期再生する再生方法であって、
    前記動画データをデコードし、前記デコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力するとともに、前記音響データをデコードし、前記デコードされた音響データをデータバッファに格納し、前記格納されデコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力するステップを有し、
    前記ステップは、動画データの先頭フレームに対応する前記映像信号の出力時に同期再生開始信号をアサートし、前記同期再生開始信号のアサートに合わせて前記音響信号の出力を開始すること、
    を特徴とする再生方法。
13. それぞれが個別に提供された動画データおよび音響データを有するコンテンツを再生する再生方法であって、
    ネットワークを介してコンテンツ提供装置にコンテンツの識別情報を送信し、前記コンテンツ提供装置より当該コンテンツを構成する音響データの音響ライセンス鍵と動画データの動画ライセンス鍵とを入手するステップと、
    前記入手した音響ライセンス鍵および動画ライセンス鍵を記憶するステップと、
    前記記憶された動画ライセンス鍵を用いて暗号化された動画データを復号化し、前記復号化された動画データをデコードし、前記デコードされた動画データを表示装置用の映像信号に変換して前記表示装置に出力するとともに、
    前記記憶された音響ライセンス鍵を用いて暗号化された音響データを復号化し、前記復号化された音響データをデコードし、前記デコードされた音響データを音響機器用の音響信号に変換して前記音響機器に出力するステップと、を有すること
    を特徴とする再生方法。

Images