JP4579877B2

JP4579877B2 - 再生装置及び再生方法

Info

Publication number: JP4579877B2
Application number: JP2006181289A
Authority: JP
Inventors: 幸里川村; 星日李
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2006-06-30
Filing date: 2006-06-30
Publication date: 2010-11-10
Anticipated expiration: 2026-06-30
Also published as: JP2008011337A

Description

本発明は再生装置及び再生方法に関し、特に動画像及び音声を同時に再生する再生装置及び再生方法に関する。

近年、楽曲などの音声データや動画像データは様々な方式で圧縮符号化され、携帯電話やデジタルカメラなどでも利用されている。
図４は、圧縮符号化された音声データ及び動画像データを再生する従来の再生装置の概略構成図である。

再生装置５００は、制御部５０１、ビデオデコーダ５０２、オーディオデコーダ５０３、表示処理部５０４、音声処理部５０５、同期処理部５０６、ディスプレイ５０７、スピーカ５０８を有する。

ここで、制御部５０１は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを有し、圧縮符号化された音声データと動画像データとを分離して、動画像データはビデオデコーダ５０２に入力し、音声データはオーディオデコーダ５０３に入力する。

ビデオデコーダ５０２は、例えば、ＭＰＥＧ（Motion Picture Experts Group）−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。復号した動画像データは、表示処理部５０４に入力され、Ｄ／Ａ（Digital / Analogue）変換などが行われる。そして、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）などのディスプレイ５０７に表示される。

オーディオデコーダ５０３は、例えば、ＭＰ３（MPEG-1 Audio Layer-3, MPEG-2 AudioBC(Back word Compatible), ISO(International Organization for Standardization)非標準規格のMPEG-2.5 Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding. MPEG-2 AAC: ISO/IEC(International Electro technical Commission) 13818-7, MPEG-4 AAC: ISO/IEC 1446-3, Subpart 4などとして勧告されている）などに代表される圧縮符号化方式で符号化された音声データを復号する。復号した音声データは、音声処理部５０５にてＤ／Ａ変換やフィルタリングなどが施された後、スピーカ５０８から出力される。

同期処理部５０６は、動画像データと音声データとの同期処理を行う。従来の同期処理では、同期処理部５０６は、音声データとの同期を行うために、単位時間当たりに表示する画像の処理枚数（あるいは、同義となるが、１枚の画像を表示する時間）を変化することが一般的である（例えば特許文献１参照。）。これは、１フレームあたりの画像出力時間を一定にした場合、音声との同期がとれず、音切れなどが発生してしまうからである。
特開平１０−２００８６０号公報

しかし、従来のように、音声と同期をとるために動画像の処理枚数などを調整すると、画像の飛びが発生し、視聴者に不快な印象を与えてしまうという問題があった。
本発明はこのような点に鑑みてなされたものであり、動画像を悪化させることなく簡単な構成で音声との同期再生が可能な再生装置を提供することを目的とする。

また、本発明の他の目的は、動画像を悪化させることなく簡単な構成で音声との同期再生が可能な再生方法を提供することである。

本発明では上記問題を解決するために、動画像及び音声を同時に再生する再生装置において、図１に示すように、単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定する推定部１０６ａと、推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較する比較部１０６ｂと、比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する音声処理時間調整部１０６ｃと、を有することを特徴とする再生装置１００が提供される。

上記の構成によれば、推定部１０６ａは単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定し、比較部１０６ｂは推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較し、音声処理時間調整部１０６ｃは比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する。

また、動画像及び音声を同時に再生する再生方法において、単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法が提供される。

上記の方法によれば、単位動画像データを半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間が推定され、推定された復号完了時間と、単位動画像データに対応した音声データの再生時間とが比較され、比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間が調整される。

本発明によれば、単位動画像データの復号完了時間が、同時に再生する音声データの再生時間よりも長い場合にも、音切れの発生を防止することができ、簡単な構成で音声データと動画像データとの同期再生が可能になる。また、音声データとの同期のために動画像データの読み飛ばしなどを行わないため、動画像を悪化させることもない。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本実施の形態の再生装置の構成図である。
本実施の形態の再生装置１００は、制御部１０１、ビデオデコーダ１０２、オーディオデコーダ１０３、表示処理部１０４、音声処理部１０５、同期処理部１０６、ディスプレイ１０７、スピーカ１０８を有する。

制御部１０１は、ＣＰＵまたはＭＰＵなどを有し、圧縮符号化された音声データと動画像データとを分離して、動画像データはビデオデコーダ１０２に入力し、音声データはオーディオデコーダ１０３に入力する。

ビデオデコーダ１０２は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。復号した動画像データは、表示処理部１０４に入力され、Ｄ／Ａ変換などが行われる。そして、ＬＣＤ、有機ＥＬなどのディスプレイ１０７に表示される。

オーディオデコーダ１０３は、例えば、ＭＰ３や、ＡＡＣなどに代表される圧縮符号化方式で符号化された音声データを復号する。復号した音声データは、音声処理部１０５にてＤ／Ａ変換やフィルタリングなどが施された後、スピーカ１０８から出力される。

同期処理部１０６は、動画像データと音声データとの同期処理を行う。図１に示す本実施の形態の再生装置１００において、同期処理部１０６は、推定部１０６ａ、比較部１０６ｂ、音声処理時間調整部１０６ｃを有している。

推定部１０６ａは、単位動画像データを、ビデオデコーダ１０２にて半分復号処理した時点での復号処理時間をもとに、単位動画像データの復号完了時間を推定する。例えば、単位動画像データを１フレームの画像データとすると、半フレームの復号処理が完了した時点で、それまでにかかった復号処理時間を２倍して、さらに、表示処理部１０４でディスプレイ１０７に出力処理する時間などを加えて復号完了時間を算出する。

比較部１０６ｂは、推定部１０６ａで推定した復号完了時間と、単位動画像データと同時に再生する音声データの再生時間とを比較する。
音声処理時間調整部１０６ｃは、比較部１０６ｂでの比較の結果、復号完了時間が再生時間よりも長い場合、復号完了時間に合わせるように再生時間を調整する。例えば、ＰＬＬ（Phase Locked Loop）により、音声処理部１０５での音声出力処理の際のサンプリング周波数を変更したり、音声出力するデータ個数を調整するなどの処理を行わせ、再生時間を引き延ばし、単位動画像データの復号完了時間と合うように調整する。

以下、このような再生装置１００を用いた本実施の形態の再生方法を説明する。
なお、以下では単位動画像データを、１フレームの動画像データであるとして説明する。

外部から、圧縮符号化された音声データと動画像データが再生装置１００に入力されると、制御部１０１は、音声データと動画像データとを分離して、動画像データはビデオデコーダ１０２に入力し、音声データはオーディオデコーダ１０３に入力する。

図２は、動画像データと音声データとの同期再生の様子を示す図である。
図２（Ａ）で示すように、まず、画像復号処理のための事前処理時間Ｔｐｒｅで、復号するフレーム１の動画像データを図示しないバッファに蓄積する。その後、ビデオデコーダ１０２にてフレーム１の動画像データの復号を開始する。

一方、フレーム１の動画像データと同時に再生する音声データは、オーディオデコーダ１０３に入力されて復号された後、音声処理部１０５でＤ／Ａ変換され、動画像データと同期して再生される。

動画像データの復号処理が進み、半フレーム分の復号処理が終了すると、同期処理部１０６はこれを検出する。そして、推定部１０６ａは、半フレーム分の復号処理にかかった復号処理時間Ｔｄｅｃ１をもとに、フレーム１の復号完了時間Ｔ＿ＤＥＣ１を推定する。復号完了時間Ｔ＿ＤＥＣ１は、半フレーム分の復号処理時間Ｔｄｅｃ１を２倍することによって見積もることができる。ただし、前述の事前処理時間Ｔｐｒｅのほか、復号処理後の出力処理などのための事後処理時間Ｔｐｏｓｔを加味し、Ｔ＿ＤＥＣ１＝Ｔｄｅｃ１×２＋Ｔｐｒｅ＋Ｔｐｏｓｔと表すことができる。

比較部１０６ｂは、オーディオデコーダ１０３から、フレーム１の動画像データと同時に再生する音声データの再生時間Ｔ＿ＯＵＴ１の情報を取得し、推定部１０６ａにて推定したフレーム１の動画像データの復号完了時間Ｔ＿ＤＥＣ１と比較する。図２（Ａ）の場合、フレーム１では、動画像データの復号完了時間Ｔ＿ＤＥＣ１と再生時間Ｔ＿ＯＵＴ１は等しい。そのため、音声処理時間調整部１０６ｃは、音声処理部１０５に対して、引き続き同一のサンプリング周波数で、音声再生出力を継続させる。

フレーム１の動画像データの復号処理が完了すると、ビデオデコーダ１０２は、事前処理時間Ｔｐｒｅ経過後にフレーム２の動画像データの復号処理を開始する。そして、半フレーム分の復号処理の終了時に推定部１０６ａは、フレーム２の復号完了時間Ｔ＿ＤＥＣ２を推定する。フレーム１の場合と同様に、復号完了時間Ｔ＿ＤＥＣ２は、Ｔ＿ＤＥＣ２＝Ｔｄｅｃ２×２＋Ｔｐｒｅ＋Ｔｐｏｓｔと表すことができる。

そして、比較部１０６ｂは、復号完了時間Ｔ＿ＤＥＣ２と、フレーム２の動画像データと同時に再生する音声データの再生時間Ｔ＿ＯＵＴ２とを比較する。フレーム２の場合、フレーム１と異なり、Ｔ＿ＤＥＣ２＞Ｔ＿ＯＵＴ２となっている。この場合、フレーム２の動画像データの再生が完了する前に、同時に再生すべき音声データの再生が終了してしまう。そして、次のフレームの動画像データの再生が開始するまで音切れが発生し、視聴者に不快感を与えてしまう。

しかし、本実施の形態の再生装置１００において、音声処理時間調整部１０６ｃは、半フレームの復号処理が終了した時点で推定した復号完了時間Ｔ＿ＤＥＣ２が、音声データの再生時間Ｔ＿ＯＵＴ２より長い場合、図２（Ｂ）に示すように、復号完了時間Ｔ＿ＤＥＣ２に合わせるように再生時間Ｔ＿ＯＵＴ２を調整する。具体的には、半フレーム分の復号処理が終了した時刻Ｔ１以降の音声出力に対して、音声処理部１０５でのサンプリング周波数を可変して、再生時間を引き延ばす。これによって、復号完了時間Ｔ＿ＤＥＣ２と等しい、音声の再生時間Ｔ＿ＯＵＴ２ａを得ることができる。なお、サンプリング周波数を可変する代わりに、音声出力するデータ個数を調整するなどして再生時間を引き延ばすようにしてもよい。

このように、本実施の形態の再生装置１００によれば、単位動画像データの復号完了時間が、同時に再生する音声データよりも長い場合にも、音切れの発生を防止することができ、簡単な構成で音声データと動画像データとの同期再生が可能になる。また、音声データとの同期のために動画像データの読み飛ばしなどを行わないため、動画像を悪化させることもない。

なお、上記では単位動画像データを、１フレームの動画像データであるとして説明したが、これに限定されない。例えば、ＭＰＥＧ−２では各フレームが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプで区別されるが、これらのピクチャタイプの組であるＧＯＰ（Group Of Pictures）を１つの単位動画像データとしてもよい。

また、上記のビデオデコーダ１０２、オーディオデコーダ１０３、同期処理部１０６などは、ハードウェアで実装してもよいが、ソフトウェアで実現することも可能である。
その場合、復号処理や同期処理部１０６での処理内容などを記述したプログラムが、制御部１０１の制御のもと実行されることで、上記の再生方法が実現される。

次に、本実施の形態の再生方法を携帯電話に適用した場合について説明する。
図３は、携帯電話の概略の構成図である。
携帯電話２００は、アンテナ２０１、ベースバンドプロセッサ２０２、マルチメディアプロセッサ２０３、ディスプレイ２０４、スピーカ２０５、ＳＤ（Secure Digital）カード２０６を有している。

アンテナ２０１は、電波によって、動画像データ及び音声データを含むコンテンツデータを受信する。
ベースバンドプロセッサ２０２は、図１の制御部１０１の機能を有し、圧縮符号化されたコンテンツデータの動画像データと音声データとを分離する。

マルチメディアプロセッサ２０３は、Ｉ／Ｆ（Interface）２１１、ＳＲＡＭ（Static Random Access Memory）２１２、ビデオデコーダ２１３、オーディオデコーダ２１４、バス２１５、表示処理部２１６、音声処理部２１７、同期処理部２１８を有し、これらが、ＬＳＩ（Large Scale Integrated circuit）化された構成となっている。

Ｉ／Ｆ２１１は、ベースバンドプロセッサ２０２とマルチメディアプロセッサ２０３との間で情報の入出力を行う。
ＳＲＡＭ２１２は、例えば、複数設けられ、分離した動画像データと音声データを一時記憶する。

ビデオデコーダ２１３は、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４などの圧縮符号化方式で符号化された動画像データを復号する。
オーディオデコーダ２１４は、例えば、ＭＰ３や、ＡＡＣなどに代表される圧縮符号化方式で符号化された音声データを復号する。

バス２１５は、Ｉ／Ｆ２１１、ＳＲＡＭ２１２、ビデオデコーダ２１３、オーディオデコーダ２１４、ＳＤカード２０６を接続し、これらの間で情報を伝達する。
表示処理部２１６は、復号された動画像データに対し、Ｄ／Ａ変換などを行い、ＬＣＤ、有機ＥＬなどのディスプレイ２０４に表示させる。

音声処理部２１７は、復号された音声データに対し、所定のサンプリング周波数によるＤ／Ａ変換などを行い、スピーカ２０５から出力させる。
同期処理部２１８は、図１に示したような、推定部１０６ａ、比較部１０６ｂ、音声処理時間調整部１０６ｃの機能を有し、動画像データと音声データとの同期処理を行う。

以下、携帯電話２００において、コンテンツデータの再生処理について説明する。
アンテナ２０１によって、コンテンツデータを受信すると、コンテンツデータはベースバンドプロセッサ２０２からバス２１５を介してＳＤカード２０６に記録される。再生時には、ＳＤカード２０６に記録されたコンテンツデータは、ベースバンドプロセッサ２０２により、動画像データと音声データに分離されて、マルチメディアプロセッサ２０３内のＳＲＡＭ２１２に一時記憶される。

そして、ビデオデコーダ２１３及びオーディオデコーダ２１４は、ＳＲＡＭ２１２に展開されている動画像データ及び音声データの復号処理を行う。復号された動画像データは表示処理部２１６によりアナログ信号に変換されて、ディスプレイ２０４に表示される。また、復号された音声データは、音声処理部２１７によってアナログ信号に変換されてスピーカ２０５から出力される。

このとき同期処理部２１８は、図２で示したように、単位動画像データを半分復号処理した時点で、復号完了時間を推定して、その単位動画像データと同時に再生する音声データの再生時間と比較して、復号完了時間が再生時間より長い場合には、再生時間を引き延ばして復号完了時間と一致するようにする。これにより、音声の音切れをなくすことができ、滑らかな動画像と音声との同期再生を実現することができる。

なお、上記では、本実施の形態の再生装置及び再生方法を携帯電話２００に適用した場合について説明したが、これに限定されない。例えば、図３のような同期処理部２１８を有するマルチメディアプロセッサ２０３を搭載することで、ＰＤＡ（Personal Digital Assistant）などの携帯機器でも実現可能である。また、動画像再生機能がついたミュージックプレイヤ、さらには、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置に適用することも可能である。

（付記１）動画像及び音声を同時に再生する再生装置において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定する推定部と、
推定した前記復号完了時間と、前記単位動画像データと同時に再生する音声データの再生時間とを比較する比較部と、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整する音声処理時間調整部と、
を有することを特徴とする再生装置。

（付記２）前記推定部では、前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする付記１記載の再生装置。

（付記３）前記音声処理時間調整部は、前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする付記１記載の再生装置。

（付記４）前記音声処理時間調整部は、前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする付記１記載の再生装置。

（付記５）動画像及び音声を同時に再生する再生方法において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、
推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法。

（付記６）前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする付記５記載の再生方法。

（付記７）前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする付記５記載の再生方法。
（付記８）前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする付記５記載の再生方法。

本実施の形態の再生装置の構成図である。動画像データと音声データとの同期再生の様子を示す図である。携帯電話の概略の構成図である。圧縮符号化された音声データ及び動画像データを再生する従来の再生装置の概略構成図である。

符号の説明

１００再生装置
１０１制御部
１０２ビデオデコーダ
１０３オーディオデコーダ
１０４表示処理部
１０５音声処理部
１０６同期処理部
１０６ａ推定部
１０６ｂ比較部
１０６ｃ音声処理時間調整部
１０７ディスプレイ
１０８スピーカ

Claims

動画像及び音声を同時に再生する再生装置において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定する推定部と、
推定した前記復号完了時間と、前記単位動画像データと同時に再生する音声データの再生時間とを比較する比較部と、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整する音声処理時間調整部と、
を有することを特徴とする再生装置。
前記推定部では、前記単位動画像データの半分の復号処理を検出すると、前記復号処理時間を２倍することで、前記復号完了時間を見積もることを特徴とする請求項１記載の再生装置。
前記音声処理時間調整部は、前記音声データの出力の際のサンプリング周波数を可変することによって、前記再生時間を調整することを特徴とする請求項１記載の再生装置。
前記音声処理時間調整部は、前記音声データの出力の際に出力するデータ個数を調整することで、前記再生時間を調整することを特徴とする請求項１記載の再生装置。
動画像及び音声を同時に再生する再生方法において、
単位動画像データを半分復号処理した時点での復号処理時間をもとに、前記単位動画像データの復号完了時間を推定し、
推定した前記復号完了時間と、前記単位動画像データに対応した音声データの再生時間とを比較し、
比較の結果、前記復号完了時間が前記再生時間よりも長い場合、前記復号完了時間に合わせるように前記再生時間を調整することを特徴とする再生方法。