JP3764878B2

JP3764878B2 - VIDEO / AUDIO PLAYER, VIDEO / AUDIO PLAYBACK METHOD, PROGRAM, AND MEDIUM

Info

Publication number: JP3764878B2
Application number: JP2002303519A
Authority: JP
Inventors: 良二鈴木
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-10-18
Filing date: 2002-10-17
Publication date: 2006-04-12
Anticipated expiration: 2022-10-17
Also published as: JP2003199053A

Description

【０００１】
【発明の属する技術分野】
本発明は，１倍速以外の速度で再生しても映像と音声との同期が保たれる映像音声再生装置，映像音声再生方法，プログラム，および媒体に関する。
【０００２】
【従来の技術】
従来の映像音声再生装置では，つぎに説明するような映像と音声との同期を保つ方法を用いて再生が行われている（たとえば特許文献１参照）。また，１倍速以外の速度で再生しても映像と音声との同期が保たれるようにした従来の映像音声再生装置のブロック図を図１１に示す。
【０００３】
システム解析回路１は，入力されたデータを映像データと音声データに分別する回路である。
【０００４】
映像入力バッファ回路２は，システム解析回路１が出力する映像データを蓄える回路であり，映像デコード回路３は，映像入力バッファ回路２から映像データを取り込んで復号し映像信号に変換する回路である。
【０００５】
映像出力バッファ回路４は，映像デコード回路３が出力する映像信号を蓄えて出力する回路である。
【０００６】
音声入力バッファ回路５は，システム解析回路１が出力する音声データを蓄える回路であり，音声デコード回路６は，音声入力バッファ回路５から音声データを取り込んで復号し音声信号に変換する回路である。
【０００７】
音声出力バッファ回路９は，音声デコード回路６の出力する音声信号を蓄えて出力する回路である。
【０００８】
速度設定回路７は，リモコンなどを用いたユーザの指示に応じて所望の速度を設定する回路であり，映像出力制御回路２１は，速度設定回路７で設定された速度に基づいて，継続時間を縮める場合には映像信号をスキップするように映像出力バッファ回路４に制御信号を出力し，継続時間を延ばす場合には映像信号をフリーズするように映像出力バッファ回路４に制御信号を出力する回路である。
【０００９】
音声出力制御回路２２は，音声出力バッファ回路９の音声信号の蓄積具合を観測し，（１）継続時間を縮める場合には，音声出力バッファ回路９の音声信号が溢れ気味になるので，音声信号をスキップするように音声出力バッファ回路９に制御信号を出力し，（２）継続時間を延ばす場合には，音声出力バッファ回路９の音声信号が不足気味になるので，音声信号をリピートまたはポーズするように音声出力バッファ回路９に制御信号を出力する回路である。
【００１０】
つぎに，従来の映像音声再生装置の動作について説明する。
【００１１】
システム解析回路１は，入力されたデータを映像データと音声データに分別する。
【００１２】
映像入力バッファ回路２は，システム解析回路１が出力する映像データを蓄え，映像デコード回路３は，映像入力バッファ回路２から映像データを取り込んで復号し映像信号に変換する。
【００１３】
映像出力バッファ回路４は，映像デコード回路３が出力する映像信号を蓄えて出力する。
【００１４】
音声入力バッファ回路５は，システム解析回路１が出力する音声データを蓄え，音声デコード回路６は，音声入力バッファ回路５から音声データを取り込んで復号し音声信号に変換する。
【００１５】
音声出力バッファ回路９は，音声デコード回路６の出力する音声信号を蓄えて出力する。
【００１６】
速度設定回路７は，リモコンなどを用いたユーザの指示に応じて所望の速度を設定し，映像出力制御回路２１は，速度設定回路７で設定された速度に基づいて，継続時間を縮める場合には映像信号をスキップするように映像出力バッファ回路４に制御信号を出力し，継続時間を延ばす場合には映像信号をフリーズするように映像出力バッファ回路４に制御信号を出力する。
【００１７】
音声出力制御回路２２は，音声出力バッファ回路９の音声信号の蓄積具合を観測し，（１）継続時間を縮める場合には，音声出力バッファ回路９の音声信号が溢れ気味になるので，音声信号をスキップするように音声出力バッファ回路９に制御信号を出力し，（２）継続時間を延ばす場合には，音声出力バッファ回路９の音声信号が不足気味になるので，音声信号をリピートまたはポーズするように音声出力バッファ回路９に制御信号を出力する。
【００１８】
したがって，（１）継続時間を縮める場合には，音声信号をスキップするように音声出力バッファ回路９に制御信号が出力されるため，音声出力バッファ回路９の音声信号が溢れ気味になることは抑制され，（２）継続時間を延ばす場合には，音声信号をリピートまたはポーズするように音声出力バッファ回路９に制御信号が出力されるため，音声出力バッファ回路９の音声信号が不足気味になることは抑制される。
【００１９】
【特許文献１】
特開２００１−８１７０号公報
【００２０】
【発明が解決しようとする課題】
しかしながら，上述した従来の映像音声再生装置においては，継続時間を縮めたり延ばしたりするように速度が設定された速度変換中に，映像信号の出力タイミングと音声信号の出力タイミングとが通常再生時に比べて大きくずれてしまい，同期が正確に保たれないことがあるという課題があった。
【００２１】
なお，コンテンツの早見や遅聞きのニーズがあり，早見や遅聞きが行われる場合にもＡＶ同期が保証される必要がある。
【００２２】
本発明は，上記従来のこのような課題を考慮し，再生速度が通常再生速度とは異なるように設定されているときにも，映像信号の出力タイミングと音声信号の出力タイミングとが通常再生時に比べて大きくずれることなく，それらの同期をより正確に保つことができる映像音声再生装置，映像音声再生方法，プログラム，および媒体を提供することを目的とするものである。
【００３７】
第１の本発明は，音声データと映像データとを有する外部から入力されるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）データを，前記音声データと前記映像データとに分別する分別手段と，
前記分別された音声データをデコードして，音声信号を生成する音声信号生成手段と，外部から設定される外部設定再生速度に基づいて決定される実際に再生を実行するための実行再生速度に応じて，所定の音声速度変換を前記生成された音声信号に対して行う音声速度変換手段と，
前記音声速度変換が行われた音声信号を蓄積し，前記蓄積されている音声信号を前記実行再生速度に応じて出力する音声信号蓄積出力手段と，
前記分別された映像データをデコードして映像信号を生成する映像信号生成手段と，
前記生成された映像信号を蓄積し，前記蓄積されている映像信号を前記実行再生速度に応じて出力する映像信号蓄積出力手段と，
前記外部設定再生速度に関する前記生成された音声信号の音声速度変換比αを，前記実行再生速度に関する有理数βに変換する音声速度変換比変換手段とを備え，
前記音声速度変換手段は，前記有理数βに応じて，前記所定の音声速度変換を前記生成された音声信号に対して行い，
前記音声信号蓄積出力手段は，前記音声速度変換が行われた音声信号を蓄積し，前記有理数βに基づき，前記蓄積されている音声信号を前記実行再生速度に応じて出力し，
前記映像信号蓄積出力手段は，前記生成された映像信号を蓄積し，前記実行再生速度に応じて，（１）前記有理数βが１より小さい場合には，前記蓄積されている映像信号をスキップを利用して出力し，（２）前記有理数βが１より大きい場合には，前記蓄積されている映像信号をフリーズを利用して出力する映像音声再生装置である。
【００３８】
第２の本発明は，前記映像信号蓄積出力手段は，前記有理数βが１より小さい場合には，前記蓄積されている映像信号のＢピクチャの全部または一部をスキップする第１の本発明の映像音声再生装置である。
【００３９】
第３の本発明は，前記分別手段と前記映像信号生成手段との間に挿入された，前記分別された映像データを蓄積するための映像データ蓄積手段をさらに備え，
前記映像データ蓄積手段は，前記有理数βが１より小さい場合には，前記分別された映像データのＢピクチャの全部または一部を廃棄する第１の本発明の映像音声再生装置である。
【００４０】
第４の本発明は，前記実行再生速度は，前記蓄積されている映像信号が前記実行再生速度に応じて出力できたか否かに基づいて調節される第１の本発明の映像音声再生装置である。
第５の本発明は，前記蓄積されている映像信号が前記実行再生速度に応じて出力できたか否かに基づいて調節されるとは，前記蓄積されている映像信号が前記実行再生速度に応じて出力できなかった場合には１倍速により近づくように調節され，前記蓄積されている映像信号が前記実行再生速度に応じて出力できた場合には前記外部設定再生速度により近づくように調節される第４の本発明の映像音声再生装置である。
【００４１】
第６の本発明は，前記映像信号蓄積出力手段は，（１）前記有理数βが１より小さい場合には，
【００４２】
【数１】
１−β＝ｎ^（１）／ｍ^（１）
なる整数ｍ^（１），ｎ^（１）（１≦ｎ^（１）＜ｍ^（１））から所定の基準に基づいて決定されるｎ^（１）個の整数ｍ^（１） _ｊ（ｊ＝１，２，…，ｎ^（１））による整数ｍ^（１）の分割
【００４３】
【数４】
ｍ^（１）＝Σ_ｊｍ^（１） _ｊ（Σは１≦ｊ≦ｎ^（１）に関して考える）
を利用して，はじめのｍ^（１） _１映像フレームにおいて１映像フレームをスキップし，つぎのｍ^（１） _２映像フレームにおいて１映像フレームをスキップし，…というようにして前記蓄積されている映像信号を出力し，（２）前記有理数βが１より大きい場合には，
【００４４】
【数５】
β−１＝ｎ^（２）／ｍ^（２）
なる整数ｍ^（２），ｎ^（２）（１≦ｎ^（２）＜ｍ^（２））から所定の基準に基づいて決定されるｎ^（２）個の整数ｍ^（２） _ｊ（ｊ＝１，２，…，ｎ^（２））による整数ｍ^（２）の分割
【００４５】
【数８】
ｍ^（２）＝Σ_ｊｍ^（２） _ｊ（Σは１≦ｊ≦ｎ^（２）に関して考える）
を利用して，はじめのｍ^（２） _１映像フレームにおいて１映像フレームをフリーズし，つぎのｍ^（２） _２映像フレームにおいて１映像フレームをフリーズし，…というようにして前記蓄積されている映像信号を出力する第１の本発明の映像音声再生装置である。
【００４６】
第７の本発明は，（１）前記ｎ^（１）個の整数ｍ^（１） _ｊ（ｊ＝１，２，…，ｎ^（１））とは，
【００４７】
【数２】
ｍ^（１）＝ｎ^（１）ｑ^（１）＋ｒ^（１）
なる整数ｑ^（１），ｒ^（１）（０≦ｒ^（１）＜ｎ^（１））を利用して
【００４８】
【数３】
ｒ^（１）＝０の場合には，
ｍ^（１） _ｊ＝ｑ^（１）（ｊ＝１，…，ｎ^（１））
ｒ^（１）≧１の場合には，
ｍ^（１） _ｊ＝ｑ^（１）＋１（ｊ＝１，…，ｒ^（１）），
ｍ^（１） _ｊ＝ｑ^（１）（ｊ＝ｒ^（１）＋１，…，ｎ^（１））
として決定されるｎ^（１）個の整数ｍ^（１） _ｊ（ｊ＝１，２，…，ｎ^（１））であり，（２）前記ｎ^（２）個の整数ｍ^（２） _ｊ（ｊ＝１，２，…，ｎ^（２））とは，
【００４９】
【数６】
ｍ^（２）＝ｎ^（２）ｑ^（２）＋ｒ^（２）
なる整数ｑ^（２），ｒ^（２）（０≦ｒ^（２）＜ｎ^（２））を利用して
【００５０】
【数７】
ｒ^（２）＝０の場合には，
ｍ^（２） _ｊ＝ｑ^（２）（ｊ＝１，…，ｎ^（２））
ｒ^（２）≧１の場合には，
ｍ^（２） _ｊ＝ｑ^（２）＋１（ｊ＝１，…，ｒ^（２）），
ｍ^（２） _ｊ＝ｑ^（２）（ｊ＝ｒ^（２）＋１，…，ｎ^（２））
として決定されるｎ^（２）個の整数ｍ^（２） _ｊ（ｊ＝１，２，…，ｎ^（２））である第６の本発明の映像音声再生装置である。
【００５１】
第８の本発明は，音声データと映像データとを有する外部から入力されるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）データを，前記音声データと前記映像データとに分別する分別ステップと，
前記分別された音声データをデコードして，音声信号を生成する音声信号生成ステップと，
外部から設定される外部設定再生速度に基づいて決定される実際に再生を実行するための実行再生速度に応じて，所定の音声速度変換を前記生成された音声信号に対して行う音声速度変換ステップと，
前記音声速度変換が行われた音声信号を蓄積し，前記蓄積されている音声信号を前記実行再生速度に応じて出力する音声信号蓄積出力ステップと，
前記分別された映像データをデコードして映像信号を生成する映像信号生成ステップと，
前記生成された映像信号を蓄積し，前記蓄積されている映像信号を前記実行再生速度に応じて出力する映像信号蓄積出力ステップとを備え，
前記音声速度変換ステップにおいては，前記有理数βに応じて，前記所定の音声速度変換が前記生成された音声信号に対して行われ，
前記音声信号蓄積出力ステップにおいては，前記音声速度変換が行われた音声信号が蓄
積され，前記有理数βに基づき，前記蓄積されている音声信号が前記実行再生速度に応じて出力され，
前記映像信号蓄積出力ステップにおいては，前記生成された映像信号が蓄積され，前記実行再生速度に応じて，（１）前記有理数βが１より小さい場合には，前記蓄積されている映像信号がスキップを利用して出力され，（２）前記有理数βが１より大きい場合には，前記蓄積されている映像信号がフリーズを利用して出力される映像音声再生方法である。
【００５２】
第９の本発明は，第８の本発明の映像音声再生方法の，分別ステップと，音声信号生成ステップと，音声速度変換ステップと，音声信号蓄積出力ステップと，映像信号生成ステップと，映像信号蓄積出力ステップとをコンピュータに実行させるためのプログラムである。
【００５３】
第１０の本発明は，第９の本発明のプログラムを担持した媒体であって，コンピュータにより処理可能な媒体である。
【００５４】
【発明の実施の形態】
以下に，本発明の実施の形態について，図面を参照しつつ説明を行う。
【００５５】
（実施の形態１）
はじめに，本発明の実施の形態１のＭＰＥＧ規格に準拠した映像音声再生装置のブロック図である図１を主として参照しながら，本実施の形態の映像音声再生装置の構成について説明する。
【００５６】
システム解析回路１００１は，本発明の実施の形態１の入力データの説明図である図２に示されているような入力データから，Ｖ−ＰＴＳ（ｖｉｄｅｏ−ｐｒｅｓｅｎｔａｔｉｏｎｔｉｍｅｓｔａｍｐ，映像タイムスタンプ）を伴う映像データとＡ−ＰＴＳ（ａｕｄｉｏ−ｐｒｅｓｅｎｔａｔｉｏｎｔｉｍｅｓｔａｍｐ，音声タイムスタンプ）を伴う音声データを分別する回路である。
【００５７】
なお，ＭＰＥＧ規格によれば，時間的に前後して復号される画像データや音声データは，それぞれ上述のＶ−ＰＴＳやＡ−ＰＴＳが示す再生時間に関する情報を利用して再配列されて出力される。
【００５８】
映像入力バッファ回路１００２は，システム解析回路１００１が出力する映像データとＶ−ＰＴＳを蓄える回路であり，映像デコード回路１００３は，映像入力バッファ回路１００２から映像データを取り込んで復号し映像信号に変換し，対応するＶ−ＰＴＳをＶ−ＰＴＳバッファ回路１１０４に出力する回路である。
【００５９】
映像出力バッファ回路１００４は，映像デコード回路１００３が出力する映像信号と対応するＶ−ＰＴＳを蓄えて出力する回路である。
【００６０】
Ｖ−ＰＴＳバッファ回路１１０４は，映像デコード回路１００３が出力するＶ−ＰＴＳを蓄えて出力する回路である。
【００６１】
音声入力バッファ回路１００５は，システム解析回路１００１が出力する音声データとＡ−ＰＴＳを蓄える回路であり，音声デコード回路１００６は，音声入力バッファ回路１００５から音声データを取り込んで復号し音声信号に変換し，対応するＡ−ＰＴＳをＡ−ＰＴＳバッファ回路１２０９に出力する回路である。
【００６２】
速度設定回路１００７は，リモコンなどを用いた外部からのユーザの指示に応じて所望の音声速度変換比αを設定する回路である。
【００６３】
なお，たとえば音声速度変換比α＝１／２である場合には，音声が１倍の速さで再生される場合に比べて，音声信号の継続時間が１／２倍になり，計時回路１０１０においては２倍の頻度でＡ−ＰＴＳが更新されるので，計時回路１０１０の示す時刻は連続的ではないが２倍の速さで進むことになる。要するに，音声信号の継続時間を伸張する場合にはＡ−ＰＴＳバッファ回路１２０９からＡ−ＰＴＳが出力される間隔は広がり，音声信号の継続時間を圧縮する場合にはＡ−ＰＴＳバッファ回路１２０９からＡ−ＰＴＳが出力される間隔は縮まる。このＡ−ＰＴＳが計時回路１０１０に出力されることになるので，計時回路１０１０のカウンタは音声速度変換比に応じて強制的にＡ−ＰＴＳで修正されるわけである。
【００６４】
音声速度変換回路１００８は，周波数（音程）を変えることなく継続時間のみを変える音声速度変換方法を利用して，速度設定回路１００７から出力された音声速度変換比αに基づいて音声デコード回路１００６が出力する音声信号に音声速度変換処理を施し，Ａ−ＰＴＳ出力タイミングの時間対応関係を維持して音声出力バッファ１００９に出力させる回路である。
【００６５】
なお，本実施の形態における音声速度変換方法としては，特許番号第２５３２７３１号明細書などに記載されている音声速度変換方法を利用することができる。この音声速度変換方法は，入力された音声波形に対し，窓関数を乗算し，相関関数の値が大きくなるような重畳加算を行って，音声波形の振幅や位相の不連続性，音声データの欠落がほとんど発生しない音声速度変換を実現するものである。
【００６６】
たとえば，このような音声速度変換方法による音声速度変換比α＝２／３の音声速度変換を利用して，本発明の実施の形態１の音声速度変換方法の説明図（その１）である図３（Ａ）に示されているような音声波形Ｗ１〜Ｗ９を，本発明の実施の形態１の音声速度変換方法の説明図（その２）である図３（Ｂ）に示されているような音声波形Ｗ１′〜Ｗ９′に変換することができる。
【００６７】
より具体的に説明すると，たとえば，音声波形Ｗ１，Ｗ２は，振幅の不連続性が生じないように重畳され，実質的に周波数が変えられることなく継続時間のみが変えられることで，音声波形Ｗ１′，Ｗ２′に変換されている。また，音声波形Ｗ３は，ほぼそのままで，音声波形Ｗ３′に変換されている。また，音声波形Ｗ４，Ｗ５は，振幅の不連続性が生じず位相がずらされて重畳され，実質的に周波数が変えられることなく継続時間のみが変えられることで，音声波形Ｗ４′，Ｗ５′に変換されている。
【００６８】
音声出力バッファ回路１００９は，音声速度変換回路１００８の出力する音声信号とＡ−ＰＴＳ出力タイミングを蓄えて音声信号をサンプリング周波数に基づいて連続的に出力し，対応する音声信号が出力される時にＡ−ＰＴＳ出力タイミングをＡ−ＰＴＳバッファ回路１２０９に出力する回路である。
【００６９】
Ａ−ＰＴＳバッファ回路１２０９は，音声出力バッファ回路１００９が出力するＡ−ＰＴＳ出力タイミングに同期して，音声デコード回路１００６が出力するＡ−ＰＴＳを蓄えて出力する回路である。
【００７０】
計時回路１０１０は，Ａ−ＰＴＳバッファ回路１２０９が出力するＡ−ＰＴＳを設定して時刻Ｔ（後述のカウンタ値とほぼ同じものである）を測る回路である。
【００７１】
比較回路１０１１は，計時回路１０１０が出力する時刻ＴとＶ−ＰＴＳバッファ回路１１０４が出力するＶ−ＰＴＳを比較して，（１）音声速度変換回路１００８が音声の継続時間を延ばすことにより，時刻ＴよりもＶ−ＰＴＳが進んでいる場合には，映像出力バッファ回路１００４に対して映像信号をフリーズするように制御し，（２）音声速度変換回路１００８が音声の継続時間を縮めることにより，時刻ＴよりもＶ−ＰＴＳが遅れている場合には，映像出力バッファ回路１００４に対して映像信号（たとえば，映像デコード回路１００３が他のピクチャのデコード時に参照しない映像タイプのＢピクチャ）をスキップするように制御する回路である。
【００７２】
また，比較回路１０１１は，時刻ＴよりもＶ−ＰＴＳが遅れている後者の場合には，映像入力バッファ回路１００２に対してＢピクチャの映像データを廃棄するように制御する回路である。もちろん，比較回路１０１１によるこのような制御は，映像デコード回路１００３の処理量をデコード時の支障なく減らすためのものであり，必須ではない。
【００７３】
このような制御により，音声出力バッファ回路１００９の出力する音声信号と映像出力バッファ回路１００４の出力する映像信号とは，より確実に同期をとれることとなる。
【００７４】
なお，システム解析回路１００１を含む手段は本発明の分別手段に対応し，音声デコード回路１００６を含む手段は本発明の音声信号生成手段に対応し，音声速度変換回路１００８を含む手段は本発明の音声速度変換手段に対応し，音声出力バッファ回路１００９を含む手段は本発明の音声信号蓄積出力手段に対応し，映像デコード回路１００３を含む手段は本発明の映像信号生成手段に対応し，映像出力バッファ回路１００４を含む手段は本発明の映像信号蓄積出力手段に対応し，比較回路１０１１を含む手段は本発明の比較手段に対応する。また，映像入力バッファ回路１００２を含む手段は，本発明の映像データ蓄積手段に対応する。
【００７５】
つぎに，本発明の実施の形態１の映像音声再生装置のフロー図（その１）である図４を主として参照しながら，本実施の形態の映像音声再生装置の動作について説明する。なお，本実施の形態の映像音声再生装置の動作について説明しながら，本発明の映像音声再生方法の一実施の形態についても説明する。
【００７６】
ステップ１００，１０１；処理が開始され（ステップ１００），システム解析回路１００１は，ビットストリームを入力する（ステップ１０１）。
【００７７】
ステップ１０２；システム解析回路１００１は，ビットストリームから映像データとそれに対応するＶ−ＰＴＳが記録されている映像パケットとを抽出し，映像入力バッファ回路１００２は，それらを記憶する。
【００７８】
ステップ１０３；システム解析回路１００１は，ビットストリームから音声データとそれに対応するＡ−ＰＴＳが記録されている音声パケットとを抽出し，音声入力バッファ回路１００５は，それらを記憶する。
【００７９】
ステップ１０４，１０５；映像デコード回路１００３は，映像入力バッファ回路１００２から映像データを取り込んで復号処理を施して映像信号に変換する（ステップ１０４）。
【００８０】
映像出力バッファ回路１００４は，その映像信号とＶ−ＰＴＳ出力タイミングとを記憶し，Ｖ−ＰＴＳバッファ回路１１０４は，Ｖ−ＰＴＳを記憶する（ステップ１０５）。
【００８１】
ステップ１０６〜１０８；音声デコード回路１００６は，音声入力バッファ回路１００５から音声データを取り込んで復号処理を施して音声信号に変換する（ステップ１０６）。
【００８２】
音声速度変換回路１００８は，速度設定回路１００７が設定した音声速度変換比αに基づいて音声信号に音声速度変換処理を施す（ステップ１０７）。
【００８３】
音声出力バッファ回路１００９は，その継続時間を変えられた音声信号とＡ−ＰＴＳ出力タイミングとを記憶し，Ａ−ＰＴＳバッファ回路１２０９は，Ａ−ＰＴＳを記憶する（ステップ１０８）。
【００８４】
ステップ１０９；計時回路１０１０は，Ａ−ＰＴＳバッファ回路１２０９が出力するＡ−ＰＴＳに対応する（したがって，音声出力バッファ回路１００９が出力する音声信号に対応する）カウンタ値を計測し，比較回路１０１１は，Ｖ−ＰＴＳバッファ回路１１０４が出力する映像信号に対応するＶ−ＰＴＳからカウンタ値を減算してそれらの差分δを計算する。
【００８５】
ステップ１１０〜１１４；比較回路１０１１は，差分δと所定の閾値δ₀との関係を判断する（ステップ１１０）。
【００８６】
（１）映像出力バッファ回路１００４は，δ＜−δ₀（すなわち，音声タイムスタンプよりも映像タイムスタンプがかなり遅れている）と判断された場合には，自身が記憶している映像信号を１映像フレーム分スキップして出力する（ステップ１１１）。
【００８７】
また，比較回路１０１１は，映像入力バッファ回路１００２に対してＢピクチャの映像データを廃棄するように制御を行う（ステップ１１２）。
【００８８】
（２）映像出力バッファ回路１００４は，δ＞δ₀（すなわち，音声タイムスタンプよりも映像タイムスタンプがかなり進んでいる）と判断された場合には，自身が記憶している映像信号を１映像フレーム分フリーズして出力する（ステップ１１３）。
【００８９】
（３）映像出力バッファ回路１００４は，−δ₀≦δ≦δ₀（すなわち，音声タイムスタンプよりも映像タイムスタンプがほとんど進んでも遅れてもいない）と判断された場合には，スキップもフリーズもしないで映像信号を出力する（ステップ１１４）。
【００９０】
ステップ１１５〜１１８；音声出力バッファ回路１００９は，音声信号を出力し（ステップ１１５），その音声信号に対応するＡ−ＰＴＳをＡ−ＰＴＳバッファ回路１２０９を通じて計時回路１０１０のカウンタに設定して（ステップ１１６），（１）再生終了である場合には，一連の処理が終了され，（２）再生終了でない場合には，一連の処理が繰り返される（ステップ１１７，１１８）。
【００９１】
以上においては，本実施の形態の映像音声再生装置の構成および動作について詳細に説明した。
【００９２】
（Ａ）なお，映像出力バッファ回路１００４に対し比較回路１０１１によって映像信号をスキップする旨の制御が行われる代わりに（または，そのような映像信号をスキップする旨の制御が行われるとともに），その旨が比較回路１０１１から映像入力バッファ回路１００２に対して通知され，その通知を認識した映像デコード回路１００３がＢピクチャの映像データを自身で識別してスキップしてもよい。
【００９３】
要するに，Ｂピクチャをそれ以外のピクチャと区別して，Ｂピクチャの映像データのみを廃棄したりスキップしたりすることで，映像デコード回路１００３の処理量をデコード時の支障なく減らし，映像出力バッファ回路１００４の容量を小さくすることが可能になる。
【００９４】
（Ｂ）ただし，全体のピクチャに対するＢピクチャ以外のピクチャの割合ｐが外部から設定された音声速度変換比α₀＜１に比べて多すぎる場合（すなわち，Ｂピクチャの割合が音声速度変換比α₀に比べて少なすぎる場合）がある。このような場合には，Ｂピクチャの映像信号の廃棄やスキップが十分に行われず，映像出力バッファ回路１００４の出力するＶ−ＰＴＳが計時回路１０１０の出力する時刻Ｔ（カウンタ値）に対してどんどん小さくなっていく可能性がある。
【００９５】
そして，そのままにしておくと，映像信号と音声信号の同期がとれなくなるだけでなく，映像出力バッファ回路１００４がオーバーフローしてしまう恐れもある。
【００９６】
そこで，必要に応じて音声速度変換比αをα₀≦α≦１の範囲において調節するための制御シーケンスが設けられていてもよい。
【００９７】
より具体的に説明すると，本発明の実施の形態１の映像音声再生装置のフロー図（その２）である図５に示されているように，本実施の形態の映像音声再生装置はつぎのような音声速度変換比調節モードを実装していてもよい。
【００９８】
ステップ４０１〜４０６；比較回路１０１１は，前述のようなＢピクチャの１映像フレーム分のスキップができたか否かを判断する（ステップ４０１）。
【００９９】
（１）速度設定回路１００７は，スキップできたと判断された場合には，その時点での音声速度変換比αと音声速度変換比α₀との関係を判断する（ステップ４０２）。
【０１００】
速度設定回路１００７は，（ａ）α＝α₀と判断した場合には，そのままのαを保ち，（ｂ）α≠α₀と判断した場合には，前述の差分δと所定の閾値δ₀′との関係を判断し（ステップ４０３），（ｂ１）δ＜−δ₀′（すなわち，Ｖ−ＰＴＳがかなり遅れている）と判断した場合には，αを減少させてα₀に近づけることはせずにそのままのαを保ち，（ｂ２）δ≧−δ₀′と判断した場合には，αを減少させてα₀に近づける（ステップ４０４）。
【０１０１】
（２）速度設定回路１００７は，スキップできなかったと判断された場合には，差分δと所定の閾値δ₀′との関係を判断する（ステップ４０５）。
【０１０２】
速度設定回路１００７は，（ａ）δ＜−δ₀′と判断した場合には，αを増大させて１に近づけ（ステップ４０６），（ｂ）δ≧−δ₀′と判断した場合には，αを増大させて１に近づけることはせずにそのままのαを保つ。
【０１０３】
（Ｃ）もちろん，音声速度変換比αをα₀≦α≦１の範囲において調節するとは，音声速度変換比αをα＝α₀またはα＝１となるように調節することであってもよい。
【０１０４】
たとえば，ステップ４０６において即座にα＝１とすることで，α＞１とならないようにするための演算処理が不要になり，映像信号がＢピクチャを全く有しない場合でも音声信号と映像信号との同期ずれや映像出力バッファ１００４のオーバーフローを容易に回避できる。また，ステップ４０４において即座にα＝α₀とすることで，α＜α₀とならないようにするための演算処理が不要になり，全体のピクチャに対するＢピクチャ以外のピクチャの割合ｐが少なくなった場合には本来の音声速度変換比を速やかに実現できる。
【０１０５】
（Ｄ）なお，本実施の形態の映像音声再生装置においては，（１）音声速度変換回路１００８は，速度設定回路１００７からの設定に応じて，Ａ−ＰＴＳに関する情報が維持されるような音声速度変換を音声デコード回路１００６によって生成された音声信号に対して行い，（２）比較回路１０１１は，音声出力バッファ回路１００９がＡ−ＰＴＳバッファ回路１２０９に対して出力するＡ−ＰＴＳ出力タイミングを利用して，Ａ−ＰＴＳとＶ−ＰＴＳとを比較した。
【０１０６】
しかし，これに限らず，音声速度変換回路１００８での処理遅延と音声出力バッファ回路１００９での待ち時間とがあらかじめ推定される場合には，音声出力バッファ回路１００９から出力されるＡ−ＰＴＳ出力タイミングに合わせて，Ａ−ＰＴＳがＡ−ＰＴＳバッファ回路１２０９から出力されなくてもよい。
【０１０７】
より具体的に説明すると，本発明の一実施の形態の映像音声再生装置のブロック図である図６に示されているように，（１）音声速度変換回路１００８′は，速度設定回路１００７からの設定に応じて，音声速度変換を音声デコード回路１００６によって生成された音声信号に対して行い，（２）Ａ−ＰＴＳバッファ回路１２０９′は，音声デコード回路１００６から出力されたＡ−ＰＴＳに対して，音声速度変換回路１００８′での処理遅延と，音声出力バッファ回路１００９′での待ち時間との両方の合計時間だけ遅延処理を施して，計時回路１０１０に出力し，（３）比較回路１０１１は，計時回路１０１０が出力する時刻Ｔ（カウンタ値）とＶ−ＰＴＳバッファ回路１１０４が出力するＶ−ＰＴＳとを比較してもよい。
【０１０８】
もちろん，音声速度変換回路１００８′での処理遅延と音声出力バッファ回路１００９′での待ち時間とが，速度設定回路１００７の設定値によって変化する場合には，速度設定回路１００７の設定値を，Ａ−ＰＴＳバッファ回路１２０９′に出力し，遅延時間長を音声速度変換比に応じて変化させてもよい。
【０１０９】
なお，音声速度変換回路１００８′を含む手段は本発明の音声速度変換手段に対応し，音声出力バッファ回路１００９′を含む手段は本発明の音声信号蓄積出力手段に対応する。また，Ａ−ＰＴＳバッファ回路１２０９′を含む手段は，本発明の遅延情報生成手段に対応する。
【０１１０】
また，本発明の所定の遅延情報は，音声速度変換回路１００８′での処理遅延と音声出力バッファ回路１００９′での待ち時間とを考慮して上述のような時間遅延の補償を行うための情報に対応する。
【０１１１】
（実施の形態２）
はじめに，本発明の実施の形態２の映像音声再生装置のブロック図である図７を主として参照しながら，本実施の形態の映像音声再生装置の構成について説明する。
【０１１２】
システム解析回路２００１は，入力データから，映像データと音声データを分別する回路である。
【０１１３】
映像入力バッファ回路２００２は，システム解析回路２００１が出力する映像データを蓄える回路であり，映像デコード回路２００３は，映像入力バッファ回路２００２から映像データを取り込んで復号し映像信号に変換する回路である。
【０１１４】
映像出力バッファ回路２００４は，映像デコード回路２００３が出力する映像信号を蓄えて出力する回路である。
【０１１５】
音声入力バッファ回路２００５は，システム解析回路２００１が出力する音声データを蓄える回路であり，音声デコード回路２００６は，音声入力バッファ回路２００５から音声データを取り込んで復号し音声信号に変換する回路である。
【０１１６】
速度設定回路２００７は，リモコンなどを用いた外部からのユーザの指示に応じて所望の音声速度変換比α（実数）を設定する回路である。
【０１１７】
速度制御回路２０１２は，有理数変換回路２０１３および頻度計算回路２０１４を有する回路である。
【０１１８】
有理数変換回路２０１３は，速度設定回路２００７が出力する音声速度変換比αの値をその近傍の有理数βに変換して出力する回路である。
【０１１９】
頻度計算回路２０１４は，有理数変換回路２０１３が出力する有理数βに基づいて，（１）音声の継続時間を延ばす場合には，映像出力バッファ回路２００４に対して，有理数βに基づいた頻度で映像信号をフリーズするように制御し，（２）音声の継続時間を縮める場合には，映像出力バッファ回路２００４に対して，有理数βに基づいた頻度で映像信号（たとえば，映像デコード回路２００３が他のピクチャのデコード時に参照しない映像タイプのＢピクチャ）をスキップするように制御する回路である。
【０１２０】
また，頻度計算回路２０１４は，音声の継続時間を縮める後者の場合には，映像入力バッファ回路２００２に対してＢピクチャの映像データを，有理数βに基づいた頻度で廃棄するように制御する回路である。
【０１２１】
このような制御により，音声出力バッファ回路２００９の出力する音声信号と映像出力バッファ回路２００４の出力する映像信号とは，より確実に同期をとれることとなる。
【０１２２】
音声速度変換回路２００８は，音声速度変換回路１００８と類似した構成を有しており，周波数を変えることなく継続時間のみを変える音声速度変換方法を利用して，速度制御回路２０１２から出力された有理数βに基づいて音声デコード回路２００６が出力する音声信号に音声速度変換処理を施す回路である。
【０１２３】
音声出力バッファ回路２００９は，音声速度変換回路２００８の出力する音声信号を蓄えて音声信号をサンプリング周波数に基づいて連続的に出力する回路である。
【０１２４】
なお，システム解析回路２００１を含む手段は本発明の分別手段に対応し，音声デコード回路２００６を含む手段は本発明の音声信号生成手段に対応し，音声速度変換回路２００８を含む手段は本発明の音声速度変換手段に対応し，音声出力バッファ回路２００９を含む手段は本発明の音声信号蓄積出力手段に対応し，映像デコード回路２００３を含む手段は本発明の映像信号生成手段に対応し，映像出力バッファ回路２００４を含む手段は本発明の映像信号蓄積出力手段に対応する。また，有理数変換回路２０１３を含む手段は，本発明の音声速度変換比変換手段に対応する。また，映像入力バッファ回路２００２を含む手段は，本発明の映像データ蓄積手段に対応する。
【０１２５】
つぎに，本発明の実施の形態２の映像音声再生装置のフロー図（その１）である図８を主として参照しながら，本実施の形態の映像音声再生装置の動作について説明する。なお，本実施の形態の映像音声再生装置の動作について説明しながら，本発明の映像音声再生方法の一実施の形態についても説明する。
【０１２６】
ステップ２００，２０１；処理が開始され（ステップ２００），速度設定回路２００７は，音声速度変換比α（０＜α≦２）を入力する（ステップ２０１）。
【０１２７】
ステップ２０２；有理数変換回路２０１３は，音声速度変換比αをその近傍の有理数βに変換する。
【０１２８】
ステップ２０３；システム解析回路２００１は，ビットストリームを入力する。
【０１２９】
ステップ２０４；システム解析回路２００１は，ビットストリームから映像パケットを抽出し，映像入力バッファ回路２００２は，それらを記憶する。
【０１３０】
ステップ２０５；システム解析回路２００１は，ビットストリームから音声パケットを抽出し，音声入力バッファ回路２００５は，それを記憶する。
【０１３１】
ステップ２０６，２０７；映像デコード回路２００３は，映像入力バッファ回路２００２から映像データを取り込んで復号処理を施して映像信号に変換する（ステップ２０６）。
【０１３２】
映像出力バッファ回路２００４は，その映像信号を記憶する（ステップ２０７）。
【０１３３】
ステップ２０８〜２１０；音声デコード回路２００６は，音声入力バッファ回路２００５から音声データを取り込んで復号処理を施して音声信号に変換する（ステップ２０８）。
【０１３４】
音声速度変換回路２００８は，有理数変換回路２０１３が変換した有理数βに基づいて音声信号に音声速度変換処理を施し，その継続時間を変更する（ステップ２０９）。
【０１３５】
音声出力バッファ回路２００９は，その継続時間を変えられた音声信号を記憶する（ステップ２１０）。
【０１３６】
ステップ２１１〜２１７；頻度計算回路２０１４は，有理数βと１との関係を判断する（ステップ２１１）。
【０１３７】
（１）頻度計算回路２０１４は，０＜β＜１（すなわち，再生速度を速くする）と判断した場合には，
【０１３８】
【数１】
１−β＝ｎ⁽¹⁾／ｍ⁽¹⁾
なる互いに素な整数ｍ⁽¹⁾，ｎ⁽¹⁾（１≦ｎ⁽¹⁾＜ｍ⁽¹⁾）を計算し，
【０１３９】
【数２】
ｍ⁽¹⁾＝ｎ⁽¹⁾ｑ⁽¹⁾＋ｒ⁽¹⁾
なる整数ｑ⁽¹⁾，ｒ⁽¹⁾（０≦ｒ⁽¹⁾＜ｎ⁽¹⁾）を計算し，
【０１４０】
【数３】
ｒ^（１）＝０の場合には，
ｍ^（１） _ｊ＝ｑ^（１）（ｊ＝１，…，ｎ^（１））
ｒ^（１）≧１の場合には，
ｍ^（１） _ｊ＝ｑ^（１）＋１（ｊ＝１，…，ｒ^（１）），
ｍ^（１） _ｊ＝ｑ^（１）（ｊ＝ｒ^（１）＋１，…，ｎ^（１））
なるｎ⁽¹⁾個の整数ｍ⁽¹⁾ _j（ｊ＝１，…，ｎ⁽¹⁾）による整数ｍ⁽¹⁾の分割
【０１４１】
【数４】
ｍ⁽¹⁾＝Σ_jｍ⁽¹⁾ _j （Σは１≦ｊ≦ｎ⁽¹⁾に関して考える）
を計算する（ステップ２１２）。映像出力バッファ回路２００４は，記憶している映像信号を利用して，はじめのｍ⁽¹⁾ ₁映像フレームにおいて１映像フレームをスキップし，つぎのｍ⁽¹⁾ ₂映像フレームにおいて１映像フレームをスキップし，…（都合，ｍ⁽¹⁾映像フレームにおいてｎ⁽¹⁾映像フレームをスキップする）というようにして映像信号を出力する（ステップ２１３）。
【０１４２】
このような整数ｍ⁽¹⁾の分割を利用してきめ細かくスキップすることで，たとえばｍ⁽¹⁾映像フレームにおける最初のｎ⁽¹⁾映像フレームをまとめてスキップするよりも，ギクシャクした感じをユーザに与えないより滑らかな動画再生が実現されるものである。
【０１４３】
または，頻度計算回路２０１４は，映像入力バッファ回路２００２に対してＢピクチャの映像データを廃棄するように制御する（ステップ２１４）。
【０１４４】
（２）頻度計算回路２０１４は，１＜β≦２（すなわち，再生速度を遅くする）と判断した場合には，
【０１４５】
【数５】
β−１＝ｎ⁽²⁾／ｍ⁽²⁾
なる互いに素な整数ｍ⁽²⁾，ｎ⁽²⁾（１≦ｎ⁽²⁾≦ｍ⁽²⁾）を計算し，
【０１４６】
【数６】
ｍ⁽²⁾＝ｎ⁽²⁾ｑ⁽²⁾＋ｒ⁽²⁾
なる整数ｑ⁽²⁾，ｒ⁽²⁾（０≦ｒ⁽²⁾＜ｎ⁽²⁾）を計算し，
【０１４７】
【数７】
ｒ^（２）＝０の場合には，
ｍ^（２） _ｊ＝ｑ^（２）（ｊ＝１，…，ｎ^（２））
ｒ^（２）≧１の場合には，
ｍ^（２） _ｊ＝ｑ^（２）＋１（ｊ＝１，…，ｒ^（２）），
ｍ^（２） _ｊ＝ｑ^（２）（ｊ＝ｒ^（２）＋１，…，ｎ^（２））
なるｎ⁽²⁾個の整数ｍ⁽²⁾ _j（ｊ＝１，…，ｎ⁽²⁾）による整数ｍ⁽²⁾の分割
【０１４８】
【数８】
ｍ⁽²⁾＝Σ_jｍ⁽²⁾ _j （Σは１≦ｊ≦ｎ⁽²⁾に関して考える）
を計算する（ステップ２１５）。映像出力バッファ回路２００４は，記憶している映像信号を利用して，はじめのｍ⁽²⁾ ₁映像フレームにおいて１映像フレームをフリーズし，つぎのｍ⁽²⁾ ₂映像フレームにおいて１映像フレームをフリーズし，…（都合，ｍ⁽²⁾映像フレームにおいてｎ⁽²⁾映像フレームをフリーズする）というようにして映像信号を出力する（ステップ２１６）。
【０１４９】
このような整数ｍ⁽²⁾の分割を利用してきめ細かくフリーズすることで，たとえばｍ⁽²⁾映像フレームにおける最初のｎ⁽²⁾映像フレームをまとめてフリーズするよりも，ギクシャクした感じをユーザに与えないより滑らかな動画再生が実現されるものである。
【０１５０】
（３）頻度計算回路２０１４は，β＝１（すなわち，再生速度を速くもせず遅くもしない）と判断した場合には，それ以上何も計算せず，映像出力バッファ回路２００４は，記憶している映像信号を利用して，スキップもフリーズもしないで映像信号を出力する（ステップ２１７）。
【０１５１】
ステップ２１８〜２２０；音声出力バッファ回路２００９は，音声信号を出力し（ステップ２１８），（１）再生終了である場合には，一連の処理が終了され，（２）再生終了でない場合には，一連の処理が繰り返される（ステップ２１９，２２０）。
【０１５２】
以上においては，本実施の形態の映像音声再生装置の構成および動作について詳細に説明した。
【０１５３】
（Ａ）なお，前述した実施の形態１の場合と同様，映像出力バッファ回路２００４に対し速度制御回路２０１２によって映像信号（たとえばＢピクチャ）をスキップする旨の制御が行われる代わりに（または，そのような映像信号をスキップする旨の制御が行われるとともに），その旨が速度制御回路２０１２より映像入力バッファ回路２００２に対して通知され，その通知を認識した映像デコード回路２００３が映像信号（たとえばＢピクチャ）の映像データを自身で識別して廃棄してもよい。
【０１５４】
要するに，Ｂピクチャをそれ以外のピクチャと区別して，Ｂピクチャの映像信号のみを廃棄したりスキップしたりすることで，映像デコード回路２００３の処理量をデコード時の支障なく減らし，映像出力バッファ回路２００４の容量を小さくすることが可能になる。
【０１５５】
（Ｂ）ただし，全体のピクチャに対するＢピクチャ以外のピクチャの割合ｐが外部から設定された音声速度変換比α₀（したがって，音声速度変換比α₀が変換された有理数β₀）に比べて多すぎる場合がある。このような場合には，Ｂピクチャの映像信号の廃棄やスキップが十分に行われなくなる可能性がある。
【０１５６】
そして，そのままにしておくと，映像信号と音声信号の同期がとれなくなるだけでなく，映像出力バッファ回路２００４がオーバーフローしてしまう恐れもある。
【０１５７】
そこで，必要に応じて有理数βをβ₀≦β≦１の範囲において調節するための制御シーケンスが設けられていてもよい。
【０１５８】
より具体的に説明すると，本発明の実施の形態２の映像音声再生装置のフロー図（その２）である図９に示されているように，本実施の形態の映像音声再生装置はつぎのような音声速度変換比調節モードを実装していてもよい。
【０１５９】
ステップ５０１〜５０６；速度設定回路２００７は，その時点での音声速度変換比αが変換された有理数βと１との関係を判断する（ステップ５０１）。
【０１６０】
頻度計算回路２０１４は，（ａ）β≧１と判断された場合には，そのままのβを保ち，（ｂ）β＜１と判断された場合には，前述のようなＢピクチャの１映像フレーム分のスキップができたか否かを判断する（ステップ５０２）。
【０１６１】
（１）速度設定回路２００７は，スキップできなかったと判断した場合には，βを増大させて１に近づける（ステップ５０３）。
【０１６２】
（２）速度設定回路２００７は，スキップできたと判断した場合には，β＝β₀か否かを判断する（ステップ５０４）。
【０１６３】
速度設定回路２００７は，（ａ）β＝β₀と判断した場合には，そのままのβを保ち，（ｂ）β≠β₀と判断した場合には，その時点での全体のピクチャに対するＢピクチャ以外のピクチャの割合ｐと有理数βとの関係を判断し（ステップ５０５），（ｂ１）ｐ≦β（すなわち，Ｂピクチャの割合１−ｐが十分に大きい）と判断した場合には，βを減少させてβ₀に近づけ（ステップ５０６），（ｂ２）ｐ＞βと判断した場合には，βを減少させてβ₀に近づけることはせずにそのままのβを保つ。
【０１６４】
なお，全体のピクチャ数に対するＢピクチャ以外のピクチャの割合の検出についてより具体的に述べると，つぎの通りである。
【０１６５】
映像デコード回路２００３は，映像データをデコードしながら，映像データの各ピクチャのデータに記述してある映像タイプの識別を行う。そして，速度設定回路２００７は，たとえば過去１秒間分（ＮＴＳＣの場合は３０フレーム）の各映像タイプ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の累積数を求め，（数９）を利用してその累積数から全体のピクチャに対するＢピクチャ以外のピクチャの割合を求める。
【０１６６】
【数９】
Ａ＝（Ｉピクチャ＋Ｐピクチャ）／（Ｉピクチャ＋Ｐピクチャ＋Ｂピクチャ）速度設定回路２００７は，求められた値Ａが設定されている音声速度変換比αよりも大きい場合には，設定されている音声速度変換比αをＡと１の間の値に修正する。そして，速度設定回路７は，この値Ａが元々設定されていた音声速度変換比α₀よりも小さい値に回復した場合には，音声速度変換比αを音声速度変換比α₀に設定し直す。
【０１６７】
（Ｃ）もちろん，有理数βをβ₀≦β≦１の範囲において調節するとは，有理数βをβ＝β₀またはβ＝１となるように調節することであってもよい。
【０１６８】
たとえば，ステップ５０３において即座にβ＝１とすることで，β＞１とならないようにするための演算処理が不要になり，映像信号がＢピクチャを全く有しない場合でも音声信号と映像信号との同期ずれや映像出力バッファ２００４のオーバーフローを容易に回避できる。また，ステップ５０６において即座にβ＝β₀とすることで，β＜β₀とならないようにするための演算処理が不要になり，全体のピクチャに対するＢピクチャ以外のピクチャの割合ｐが少なくなった場合には本来の音声速度変換比を速やかに実現できる。
【０１６９】
（Ｄ）なお，前述した実施の形態１の場合と同様，映像データがＶ−ＰＴＳを伴っており，音声データがＡ−ＰＴＳを伴っている場合には，映像出力バッファ２００４が出力するＶ−ＰＴＳと音声出力バッファ２００９が出力するＡ−ＰＴＳとを比較して，映像出力バッファ２００４が蓄積している映像フレームのフリーズ／スキップをさらに行うようにしてもよい。
【０１７０】
このようなＶ−ＰＴＳとＡ−ＰＴＳとの比較による映像フレームのフリーズ／スキップを行うことで，音声速度変換処理以外の原因（たとえば，記録媒体における傷やゴミの付着，映像信号のデコード時間と音声信号のデコード時間との相違などに起因して発生する原因）による映像と音声の同期ずれを補償するための，映像と音声の同期（ＡＶ同期）を実現することができる。
【０１７１】
より具体的に説明すると，上述した実施の形態２で説明された原理を利用して音声速度変換処理が行われている場合における映像と音声の同期をとりつつ，上述した実施の形態１で説明された原理を利用して音声速度変換処理以外の原因による映像と音声の同期ずれを補償してもよい。たとえば，本発明の一実施の形態の映像音声再生装置のブロック図である図１０に示された構成を有する映像音声再生装置は，そのような機能を備えた映像音声再生装置の具体例である。
【０１７２】
なお，発明のプログラムは，上述した本発明の映像音声再生装置の全部または一部の手段（または，装置，素子，回路，部など）の機能をコンピュータにより実行させるためのプログラムであって，コンピュータと協働して動作するプログラムである。また，本発明のプログラムは，上述した本発明の映像音声再生方法の全部または一部のステップ（または，工程，動作，作用など）の動作をコンピュータにより実行させるためのプログラムであって，コンピュータと協働して動作するプログラムである。
【０１７３】
また，発明のデータ構造は，上述した本発明の映像音声再生装置または映像音声再生方法の全部または一部の手段やステップで，コンピュータと協働して利用されるデータ構造である。
【０１７４】
また，発明の媒体は，上述した本発明の映像音声再生装置の全部または一部の手段の全部または一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり，コンピュータにより読み取り可能，かつ読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。また，本発明の媒体は，上述した本発明の映像音声再生方法の全部または一部のステップの全部または一部の動作をコンピュータにより実行させるためのプログラムを担持した媒体であり，コンピュータにより読み取り可能，かつ読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する媒体である。また，発明の媒体は，上述した本発明の映像音声再生装置または映像音声再生方法の全部または一部の手段やステップで，コンピュータと協働して利用されるデータ構造を担持した媒体であり，コンピュータにより読み取り可能，かつ読み取られた前記データ構造が前記コンピュータと協動して利用される媒体である。
【０１７５】
なお，本発明の上記「一部の手段（または，装置，素子，回路，部など）」，本発明の上記「一部のステップ（または，工程，動作，作用など）」とは，それらの複数の手段またはステップの内の，幾つかの手段またはステップを意味し，あるいは，一つの手段またはステップの内の，一部の機能または一部の動作を意味するものである。
【０１７６】
また，本発明のプログラムの一利用形態は，コンピュータにより読み取り可能な記録媒体に記録され，コンピュータと協働して動作する態様であってもよい。また，本発明のプログラムの一利用形態は，伝送媒体中を伝送し，コンピュータにより読みとられ，コンピュータと協働して動作する態様であってもよい。
【０１７７】
また，発明のデータ構造としては，データベース，データフォーマット，データテーブル，データリスト，データの種類などを含む。
【０１７８】
また，記録媒体としては，ＲＯＭなどが含まれ，伝送媒体としては，インターネットなどの伝送媒体，光・電波・音波などが含まれる。
【０１７９】
また，上述した発明のコンピュータは，ＣＰＵなどの純然たるハードウェアに限らず，ファームウェアや，ＯＳ，更に周辺機器を含むものであってもよい。
【０１８０】
以上説明したように，本発明の構成は，ソフトウェア的に実現してもよいし，ハードウェア的に実現してもよい。
【０１８１】
【発明の効果】
以上述べたところから明らかなように，本発明は，再生速度が通常再生速度とは異なるように設定されているときにも，映像信号の出力タイミングと音声信号の出力タイミングとが通常再生時に比べて大きくずれることなく，それらの同期をより正確に保つことができるという長所を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１の映像音声再生装置のブロック図である。
【図２】本発明の実施の形態１の入力データの説明図である。
【図３】（Ａ）本発明の実施の形態１の音声速度変換方法の説明図（その１）である。
（Ｂ）本発明の実施の形態１の音声速度変換方法の説明図（その２）である。
【図４】本発明の実施の形態１の映像音声再生装置のフロー図（その１）である。
【図５】本発明の実施の形態１の映像音声再生装置のフロー図（その２）である。
【図６】本発明の一実施の形態の映像音声再生装置のブロック図である。
【図７】本発明の実施の形態２の映像音声再生装置のブロック図である。
【図８】本発明の実施の形態２の映像音声再生装置のフロー図（その１）である。
【図９】本発明の実施の形態２の映像音声再生装置のフロー図（その２）である。
【図１０】本発明の一実施の形態の映像音声再生装置のブロック図である。
【図１１】従来の映像音声再生装置のブロック図である。
【符号の説明】
１００１システム解析回路
１００２映像入力バッファ回路
１００３映像デコード回路
１００４映像出力バッファ回路
１１０４Ｖ−ＰＴＳバッファ回路
１００５音声入力バッファ回路
１００６音声デコード回路
１００７速度設定回路
１００８音声速度変換回路
１００９音声出力バッファ回路
１２０９Ａ−ＰＴＳバッファ回路
１０１０計時回路
１０１１比較回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video / audio reproduction device, a video / audio reproduction method, a program, and a medium in which synchronization between video and audio is maintained even when reproduction is performed at a speed other than 1 × speed.
[0002]
[Prior art]
In a conventional video / audio reproduction device, reproduction is performed using a method for maintaining synchronization between video and audio as described below (see, for example, Patent Document 1). Further, FIG. 11 shows a block diagram of a conventional video / audio reproducing apparatus in which the video and audio are kept synchronized even when reproduced at a speed other than 1 × speed.
[0003]
The system analysis circuit 1 is a circuit that separates input data into video data and audio data.
[0004]
The video input buffer circuit 2 is a circuit that stores the video data output from the system analysis circuit 1, and the video decoding circuit 3 is a circuit that takes in video data from the video input buffer circuit 2, decodes it, and converts it into a video signal.
[0005]
The video output buffer circuit 4 is a circuit that stores and outputs the video signal output from the video decoding circuit 3.
[0006]
The audio input buffer circuit 5 is a circuit that stores the audio data output from the system analysis circuit 1, and the audio decoding circuit 6 is a circuit that takes in the audio data from the audio input buffer circuit 5, decodes it, and converts it into an audio signal.
[0007]
The audio output buffer circuit 9 is a circuit that stores and outputs the audio signal output from the audio decoding circuit 6.
[0008]
The speed setting circuit 7 is a circuit that sets a desired speed in accordance with a user instruction using a remote controller or the like, and the video output control circuit 21 sets a duration based on the speed set by the speed setting circuit 7. A circuit that outputs a control signal to the video output buffer circuit 4 so as to skip the video signal when shortening, and outputs a control signal to the video output buffer circuit 4 so as to freeze the video signal when extending the duration. is there.
[0009]
The audio output control circuit 22 observes the accumulation state of the audio signal in the audio output buffer circuit 9, and (1) When the duration is shortened, the audio signal in the audio output buffer circuit 9 overflows, so that the audio signal When the control signal is output to the audio output buffer circuit 9 so as to skip (2) the duration is extended, the audio signal in the audio output buffer circuit 9 becomes short, so the audio signal is repeated or paused. In this manner, the control signal is output to the audio output buffer circuit 9.
[0010]
Next, the operation of the conventional video / audio reproduction device will be described.
[0011]
The system analysis circuit 1 separates input data into video data and audio data.
[0012]
The video input buffer circuit 2 stores the video data output from the system analysis circuit 1, and the video decoding circuit 3 takes in the video data from the video input buffer circuit 2, decodes it, and converts it into a video signal.
[0013]
The video output buffer circuit 4 stores and outputs the video signal output from the video decoding circuit 3.
[0014]
The audio input buffer circuit 5 stores the audio data output from the system analysis circuit 1, and the audio decoding circuit 6 takes in the audio data from the audio input buffer circuit 5, decodes it, and converts it into an audio signal.
[0015]
The audio output buffer circuit 9 stores and outputs the audio signal output from the audio decoding circuit 6.
[0016]
The speed setting circuit 7 sets a desired speed in accordance with a user instruction using a remote controller or the like, and the video output control circuit 21 is for shortening the duration based on the speed set by the speed setting circuit 7. Outputs a control signal to the video output buffer circuit 4 so as to skip the video signal, and outputs a control signal to the video output buffer circuit 4 so as to freeze the video signal when the duration is extended.
[0017]
The audio output control circuit 22 observes the accumulation state of the audio signal in the audio output buffer circuit 9, and (1) When the duration is shortened, the audio signal in the audio output buffer circuit 9 overflows, so that the audio signal When the control signal is output to the audio output buffer circuit 9 so as to skip (2) the duration is extended, the audio signal in the audio output buffer circuit 9 becomes short, so the audio signal is repeated or paused. In this manner, a control signal is output to the audio output buffer circuit 9.
[0018]
Therefore, (1) when the duration time is shortened, the control signal is output to the audio output buffer circuit 9 so as to skip the audio signal, so that the audio signal of the audio output buffer circuit 9 is prevented from overflowing. (2) When extending the duration, a control signal is output to the audio output buffer circuit 9 so as to repeat or pause the audio signal, so that the audio signal of the audio output buffer circuit 9 becomes deficient. Is suppressed.
[0019]
[Patent Document 1]
JP 2001-8170 A
[0020]
[Problems to be solved by the invention]
However, in the conventional video / audio playback device described above, the output timing of the video signal and the output timing of the audio signal are different from those during normal playback during speed conversion in which the speed is set so as to shorten or extend the duration. As a result, there is a problem that synchronization may not be maintained accurately.
[0021]
It should be noted that there is a need for quick viewing and slow listening of content, and AV synchronization needs to be guaranteed even when fast viewing and slow listening are performed.
[0022]
In consideration of the above-described conventional problems, the present invention provides that the output timing of the video signal and the output timing of the audio signal are the same during normal playback even when the playback speed is set to be different from the normal playback speed. It is an object of the present invention to provide a video / audio reproduction device, a video / audio reproduction method, a program, and a medium that can maintain synchronization more accurately without greatly deviating from the above.
[0037]
  First1According to the present invention, MPEG (Moving Picture Experts Group) data input from outside having audio data and video data is classified into the audio data and the video data;
  In accordance with an audio signal generating means for decoding the sorted audio data and generating an audio signal, and an execution playback speed for actually executing playback determined based on an externally set playback speed set from the outside Voice speed conversion means for performing a predetermined voice speed conversion on the generated voice signal;
  An audio signal accumulating / outputting means for accumulating the audio signal subjected to the audio speed conversion and outputting the accumulated audio signal according to the execution reproduction speed;
  Video signal generating means for decoding the sorted video data and generating a video signal;
  Video signal storage and output means for storing the generated video signal and outputting the stored video signal according to the execution reproduction speed;
  An audio speed conversion ratio converting means for converting an audio speed conversion ratio α of the generated audio signal relating to the externally set reproduction speed into a rational number β relating to the execution reproduction speed;
  The voice speed conversion means performs the predetermined voice speed conversion on the generated voice signal according to the rational number β,
  The audio signal accumulation output unit accumulates the audio signal subjected to the audio speed conversion, and outputs the accumulated audio signal according to the execution reproduction speed based on the rational number β.
  The video signal storage / output means stores the generated video signal, and according to the execution playback speed, (1) when the rational number β is smaller than 1, skips the stored video signal. (2) When the rational number β is greater than 1, the video / audio reproduction device outputs the stored video signal using freeze.
[0038]
  First2In the present invention, the video signal storage output means skips all or part of the B picture of the stored video signal when the rational number β is smaller than 1.1This is a video / audio reproduction device of the present invention.
[0039]
  First3The present invention further comprises video data storage means for storing the sorted video data inserted between the sorting means and the video signal generating means,
  The video data storage means discards all or part of the B pictures of the sorted video data when the rational number β is smaller than 1.1This is a video / audio reproduction device of the present invention.
[0040]
  First4In the present invention, the execution playback speed is:in frontIt is adjusted based on whether the stored video signal can be output according to the execution playback speed.FirstThis is a video / audio reproduction device of the present invention.
  According to a fifth aspect of the present invention, the stored video signal is adjusted according to whether or not the stored video signal is output according to the execution playback speed. If the stored video signal can be output in accordance with the execution playback speed, it is adjusted to approach the externally set playback speed. 4 is a video / audio reproduction device of the present invention.
[0041]
  First6According to the present invention, the video signal storage and output means is (1) when the rational number β is smaller than 1,
[0042]
[Expression 1]
  1-β = n⁽¹⁾/ M⁽¹⁾
An integer m⁽¹⁾, N⁽¹⁾(1 ≦ n⁽¹⁾<M⁽¹⁾N) determined based on a predetermined criterion⁽¹⁾Integer m⁽¹⁾ _j(J = 1, 2,..., N⁽¹⁾) Integer m⁽¹⁾Split
[0043]
[Expression 4]
  m⁽¹⁾= Σ_jm⁽¹⁾ _j  (Σ is 1 ≦ j ≦ n⁽¹⁾Think about)
The first m⁽¹⁾ ₁One video frame is skipped in the video frame, and the next m⁽¹⁾ ₂In the video frame, one video frame is skipped, and the accumulated video signal is output as follows. (2) When the rational number β is larger than 1,
[0044]
[Equation 5]
  β-1 = n⁽²⁾/ M⁽²⁾
An integer m⁽²⁾, N⁽²⁾(1 ≦ n⁽²⁾<M⁽²⁾N) determined based on a predetermined criterion⁽²⁾Integer m⁽²⁾ _j(J = 1, 2,..., N⁽²⁾) Integer m⁽²⁾Split
[0045]
[Equation 8]
  m⁽²⁾= Σ_jm⁽²⁾ _j  (Σ is 1 ≦ j ≦ n⁽²⁾Think about)
The first m⁽²⁾ ₁Freeze one video frame in the video frame and⁽²⁾ ₂The first video frame is frozen in the video frame, and so on.1This is a video / audio reproduction device of the present invention.
[0046]
  First7The present invention includes (1) the n⁽¹⁾Integer m⁽¹⁾ _j(J = 1, 2,..., N⁽¹⁾)
[0047]
[Expression 2]
  m⁽¹⁾= N⁽¹⁾q⁽¹⁾+ R⁽¹⁾
An integer q⁽¹⁾, R⁽¹⁾(0 ≦ r⁽¹⁾<N⁽¹⁾)
[0048]
[Equation 3]
  r⁽¹⁾If = 0,
  m⁽¹⁾ _j= Q⁽¹⁾(J = 1, ..., n⁽¹⁾)
  r⁽¹⁾If ≧ 1,
  m⁽¹⁾ _j= Q⁽¹⁾+1 (j = 1,..., R⁽¹⁾),
  m⁽¹⁾ _j= Q⁽¹⁾(J = r⁽¹⁾+1, ..., n⁽¹⁾)
N determined as⁽¹⁾Integer m⁽¹⁾ _j(J = 1, 2,..., N⁽¹⁾And (2) n⁽²⁾Integer m⁽²⁾ _j(J = 1, 2,..., N⁽²⁾)
[0049]
[Formula 6]
  m⁽²⁾= N⁽²⁾q⁽²⁾+ R⁽²⁾
An integer q⁽²⁾, R⁽²⁾(0 ≦ r⁽²⁾<N⁽²⁾)
[0050]
[Expression 7]
  r⁽²⁾If = 0,
  m⁽²⁾ _j= Q⁽²⁾(J = 1, ..., n⁽²⁾)
  r⁽²⁾If ≧ 1,
  m⁽²⁾ _j= Q⁽²⁾+1 (j = 1,..., R⁽²⁾),
  m⁽²⁾ _j= Q⁽²⁾(J = r⁽²⁾+1, ..., n⁽²⁾)
N determined as⁽²⁾Integer m⁽²⁾ _j(J = 1, 2,..., N⁽²⁾) Is the first6This is a video / audio reproduction device of the present invention.
[0051]
  First8The present invention includes a separation step of separating MPEG (Moving Picture Experts Group) data input from outside having audio data and video data into the audio data and the video data;
  An audio signal generation step of decoding the sorted audio data and generating an audio signal;
  An audio speed conversion step for performing a predetermined audio speed conversion on the generated audio signal in accordance with an execution playback speed for actually executing playback determined based on an externally set playback speed set from the outside When,
  An audio signal accumulation output step of accumulating the audio signal subjected to the audio speed conversion and outputting the accumulated audio signal according to the execution reproduction speed;
  A video signal generating step for generating a video signal by decoding the sorted video data;
  A video signal storage output step for storing the generated video signal and outputting the stored video signal in accordance with the execution reproduction speed;
  In the voice speed conversion step, the predetermined voice speed conversion is performed on the generated voice signal according to the rational number β,
  In the audio signal storage output step, the audio signal subjected to the audio speed conversion is stored.
And based on the rational number β, the accumulated audio signal is output according to the execution playback speed,
  In the video signal storage output step, the generated video signal is stored, and depending on the execution playback speed, (1) when the rational number β is smaller than 1, the stored video signal is skipped. (2) In the video / audio reproduction method, when the rational number β is larger than 1, the stored video signal is output using freeze.
[0052]
  First9The present invention is the first8In the video / audio reproduction method of the present invention, the computer executes the classification step, the audio signal generation step, the audio speed conversion step, the audio signal accumulation output step, the video signal generation step, and the video signal accumulation output step. It is a program for.
[0053]
  First10The present invention is the first9A medium carrying the program of the present invention, which can be processed by a computer.
[0054]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0055]
(Embodiment 1)
First, the configuration of the video / audio reproduction device of the present embodiment will be described with reference mainly to FIG. 1 which is a block diagram of the video / audio reproduction device compliant with the MPEG standard of the first embodiment of the present invention.
[0056]
The system analysis circuit 1001 accompanies V-PTS (video-presentation time stamp) from the input data as shown in FIG. 2 which is an explanatory diagram of the input data according to the first embodiment of the present invention. It is a circuit that separates video data and audio data accompanied by A-PTS (audio-presentation time stamp).
[0057]
According to the MPEG standard, image data and audio data that are decoded before and after are rearranged and output using information related to playback times indicated by the V-PTS and A-PTS, respectively. The
[0058]
The video input buffer circuit 1002 is a circuit for storing the video data output from the system analysis circuit 1001 and the V-PTS. The video decoding circuit 1003 takes the video data from the video input buffer circuit 1002, decodes it, and converts it into a video signal. , A corresponding V-PTS is output to the V-PTS buffer circuit 1104.
[0059]
The video output buffer circuit 1004 is a circuit that stores and outputs the V-PTS corresponding to the video signal output from the video decoding circuit 1003.
[0060]
The V-PTS buffer circuit 1104 is a circuit that stores and outputs the V-PTS output from the video decoding circuit 1003.
[0061]
The audio input buffer circuit 1005 is a circuit for storing the audio data output from the system analysis circuit 1001 and A-PTS, and the audio decoding circuit 1006 takes the audio data from the audio input buffer circuit 1005, decodes it, and converts it into an audio signal. , The corresponding A-PTS is output to the A-PTS buffer circuit 1209.
[0062]
The speed setting circuit 1007 is a circuit that sets a desired voice speed conversion ratio α in accordance with an external user instruction using a remote controller or the like.
[0063]
For example, when the voice speed conversion ratio α = 1/2, the duration of the voice signal is halved compared to the case where the voice is reproduced at a speed of one time, and the time counting circuit 1010 In A, the A-PTS is updated twice as often, so the time indicated by the time measuring circuit 1010 is not continuous but proceeds twice as fast. In short, when the duration of the audio signal is extended, the interval at which the A-PTS is output from the A-PTS buffer circuit 1209 is widened, and when the duration of the audio signal is compressed, the A-PTS buffer circuit 1209 to A -The interval at which PTS is output is shortened. Since this A-PTS is output to the timing circuit 1010, the counter of the timing circuit 1010 is forcibly corrected by the A-PTS in accordance with the voice speed conversion ratio.
[0064]
The voice speed conversion circuit 1008 uses a voice speed conversion method in which only the duration is changed without changing the frequency (pitch), and the voice decoding circuit 1006 is based on the voice speed conversion ratio α output from the speed setting circuit 1007. This is a circuit that performs an audio speed conversion process on an audio signal to be output, and outputs it to the audio output buffer 1009 while maintaining a time correspondence relationship of A-PTS output timing.
[0065]
In addition, as a voice speed conversion method in the present embodiment, a voice speed conversion method described in Japanese Patent No. 2532731 can be used. This voice speed conversion method multiplies the input voice waveform by a window function and performs a superposition addition that increases the value of the correlation function. It realizes voice speed conversion with almost no missing part.
[0066]
For example, a diagram (part 1) illustrating the voice speed conversion method according to the first embodiment of the present invention using voice speed conversion with a voice speed conversion ratio α = 2/3 by such a voice speed conversion method. The voice waveforms W1 to W9 as shown in FIG. 3 (A) are shown in FIG. 3 (B) which is an explanatory diagram (part 2) of the voice speed conversion method according to the first embodiment of the present invention. Voice waveforms W1 'to W9'.
[0067]
More specifically, for example, the speech waveforms W1 and W2 are superimposed so that no amplitude discontinuity occurs, and the speech waveform W1 is changed by changing only the duration without substantially changing the frequency. ', W2'. Further, the voice waveform W3 is converted into the voice waveform W3 ′ almost as it is. In addition, the speech waveforms W4 and W5 are superimposed with a phase shift without causing an amplitude discontinuity, and the speech waveforms W4 ′ and W5 ′ are changed by changing only the duration without substantially changing the frequency. Has been converted.
[0068]
The audio output buffer circuit 1009 accumulates the audio signal output from the audio speed conversion circuit 1008 and the A-PTS output timing, continuously outputs the audio signal based on the sampling frequency, and outputs A when the corresponding audio signal is output. This is a circuit for outputting the -PTS output timing to the A-PTS buffer circuit 1209.
[0069]
The A-PTS buffer circuit 1209 is a circuit that stores and outputs the A-PTS output from the audio decoding circuit 1006 in synchronization with the A-PTS output timing output from the audio output buffer circuit 1009.
[0070]
The timer circuit 1010 is a circuit that sets the A-PTS output from the A-PTS buffer circuit 1209 and measures time T (which is substantially the same as a counter value described later).
[0071]
The comparison circuit 1011 compares the time T output from the timing circuit 1010 with the V-PTS output from the V-PTS buffer circuit 1104, and (1) the audio speed conversion circuit 1008 extends the audio duration time, When V-PTS is ahead of T, the video output buffer circuit 1004 is controlled to freeze the video signal, and (2) the audio speed conversion circuit 1008 shortens the audio duration, When the V-PTS is later than the time T, the video signal (for example, a video type B picture that the video decoding circuit 1003 does not refer to when decoding other pictures) is skipped to the video output buffer circuit 1004. It is a circuit to control as follows.
[0072]
The comparison circuit 1011 is a circuit that controls the video input buffer circuit 1002 to discard the video data of the B picture in the latter case where the V-PTS is delayed from the time T. Of course, such control by the comparison circuit 1011 is for reducing the processing amount of the video decoding circuit 1003 without any trouble in decoding, and is not essential.
[0073]
By such control, the audio signal output from the audio output buffer circuit 1009 and the video signal output from the video output buffer circuit 1004 can be more reliably synchronized.
[0074]
The means including the system analysis circuit 1001 corresponds to the classification means of the present invention, the means including the audio decoding circuit 1006 corresponds to the audio signal generation means of the present invention, and the means including the audio speed conversion circuit 1008 corresponds to the present invention. Corresponding to the audio speed converting means, the means including the audio output buffer circuit 1009 corresponds to the audio signal accumulating / outputting means of the present invention, and the means including the video decoding circuit 1003 corresponds to the video signal generating means of the present invention. The means including the buffer circuit 1004 corresponds to the video signal storage output means of the present invention, and the means including the comparison circuit 1011 corresponds to the comparison means of the present invention. The means including the video input buffer circuit 1002 corresponds to the video data storage means of the present invention.
[0075]
Next, the operation of the video / audio reproduction device of the present embodiment will be described with reference mainly to FIG. 4 which is a flowchart (part 1) of the video / audio reproduction device of the first embodiment of the present invention. While describing the operation of the video / audio reproduction device of the present embodiment, an embodiment of the video / audio reproduction method of the present invention will also be described.
[0076]
Steps 100 and 101: Processing is started (Step 100), and the system analysis circuit 1001 inputs a bit stream (Step 101).
[0077]
Step 102: The system analysis circuit 1001 extracts video data and a video packet in which the corresponding V-PTS is recorded from the bit stream, and the video input buffer circuit 1002 stores them.
[0078]
Step 103: The system analysis circuit 1001 extracts the voice data and the voice packet in which the A-PTS corresponding to the voice data is recorded from the bit stream, and the voice input buffer circuit 1005 stores them.
[0079]
Steps 104 and 105: The video decoding circuit 1003 takes in video data from the video input buffer circuit 1002 and performs a decoding process to convert it into a video signal (step 104).
[0080]
The video output buffer circuit 1004 stores the video signal and V-PTS output timing, and the V-PTS buffer circuit 1104 stores V-PTS (step 105).
[0081]
Steps 106 to 108: The audio decoding circuit 1006 takes in the audio data from the audio input buffer circuit 1005 and performs decoding processing to convert it into an audio signal (step 106).
[0082]
The voice speed conversion circuit 1008 performs voice speed conversion processing on the voice signal based on the voice speed conversion ratio α set by the speed setting circuit 1007 (step 107).
[0083]
The audio output buffer circuit 1009 stores the audio signal whose duration has been changed and the A-PTS output timing, and the A-PTS buffer circuit 1209 stores the A-PTS (step 108).
[0084]
Step 109: The timing circuit 1010 measures a counter value corresponding to the A-PTS output from the A-PTS buffer circuit 1209 (and therefore corresponds to the audio signal output from the audio output buffer circuit 1009), and the comparison circuit 1011 , The counter value is subtracted from the V-PTS corresponding to the video signal output from the V-PTS buffer circuit 1104 to calculate the difference δ.
[0085]
Steps 110 to 114: The comparison circuit 1011 determines the difference δ and a predetermined threshold value δ.₀(Step 110).
[0086]
(1) The video output buffer circuit 1004 has δ <−δ₀If it is determined that the video time stamp is considerably delayed from the audio time stamp, the video signal stored therein is skipped by one video frame and output (step 111).
[0087]
The comparison circuit 1011 controls the video input buffer circuit 1002 to discard the video data of the B picture (step 112).
[0088]
(2) The video output buffer circuit 1004 has δ> δ₀If it is determined that the video time stamp is considerably advanced than the audio time stamp, the video signal stored therein is frozen for one video frame and output (step 113).
[0089]
(3) The video output buffer circuit 1004 has −δ₀≦ δ ≦ δ₀If it is determined that the video time stamp is almost advanced or delayed from the audio time stamp, the video signal is output without skipping or freezing (step 114).
[0090]
Steps 115 to 118: The audio output buffer circuit 1009 outputs an audio signal (Step 115), and sets the A-PTS corresponding to the audio signal to the counter of the time measuring circuit 1010 through the A-PTS buffer circuit 1209 (Step 115). 116), (1) When the reproduction is finished, a series of processing is finished, and (2) When the reproduction is not finished, the series of processing is repeated (steps 117 and 118).
[0091]
In the foregoing, the configuration and operation of the video / audio reproduction device of the present embodiment have been described in detail.
[0092]
(A) Instead of controlling the video output buffer circuit 1004 to skip the video signal by the comparison circuit 1011 (or performing control to skip such a video signal), This may be notified from the comparison circuit 1011 to the video input buffer circuit 1002, and the video decoding circuit 1003 that has recognized the notification may identify and skip the video data of the B picture itself.
[0093]
In short, by distinguishing the B picture from other pictures and discarding or skipping only the video data of the B picture, the processing amount of the video decoding circuit 1003 can be reduced without any trouble in decoding, and the video output buffer circuit 1004 It is possible to reduce the capacity of the.
[0094]
(B) However, the ratio p of the picture other than the B picture to the whole picture is the audio speed conversion ratio α set from the outside.₀<Too much compared to 1 (that is, the ratio of the B picture is the audio speed conversion ratio α₀If there are too few compared to). In such a case, the video signal of the B picture is not sufficiently discarded or skipped, and the V-PTS output from the video output buffer circuit 1004 increases with respect to the time T (counter value) output from the time measuring circuit 1010. There is a possibility of getting smaller.
[0095]
If it is left as it is, not only the video signal and the audio signal cannot be synchronized, but also the video output buffer circuit 1004 may overflow.
[0096]
Therefore, if necessary, the voice speed conversion ratio α is set to α₀A control sequence for adjustment in the range of ≦ α ≦ 1 may be provided.
[0097]
More specifically, as shown in FIG. 5 which is a flowchart (part 2) of the video / audio reproduction device of the first embodiment of the present invention, the video / audio reproduction device of the present embodiment is as follows. A voice speed conversion ratio adjustment mode may be implemented.
[0098]
Steps 401 to 406: The comparison circuit 1011 determines whether or not one video frame of a B picture as described above has been skipped (step 401).
[0099]
(1) When it is determined that the speed setting circuit 1007 has been skipped, the voice speed conversion ratio α and the voice speed conversion ratio α at that time are determined.₀(Step 402).
[0100]
The speed setting circuit 1007: (a) α = α₀If it is determined, α is kept as it is, and (b) α ≠ α₀Is determined, the above-described difference δ and a predetermined threshold value δ₀(Step 403), (b1) δ <−δ₀′ (That is, V-PTS is considerably delayed), α is decreased and α₀(B2) δ ≧ −δ₀If ′ is judged, α is decreased and α₀(Step 404).
[0101]
(2) If it is determined that the speed setting circuit 1007 could not skip, the difference δ and a predetermined threshold value δ₀The relationship with ′ is determined (step 405).
[0102]
The speed setting circuit 1007 has (a) δ <−δ₀If it is determined that ′, α is increased to approach 1 (step 406), (b) δ ≧ −δ₀If it is determined as', α is not increased and brought close to 1, but α is maintained as it is.
[0103]
(C) Of course, the voice speed conversion ratio α is α₀To adjust within the range of ≦ α ≦ 1, the voice speed conversion ratio α is set to α = α₀Alternatively, it may be adjusted so that α = 1.
[0104]
For example, by immediately setting α = 1 in step 406, it is not necessary to perform arithmetic processing to prevent α> 1, and even when the video signal has no B picture, the audio signal and the video signal A synchronization error and an overflow of the video output buffer 1004 can be easily avoided. In step 404, α = α immediately.₀So that α <α₀Thus, when the ratio p of the pictures other than the B picture to the entire picture is reduced, the original audio speed conversion ratio can be realized quickly.
[0105]
(D) In the video / audio reproduction device according to the present embodiment, (1) the audio speed conversion circuit 1008 is adapted to maintain the information related to the A-PTS according to the setting from the speed setting circuit 1007. Speed conversion is performed on the audio signal generated by the audio decoding circuit 1006. (2) The comparison circuit 1011 uses the A-PTS output timing output from the audio output buffer circuit 1009 to the A-PTS buffer circuit 1209. Then, A-PTS and V-PTS were compared.
[0106]
However, the present invention is not limited to this, and when the processing delay in the audio speed conversion circuit 1008 and the waiting time in the audio output buffer circuit 1009 are estimated in advance, the A-PTS output timing output from the audio output buffer circuit 1009 Accordingly, the A-PTS may not be output from the A-PTS buffer circuit 1209.
[0107]
More specifically, as shown in FIG. 6 which is a block diagram of the video / audio reproduction apparatus according to the embodiment of the present invention, (1) the audio speed conversion circuit 1008 ′ is replaced with the speed setting circuit 1007. The audio speed conversion is performed on the audio signal generated by the audio decoding circuit 1006 in accordance with the setting of (2), and (2) the A-PTS buffer circuit 1209 ′ applies to the A-PTS output from the audio decoding circuit 1006. Thus, the delay processing is performed for the total time of both the processing delay in the voice speed conversion circuit 1008 'and the waiting time in the voice output buffer circuit 1009', and the result is output to the timing circuit 1010. (3) Comparison circuit 1011 May compare the time T (counter value) output from the timer circuit 1010 with the V-PTS output from the V-PTS buffer circuit 1104.
[0108]
Of course, when the processing delay in the audio speed conversion circuit 1008 ′ and the waiting time in the audio output buffer circuit 1009 ′ vary depending on the setting value of the speed setting circuit 1007, the setting value of the speed setting circuit 1007 is changed to A -Output to the PTS buffer circuit 1209 ', and the delay time length may be changed in accordance with the voice speed conversion ratio.
[0109]
The means including the audio speed conversion circuit 1008 'corresponds to the audio speed conversion means of the present invention, and the means including the audio output buffer circuit 1009' corresponds to the audio signal storage / output means of the present invention. The means including the A-PTS buffer circuit 1209 ′ corresponds to the delay information generating means of the present invention.
[0110]
The predetermined delay information according to the present invention is information for compensating for the time delay as described above in consideration of the processing delay in the voice speed conversion circuit 1008 'and the waiting time in the voice output buffer circuit 1009'. Corresponding to
[0111]
(Embodiment 2)
First, the configuration of the video / audio reproduction device of the present embodiment will be described with reference mainly to FIG. 7 which is a block diagram of the video / audio reproduction device of the second embodiment of the present invention.
[0112]
A system analysis circuit 2001 is a circuit that separates video data and audio data from input data.
[0113]
The video input buffer circuit 2002 is a circuit for storing video data output from the system analysis circuit 2001, and the video decoding circuit 2003 is a circuit that takes in video data from the video input buffer circuit 2002, decodes it, and converts it into a video signal.
[0114]
The video output buffer circuit 2004 is a circuit that stores and outputs the video signal output from the video decoding circuit 2003.
[0115]
The audio input buffer circuit 2005 is a circuit that stores audio data output from the system analysis circuit 2001, and the audio decoding circuit 2006 is a circuit that takes audio data from the audio input buffer circuit 2005, decodes it, and converts it into an audio signal.
[0116]
The speed setting circuit 2007 is a circuit that sets a desired voice speed conversion ratio α (real number) in accordance with an external user instruction using a remote controller or the like.
[0117]
The speed control circuit 2012 is a circuit having a rational number conversion circuit 2013 and a frequency calculation circuit 2014.
[0118]
The rational number conversion circuit 2013 is a circuit that converts the value of the voice speed conversion ratio α output from the speed setting circuit 2007 to a rational number β in the vicinity thereof and outputs the rational number β.
[0119]
Based on the rational number β output from the rational number conversion circuit 2013, (1) when extending the duration of the audio, the frequency calculation circuit 2014 sends the video signal to the video output buffer circuit 2004 at a frequency based on the rational number β. (2) When the audio duration time is shortened, the video signal (for example, the video decoding circuit 2003 receives another picture at a frequency based on the rational number β is sent to the video output buffer circuit 2004. This is a circuit that controls to skip a B-picture of a video type that is not referred to at the time of decoding.
[0120]
The frequency calculation circuit 2014 is a circuit that controls the video input buffer circuit 2002 to discard the video data of the B picture at a frequency based on the rational number β in the latter case of shortening the audio duration. is there.
[0121]
By such control, the audio signal output from the audio output buffer circuit 2009 and the video signal output from the video output buffer circuit 2004 can be more reliably synchronized.
[0122]
The voice speed conversion circuit 2008 has a configuration similar to that of the voice speed conversion circuit 1008, and a rational number output from the speed control circuit 2012 using a voice speed conversion method that changes only the duration without changing the frequency. This is a circuit that performs an audio speed conversion process on the audio signal output from the audio decoding circuit 2006 based on β.
[0123]
The audio output buffer circuit 2009 is a circuit that accumulates the audio signal output from the audio speed conversion circuit 2008 and continuously outputs the audio signal based on the sampling frequency.
[0124]
The means including the system analysis circuit 2001 corresponds to the classification means of the present invention, the means including the audio decoding circuit 2006 corresponds to the audio signal generating means of the present invention, and the means including the audio speed conversion circuit 2008 is the present invention. Corresponding to the audio speed converting means, the means including the audio output buffer circuit 2009 corresponds to the audio signal storing and outputting means of the present invention, the means including the video decoding circuit 2003 corresponds to the video signal generating means of the present invention, and the video output The means including the buffer circuit 2004 corresponds to the video signal accumulation output means of the present invention. The means including the rational number conversion circuit 2013 corresponds to the voice speed conversion ratio conversion means of the present invention. The means including the video input buffer circuit 2002 corresponds to the video data storage means of the present invention.
[0125]
Next, the operation of the video / audio reproduction device of the present embodiment will be described with reference mainly to FIG. 8 which is a flowchart (part 1) of the video / audio reproduction device of the second embodiment of the present invention. While describing the operation of the video / audio reproduction device of the present embodiment, an embodiment of the video / audio reproduction method of the present invention will also be described.
[0126]
Steps 200 and 201: The processing is started (Step 200), and the speed setting circuit 2007 inputs the voice speed conversion ratio α (0 <α ≦ 2) (Step 201).
[0127]
Step 202: The rational number conversion circuit 2013 converts the voice speed conversion ratio α into a rational number β in the vicinity thereof.
[0128]
Step 203: The system analysis circuit 2001 inputs a bit stream.
[0129]
Step 204: The system analysis circuit 2001 extracts video packets from the bit stream, and the video input buffer circuit 2002 stores them.
[0130]
Step 205: The system analysis circuit 2001 extracts a voice packet from the bit stream, and the voice input buffer circuit 2005 stores it.
[0131]
Steps 206 and 207: The video decoding circuit 2003 takes in video data from the video input buffer circuit 2002, performs decoding processing, and converts it into a video signal (step 206).
[0132]
The video output buffer circuit 2004 stores the video signal (step 207).
[0133]
Steps 208 to 210: The audio decoding circuit 2006 takes the audio data from the audio input buffer circuit 2005, performs decoding processing, and converts it into an audio signal (step 208).
[0134]
The voice speed conversion circuit 2008 performs voice speed conversion processing on the voice signal based on the rational number β converted by the rational number conversion circuit 2013, and changes the duration (step 209).
[0135]
The audio output buffer circuit 2009 stores the audio signal whose duration has been changed (step 210).
[0136]
Steps 211 to 217; The frequency calculation circuit 2014 determines the relation between the rational number β and 1 (Step 211).
[0137]
(1) When the frequency calculation circuit 2014 determines that 0 <β <1 (that is, the playback speed is increased),
[0138]
[Expression 1]
1-β = n⁽¹⁾/ M⁽¹⁾
A disjoint integer m⁽¹⁾, N⁽¹⁾(1 ≦ n⁽¹⁾<M⁽¹⁾)
[0139]
[Expression 2]
m⁽¹⁾= N⁽¹⁾q⁽¹⁾+ R⁽¹⁾
An integer q⁽¹⁾, R⁽¹⁾(0 ≦ r⁽¹⁾<N⁽¹⁾)
[0140]
[Equation 3]
  r⁽¹⁾If = 0,
  m⁽¹⁾ _j= Q⁽¹⁾(J = 1, ..., n⁽¹⁾)
  r⁽¹⁾If ≧ 1,
  m⁽¹⁾ _j= Q⁽¹⁾+1 (j = 1,..., R⁽¹⁾),
  m⁽¹⁾ _j= Q⁽¹⁾(J = r⁽¹⁾+1, ..., n⁽¹⁾)
N⁽¹⁾Integer m⁽¹⁾ _j(J = 1, ..., n⁽¹⁾) Integer m⁽¹⁾Split
[0141]
[Expression 4]
m⁽¹⁾= Σ_jm⁽¹⁾ _j  (Σ is 1 ≦ j ≦ n⁽¹⁾Think about)
Is calculated (step 212). The video output buffer circuit 2004 uses the stored video signal to generate the first m⁽¹⁾ ₁One video frame is skipped in the video frame, and the next m⁽¹⁾ ₂Skip one video frame in the video frame, ... (convenient, m⁽¹⁾N in the video frame⁽¹⁾The video signal is output in such a manner as to skip the video frame (step 213).
[0142]
Such an integer m⁽¹⁾For example, m⁽¹⁾The first n in the video frame⁽¹⁾Rather than skipping together video frames, smoother video playback that does not give the user a jerky feeling is realized.
[0143]
Alternatively, the frequency calculation circuit 2014 controls the video input buffer circuit 2002 to discard the video data of the B picture (step 214).
[0144]
(2) When the frequency calculation circuit 2014 determines that 1 <β ≦ 2 (that is, slows down the reproduction speed),
[0145]
[Equation 5]
β-1 = n⁽²⁾/ M⁽²⁾
A disjoint integer m⁽²⁾, N⁽²⁾(1 ≦ n⁽²⁾≦ m⁽²⁾)
[0146]
[Formula 6]
m⁽²⁾= N⁽²⁾q⁽²⁾+ R⁽²⁾
An integer q⁽²⁾, R⁽²⁾(0 ≦ r⁽²⁾<N⁽²⁾)
[0147]
[Expression 7]
  r⁽²⁾If = 0,
  m⁽²⁾ _j= Q⁽²⁾(J = 1, ..., n⁽²⁾)
  r⁽²⁾If ≧ 1,
  m⁽²⁾ _j= Q⁽²⁾+1 (j = 1,..., R⁽²⁾),
  m⁽²⁾ _j= Q⁽²⁾(J = r⁽²⁾+1, ..., n⁽²⁾)
N⁽²⁾Integer m⁽²⁾ _j(J = 1, ..., n⁽²⁾) Integer m⁽²⁾Split
[0148]
[Equation 8]
m⁽²⁾= Σ_jm⁽²⁾ _j  (Σ is 1 ≦ j ≦ n⁽²⁾Think about)
Is calculated (step 215). The video output buffer circuit 2004 uses the stored video signal to generate the first m⁽²⁾ ₁Freeze one video frame in the video frame and⁽²⁾ ₂Freeze one video frame in the video frame ... (convenient, m⁽²⁾N in the video frame⁽²⁾The video signal is output in such a manner as to freeze the video frame (step 216).
[0149]
Such an integer m⁽²⁾For example, m⁽²⁾The first n in the video frame⁽²⁾Rather than freeze video frames together, smoother video playback that does not give the user a jerky feeling is realized.
[0150]
(3) If the frequency calculation circuit 2014 determines that β = 1 (ie, does not increase or decrease the reproduction speed), the frequency calculation circuit 2014 does not calculate anything further, and the video output buffer circuit 2004 stores it. The video signal is output without skipping or freezing using the existing video signal (step 217).
[0151]
Steps 218 to 220: The audio output buffer circuit 2009 outputs an audio signal (Step 218). (1) When the reproduction is finished, a series of processing is finished. (2) When the reproduction is not finished, A series of processing is repeated (steps 219 and 220).
[0152]
In the foregoing, the configuration and operation of the video / audio reproduction device of the present embodiment have been described in detail.
[0153]
(A) As in the case of the first embodiment described above, instead of controlling the video output buffer circuit 2004 to skip the video signal (for example, B picture) by the speed control circuit 2012 (or its The video control circuit 2012 notifies the video input buffer circuit 2002 to that effect, and the video decoding circuit 2003 that recognizes the notification notifies the video signal (for example, B). The video data of (picture) may be identified and discarded by itself.
[0154]
In short, by distinguishing the B picture from other pictures and discarding or skipping only the video signal of the B picture, the processing amount of the video decoding circuit 2003 can be reduced without any trouble in decoding, and the video output buffer circuit 2004 It is possible to reduce the capacity of the.
[0155]
(B) However, the ratio p of the picture other than the B picture to the whole picture is the audio speed conversion ratio α set from the outside.₀(Thus, the voice speed conversion ratio α₀Is the rational number β₀) May be too much. In such a case, there is a possibility that the video signal of the B picture is not sufficiently discarded or skipped.
[0156]
If this is left as it is, not only the video signal and the audio signal cannot be synchronized, but also the video output buffer circuit 2004 may overflow.
[0157]
Therefore, if necessary, the rational number β is changed to β₀A control sequence for adjustment in the range of ≦ β ≦ 1 may be provided.
[0158]
More specifically, as shown in FIG. 9 which is a flowchart (part 2) of the video / audio reproduction device of the second embodiment of the present invention, the video / audio reproduction device of the present embodiment is as follows. A voice speed conversion ratio adjustment mode may be implemented.
[0159]
Steps 501 to 506: The speed setting circuit 2007 determines the relation between the rational number β converted to the voice speed conversion ratio α at that time and 1 (Step 501).
[0160]
The frequency calculation circuit 2014 maintains (a) β when it is determined that (a) β ≧ 1, and (b) one video frame of the B picture as described above when it is determined that β <1. It is determined whether or not the minute has been skipped (step 502).
[0161]
(1) If the speed setting circuit 2007 determines that skipping could not be performed, β is increased to approach 1 (step 503).
[0162]
(2) If the speed setting circuit 2007 determines that it has been skipped, β = β₀Whether or not (step 504).
[0163]
The speed setting circuit 2007 has (a) β = β₀If it is determined that β is kept as it is, (b) β ≠ β₀If it is determined, the relationship between the ratio p of non-B pictures to the whole picture at that time and the rational number β is determined (step 505), and (b1) p ≦ β (that is, the ratio of B pictures) 1-p is sufficiently large), β is decreased and β₀(Step 506), (b2) If it is determined that p> β, β is decreased and β₀Keep β as it is without approaching.
[0164]
More specifically, the detection of the ratio of pictures other than B pictures to the total number of pictures will be described as follows.
[0165]
The video decoding circuit 2003 identifies the video type described in each picture data of the video data while decoding the video data. The speed setting circuit 2007 obtains the cumulative number of each video type (I picture, P picture, B picture) for the past one second (30 frames in the case of NTSC), for example, and uses (Equation 9) From the cumulative number, the ratio of pictures other than the B picture to the entire picture is obtained.
[0166]
[Equation 9]
A = (I picture + P picture) / (I picture + P picture + B picture) The speed setting circuit 2007, when the obtained value A is larger than the set audio speed conversion ratio α, The speed conversion ratio α is corrected to a value between A and 1. The speed setting circuit 7 then converts the voice speed conversion ratio α in which this value A was originally set.₀If the audio speed conversion ratio α is recovered to a smaller value than the voice speed conversion ratio α,₀Set to.
[0167]
(C) Of course, the rational number β is changed to β₀≦ β ≦ 1 is to adjust the rational number β to β = β₀Alternatively, it may be adjusted so that β = 1.
[0168]
For example, by immediately setting β = 1 in step 503, an arithmetic process for preventing β> 1 is unnecessary, and even if the video signal does not have any B picture, the audio signal and the video signal A synchronization error and an overflow of the video output buffer 2004 can be easily avoided. In step 506, β = β immediately₀So that β <β₀Thus, when the ratio p of the pictures other than the B picture to the entire picture is reduced, the original audio speed conversion ratio can be realized quickly.
[0169]
(D) As in the case of the first embodiment, when the video data is accompanied by V-PTS and the audio data is accompanied by A-PTS, the V− output from the video output buffer 2004 is output. The PTS and the A-PTS output from the audio output buffer 2009 may be compared to further freeze / skip the video frames stored in the video output buffer 2004.
[0170]
By performing freeze / skip of the video frame by comparing the V-PTS and the A-PTS, causes other than the audio speed conversion process (for example, attachment of scratches or dust on the recording medium, decoding time of the video signal, and the like) Video and audio synchronization (AV synchronization) can be realized to compensate for the video and audio synchronization shift caused by differences in the audio signal decoding time and the like.
[0171]
More specifically, the first embodiment will be described while synchronizing the video and audio when the audio speed conversion process is performed using the principle described in the second embodiment. Using this principle, it is possible to compensate for a video and audio synchronization shift caused by causes other than the audio speed conversion processing. For example, the video / audio reproduction device having the configuration shown in FIG. 10 which is a block diagram of the video / audio reproduction device according to the embodiment of the present invention is a specific example of the video / audio reproduction device having such a function. .
[0172]
The program of the invention is a program for causing a computer to execute the functions of all or part of the above-described video / audio reproduction device of the present invention (or device, element, circuit, unit, etc.). It is a program that operates in cooperation with. The program of the present invention is a program for causing a computer to execute all or some of the steps (or processes, operations, actions, etc.) of the video / audio reproduction method of the present invention described above. It is a program that works in cooperation.
[0173]
The data structure of the invention is a data structure used in cooperation with a computer in all or part of the steps and steps of the video / audio reproduction device or video / audio reproduction method of the present invention described above.
[0174]
The medium of the invention is a medium carrying a program for causing the computer to execute all or part of the functions of all or part of the above-described video / audio reproduction device of the present invention, and is readable by the computer. The read program is a medium for executing the function in cooperation with the computer. The medium of the present invention is a medium carrying a program for causing a computer to execute all or part of the operations of all or some of the steps of the video / audio reproduction method of the present invention described above, and is readable by the computer. And the read program is a medium for executing the operation in cooperation with the computer. The medium of the invention is a medium carrying a data structure used in cooperation with a computer in all or part of means or steps of the video / audio reproduction device or video / audio reproduction method of the present invention described above. The medium is readable by a computer and the data structure read is used in cooperation with the computer.
[0175]
The “part of means (or apparatus, element, circuit, part, etc.)” of the present invention and the “part of step (or process, operation, action, etc.)” of the present invention are those It means several means or steps among a plurality of means or steps, or means some function or part of operation within one means or step.
[0176]
Further, one usage form of the program of the present invention may be an aspect in which the program is recorded on a computer-readable recording medium and operates in cooperation with the computer. Further, one usage form of the program of the present invention may be an aspect in which the program is transmitted through a transmission medium, read by a computer, and operated in cooperation with the computer.
[0177]
The data structure of the invention includes a database, a data format, a data table, a data list, a data type, and the like.
[0178]
Further, the recording medium includes a ROM and the like, and the transmission medium includes a transmission medium such as the Internet, light, radio waves, sound waves, and the like.
[0179]
The computer of the above-described invention is not limited to pure hardware such as a CPU, and may include firmware, an OS, and peripheral devices.
[0180]
As described above, the configuration of the present invention may be realized by software or hardware.
[0181]
【The invention's effect】
As is apparent from the above description, the present invention provides a video signal output timing and an audio signal output timing that are different from those during normal playback even when the playback speed is set to be different from the normal playback speed. Therefore, they have the advantage of being able to keep their synchronization more accurately without greatly deviating.
[Brief description of the drawings]
FIG. 1 is a block diagram of a video / audio reproduction device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram of input data according to the first embodiment of the present invention.
FIG. 3A is an explanatory diagram (part 1) of the audio speed conversion method according to the first embodiment of the present invention.
(B) It is explanatory drawing (the 2) of the audio | voice speed conversion method of Embodiment 1 of this invention.
FIG. 4 is a flowchart (No. 1) of the video / audio reproduction device according to the first embodiment of the present invention;
FIG. 5 is a flowchart (part 2) of the video / audio reproduction device according to the first embodiment of the present invention;
FIG. 6 is a block diagram of a video / audio reproduction device according to an embodiment of the present invention.
FIG. 7 is a block diagram of a video / audio reproduction device according to Embodiment 2 of the present invention;
FIG. 8 is a flowchart (No. 1) of the video / audio reproduction device according to the second embodiment of the present invention;
FIG. 9 is a flowchart (No. 2) of the video / audio reproduction device according to the second embodiment of the present invention;
FIG. 10 is a block diagram of a video / audio reproduction device according to an embodiment of the present invention.
FIG. 11 is a block diagram of a conventional video / audio reproduction device.
[Explanation of symbols]
1001 System analysis circuit
1002 Video input buffer circuit
1003 Video decoding circuit
1004 Video output buffer circuit
1104 V-PTS buffer circuit
1005 Audio input buffer circuit
1006 Audio decoding circuit
1007 Speed setting circuit
1008 Voice speed conversion circuit
1009 Audio output buffer circuit
1209 A-PTS buffer circuit
1010 Timekeeping circuit
1011 Comparison circuit

Claims

A separating means for separating MPEG (Moving Picture Experts Group) data input from outside having audio data and video data into the audio data and the video data;
In accordance with an audio signal generating means for decoding the sorted audio data and generating an audio signal, and an execution playback speed for actually executing playback determined based on an externally set playback speed set from the outside Voice speed conversion means for performing a predetermined voice speed conversion on the generated voice signal;
An audio signal accumulating / outputting means for accumulating the audio signal subjected to the audio speed conversion and outputting the accumulated audio signal according to the execution reproduction speed;
Video signal generating means for decoding the sorted video data and generating a video signal;
Video signal storage and output means for storing the generated video signal and outputting the stored video signal in accordance with the execution reproduction speed;
An audio speed conversion ratio converting means for converting an audio speed conversion ratio α of the generated audio signal relating to the externally set reproduction speed into a rational number β relating to the execution reproduction speed;
The voice speed conversion means performs the predetermined voice speed conversion on the generated voice signal according to the rational number β,
The audio signal accumulation output unit accumulates the audio signal subjected to the audio speed conversion, and outputs the accumulated audio signal according to the execution reproduction speed based on the rational number β.
The video signal storage / output means stores the generated video signal, and according to the execution playback speed, (1) when the rational number β is smaller than 1, skips the stored video signal. (2) A video / audio reproduction device that outputs the stored video signal using freeze when the rational number β is greater than 1.

Said video signal storage output unit, when the rational β is less than 1, video and audio reproduction apparatus all or skip some claim 1, wherein the B-picture of the video signal being the storage.

Video data storage means for storing the sorted video data inserted between the classification means and the video signal generation means,
The video data storage unit, when the rational β is less than 1, video and audio reproduction apparatus according to claim 1, wherein the discarding all or part of the B-pictures of the separated video data.

The execution playback speed, video and audio reproduction apparatus 請 Motomeko 1, wherein the image signals being pre Symbol accumulation is adjusted based on whether or not output in accordance with the execution reproduction speed.

The adjustment based on whether or not the stored video signal can be output according to the execution playback speed means that the stored video signal cannot be output according to the execution playback speed. 5. The video / audio according to claim 4, wherein the video signal is adjusted so as to be closer to 1 × speed, and is adjusted to be closer to the externally set playback speed when the stored video signal can be output according to the execution playback speed. Playback device.

The video signal accumulation output means (1) When the rational number β is smaller than 1,

N ⁽¹⁾ integers m ⁽¹⁾ _j (j = 1 ⁾ determined based on a predetermined criterion from the following integers m ⁽¹⁾ and n ⁽¹⁾ (1 ≦ n ⁽¹⁾ <m ⁽¹⁾ ) , 2, ..., n ⁽¹⁾ ) divide integer m ⁽¹⁾

The ^first m ⁽¹⁾ skips _one video frame in one video frame, skips one video frame in the next m ⁽¹⁾ _two video frames, and so on. (2) If the rational number β is greater than 1,

N ⁽²⁾ integers m ⁽²⁾ _j (j = 1 ⁾ determined based on a predetermined criterion from the following integers m ⁽²⁾ , n ⁽²⁾ (1 ≦ n ⁽²⁾ <m ⁽²⁾ ) , 2, ..., n ⁽²⁾ ) division of integer m ⁽²⁾

The first m ⁽²⁾ freezes _one video frame in one video frame, the next m ⁽²⁾ freezes one video frame in _two video frames, and so on. video and audio reproduction apparatus according to claim 1 wherein the output signal.

(1) The n ⁽¹⁾ integers m ⁽¹⁾ _j (j = 1, 2,..., N ⁽¹⁾ )

Using the integers q ⁽¹⁾ and r ⁽¹⁾ (0 ≦ r ⁽¹⁾ <n ⁽¹⁾ )

N ⁽¹⁾ integers m ⁽¹⁾ _j (j = 1, 2,..., N ⁽¹⁾ ), and (2) the n ⁽²⁾ integers m ⁽²⁾ _j ( j = 1, 2,..., n ⁽²⁾ )

Using the integers q ⁽²⁾ and r ⁽²⁾ (0 ≦ r ⁽²⁾ <n ⁽²⁾ )

Is determined as ^{n (2)} integers ^{_{m (2) j (j =}} 1,2, ..., n (2)) a video and audio reproduction apparatus according to claim 6, wherein.

A separation step of separating MPEG (Moving Picture Experts Group) data input from outside having audio data and video data into the audio data and the video data;
An audio signal generation step of decoding the sorted audio data and generating an audio signal;
An audio speed conversion step for performing a predetermined audio speed conversion on the generated audio signal in accordance with an execution playback speed for actually executing playback determined based on an externally set playback speed set from the outside When,
An audio signal accumulation output step of accumulating the audio signal subjected to the audio speed conversion and outputting the accumulated audio signal according to the execution reproduction speed;
A video signal generating step for generating a video signal by decoding the sorted video data;
A video signal storage output step for storing the generated video signal and outputting the stored video signal in accordance with the execution reproduction speed;
In the voice speed conversion step, the predetermined voice speed conversion is performed on the generated voice signal according to the rational number β,
In the audio signal accumulation output step, the audio signal subjected to the audio speed conversion is accumulated, and based on the rational number β, the accumulated audio signal is output according to the execution reproduction speed,
In the video signal storage and output step, the generated video signal is stored, and according to the execution playback speed, (1) when the rational number β is smaller than 1, the stored video signal is skipped. (2) A video / audio reproduction method in which, when the rational number β is larger than 1, the stored video signal is output using freeze.

9. A method of performing the classification step, the audio signal generation step, the audio speed conversion step, the audio signal accumulation output step, the video signal generation step, and the video signal accumulation output step of the video / audio reproduction method according to claim 8. Program to let you.

10. A medium carrying the program according to claim 9 , which can be processed by a computer.