JP3839911B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP3839911B2 JP3839911B2 JP14784697A JP14784697A JP3839911B2 JP 3839911 B2 JP3839911 B2 JP 3839911B2 JP 14784697 A JP14784697 A JP 14784697A JP 14784697 A JP14784697 A JP 14784697A JP 3839911 B2 JP3839911 B2 JP 3839911B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- frame
- intra
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000006835 compression Effects 0.000 claims description 25
- 238000007906 compression Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 241000257465 Echinoidea Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、フレーム間予測を用いて動画像を圧縮することにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置及び方法に関し、特に早送りや逆早送り等のいわゆるトリックプレイを実現する画像処理装置および方法に関する。
【０００２】
【従来の技術】
現在フレーム間予測を用いている動画像圧縮方式により符号化を行う技術の主流となっているものに、ＭＰＥＧ２(Moving Picture Experts Group)国際標準規格がある。通常、ＭＰＥＧ２による動画像処理システムでは、図７に示したように、ビデオテープ１０１等に記録されている動画像データ、またはビデオカメラ１０２等を使用して得たリアルタイムな動画像データを、専用のエンコーダシステム１０３により符号化（エンコード）し、動画像ファイル１０４として外部記憶装置へ格納する。そして格納した動画像ファイル１０４を専用のデコーダシステム１０５により復号化を行って再生してテレビ１０６等により表示する。この場合、動画像ファイル１０４からデコーダシステム１０５へのデータ送出手法は、固定レートまたは可変レートの２通りが存在する。従来、ＭＰＥＧ２のシステムで、トリックプレイ（早送り、逆早送り等）を実現する場合、次の２つの方法が用いられている。
【０００３】
第１の方法は、予めトリックプレイ用の動画像データをテープ等に用意しておき、それらの動画像データをエンコーダによりエンコードし、ＭＰＥＧ２のトリックプレイ動画像ファイルを作成するという方法がある。しかしながら、この方法では、事前にトリックプレイ用の動画像データを作成し、これを更にＭＰＥＧ２の画像データにエンコードするという労力と時間のかかる作業を要する問題点があった。
【０００４】
第２の方法は、ＭＰＥＧ２のエンコーダを使用してエンコードされた通常再生の動画像ファイルを用いて、デコード時にトリックプレイ再生を行う方法である。例えば図８に示すように、通常プレイの動画像ファイル１１１をデコードする際に、ＭＰＥＧ２のデコーダシステム１１２へ送出したフレーム情報のうちフレーム内符号化画像(I-picture) のみ、あるいは、フレーム内符号化画像とフレーム間順方向予測画像（P-picture ）のみを対象にデコードを行い、早送りを実現する方法である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では、特に固定レートでの送出の場合、正常な早送り動作を実現するためには、デコード時における画像データの探索及びバッファ管理等の複雑な処理が必要となる。また、現在のＭＰＥＧ２準拠のデコーダにはそのような特別な機能をもたないものもあり、すべての場合において、使用できる方法ではない。
【０００６】
この発明は、上記実情に鑑みなされたものであり、通常に再生可能な動画像データを用いて、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行うシステムに適用して、適切にトリックプレイを実現可能な動画像データを得ることのできる画像処理装置および方法を提供することである。
【０００７】
【課題を解決するための手段】
この発明の請求項１に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【０００８】
また、この発明の請求項１２に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの先頭側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【０００９】
この発明の請求項２に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１０】
この発明の請求項１３に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１１】
この発明の請求項３に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１２】
この発明の請求項１４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１３】
この発明の請求項４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１４】
この発明の請求項１５に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１５】
この発明の請求項５に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１６】
また、この発明の請求項１６に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの末尾側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【００１７】
この発明の請求項６に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１８】
この発明の請求項１７に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１９】
この発明の請求項７に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００２０】
この発明の請求項１８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２１】
この発明の請求項８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００２２】
この発明の請求項１９に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２３】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態について説明する。
ＭＰＥＧ２による画像圧縮では、画像データに対しＤＣＴ（Discrete Cosine Transform 、離散コサイン変換）を施し、量子化を行う。すなわち、図１に示すように、入力画像（原画像）１２１は、まず８×８画素のブロックに分割される。このブロック単位にＤＣＴ回路１２３によりＤＣＴ演算を行い、得られたＤＣＴ係数をＤＣ成分（直流成分）およびＡＣ成分（交流成分）で独立して量子化回路１２５により量子化する。量子化に用いる量子化テーブル１２９は輝度信号用量子化テーブルと色差信号用量子化テーブルとで構成される。量子化したＤＣＴ係数のうち、ＤＣ係数は、直前のブロックのＤＣ係数を予測値とした差分値をエントロピー符号化回路１２７により符号化する。残りのＡＣ成分は、ブロック内でジグザグスキャンによって並び替えた後、回路１２７により符号化する。上記ＤＣＴにより変換前にランダムに分布していた画素値（例えば輝度）が、ＤＣＴ変換後は低周波項に大きな値が集中する。したがって、高周波項を落とす（取り除く）操作をすれば画像データを圧縮することができる。
【００２４】
図２はこの発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態においては、ＭＰＥＧ２準拠のエンコーダによりエンコードされた通常再生用ファイル２０１の動画像データを抽出手段２０２、フレーム内情報削除手段２０３、パディング手段２０４、および再生レート設定手段２０６を用いて処理する。
上記において抽出手段２０２は、動画像データの先頭側または末尾側から順にＩピクチャ（フレーム内符号化画像データ）のみを抽出する。フレーム内情報削除手段２０３は、抽出手段により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。パディング手段２０４は、フレーム内情報削除手段２０３から出力されたＩピクチャに対し、指定されたビットレートに合わせて任意のパディング符号（「０」）を埋め込む。再生レート設定手段は、パディング手段２０４により出力された動画像データの再生時における復号化の際にバッファのオーバフローまたはアンダーフローが生じないように、再生レートを求め、この再生レートを当該画像データのヘッダに対し設定する。
【００２５】
以上の通りに構成された画像処理装置の動作を説明する。抽出手段２０２は、早送り用動画像ファイルの作成ならばファイル２０１の先頭から抽出を開始し、逆早送り用動画像ファイルの作成ならばファイル２０１の最後から抽出を始める。フレーム内情報削減手段２０３は抽出手段２０２により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。フレーム内情報の削減方法については、ＭＰＥＧ２では、前述したＤＣＴ演算を行った際に得られるＤＣＴ係数を削ることにより得られる。ＤＣＴ係数はマクロブロック毎に求められる。このＤＣＴ係数はＤＣ成分とＡＣ成分とに分けられ、それぞれ独立して量子化される。ここではＡＣ成分のうち低周波に相当する係数の一部を残し、高周波に相当する係数は削減する。係数削減の仕方については、例えば全マクロブロックから均等に削減するとかあるいはマクロブロック毎に削減する数を変えるようにすればよい。あるいは、ＤＣＴ係数の少ないブロックに対しては削減せず、ＤＣＴ係数が多いブロックから削減するように構成してもよい。次にパディング手段２０４によりパディングを行う。レート設定手段２０６は指定のビットレートを動画像ファイルのヘッダに設定する。以上のような一連の処理によりトリックプレイ用動画像ファイルを作成する。
【００２６】
ここで、抽出したＩピクチャに対しパディング符号を入れる理由を説明する。通常再生用ファイル２０１の動画像データは、エンコード時にＧＯＰ（ＩピクチャとＩピクチャとの間）単位でピクチャのトータルサイズがほぼ同一となっている。これは、デコード処理するために、画像出力側で保持するバッファにおいてオーバーフローまたはアンダーフローが生じないようにするためである。デコード処理と出力側バッファ内のデータ量の関係は、縦軸をバッファ内のデータ量として、横軸を時刻とした図３に示される。すなわち、図３に示されるように、各ピクチャは一定の時間ｔの間隔でデコード処理されるので、ＧＯＰ単位でピクチャのトータルサイズがほぼ等しければバッファ内のデータ量も安定し易いことが判る。以下詳述する。
【００２７】
一定のレートでコード化されたビットストリームはビデオバッファリングベリファイヤ（ＶＢＶ）を介して介挿された制約に適合しなければならない。ＶＢＶはエンコードの出力に概念的に接続される仮想的デコーダである。コード化されたデータはバッファから取り出される。エンコーダは、ＶＢＶの入力バッファがオーバフローあるいはアンダフローを起さないようにビットストリームを生成する必要がある。
ＶＢＶとビデオエンコーダは同じクロック周波数ならびに同じピクチャレートを有し、同期して動作する。ＶＢＶはサイズＢの入力バッファを有し、サイズＢはシーケンスヘッダのvbv_buffer_size フィールドで与えられる。
【００２８】
ＶＢＶ入力バッファは初め空である。入力バッファに最初のピクチャコードに先行するすべてのデータおよびピクチャスターとコード自身を格納した後、入力バッファにはビデオビットストリームのvbv_delay フィールドにより規定された時間だけビットストリームが格納される。そのバッファにもっとも長く保持されていた画像のすべての画像データが瞬時に取り除かれる。次に、各ピクチャインターバルの後、その時点でもっとも長く保持されていた画像の画像データが瞬時に取り除かれる。このため、付属ピクチャデータはピクチャスタートコードの直前のシーケンスヘッダおよびＧＯＰ層データ並びにピクチャデータエレメントおよびトレイリングスタッフィングビットまたはバイトを有する。ビデオシーケンス内の最初のコード化されたピクチャの場合、シーケンスヘッダの直前にゼロのスタッフィングビットまたはスタッフィングバイトもピクチャデータに含まれる。
ＶＢＶバッファはピクチャデータを取り出す直前および取り出した直後にチェックされる。ＶＢＶをチェックするたびに、そのバッファの容量はゼロビットとＢビットの間になければならない。この場合Ｂはシーケンスヘッダ内のvbv_buffer_size により示されるＶＢＶバッファのサイズである。これがビデオストリーム全体の要件である。これらの要件に適合させるために、(n+1) 番目のコード化された画像ｄn+1 は次式を満足しなければならない。
ｄn+1 > Bn + (2R/P) - B
ｄn+1 ≦ Bn + (R/P)
但し、ｎ≧０
B はvbv_buffer_size により与えられるＶＢＶ受信バッファサイズ
B n は時間t n 後のバッファ容量（単位ビット）
R はビットレート（単位ビット／秒）
P は１秒あたりの通常のピクチャ数
t n はｎ番目にコード化されたピクチャがＶＢＶバッファから取り出されたときの時間である。
【００２９】
ところが、この発明では、Ｉピクチャのみを抽出している。すると、もともとＩピクチャのサイズは固定ではないので、そのままでは、デコード処理量にばらつきが生じ、バッファのオーバーフロー及びアンダーフローが起こりやすい状態となる。この状態が図４に示されており、Ｉピクチャのサイズが一定ではないので、デコード処理量が安定せず、遂にはアンダーフローを生じることがある。そこで、この発明では、この状態を防ぐために抽出したＩピクチャにパディングを施すのである。
【００３０】
次に、パディングの詳細を説明する。
述したように、パディング処理は指定のビットレートで再生した場合に正常なデコード動作が行われるようにするために、すべてのＩピクチャにパディングを行う。すなわち、パケットデータ長を一定にするためにダミーデータ（例えば「０」）をＩピクチャに埋め込む。図５はＭＰＥＧ２画像データの階層構成を示す。図５に示すようにＭＰＥＧ２画像データはシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、およびブロック層から構成される。ＭＰＥＧ２のＥＳ(Elementary Stream) の仕様では、スライス層の始まりを示す開始コードの前に任意の数の０の挿入が許されている。したがって、Ｉピクチャのこの部分に指定されたビットレートに合わせて任意のパディングデータを埋め込む。指定のビットレートで再生した際に正常なデコード動作を行えるようにするために、パディングによりＩピクチャのサイズを調節する。このときのサイズの計算は以下の式に従う。
【００３１】
Ｉピクチャのサイズ（ビット）＝Rate ×IV_TIME - Hdr_sz …（１）
Rate : 指定ビットレート（bbs ）
Hdr_sz:ヘッダのサイズ（ビット）
IV_TIME: ピクチャの表示間隔（秒）
（１）式からわかるように、指定されたビットレートにピクチャ表示間隔を乗算し、その値からヘッダのサイズを減算した値がＩピクチャのサイズとして求まる。この求めたＩピクチャのサイズに基づいて上述したパディング手段により０パディングを施す。
【００３２】
通常再生用ファイルにおいては、エンコード時にＧＯＰ（ＩピクチャとＩピクチャの間）単位でピクチャのトータルサイズがほぼ同じとなっている。これは、デコード処理するために画像出力側で保持するバッファがオーバフローまたはアンダーフローを起さないようにするためである。
以上のようにして、パディング処理が施された動画像データが中間ファイル２０５に作成される。
【００３３】
上記中間ファイル２０５の動画像データは、早送りまたは逆早送りに係わるトリックプレイ用の動画像データのフレーム構造を有する。この動画像データは抽出したＩピクチャにパディング処理を施し、サイズを一定に揃えることによりデコード処理量が一定化することを狙ったものであるが、これだけでは不十分である。すなわち、通常再生用ファイル２０１の動画像データからＩピクチャのみを抽出したことにより、ピクチャ数は減少し、ＧＯＰも変化している。そこで、バッファ内のデータ量を安定させるためには、再生時のビットレートを再計算し、これを動画像データのヘッダに対し設定する再生レート設定手段２０６が設けられる。
【００３４】
この場合のビットレートは次式により計算される。
再生レート(bps)=(I_sz+Hdr_sz)/IV_TIME …（２）
上記（２）式において、
I_sz ; Ｉピクチャのサイズ( ビット)
Hdr_sz ; シーケンスヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
従って、図６に示されるようにパディング処理が施された状態のＩピクチャのサイズ（各Ｉピクチャと同一）とシーケンスヘッダＳＨのサイズとの和を、再生時のピクチャ表示間隔（固定）で除算した値が、シーケンスヘッダＳＨに設定されるわけである。
【００３５】
上記のようにしてトリックプレイ用動画像ファイル２０７に早送り用または逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル２０７における早送りまたは逆早送り用の動画像データを、例えば図１１に示したデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６に早送り再生された動画像が表示される。このとき、上記式（２）により求められた再生レートによる再生が行われる結果、同一のデータ量の各フレーム（ヘッダ及びＩピクチャ）が同一の再生レートにより再生され、図７に示すごとくバッファ内のデータ量を安定化することができる。
【００３６】
図８はこの発明における第２の実施の形態に係わる画像処理装置を示すシステムブロック図である。図８に示す実施形態はトリックプレイの倍速率を変える場合のトリックプレイ用動画像ファイル３０８を作成するもので、図２に示した第１の実施の形態に係わる画像処理装置に対して、予測画像作成手段３０５およびフレーム内順方向予測符号化画像挿入手段３０３が設けられている点に対して相違している。上記予測画像作成手段３０５は、抽出手段３０２により出力された動画像データにおけるＩピクチャ（フレーム内符号化画像データ）間に挿入するためのＰピクチャ（フレーム間順方向予測画像データ）を作成する。また、フレーム間順方向予測符号化画像挿入手段３０３は、上記予測画像作成手段３０５により作成されたＰピクチャをＩピクチャ間に挿入する。
【００３７】
このように構成された画像処理装置の動作を説明する。
まず第１の実施の形態と同様に抽出手段３０２により通常再生用動画像ファイル３０１からＩピクチャを取り出す。このとき、早送りの場合には、動画像データの先頭側から、また逆早送りの場合には動画像データの末尾側からＩピクチャを取り出すことは、第１の実施の形態と同様である。抽出手段３０２により抽出されたＩピクチャに基づき、予測画像作成手段３０５は、Ｉピクチャ間に挿入するためのＰピクチャを作成する。ここにＰピクチャは動き予測に関するデータを何ら有さないものなので、Ｐピクチャの再生画像としては直前のＩピクチャと同じものが表示される。
【００３８】
フレーム間順方向予測符号化画像挿入手段３０３は、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入する。ここに、挿入するＰピクチャの数は、倍速率（倍率）により変えられ、例えば入力手段３０３Ａにより所望の倍速率が設定される。挿入するＰピクチャの数を変えることで、Ｉピクチャの処理される時間間隔が変わり、倍速率を変えることができる。
【００３９】
ここで、トリックプレイの倍率と挿入するＰピクチャの数の関係について以下に述べる。上述したように、ＭＰＥＧ２では、Ｉピクチャと次のＩピクチャとの間のピクチャ数、つまりＧＯＰ（Group of Picture）のサイズが固定であれば、そのサイズの比率がそのままトリックプレイの倍率となる。例えば、ストリームＧＯＰの大きさをｍとする。ここでｎ倍速の早送りファイルを作成するために挿入するＰピクチャ数は、次の式（３）で求められる。
【００４０】
挿入Ｐピクチャ数＝ｍ／ｎ … （３）
但し、この式（３）の値は整数である。
上記のようにしてＰピクチャを挿入した後、次にフレーム内情報削減手段３０４によりＩピクチャのＤＣＴ係数を削減する。そして指定したビットレートで再生した際に正常にデコード動作するように、パディング手段３０６によりＩピクチャのサイズを調節する。このときにＩピクチャのサイズは、以下の式（４）により求める。
【００４１】
Ｉピクチャのサイズ（ビット）
Rate: 指定ビットレート(bps)
P_sz：p ピクチャのサイズ（ビット）
Hdr_sz：headerのサイズ（ビット）
P_num ：挿入するp ピクチャ数
IV_TIME ：ピクチャ表示間隔（秒）
以上のようにして、中間ファイル３０７には、通常再生用ファイル３０１の動画像データからＩピクチャのみを抽出し、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入した動画像データが中間ファイル３０７に記憶される。つぎに、再生レート設定手段３０８は、中間ファイル３０７の動画像データに対し、バッファ内のデータ量を安定させるために、再生レートを以下の式（５）により計算し、これをシーケンスヘッダＳＨに設定する。
I_sz ; Ｉピクチャのサイズ（ビット）
P_sz ; Ｐピクチャのサイズ（ビット）
P_num ; 挿入するＰピクチャ数
Hdr_sz ; ヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
上記のようにして、トリックプレイ用動画像ファイル３０９に早送りまたは逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル３０９における早送りまたは逆早送り用の動画像データを、例えば図１１に示すデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６には早送りまたは逆早送り再生された動画像が表示されることになる。このとき、上記式（５）により求められた再生レートによりＩピクチャとＰピクチャが再生される。この結果、図９に示すようにバッファ内のデータ量がある範囲で一定量だけの変動を繰り返すようになる。なお、図９はＰピクチャを２個挿入した場合である。
【００４２】
以上述べたようにしてＤＣＴ係数の高周波成分の数を調節することにより、特定のビットレートで再生可能、そして消費ディスク容量が少ない可変倍率のトリックプレイ動画像ファイルを作成することができる。
【００４３】
図１０はこの発明における第３の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態は、再生時にランダムアクセスが可能となる動画像データをトリックプレイ用動画像ファイル４１０に得ることができる。この構成に係わる画像処理装置の動作を説明する。通常再生用動画像ファイル４０１の動画像データから抽出手段４０２によりＩピクチャを抽出し、このＩピクチャに基づき予測画像作成手段４０５において、Ｉピクチャ間に挿入するためのＰピクチャを作成し、フレーム内順方向予測画像挿入手段４０３が、上記予測画像作成手段４０５により作成されたＰピクチャをＩピクチャと次のＩピクチャとの間に挿入する。次に、フレーム内情報削減手段４０４によりＩピクチャのＤＣＴ係数を削減し、パディング手段４０６によりパディングを施し、中間ファイル４０７を得る。次に、バッファ制御情報格納手段４０８により、ランダムアクセス時にバッファ内のデータ量を調節するために必要とされる情報(vbv delay) をピクチャ毎に求めこれを各ピクチャのヘッダへ設定する。ＭＰＥＧの規格によれば、このvbv delay は以下のごとくに規定されている。
【００４４】
vbv_delay--１６ビットの符号なし整数。ビットレートが固定の動作の場合、vbv_delay を用いてピクチャのデコードの開始時にデコーダのバッファがoverflowあるいはunderflow を起こさないようにデコーダバッファの初期占有率を設定する。vbv_delay は初期の空の状態から目標とするビットレートＲで現在のピクチャがバッファから除去される直前の正しいレベルまでＶＢＶバッファを満たすのに必要な時間を計測する。
vbv_delay の値はＶＢＶがピクチャ開始コードの最終バイトを受け取った後待たなければならない９０ＫＨｚシステムクロックの期間の数である。
vbv_delay n = 90 000*B n * /R
但しn>0
Bn * はピクチャｎをバッファから除去する直前であってＧＯＰ層データと、シーケンスヘッダデータと、ピクチャｎのデータエレメントの直前のpicture_start_codeを除去した後のビットで測定されたＶＢＶ占有率。
R は１秒間あたりのビット数で表わされるビットレート。シーケンスヘッダ内のb it_rate フィールドより符号化された丸め値よりもむしろ完全に正確なビットレートがＶＢＶモデルのエンコーダにより使用される。固定でないビットレート動作の場合、vbv_delay は１６進でＦＦＦＦの値を有する。
【００４５】
例えばある動画像において途中から再生しようとした場合を考える。最初は、出力側のバッファには何のデータも入っていない状態であるので、そのままでは再生できない。したがって、適度な量のデータがバッファ内に溜まるまでデコーダはデコード処理を待たなければならない。その待ち時間に直接関係する値がvbv delay である。vbv delay の値の計算は、ピクチャの流れおよび再生レートに依存しているので、Ｉピクチャのみを抽出したトリックプレイ動画像ファイルの場合、以前の値のままでは、ランダムアクセス時に正常に動作しない（バッファのアンダーフローあるいはオーバーフローが起きる）。したがって、ピクチャ毎にvbv delay を再計算し、新たに設定を行う。これにより、トリックプレイ動画像ファイルをランダムアクセスする際にバッファ内のデータ量を正しく調節でき、正常動作が可能となる。
【００４６】
そして、再生レート設定手段４０９により第２の実施の形態と同様に再生レートを計算する。
これにより、トリックプレイ用動画像ファイル４１０には、先頭側または末尾側から抽出されたＩピクチャと作成されたＰピクチャと、再生レート設定手段４０９により設定された再生レートを有するシーケンスヘッダＳＨとからなり、ピクチャのピクチャ層のヘッダにバッファ制御情報設定手段４０８により設定されたvbv delay を有する動画像データが蓄積されていることになり、この動画像データをランダムアクセスする際には、上記vbv delay に基づきバッファ内の初期データ量を正しく調節でき、早送り又は逆早送りの正常動作が可能となる。
【００４７】
【発明の効果】
以上述べたように、この発明によれば、フレーム間予測を用いている動画像圧縮方式により符号化された動画像ファイルを固定のレートで送出し、再生を行う計算システムにおいて、通常再生の動画像ファイルを用いて、さらにサイズの小さなトリックプレイ用動画像ファイルを作成すること、および、トリックプレイ再生時のビットレートを調整可能となるようなトリックプレイ用動画像ファイルを効率的に作成することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２による画像圧縮の原理を示すブロック図。
【図２】この発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図３】デコード処理と出力側バッファ内のデータ量との関係示すグラフ。
【図４】バッファのアンダーフローが生じたこを示す状態図。
【図５】ＭＰＥＧ２画像データの階層構成を示す図。
【図６】本発明の第１の実施の形態に係わる画像処理装置によりパディングされた動画像データの構成を示す図。
【図７】本発明の第１の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内データ量の変位を示す図。
【図８】本発明の第２の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図９】本発明の第２の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内のデータ量の変位を示す図。
【図１０】本発明の第３の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図１１】ＭＰＥＧ２による動画再生の流れを示す図。
【図１２】従来のトリックプレイの実現方法を示す図。
【符号の説明】
２０１、３０１、４０１…通常再生用動画像ファイル
２０２、３０２、４０２…抽出手段
２０３、３０４、４０４…フレーム内情報削除手段
２０４、３０６、４０６…パディング手段
２０５、３０７、４０７…中間ファイル
２０６、３０８、４０９…再生レート設定手段
２０７、３０９、４１０…トリックプレイ用動画像ファイル
３０３、４０３…フレーム間順方向予測符号化画像挿入手段
３０３Ａ…入力手段
３０５、４０５…予測画像作成手段
４０８…バッファ制御情報格納手段
【発明の属する技術分野】
この発明は、フレーム間予測を用いて動画像を圧縮することにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置及び方法に関し、特に早送りや逆早送り等のいわゆるトリックプレイを実現する画像処理装置および方法に関する。
【０００２】
【従来の技術】
現在フレーム間予測を用いている動画像圧縮方式により符号化を行う技術の主流となっているものに、ＭＰＥＧ２(Moving Picture Experts Group)国際標準規格がある。通常、ＭＰＥＧ２による動画像処理システムでは、図７に示したように、ビデオテープ１０１等に記録されている動画像データ、またはビデオカメラ１０２等を使用して得たリアルタイムな動画像データを、専用のエンコーダシステム１０３により符号化（エンコード）し、動画像ファイル１０４として外部記憶装置へ格納する。そして格納した動画像ファイル１０４を専用のデコーダシステム１０５により復号化を行って再生してテレビ１０６等により表示する。この場合、動画像ファイル１０４からデコーダシステム１０５へのデータ送出手法は、固定レートまたは可変レートの２通りが存在する。従来、ＭＰＥＧ２のシステムで、トリックプレイ（早送り、逆早送り等）を実現する場合、次の２つの方法が用いられている。
【０００３】
第１の方法は、予めトリックプレイ用の動画像データをテープ等に用意しておき、それらの動画像データをエンコーダによりエンコードし、ＭＰＥＧ２のトリックプレイ動画像ファイルを作成するという方法がある。しかしながら、この方法では、事前にトリックプレイ用の動画像データを作成し、これを更にＭＰＥＧ２の画像データにエンコードするという労力と時間のかかる作業を要する問題点があった。
【０００４】
第２の方法は、ＭＰＥＧ２のエンコーダを使用してエンコードされた通常再生の動画像ファイルを用いて、デコード時にトリックプレイ再生を行う方法である。例えば図８に示すように、通常プレイの動画像ファイル１１１をデコードする際に、ＭＰＥＧ２のデコーダシステム１１２へ送出したフレーム情報のうちフレーム内符号化画像(I-picture) のみ、あるいは、フレーム内符号化画像とフレーム間順方向予測画像（P-picture ）のみを対象にデコードを行い、早送りを実現する方法である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では、特に固定レートでの送出の場合、正常な早送り動作を実現するためには、デコード時における画像データの探索及びバッファ管理等の複雑な処理が必要となる。また、現在のＭＰＥＧ２準拠のデコーダにはそのような特別な機能をもたないものもあり、すべての場合において、使用できる方法ではない。
【０００６】
この発明は、上記実情に鑑みなされたものであり、通常に再生可能な動画像データを用いて、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行うシステムに適用して、適切にトリックプレイを実現可能な動画像データを得ることのできる画像処理装置および方法を提供することである。
【０００７】
【課題を解決するための手段】
この発明の請求項１に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【０００８】
また、この発明の請求項１２に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの先頭側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【０００９】
この発明の請求項２に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１０】
この発明の請求項１３に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１１】
この発明の請求項３に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１２】
この発明の請求項１４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１３】
この発明の請求項４に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１４】
この発明の請求項１５に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００１５】
この発明の請求項５に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００１６】
また、この発明の請求項１６に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする画像処理装置。これによって、動画像データの末尾側から順にフレーム内符号化画像データのみが抽出され、この抽出されたフレーム内符号化画像データの情報が削減され、削減したフレーム内符号化画像データに対し指定された再生時のビットレートとなるようにパディング符号を挿入し、指定された再生時のビットレートの設定がなされ、早送り再生を可能とする。
【００１７】
この発明の請求項６に係わる画像処理方法は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００１８】
この発明の請求項１７に係わる画像処理装置は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送りが可能となる。
【００１９】
この発明の請求項７に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップとを具備することを特徴とする。
【００２０】
この発明の請求項１８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段とを具備することを特徴とする。これによって、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２１】
この発明の請求項８に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法であって、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、前記抽出したフレーム内符号化画像データから情報を削減するステップと、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成するステップと、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入するステップと、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、前記フレーム順方向予測画像データが挿入された動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを具備することを特徴とする。
【００２２】
この発明の請求項１９に係わるフレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、前記抽出したフレーム内符号化画像データから情報を削減する削減手段と、前記情報を削減したフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、前記パディング符号が挿入された動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データを作成する予測画像作成手段と、前記作成されたフレーム間順方向予測画像データを前記フレーム内符号化画像データ間に挿入する挿入手段と、前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、前記フレーム間順方向予測画像データを挿入した動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを具備することを特徴とする。これにより、動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報が作成され、前記動画像データの各フレームヘッダに設定され、ランダムアクセスによる早送り等のトリックプレイがなされると共に、動画像データにおけるフレーム内符号化画像データ間に挿入するためのフレーム間順方向予測画像データが作成され、作成されたフレーム間順方向予測画像データが前記フレーム内符号化画像データ間に挿入され、早送り等のトリックプレイ速度が制御される。
【００２３】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態について説明する。
ＭＰＥＧ２による画像圧縮では、画像データに対しＤＣＴ（Discrete Cosine Transform 、離散コサイン変換）を施し、量子化を行う。すなわち、図１に示すように、入力画像（原画像）１２１は、まず８×８画素のブロックに分割される。このブロック単位にＤＣＴ回路１２３によりＤＣＴ演算を行い、得られたＤＣＴ係数をＤＣ成分（直流成分）およびＡＣ成分（交流成分）で独立して量子化回路１２５により量子化する。量子化に用いる量子化テーブル１２９は輝度信号用量子化テーブルと色差信号用量子化テーブルとで構成される。量子化したＤＣＴ係数のうち、ＤＣ係数は、直前のブロックのＤＣ係数を予測値とした差分値をエントロピー符号化回路１２７により符号化する。残りのＡＣ成分は、ブロック内でジグザグスキャンによって並び替えた後、回路１２７により符号化する。上記ＤＣＴにより変換前にランダムに分布していた画素値（例えば輝度）が、ＤＣＴ変換後は低周波項に大きな値が集中する。したがって、高周波項を落とす（取り除く）操作をすれば画像データを圧縮することができる。
【００２４】
図２はこの発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態においては、ＭＰＥＧ２準拠のエンコーダによりエンコードされた通常再生用ファイル２０１の動画像データを抽出手段２０２、フレーム内情報削除手段２０３、パディング手段２０４、および再生レート設定手段２０６を用いて処理する。
上記において抽出手段２０２は、動画像データの先頭側または末尾側から順にＩピクチャ（フレーム内符号化画像データ）のみを抽出する。フレーム内情報削除手段２０３は、抽出手段により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。パディング手段２０４は、フレーム内情報削除手段２０３から出力されたＩピクチャに対し、指定されたビットレートに合わせて任意のパディング符号（「０」）を埋め込む。再生レート設定手段は、パディング手段２０４により出力された動画像データの再生時における復号化の際にバッファのオーバフローまたはアンダーフローが生じないように、再生レートを求め、この再生レートを当該画像データのヘッダに対し設定する。
【００２５】
以上の通りに構成された画像処理装置の動作を説明する。抽出手段２０２は、早送り用動画像ファイルの作成ならばファイル２０１の先頭から抽出を開始し、逆早送り用動画像ファイルの作成ならばファイル２０１の最後から抽出を始める。フレーム内情報削減手段２０３は抽出手段２０２により抽出された各Ｉピクチャの情報を削減し、各Ｉピクチャのサイズを小さくする。フレーム内情報の削減方法については、ＭＰＥＧ２では、前述したＤＣＴ演算を行った際に得られるＤＣＴ係数を削ることにより得られる。ＤＣＴ係数はマクロブロック毎に求められる。このＤＣＴ係数はＤＣ成分とＡＣ成分とに分けられ、それぞれ独立して量子化される。ここではＡＣ成分のうち低周波に相当する係数の一部を残し、高周波に相当する係数は削減する。係数削減の仕方については、例えば全マクロブロックから均等に削減するとかあるいはマクロブロック毎に削減する数を変えるようにすればよい。あるいは、ＤＣＴ係数の少ないブロックに対しては削減せず、ＤＣＴ係数が多いブロックから削減するように構成してもよい。次にパディング手段２０４によりパディングを行う。レート設定手段２０６は指定のビットレートを動画像ファイルのヘッダに設定する。以上のような一連の処理によりトリックプレイ用動画像ファイルを作成する。
【００２６】
ここで、抽出したＩピクチャに対しパディング符号を入れる理由を説明する。通常再生用ファイル２０１の動画像データは、エンコード時にＧＯＰ（ＩピクチャとＩピクチャとの間）単位でピクチャのトータルサイズがほぼ同一となっている。これは、デコード処理するために、画像出力側で保持するバッファにおいてオーバーフローまたはアンダーフローが生じないようにするためである。デコード処理と出力側バッファ内のデータ量の関係は、縦軸をバッファ内のデータ量として、横軸を時刻とした図３に示される。すなわち、図３に示されるように、各ピクチャは一定の時間ｔの間隔でデコード処理されるので、ＧＯＰ単位でピクチャのトータルサイズがほぼ等しければバッファ内のデータ量も安定し易いことが判る。以下詳述する。
【００２７】
一定のレートでコード化されたビットストリームはビデオバッファリングベリファイヤ（ＶＢＶ）を介して介挿された制約に適合しなければならない。ＶＢＶはエンコードの出力に概念的に接続される仮想的デコーダである。コード化されたデータはバッファから取り出される。エンコーダは、ＶＢＶの入力バッファがオーバフローあるいはアンダフローを起さないようにビットストリームを生成する必要がある。
ＶＢＶとビデオエンコーダは同じクロック周波数ならびに同じピクチャレートを有し、同期して動作する。ＶＢＶはサイズＢの入力バッファを有し、サイズＢはシーケンスヘッダのvbv_buffer_size フィールドで与えられる。
【００２８】
ＶＢＶ入力バッファは初め空である。入力バッファに最初のピクチャコードに先行するすべてのデータおよびピクチャスターとコード自身を格納した後、入力バッファにはビデオビットストリームのvbv_delay フィールドにより規定された時間だけビットストリームが格納される。そのバッファにもっとも長く保持されていた画像のすべての画像データが瞬時に取り除かれる。次に、各ピクチャインターバルの後、その時点でもっとも長く保持されていた画像の画像データが瞬時に取り除かれる。このため、付属ピクチャデータはピクチャスタートコードの直前のシーケンスヘッダおよびＧＯＰ層データ並びにピクチャデータエレメントおよびトレイリングスタッフィングビットまたはバイトを有する。ビデオシーケンス内の最初のコード化されたピクチャの場合、シーケンスヘッダの直前にゼロのスタッフィングビットまたはスタッフィングバイトもピクチャデータに含まれる。
ＶＢＶバッファはピクチャデータを取り出す直前および取り出した直後にチェックされる。ＶＢＶをチェックするたびに、そのバッファの容量はゼロビットとＢビットの間になければならない。この場合Ｂはシーケンスヘッダ内のvbv_buffer_size により示されるＶＢＶバッファのサイズである。これがビデオストリーム全体の要件である。これらの要件に適合させるために、(n+1) 番目のコード化された画像ｄn+1 は次式を満足しなければならない。
ｄn+1 > Bn + (2R/P) - B
ｄn+1 ≦ Bn + (R/P)
但し、ｎ≧０
B はvbv_buffer_size により与えられるＶＢＶ受信バッファサイズ
B n は時間t n 後のバッファ容量（単位ビット）
R はビットレート（単位ビット／秒）
P は１秒あたりの通常のピクチャ数
t n はｎ番目にコード化されたピクチャがＶＢＶバッファから取り出されたときの時間である。
【００２９】
ところが、この発明では、Ｉピクチャのみを抽出している。すると、もともとＩピクチャのサイズは固定ではないので、そのままでは、デコード処理量にばらつきが生じ、バッファのオーバーフロー及びアンダーフローが起こりやすい状態となる。この状態が図４に示されており、Ｉピクチャのサイズが一定ではないので、デコード処理量が安定せず、遂にはアンダーフローを生じることがある。そこで、この発明では、この状態を防ぐために抽出したＩピクチャにパディングを施すのである。
【００３０】
次に、パディングの詳細を説明する。
述したように、パディング処理は指定のビットレートで再生した場合に正常なデコード動作が行われるようにするために、すべてのＩピクチャにパディングを行う。すなわち、パケットデータ長を一定にするためにダミーデータ（例えば「０」）をＩピクチャに埋め込む。図５はＭＰＥＧ２画像データの階層構成を示す。図５に示すようにＭＰＥＧ２画像データはシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、およびブロック層から構成される。ＭＰＥＧ２のＥＳ(Elementary Stream) の仕様では、スライス層の始まりを示す開始コードの前に任意の数の０の挿入が許されている。したがって、Ｉピクチャのこの部分に指定されたビットレートに合わせて任意のパディングデータを埋め込む。指定のビットレートで再生した際に正常なデコード動作を行えるようにするために、パディングによりＩピクチャのサイズを調節する。このときのサイズの計算は以下の式に従う。
【００３１】
Ｉピクチャのサイズ（ビット）＝Rate ×IV_TIME - Hdr_sz …（１）
Rate : 指定ビットレート（bbs ）
Hdr_sz:ヘッダのサイズ（ビット）
IV_TIME: ピクチャの表示間隔（秒）
（１）式からわかるように、指定されたビットレートにピクチャ表示間隔を乗算し、その値からヘッダのサイズを減算した値がＩピクチャのサイズとして求まる。この求めたＩピクチャのサイズに基づいて上述したパディング手段により０パディングを施す。
【００３２】
通常再生用ファイルにおいては、エンコード時にＧＯＰ（ＩピクチャとＩピクチャの間）単位でピクチャのトータルサイズがほぼ同じとなっている。これは、デコード処理するために画像出力側で保持するバッファがオーバフローまたはアンダーフローを起さないようにするためである。
以上のようにして、パディング処理が施された動画像データが中間ファイル２０５に作成される。
【００３３】
上記中間ファイル２０５の動画像データは、早送りまたは逆早送りに係わるトリックプレイ用の動画像データのフレーム構造を有する。この動画像データは抽出したＩピクチャにパディング処理を施し、サイズを一定に揃えることによりデコード処理量が一定化することを狙ったものであるが、これだけでは不十分である。すなわち、通常再生用ファイル２０１の動画像データからＩピクチャのみを抽出したことにより、ピクチャ数は減少し、ＧＯＰも変化している。そこで、バッファ内のデータ量を安定させるためには、再生時のビットレートを再計算し、これを動画像データのヘッダに対し設定する再生レート設定手段２０６が設けられる。
【００３４】
この場合のビットレートは次式により計算される。
再生レート(bps)=(I_sz+Hdr_sz)/IV_TIME …（２）
上記（２）式において、
I_sz ; Ｉピクチャのサイズ( ビット)
Hdr_sz ; シーケンスヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
従って、図６に示されるようにパディング処理が施された状態のＩピクチャのサイズ（各Ｉピクチャと同一）とシーケンスヘッダＳＨのサイズとの和を、再生時のピクチャ表示間隔（固定）で除算した値が、シーケンスヘッダＳＨに設定されるわけである。
【００３５】
上記のようにしてトリックプレイ用動画像ファイル２０７に早送り用または逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル２０７における早送りまたは逆早送り用の動画像データを、例えば図１１に示したデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６に早送り再生された動画像が表示される。このとき、上記式（２）により求められた再生レートによる再生が行われる結果、同一のデータ量の各フレーム（ヘッダ及びＩピクチャ）が同一の再生レートにより再生され、図７に示すごとくバッファ内のデータ量を安定化することができる。
【００３６】
図８はこの発明における第２の実施の形態に係わる画像処理装置を示すシステムブロック図である。図８に示す実施形態はトリックプレイの倍速率を変える場合のトリックプレイ用動画像ファイル３０８を作成するもので、図２に示した第１の実施の形態に係わる画像処理装置に対して、予測画像作成手段３０５およびフレーム内順方向予測符号化画像挿入手段３０３が設けられている点に対して相違している。上記予測画像作成手段３０５は、抽出手段３０２により出力された動画像データにおけるＩピクチャ（フレーム内符号化画像データ）間に挿入するためのＰピクチャ（フレーム間順方向予測画像データ）を作成する。また、フレーム間順方向予測符号化画像挿入手段３０３は、上記予測画像作成手段３０５により作成されたＰピクチャをＩピクチャ間に挿入する。
【００３７】
このように構成された画像処理装置の動作を説明する。
まず第１の実施の形態と同様に抽出手段３０２により通常再生用動画像ファイル３０１からＩピクチャを取り出す。このとき、早送りの場合には、動画像データの先頭側から、また逆早送りの場合には動画像データの末尾側からＩピクチャを取り出すことは、第１の実施の形態と同様である。抽出手段３０２により抽出されたＩピクチャに基づき、予測画像作成手段３０５は、Ｉピクチャ間に挿入するためのＰピクチャを作成する。ここにＰピクチャは動き予測に関するデータを何ら有さないものなので、Ｐピクチャの再生画像としては直前のＩピクチャと同じものが表示される。
【００３８】
フレーム間順方向予測符号化画像挿入手段３０３は、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入する。ここに、挿入するＰピクチャの数は、倍速率（倍率）により変えられ、例えば入力手段３０３Ａにより所望の倍速率が設定される。挿入するＰピクチャの数を変えることで、Ｉピクチャの処理される時間間隔が変わり、倍速率を変えることができる。
【００３９】
ここで、トリックプレイの倍率と挿入するＰピクチャの数の関係について以下に述べる。上述したように、ＭＰＥＧ２では、Ｉピクチャと次のＩピクチャとの間のピクチャ数、つまりＧＯＰ（Group of Picture）のサイズが固定であれば、そのサイズの比率がそのままトリックプレイの倍率となる。例えば、ストリームＧＯＰの大きさをｍとする。ここでｎ倍速の早送りファイルを作成するために挿入するＰピクチャ数は、次の式（３）で求められる。
【００４０】
挿入Ｐピクチャ数＝ｍ／ｎ … （３）
但し、この式（３）の値は整数である。
上記のようにしてＰピクチャを挿入した後、次にフレーム内情報削減手段３０４によりＩピクチャのＤＣＴ係数を削減する。そして指定したビットレートで再生した際に正常にデコード動作するように、パディング手段３０６によりＩピクチャのサイズを調節する。このときにＩピクチャのサイズは、以下の式（４）により求める。
【００４１】
Ｉピクチャのサイズ（ビット）
P_sz：p ピクチャのサイズ（ビット）
Hdr_sz：headerのサイズ（ビット）
P_num ：挿入するp ピクチャ数
IV_TIME ：ピクチャ表示間隔（秒）
以上のようにして、中間ファイル３０７には、通常再生用ファイル３０１の動画像データからＩピクチャのみを抽出し、Ｉピクチャと次のＩピクチャとの間に、予測画像作成手段３０５により作成されたＰピクチャを挿入した動画像データが中間ファイル３０７に記憶される。つぎに、再生レート設定手段３０８は、中間ファイル３０７の動画像データに対し、バッファ内のデータ量を安定させるために、再生レートを以下の式（５）により計算し、これをシーケンスヘッダＳＨに設定する。
P_sz ; Ｐピクチャのサイズ（ビット）
P_num ; 挿入するＰピクチャ数
Hdr_sz ; ヘッダのサイズ（ビット）
IV_TIME; ピクチャ表示間隔（秒）
上記のようにして、トリックプレイ用動画像ファイル３０９に早送りまたは逆早送り用の動画像データが作成蓄積される。このトリックプレイ用動画像ファイル３０９における早送りまたは逆早送り用の動画像データを、例えば図１１に示すデコーダシステム１０５によりデコードし再生することによりテレビジョン受像機１０６には早送りまたは逆早送り再生された動画像が表示されることになる。このとき、上記式（５）により求められた再生レートによりＩピクチャとＰピクチャが再生される。この結果、図９に示すようにバッファ内のデータ量がある範囲で一定量だけの変動を繰り返すようになる。なお、図９はＰピクチャを２個挿入した場合である。
【００４２】
以上述べたようにしてＤＣＴ係数の高周波成分の数を調節することにより、特定のビットレートで再生可能、そして消費ディスク容量が少ない可変倍率のトリックプレイ動画像ファイルを作成することができる。
【００４３】
図１０はこの発明における第３の実施の形態に係わる画像処理装置を示すシステムブロック図である。この実施の形態は、再生時にランダムアクセスが可能となる動画像データをトリックプレイ用動画像ファイル４１０に得ることができる。この構成に係わる画像処理装置の動作を説明する。通常再生用動画像ファイル４０１の動画像データから抽出手段４０２によりＩピクチャを抽出し、このＩピクチャに基づき予測画像作成手段４０５において、Ｉピクチャ間に挿入するためのＰピクチャを作成し、フレーム内順方向予測画像挿入手段４０３が、上記予測画像作成手段４０５により作成されたＰピクチャをＩピクチャと次のＩピクチャとの間に挿入する。次に、フレーム内情報削減手段４０４によりＩピクチャのＤＣＴ係数を削減し、パディング手段４０６によりパディングを施し、中間ファイル４０７を得る。次に、バッファ制御情報格納手段４０８により、ランダムアクセス時にバッファ内のデータ量を調節するために必要とされる情報(vbv delay) をピクチャ毎に求めこれを各ピクチャのヘッダへ設定する。ＭＰＥＧの規格によれば、このvbv delay は以下のごとくに規定されている。
【００４４】
vbv_delay--１６ビットの符号なし整数。ビットレートが固定の動作の場合、vbv_delay を用いてピクチャのデコードの開始時にデコーダのバッファがoverflowあるいはunderflow を起こさないようにデコーダバッファの初期占有率を設定する。vbv_delay は初期の空の状態から目標とするビットレートＲで現在のピクチャがバッファから除去される直前の正しいレベルまでＶＢＶバッファを満たすのに必要な時間を計測する。
vbv_delay の値はＶＢＶがピクチャ開始コードの最終バイトを受け取った後待たなければならない９０ＫＨｚシステムクロックの期間の数である。
vbv_delay n = 90 000*B n * /R
但しn>0
Bn * はピクチャｎをバッファから除去する直前であってＧＯＰ層データと、シーケンスヘッダデータと、ピクチャｎのデータエレメントの直前のpicture_start_codeを除去した後のビットで測定されたＶＢＶ占有率。
R は１秒間あたりのビット数で表わされるビットレート。シーケンスヘッダ内のb it_rate フィールドより符号化された丸め値よりもむしろ完全に正確なビットレートがＶＢＶモデルのエンコーダにより使用される。固定でないビットレート動作の場合、vbv_delay は１６進でＦＦＦＦの値を有する。
【００４５】
例えばある動画像において途中から再生しようとした場合を考える。最初は、出力側のバッファには何のデータも入っていない状態であるので、そのままでは再生できない。したがって、適度な量のデータがバッファ内に溜まるまでデコーダはデコード処理を待たなければならない。その待ち時間に直接関係する値がvbv delay である。vbv delay の値の計算は、ピクチャの流れおよび再生レートに依存しているので、Ｉピクチャのみを抽出したトリックプレイ動画像ファイルの場合、以前の値のままでは、ランダムアクセス時に正常に動作しない（バッファのアンダーフローあるいはオーバーフローが起きる）。したがって、ピクチャ毎にvbv delay を再計算し、新たに設定を行う。これにより、トリックプレイ動画像ファイルをランダムアクセスする際にバッファ内のデータ量を正しく調節でき、正常動作が可能となる。
【００４６】
そして、再生レート設定手段４０９により第２の実施の形態と同様に再生レートを計算する。
これにより、トリックプレイ用動画像ファイル４１０には、先頭側または末尾側から抽出されたＩピクチャと作成されたＰピクチャと、再生レート設定手段４０９により設定された再生レートを有するシーケンスヘッダＳＨとからなり、ピクチャのピクチャ層のヘッダにバッファ制御情報設定手段４０８により設定されたvbv delay を有する動画像データが蓄積されていることになり、この動画像データをランダムアクセスする際には、上記vbv delay に基づきバッファ内の初期データ量を正しく調節でき、早送り又は逆早送りの正常動作が可能となる。
【００４７】
【発明の効果】
以上述べたように、この発明によれば、フレーム間予測を用いている動画像圧縮方式により符号化された動画像ファイルを固定のレートで送出し、再生を行う計算システムにおいて、通常再生の動画像ファイルを用いて、さらにサイズの小さなトリックプレイ用動画像ファイルを作成すること、および、トリックプレイ再生時のビットレートを調整可能となるようなトリックプレイ用動画像ファイルを効率的に作成することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２による画像圧縮の原理を示すブロック図。
【図２】この発明における第１の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図３】デコード処理と出力側バッファ内のデータ量との関係示すグラフ。
【図４】バッファのアンダーフローが生じたこを示す状態図。
【図５】ＭＰＥＧ２画像データの階層構成を示す図。
【図６】本発明の第１の実施の形態に係わる画像処理装置によりパディングされた動画像データの構成を示す図。
【図７】本発明の第１の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内データ量の変位を示す図。
【図８】本発明の第２の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図９】本発明の第２の実施の形態に係わる画像処理装置により作成された動画像データを再生する場合のバッファ内のデータ量の変位を示す図。
【図１０】本発明の第３の実施の形態に係わる画像処理装置を示すシステムブロック図。
【図１１】ＭＰＥＧ２による動画再生の流れを示す図。
【図１２】従来のトリックプレイの実現方法を示す図。
【符号の説明】
２０１、３０１、４０１…通常再生用動画像ファイル
２０２、３０２、４０２…抽出手段
２０３、３０４、４０４…フレーム内情報削除手段
２０４、３０６、４０６…パディング手段
２０５、３０７、４０７…中間ファイル
２０６、３０８、４０９…再生レート設定手段
２０７、３０９、４１０…トリックプレイ用動画像ファイル
３０３、４０３…フレーム間順方向予測符号化画像挿入手段
３０３Ａ…入力手段
３０５、４０５…予測画像作成手段
４０８…バッファ制御情報格納手段
Claims (4)
- フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法において、
前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出するステップと、
前記抽出したフレーム内符号化画像データから離散コサイン変換演算により得られるＡＣ成分からＤＣＴ係数を削減するステップと、
この削減ステップにより得られたフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、
前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、
前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、
前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを、
具備することを特徴とする画像処理方法。 - フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理方法において、
前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出するステップと、
前記抽出したフレーム内符号化画像データから離散コサイン変換演算により得られるＡＣ成分からＤＣＴ係数を削減するステップと、
この削減ステップにより得られたフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるステップと、
前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定するステップと、
前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成するステップと、
前記作成したバッファ制御情報を、前記動画像データの各フレームヘッダに設定するステップとを、
具備することを特徴とする画像処理方法。 - フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、
前記動画像データの先頭側から順にフレーム内符号化画像データのみを抽出する抽出手段と、
前記抽出したフレーム内符号化画像データから離散コサイン変換演算により得られるＡＣ成分からＤＣＴ係数を削減する削減手段と、
前記削減手段で得られたフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、
前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、
前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを、
具備することを特徴とする画像処理装置。 - フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レートで送出し、再生を行う画像処理装置において、
前記動画像データの末尾側から順にフレーム内符号化画像データのみを抽出する抽出手段と、
前記抽出したフレーム内符号化画像データから離散コサイン変換演算により得られるＡＣ成分からＤＣＴ係数を削減する削減手段と、
前記削減手段で得られたフレーム内符号化画像データが指定された再生時のビットレートを満足するようにパディング符号を各フレーム内符号化画像データに入れるパディング手段と、
前記指定された再生時のビットレートを当該動画像データのヘッダに対し設定する再生レート設定手段と、
前記パディング符号を入れた動画像データを再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を作成し、前記動画像データの各フレームヘッダに設定するバッファ情報設定手段とを、
具備することを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14784697A JP3839911B2 (ja) | 1997-06-05 | 1997-06-05 | 画像処理装置および画像処理方法 |
| US09/082,793 US6219381B1 (en) | 1997-05-26 | 1998-05-22 | Image processing apparatus and method for realizing trick play |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14784697A JP3839911B2 (ja) | 1997-06-05 | 1997-06-05 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10336586A JPH10336586A (ja) | 1998-12-18 |
| JP3839911B2 true JP3839911B2 (ja) | 2006-11-01 |
Family
ID=15439586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14784697A Expired - Fee Related JP3839911B2 (ja) | 1997-05-26 | 1997-06-05 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3839911B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6904227B1 (en) | 1999-02-15 | 2005-06-07 | Nec Corporation | Device and method for editing video and/or audio data recorded in a disc storage medium |
| WO2001035409A2 (en) * | 1999-11-10 | 2001-05-17 | Thomson Licensing S.A. | Commercial skip and chapter delineation feature on recordable media |
| KR100739134B1 (ko) * | 2001-04-17 | 2007-07-13 | 엘지전자 주식회사 | 디지털 비디오 홈 시스템의 변속 데이터 생성 장치 |
| US7664367B2 (en) | 2004-02-03 | 2010-02-16 | Panasonic Corporation | Information processing device |
| JP4902854B2 (ja) * | 2006-09-12 | 2012-03-21 | パナソニック株式会社 | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 |
| JP4853216B2 (ja) * | 2006-10-11 | 2012-01-11 | ソニー株式会社 | 記録装置、再生装置、記録方法、再生方法 |
| EP2186328B1 (en) * | 2007-08-29 | 2014-03-12 | Thomson Licensing | Method for generating video data for trick play |
| US8997161B2 (en) * | 2008-01-02 | 2015-03-31 | Sonic Ip, Inc. | Application enhancement tracks |
-
1997
- 1997-06-05 JP JP14784697A patent/JP3839911B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10336586A (ja) | 1998-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6219381B1 (en) | Image processing apparatus and method for realizing trick play | |
| US7023924B1 (en) | Method of pausing an MPEG coded video stream | |
| US6937770B1 (en) | Adaptive bit rate control for rate reduction of MPEG coded video | |
| US6871006B1 (en) | Processing of MPEG encoded video for trick mode operation | |
| US8260122B2 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
| EP1161097B1 (en) | MPEG decoder | |
| EP1553779A1 (en) | Data reduction of video streams by selection of frames and partial deletion of transform coefficients | |
| JPH08505512A (ja) | 映像デコーダにおけるチャンネル・バッファの管理 | |
| JP2008507922A (ja) | トリックモードおよび速度移行 | |
| EP1889481A1 (en) | Method and device for compressed domain video editing | |
| US6314139B1 (en) | Method of inserting editable point and encoder apparatus applying the same | |
| JP3839911B2 (ja) | 画像処理装置および画像処理方法 | |
| KR100975170B1 (ko) | 화상 데이터 재생 장치 및 방법 | |
| JP2894958B2 (ja) | 画像復号化方式および装置 | |
| JP3487205B2 (ja) | 画像データ編集装置 | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JPH10191331A (ja) | 画像データの符号化方法及び装置 | |
| JP3312597B2 (ja) | 可変長符号化方法 | |
| JP4064604B2 (ja) | 画像処理方法及び装置 | |
| JP3341842B2 (ja) | バッファ管理方法 | |
| JP3469866B2 (ja) | 符号化ビデオピクチャのデータストリームのビットレートを変化させる方法 | |
| JPH11234671A (ja) | 信号処理装置 | |
| JPH11136686A (ja) | 復号画像変換回路および復号画像変換装置 | |
| JP3341839B2 (ja) | 画像信号符号化用バッファ管理装置 | |
| JP3721972B2 (ja) | Ｍｐｅｇ画像データ記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040526 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
| LAPS | Cancellation because of no payment of annual fees |