JPH10136358A - 画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像のぶれが問題となる場合のフリーズに
はフィールドフリーズとし、静止画像の解像度の劣化が
問題となる場合のフリーズにはフレームフリーズとなる
ように制御することの可能な画像復号装置を提供する。 【解決手段】 画像復号装置の表示制御部17において
は、画像入力ストリーム中の画像データがプログレッシ
ブ画像であるか否かの情報に応答してフレームフリーズ
とフィールドフリーズとを切り換える切換回路23が設け
られる。入力ストリーム中の画像データがプログレッシ
ブ画像であるか否かの情報としては、入力ストリーム中
のピクチャヘッダエクステンションにあるプログレッシ
ィブ・フレームの値が使用される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像復号装置、特
にディジタル圧縮された画像を復号する装置に関する。

【０００２】

【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報(画像デ
ータ)の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。時間的相関性を利用する方法と
して、２画面(フレーム)の差分を符号化したり、画像の
動きを検出して、動き補償を行ったりするものがある。
また、空間的相関性を利用する方法として、画像を所定
の大きさのブロック(例えば、縦方向、横方向とも８画
素ずつ)に分けて、ブロック内のデータを直交変換し、
変換係数をスキャン変換し(例えば、低周波数成分から
高周波数成分の順に並び変える)、可変長符号化を行う
ものがある。MPEG(Moving Picture Experts Group)が標
準を定めた画像符号化方式(以下、MPEG2と略す)は、上
記２つの方法を併用するものとなっている。MPEG2の勧
告はISO/IEC13818-2に記載されている。MPEGによる画像
符号化方式は、以下の通りである。画像は所定のフレー
ムの順に、前後のフレームを参照しながら符号化され
る。まず、過去のフレームから現在のフレームを予測す
る場合を前方予測、未来のフレームから現在のフレーム
を予測する場合を後方予測、過去、未来両方のフレーム
から現在のフレームを予測する場合を双方向予測とい
う。フレーム間予測を用いないで符号化されるフレーム
をイントラフレーム(Iフレーム)、前方予測により符号
化されるフレームを前方予測フレーム(Pフレーム)、双
方向予測により符号化されるフレームを双方向予測フレ
ーム(Bフレーム)と呼ぶ。Pフレーム、Bフレーム内の予
測方法はマクロブロック毎に決定される。すなわち、P
フレーム内のマクロブロックは動き補償をしないイント
ラマクロブロック、または前方予測マクロブロックとな
り、Bフレーム内のマクロブロックはイントラマクロブ
ロック、前方予測マクロブロック、後方予測マクロブロ
ック、双方向予測マクロブロックのいずれかになる。さ
て、IフレームI0、BフレームB1、BフレームB2、Pフレー
ムP3、BフレームB4、BフレームB5、PフレームP6、Bフレ
ームB7、BフレームB8、PフレームP9の順の入力フレーム
を符号化する場合を考える。Bフレームを符号化するた
めには、その両側の参照フレームが先に符号化されてい
なければならない。そこで、符号化の順は、I0、P3、B
1、B2、P6、B4、B5、P9、B7、B8のようになる。逆に、I
0、P3、B1、B2、P6、B4、B5、P9、B7、B8の順のストリ
ームを復号するためには、この順に復号を行い、I0、B
1、B2、P3、B4、B5、P6、B7、B8、P9の順に表示する。
このように、符号化された入力画像を表示の順に並び替
える操作をリオーダと呼ぶ。

【０００３】図５は、このような方法により符号化され
たデータを復号する画像復号装置の構成例である。図５
において、バッファ制御部５１、可変長復号部５２、ス
キャン変換器５３、逆量子化器５４、逆DCT部５５、動
き補償画像再生部５６により復号処理が実行される。復
号装置にはメモリ５２０が用いられ、バッファメモリ５
２１およびフレームメモリ(前述した３つのI、P、Bフレ
ームメモリ。Iフレームメモリには必ずしもIフレームが
書き込まれる訳ではなく、Pフレームが書き込まれるこ
ともあり、逆に、Pフレームメモリには必ずしもPフレー
ムが書き込まれる訳ではなく、Iフレームが書き込まれ
ることもあるが、便宜上５２２をIフレームメモリ、５
２３をPフレームメモリと呼ぶ)５２２、５２３、５２４
からなる。また、表示制御部５７はメモリ５２０から表
示データを読み込んで復号画像を出力する。また、復号
処理部５０にはメモリ制御部５８があり、メモリ５２０
とのデータの転送は５８を介して行われるとした。次
に、動作について説明する。入力ビットストリームはバ
ッファメモリ制御部５１の制御により、バッファメモリ
５２１に蓄積される。バッファメモリ５２１からは、フ
レーム毎にデータが読みだされ、読み出されたデータ
は、可変長復号器５２によって、可変長復号される。全
データが可変長符号化されている訳ではないが、固定長
符号もこの可変長復号器５２で復号されるものとする。
次に、スキャン変換器５３によりデータの順序を並び変
えた後、逆量子化器５４により逆量子化される。次に、
逆DCT部５５により逆離散コサイン変換される。動き補
償画像再生部５６では、フレーム間差分を受信した場合
は、予め復号されている参照データを予測フレームメモ
リ５２２または５２３から読み出し(図５では、Iフレー
ムメモリ５２２とPフレームメモリ５２３から読み出す
場合を示したが、どちらか一方から読み出す場合もあ
る)、受信データと加算した後、再生画像を予測フレー
ムメモリ５２２または５２３または５２４に書き込む
(図５では、Bフレームメモリ５２４に書き込む場合を示
した。Iフレームメモリ５２２、Pフレームメモリ５２３
に書き込む場合もある)。フレーム内で符号化されたデ
ータを受信した場合は、受信データをそのまま予測フレ
ーム５２２または５２３に書き込む。以上のようにして
再生画像が再生される。さらに、I、P、Bフレームのい
ずれかの再生画像を５２２、５２３、５２４から読み出
して表示データを出力する。表示データの読み出しのた
めに、５７から５８へ表示制御信号を送出する。

【０００４】

【発明が解決しようとする課題】ところで、MPEGによる
画像復号動作中、表示画面を静止(同じ画面を２回以上
繰り返して表示すること)させたい場合がある。放送中
の画面を静止させて、保持させたいこともあるし、動画
像プレーヤの特定画面で静止させたいこともある。前者
をフリーズ、後者をポーズと呼ぶこともあるが、本発明
では、これらの場合を含めて、表示画面を静止させるこ
とをすべてフリーズと呼ぶことにする。

【０００５】一方、画面表示にはインタレース表示と呼
ばれる方法と、ノンインタレース(またはプログレッシ
ブ)表示と呼ばれる方法がある。前者は１つの画面(フレ
ーム)を２つのフィールドに分割して表示し、１番目の
フィールドと２番目のフィールドの各走査線が交互にな
るようにするものである。後者は１つの画面を上から下
に順に走査する。インタレース表示の例を図６(A)に示
す。この図では、簡単化のため、１フレームが１０本の
走査線、すなわち１フィールドが５本の走査線からなる
とした。実際には、NTSCでは１フレームが５２５本の走
査線(表示されるのは４８０本)、すなわち１フィールド
が２６２.５本の走査線(表示されるのは２４０本)であ
り、PALでは、１フレームが６２５本の走査線(表示され
るのは５７６本)、すなわち１フィールドが３１２.５本
の走査線(表示されるのは２８８本)である。図６(A)で
は、奇数番目の走査線が先に走査されて、１フィールド
を構成し、次に、偶数番目の走査線が走査されて、次の
１フィールドを構成する。前者は後者より、１走査線分
上に表示されるため、トップフィールドと呼ばれ、後者
はボトムフィールドと呼ばれる。２枚のフィールドの間
隔はNTSCでは約６０分の１秒、PALでは50分の１秒であ
る。表示画像が静止していれば、図６(A)のように表示
されるが、動いている場合には図６(C)のようにフィー
ルド間で動きがあらわれる。

【０００６】さて、フリーズさせる場合、同一フレーム
を繰り返して表示する方法と、同一フィールドを繰り返
して表示する方法が考えられる。同一フレームを繰り返
して表示する方法では、動いている画像の時は図６(C)
の２つのフィールドが交互に表示されて、画面がぶれた
ように見える。逆に、２つのフィールドのうちの一方で
ある同一フィールドを繰り返して表示する方法では、図
６(B)のように片フィールドしか表示されないので、垂
直方向の解像度が劣下する。以上述べたように、従来の
フレームフリーズでは動画像のぶれが感じられ、フィー
ルドフリーズでは静止画像の解像度が劣下するという欠
点がある。

【０００７】従って本発明の目的とするところは、動画
像のぶれが問題となる場合のフリーズにはフィールドフ
リーズとし、静止画像の解像度の劣化が問題となる場合
のフリーズにはフレームフリーズとなるように制御する
ことの可能な画像復号装置を提供することにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、本願発明の画像復号装置においては、画像入力ス
トリーム中の画像データがプログレッシブ画像であるか
否かの情報に応答してフレームフリーズとフィールドフ
リーズとを切り換える切換回路が表示制御部に設けられ
たことを特徴とするものである。より具体的には入力ス
トリーム中の画像データがプログレッシブ画像であるか
否かの情報としては、入力ストリーム中のピクチャヘッ
ダエクステンションにあるプログレッシィブ・フレーム
(progressive_frame)の値が使用される。表示制御部の
切換回路は、このprogressive_frameの値が１であると
きにはフレームフリーズとし、progressive_frameの値
が０であるときにはフィールドフリーズとなるように、
フレームメモリから読み出すデータを制御する。

【０００９】従って、上記情報によって入力ストリーム
中の画像データがプログレッシブ画像でないこと(すな
わち、入力ストリーム中の画像データがインタレース表
示であること)が判定されると、表示制御部の切換回路
はフィールドフリーズとして２つのフィールドのうちの
一方である同一フィールドを繰り返して表示するもので
あるため、動画のフリーズのぶれの問題が解消される。
一方、上記情報によって入力ストリーム中の画像データ
がプログレッシブ画像であること(すなわち、入力スト
リーム中の画像データがノンインタレース表示であるこ
と)が判定されると、表示制御部の切換回路はフレーム
フリーズとして一つのフレームの２つのフィールドを交
互に表示するものであるため、静止画のフリーズの解像
度劣化の問題が解消される。

【００１０】ところで入力ストリームのピクチャヘッダ
エクステンションにあるprogressive_frame情報は、本
来は階層符号化(spatial scalable sequence)されたス
トリームで用いるために導入されたものである。この階
層符号化は、現行のテレビ放送とコンパチブルな高精細
テレビ放送を提供するものである。従って、この高精細
テレビ放送では現行のテレビ放送信号との差分のみが現
行のテレビ放送信号に付加されて送信され、高精細テレ
ビの受信器側ではこの差分信号を空間フィルタで処理す
ることにより、現行のテレビ放送とコンパチブルな高精
細テレビ放送の送受信が可能となる。さらに、このprog
ressive_frame情報は、最終的には色差フォーマットを
示すchroma_420_typeという情報と等しくするように定
められたものである。すなわち、この情報により、色差
データ補間方法を切り換えることが可能になっている。
このように、従来においては、progressive_frame情報
は階層符号化または色差フォーマットを指定するための
ものであり、フリーズの方法を指定するためのものでは
ないが、本発明ではこの情報をフレームフリーズ、フィ
ールドフリーズの切り換え制御に利用する。これによ
り、新たな情報を必要とせずに、良好なフリーズ画面が
得られる。

【００１１】さらに、本発明の他の具体的な実施形態で
は、上記progressive_frame情報の値を用いてフレーム
フリーズとフィールドフリーズを切り替えるモードのほ
かに、progressive_frame情報の値によらずに無条件に
フレームフリーズとするモード、progressive_frame情
報の値によらずに無条件にフィールドフリーズとするモ
ードを設け、これらのモードを選択する手段を設ける。

【００１２】

【発明の実施形態】以下、本発明の第１の実施例を図１
から図３により説明する。

【００１３】図１は、本実施例の画像復号装置の構成で
ある。図１において、バッファ制御部１１、可変長復号
部１２、スキャン変換器１３、逆量子化器１４、逆DCT
部１５、動き補償画像再生部１６により復号処理が実行
される。復号装置にはメモリ１２０が用いられ、バッフ
ァメモリ１２１およびフレームメモリ(３つのI、P、Bフ
レームメモリ。Iフレームメモリには必ずしもIフレーム
が書き込まれる訳ではなく、Pフレームが書き込まれる
こともあり、逆に、Pフレームメモリには必ずしもPフレ
ームが書き込まれる訳ではなく、Iフレームが書き込ま
れることもあるが、便宜上１２２をIフレームメモリ、
１２３をPフレームメモリと呼ぶ)１２２、１２３、１２
４からなる。また、表示制御部１７はメモリ１２０から
表示データを読み込んで復号画像を出力する。また、復
号処理部１０にはメモリ制御部１８があり、復号処理部
１０とメモリ１２０とのデータの転送はメモリ制御部１
８を介して行われる。次に、動作について説明する。MP
EGのデジタル画像データである入力ビットストリームは
バッファメモリ制御部１１の制御により、バッファメモ
リ１２１に蓄積される。バッファメモリ１２１から読み
出されたデータは、可変長復号器１２によって、可変長
復号される。全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器１２で復号され
る。次に、スキャン変換器１３によりデータの順序を並
び変えた後、逆量子化器１４により逆量子化される。次
に、逆DCT部１５により逆離散コサイン変換される。動
き補償画像再生部１６では、フレーム間差分を受信した
場合は、予め復号されている参照データを予測フレーム
メモリ１２２または１２３から読み出し(図１では、Iフ
レームメモリ１２２とPフレームメモリ１２３から読み
出す場合を示したが、どちらか一方から読み出す場合も
ある)、受信データと加算した後、再生画像を予測フレ
ームメモリ１２２または１２３または１２４に書き込む
(図１では、Bフレームメモリ１２４に書き込む場合を示
した。Iフレームメモリ１２２、Pフレームメモリ１２３
に書き込む場合もある)。フレーム内で符号化されたデ
ータを受信した場合は、受信データをそのまま予測フレ
ーム１２２または１２３に書き込む。以上のようにして
再生画像が再生される。さらに、I、P、Bフレームのい
ずれかの再生画像を５２２、５２３、５２４から読み出
して表示データを出力する。表示データの読み出しのた
めに、表示制御部１７からメモリ制御部１８へ表示制御
信号を送出する。さて、画面フリーズは、最後に表示さ
れている１２２、１２３、１２４のいずれかのフレーム
メモリからのデータを繰り返して表示することにより行
われる。本実施例では、可変長復号器１２から表示制御
部１７へ制御信号となるprogressive_frame情報を送
り、この情報に基づいて表示制御部１７を制御する。

【００１４】図２に、表示制御部１７の一部分であるフ
リーズ制御回路を示す。従来の技術説明で述べたよう
に、入力ストリーム内のフレーム順と表示順は順番が異
なるので、制御信号progressive_frameもリオーダしな
ければならない。これは、progressive_frameリオーダ
レジスタ２１により行われる。リオーダレジスタ２１の
出力であるprogressive_frame制御信号は、ANDゲート２
２で極性を反転した後(ANDゲート２２の入力側の丸印は
極性反転を示す。)、フリーズ／ノーマル信号とANDされ
て、さらにORゲート２３により垂直フィールドタイミン
グとORされて、top/bottom選択信号となる。

【００１５】図３(A)は、progressive_frame制御信号
が"L"すなわち０固定の場合の信号波形である。フリー
ズ／ノーマル信号が"L"から"H"へ、すなわちノーマルモ
ードからフリーズモードに切り換わる。ノーマルモード
中はANDゲートの出力が"L"で、垂直フィールドタイミン
グがそのままtop/bottom選択信号となり、フィールド毎
にトップフィールドとボトムフィールドが交互に表示さ
れる。即ち、通常のインタレース表示が行われる。フリ
ーズモードになると、progressive_frame制御信号の反
転信号が、ANDゲート２２の出力となり、この例では、t
op/bottom選択信号が"H"固定となる。すなわち、同一の
フィールドが繰り返し表示される。progressive_frame
制御信号が"L"はインタレース画像の符号化を意味する
から、フィールドフリーズになって、動きのある物体の
ぶれをとめることができる。なお、この例では、top/bo
ttom選択信号が"H"固定としたが、"L"固定になる様にし
てもフィールドフリーズになることは言うまでもない。
このように、progressive_frame制御情報によって入力
ストリーム中の画像データがプログレッシブ画像でない
こと(すなわち、入力ストリーム中の画像データがイン
タレース表示であること)が判定されると、表示制御部
の切換回路はフィールドフリーズとして２つのフィール
ドのうちの一方である同一フィールドを繰り返して表示
するものであるため、動画のフリーズのぶれの問題が解
消される。

【００１６】図３(B)は、progressive_frame制御信号
が"H"すなわち１固定の場合の信号波形である。フリー
ズ／ノーマル信号が"L"から"H"へ、すなわちノーマルモ
ードからフリーズモードに切り替わる。ノーマルモード
中はANDゲートの出力が"L"で、垂直フィールドタイミン
グがそのままtop/bottom選択信号となり、フィールド毎
にトップフィールドとボトムフィールドが交互に表示さ
れる。即ち、通常のインタレース表示が行われる。フリ
ーズモードになると、progressive_frame制御信号の反
転信号が、ANDゲート２２の出力となり、この例では、t
op/bottom選択信号が"L"固定となる。すなわち、フリー
ズモードになっても、トップフィールドとボトムフィー
ルドが交互に表示される。progressive_frame制御信号
が"H"はプログレッシブ画像の符号化を意味するから、
フレームフリーズになって、解像度の劣下のないフリー
ズ画面が得られる。このように、progressive_frame制
御情報によって入力ストリーム中の画像データがプログ
レッシブ画像であること(すなわち、入力ストリーム中
の画像データがノンインタレース表示であること)が判
定されると、表示制御部の切換回路はフレームフリーズ
として一つのフレームの２つのフィールドを交互に表示
するものであるため、静止画のフリーズの解像度劣化の
問題が解消される。このように、ピクチャヘッダエクス
テンションにあるprogressive_frame制御情報の値が１
であることは、このヘッダに続くデータがフレーム単位
で符号化されていることを示す。すなわち、もともとの
画像が時間的に差のある２つのフィールドから成るので
はなく、ノンインタレース表示の１つのプログレッシブ
フレームであることを示す。従って、表示制御部の切換
回路は、フレームフリーズを選択する。

【００１７】逆に、ピクチャヘッダエクステンションに
あるprogressive_frame制御情報の値が０であるは、こ
のヘッダに続くデータが必ずしもフレーム単位で符号化
されたものではないことを示す。すなわち、もともとの
画像が時間的に差のある２つのフィールドから成る可能
性があり、ぶれを防止するためにフィールドフリーズを
選択する。

【００１８】また、たとえprogressive_frame制御情報
の値が０でるとしても、必ずしも動きのある画像とは限
らないので、以下に説明する本発明の第２の実施例のよ
うに無条件にフレームフリーズさせて解像度を劣下させ
ないモードの選択とすることも可能とする。さらに、２
つまたは３つののフィールドをもとにプログレッシブ画
像を生成し、それをprogressive_frame制御情報の値１
として符号化する場合もあるので、無条件にフィールド
フリーズとしてぶれを防止するモードの選択も可能とす
る。

【００１９】以下、本発明の第２の実施例を図４により
説明する。図４は、第１の実施例の図２にあたる部分の
構成を示す図である。図４において図２と同じ符号のブ
ロックは図２と同様の機能を有する。本実施例では、リ
オーダレジスタ２１の後にセレクタ２４を設ける。セレ
クタ２４の入力制御信号は、自動／強制モード選択信号
とフィールド／フレーム選択信号である。自動／強制モ
ード選択信号が"L"即ち０のときは、強制モードとな
り、フィールド／フレーム選択信号が有効になる。すな
わち、フィールド／フレーム選択信号が"L"即ち０のと
きは、セレクタ２４の出力は"H"となり、図３(B)と同様
にフレームフリーズになる。フィールド／フレーム選択
信号が"H"即ち１のときは、２４の出力は"L"となり、図
３(A)と同様にフィールドフリーズになる。このようにp
rogressive_frame情報を無視して、強制的にフィールド
またはフレームフリーズを実行する。自動／強制モード
選択信号が"H"即ち１のときは、セレクタ２４の出力は
フィールド／フレーム選択信号によらず、リオーダレジ
スタ２１の出力と同じになる。すなわち、第１の実施例
と同様にprogressive_frame情報によって自動的にフィ
ールドまたはフレームフリーズが選択される。本実施例
のように強制的にフリーズモードを選択可能にすること
により、たとえprogressive_frameの値が０でるとして
も、無条件にフレームフリーズさせて、動きの少ない画
像を解像度劣下させないでフリーズさせることが可能と
なる。逆に、２つまたは３つののフィールドをもとにプ
ログレッシブ画像を生成し、それをprogressive_frame
の値１として符号化する場合もあるので、無条件にフィ
ールドフリーズとしてぶれを防止するモードの選択も可
能となる。

【００２０】

【発明の効果】本発明によれば、動画像のぶれが問題と
なる場合のフリーズにはフィールドフリーズとし、静止
画像の解像度の劣化が問題となる場合のフリーズにはフ
レームフリーズとなるように制御することの可能な画像
復号装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成図。

【図２】本発明の第１の実施例の表示制御部に含まれる
フリーズ制御回路図。

【図３】本発明の第１の実施例の動作タイミングを説明
した図。

【図４】本発明の第２の実施例の表示制御部に含まれる
フリーズ制御回路図。

【図５】画像復号装置の従来の構成図。

【図６】画像のフリーズを説明する図。

【符号の説明】

１０、５０： 画像(ビデオ)復号器、 １１、５１： バッファ制御部、 １２、５２： 可変長復号器、 １３、５３： スキャン変換器、 １４、５４： 逆量子化器、 １５、５５： 逆DCT部、 １６、５６： 動き補償、画像再生部、 １７、５７： 表示制御部、 １８、５８： メモリ制御部、 ２１： progressive_frameリオーダレジスタ、 ２２： 片方の入力が反転されるANDゲート、 ２３： ORゲート、 ２４： セレクタ、 １２０、５２０： メモリ、 １２１、５２１： バッファメモリ、 １２２、５２２： Iフレームメモリ、 １２３、５２３： Pフレームメモリ、 １２４、５２４： Bメモリ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】入力ストリームの画像データを蓄積する記
   憶装置と、 上記記憶装置から読み出される画像データを復号処理し
   て形成されたフレームデータを上記記憶装置に書き込む
   復号処理部と、 上記記憶装置から上記フレームデータを読み出して表示
   データを形成する表示制御部とを具備してなり、 上記表示制御部は、上記入力ストリームの画像データが
   プログレッシブ画像であるか否かの情報に応答し、静止
   (フリーズ)画像の生成に際して、プログレッシブ画像の
   場合には１のフレームの２つのフィールドを交互に表示
   するフレームフリーズの表示動作と、プログレッシブ画
   像でない場合には１のフレームの２つのフィールドの一
   方である同一のフィールドを繰り返して表示するフィー
   ルドフリーズの表示動作とを切り換える切換回路を有す
   ることを特徴とする画像復号装置。
2. 【請求項２】上記表示制御部の上記切換回路は画像復号
   装置において、強制的にフレームフリーズの表示動作ま
   たはフィールドフリーズの表示動作とする機能を持つこ
   とを特徴とする請求項１に記載の画像復号装置。
3. 【請求項３】上記復号処理部は、可変長復号器、逆量子
   化器、逆離散コサイン変換部、動き補償画像再生部を含
   むことを特徴とする請求項１または請求項２のいずれか
   に記載の画像復号装置。