JP3304799B2 - 信号処理方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
信号を高能率符号化する信号処理装置に係わり、特に、
低遅延で（即ち、遅延時間を小さくして）圧縮，伸長を
行なう信号処理方法及び装置に関する。

【０００２】

【従来の技術】動画像を圧縮する手段の一従来例とし
て、例えば、「ＩＴＵ−Ｔホワイトブック、オーディオ
ビジュアル／マルチメディア関連（Ｈシリーズ）勧告
集」（財団法人日本ITU協会、平成７年２月１８日発
行）ｐｐ.３７５〜５９５（以下、文献１という）に規
定されている動画像圧縮規格Ｈ.２６２（通称、ＭＰＥ
Ｇ２方式と呼ばれている）がある。

【０００３】このＭＰＥＧ２方式は、現在広く用いられ
ている動画像伝送表示方式であるインターレース方式の
動画像信号も圧縮対象として想定し、画像構成単位であ
るフレームまたはフィールド単位で高能率圧縮すること
を可能にしたものである。

【０００４】インターレース動画像信号は、一定周期
（例えば、１/６０秒）で入力されるフィールド画像か
ら動画像が構成されている。このフィールド画像は２枚
周期で走査線位置が互いにずれるように配置されてお
り、２フィールドで全走査線を覆う構成であって、この
２フィールドの組合せをフレームと称する。インターレ
ース動画像信号では、フィールド単位で順次画像が伝送
される。

【０００５】図３７はフレームの走査順、従って、フレ
ームを構成する画素情報の伝送順の一例を示すものであ
って、図示するように、いま、２つのフィールドをフィ
ールド１，２とすると、フィールド１で実線矢印で示す
ように走査が行なわれると、このフィールド１の走査に
続いて、フィールド２で破線矢印で示すように走査が行
なわれる。そこで、これらフィールド１，２を組み合わ
せたフレームでは、フィールド１に対する実線矢印で示
す走査が行なわれると、次に、このフィールド１の走査
の間に、フィールド２に対する走査が破線矢印で示すよ
うに行なわれることになる。そして、フレームの画像情
報も、この順で伝送されることになる。

【０００６】ＭＰＥＧ２方式では、上記文献１における
ｐ．３７９での「Ｉ.４.１.２ インターレース（飛び越
し走査）画像の符号化」に記載されているように、フィ
ールド単位の圧縮符号化とフレーム単位の圧縮符号化と
の両方が可能であり、１つのストリーム中に両者を混在
させることも可能である。

【０００７】次に、ＭＰＥＧ２方式による動画像圧縮の
一般的な手順について説明する。

【０００８】まず、入力されるインターレース画像信号
から、フレームまたはフィールドからなる画像圧縮単位
を構成する。画像圧縮単位となる画像（以下、圧縮単位
画像という）はフィールドまたはフレーム画像であり、
これら単位画像を水平垂直の１６×１６画素からなるブ
ロック（即ち、マクロブロック）に分割し、上記走査の
順と同様の画面左上隅のマクロブロックから水平方向に
順に処理を行なう。

【０００９】入力動画像であるインターレース画像は、
図３７で説明したように、まず、フィールド１の画素情
報が画面左上隅から１ライン（１水平走査期間）ずつ順
に入力され、次に、フィールド２の画素情報が画面左上
隅から１ラインずつ順に入力される。フレームを画像圧
縮単位とする場合には、フィールド１の画素情報を蓄え
ておき、フィールド２の最初の８ラインの画素情報が入
力された時点で、その８ラインでの最初の１６×１６画
素情報とフィールド１の最初の８ラインの最初の１６×
１６画素情報とで最初のマクロブロックを構成する。

【００１０】このため、インターレース画像信号が入力
され始めてから画像圧縮単位であるフレームの最初のマ
クロブロックが構成されるまでには、凡そ１フィールド
期間＋８ラインに相当する遅延が生じる。単位画像がフ
ィールド画像であって、フレームを構成する必要がない
場合でも、フレーム単位の画像圧縮と信号処理タイミン
グを合わせるために、１フィールド分の遅延を設けて単
位画像を構成手法が採用される。

【００１１】次に、圧縮単位としてのフィールドマクロ
ブロックまたはフレームマクロブロックに対して、ＭＰ
ＥＧ２方式に定められた信号となるように処理を行な
い、画像圧縮する。ＭＰＥＧ２方式では、動画像情報の
冗長性や人間の視覚特性を利用し、冗長な情報や人間の
視覚特性上重要でない情報を削除することにより、ディ
ジタル動画像情報を圧縮している。圧縮の結果得られる
ディジタル情報（ビットストリーム）の符号量は、同じ
圧縮条件でも、入力画像の性質、例えば、フレームまた
はフィールド間の相関や高空間周波数成分の量によって
大きく変化する。そのため、圧縮単位である１フレーム
期間または１フィールド期間の中でも、圧縮の結果得ら
れる符号量は刻々と変化する。一般的には、圧縮単位で
あるフレームまたはフィールド毎に符号量の目標を定
め、符号量がこの目標に一致するように圧縮パラメータ
を制御する。

【００１２】このようなストリームをデータ転送レート
が一定の伝送路を経由して伝送するためには、符号量が
多い期間では、伝送容量を越える符号をバッファに蓄え
て伝送量を制限し、符号量が少ない期間では、バッファ
から符号を取り出し、所定のデータ転送レートにして伝
送する必要がある。かかる処理を平滑処理というが、こ
のような平滑化処理を行なうためには、送信側で予めあ
る程度の情報量を蓄えておき、発生符号量が変化しても
一定速度で伝送が可能となるようにし、さらに、受信側
でも、バッファを用意し、デコードに必要な符号量が変
化しても、デコードが継続できるようにする必要があ
る。このバッファによる遅延時間を１ピクチャ以上設け
ることにより、ピクチャ内またはピクチャ間で符号量分
布が大きく偏った場合でも対処できる。

【００１３】また、ＭＰＥＧ２方式では、上記文献１の
ｐｐ.５３１−５３５の「画像バッファ検証器」の項に
記載されているように、符号量が大きい画像が存在して
も、低遅延を実現する手法として、この符号量が大きい
画像に引き続く数個の画像を飛ばしてエンコードし、以
後引き続く画像は遅延量が少なくなるような圧縮を行な
うことが可能である。以下、この処理をピクチャスキッ
プといい、ピクチャスキップを生じる原因となった符号
量が大きい画像を大画像という。

【００１４】例えば、転送レートから導き出された標準
的な画像の符号量の２倍程度の符号量に圧縮された画像
がある場合には、この画像の符号を伝送するために、２
画像分の伝送時間を必要とする。そのために、たとえそ
れ以降の画像が転送レートに合致した符号量に圧縮され
たとしても、伝送される時刻が１画像時間分だけ遅れる
ことになる。この問題を解決するために、符号量の大き
な画像の直後の画像は飛ばして圧縮を行ない、長遅延が
続くことを防止する。

【００１５】

【発明が解決しようとする課題】ＭＰＥＧ２方式は、デ
ィジタルテレビ放送やテレビ会議などの用途も想定され
ている。これらの用途では、伝送路の転送レートは固定
であって、送信側で動画像信号が入力されてから受信側
で再生信号が出力されるまでの所要時間（以下、圧縮伸
長遅延という）が短い方が望ましい。そのため、圧縮，
伸長する過程でも、処理遅延が少ないことが望まれる。
圧縮過程では、以下のような問題がある。

【００１６】上記従来技術で説明したように、ＭＰＥＧ
２方式では、入力動画像であるインターレース画像から
フレーム画像を構成するために、１フィールド時間に相
当する遅延時間を生じる。この遅延は、圧縮伸長遅延を
増加させる要因となる。

【００１７】本発明の第１の目的は、フレーム画像を構
成する際の遅延時間を低減させることができるようにし
た信号処理方法及び装置を提供することにある。

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】また、伸長過程では、以下のような問題が
ある。ＭＰＥＧ２方式では、フレーム構造での圧縮も可
能であるため、フレーム構造として圧縮された圧縮情報
を展開して得られる画像をインターレース画像として出
力するためには、フレーム画像をインターレース画像に
変換する必要があり、この処理はおよそ１フィールドの
処理遅延を生じる。フィールド構造の場合でも、フレー
ム構造から伸長された画像と連続した再生画像を得るた
めには、処理遅延を合わせる必要があり、やはり１フィ
ールドの遅延が必要となる。

【００２５】従って、本発明の第２の目的は、かかる遅
延を低減させることができるようにした信号処理方法及
び装置を提供することにある。

【００２６】また、圧縮単位であるフレームまたはフィ
ールド内の各マクロブロック毎の符号量分布は任意であ
るため、一定レートで転送された圧縮情報を圧縮する場
合には、圧縮単位を構成するデータを全て受信してから
伸長処理を開始する必要がある。そのため、圧縮単位の
先頭データを受信してから伸長処理を開始するまでにほ
ぼ圧縮単位の転送時間に相当する遅延を生じる。

【００２７】

【００２８】

【課題を解決するための手段】これらの問題をを解決す
る手段として、本発明は、圧縮に伴う処理タイミングを
独自の方法により制御する手法を考案した。

【００２９】即ち、上記第１の目的を達成するために、
本発明は、圧縮単位をフィールド画のみに限定するモー
ドを設定する。従来のＭＰＥＧ２方式による圧縮装置で
は、圧縮単位をフレーム画像とフィールド画像の両方と
することを許容しているために、結果として圧縮単位が
フィールド画像のみであったとしても、フレーム画像を
構成するために要する時間にほぼ等しい遅延時間を生じ
ていた。しかし、本発明のように、圧縮単位をフィール
ド画像に固定して圧縮を行なうことにより、圧縮単位が
フィールド画像のみの場合には、フレーム画像を構成す
ることに伴う遅延時間をなくすことが可能となる。その
結果、フィールド画像を構成する画像情報の最後のもの
が圧縮単位構成手段に入力される前に、このフィールド
画像からなる画像圧縮単位の先頭部を圧縮単位構成手段
から出力することが可能となる。

【００３０】

【００３１】

【００３２】上記第２の目的を達成するために、本発明
は、圧縮時に、所定の圧縮単位の集合がフィールド構造
のみから構成されていることを示す情報を付加し、この
情報がフィールド構造のみから構成されていることを示
すならば、フレーム構造からインターレース画像への変
換に伴う処理遅延を削除する。このような処理を行なう
ことにより、フィールド構造とフレーム構造との境界で
不連続を生じることなく、遅延を低減させることが可能
となる。

【００３３】または、フィールド構造のみから構成され
ていることを示す情報がなくても、フィールド構造で
は、フレーム構造からインターレース画像への変換によ
る遅延を削除して伸長を行ない、フレーム構造では、フ
レーム構造からインターレース画像への変換による遅延
及び適切な遅延を挿入して伸長を行ない、両者の境界で
は、画像の繰返しや間引きを用いて連続性を保つ処理を
行なう。このような処理を行なうことにより、フィール
ド構造では、遅延の少ない伸長を行なうことが可能とな
る。

【００３４】以上のようにして、伸長時、フレーム構造
からインターレース画像への変換による１フィールドの
遅延を低減させることができる。

【００３５】

【００３６】

【発明の実施の形態】以下、本発明の実施形態を図面に
より説明する。図１は本発明による動画像情報圧縮機能
をもつ信号処理方法及び装置の第１の実施形態を示すブ
ロック図であって、１０１は画像信号の入力端子、２０
１は圧縮単位構成手段、３０１は圧縮手段、４０１は平
滑化手段、５０１は圧縮信号の出力端子、５０６は所定
の圧縮単位集合が全てフィールド構造からなることを示
すフラグ（以下、フィールド構造フラグという）の出力
端子である。

【００３７】この第１の実施形態は、圧縮単位としてフ
レーム／フィールド構造を切替可能であり、さらに、圧
縮単位がフィールド構造に固定である場合には、より少
ない遅延時間で圧縮単位を構成することを可能にするも
のである。また、フィールド構造に固定である場合に
は、フィールド構造フラグを圧縮情報中に挿入すること
が、または、外部に出力することが可能である。

【００３８】次に、この第１の実施形態の動作について
説明する。

【００３９】図１において、圧縮対象となる動画像信号
は、インターレース画像信号として、入力端子１０１か
ら入力される。このインターレース画像信号は圧縮単位
構成手段２０１で所定の処理がなされ、ＭＰＥＧ２方式
の定めるマクロブロック群が構成される。

【００４０】ここで、圧縮単位構成手段２０１につい
て、図２により、その一具体例を説明する。但し、同図
において、２１１は図１での入力端子１０１に接続され
る入力端子、２１２は画像記憶手段、２１３はアドレス
生成手段、２１４は低遅延／通常遅延切替手段、２１５
はマクロブロック構成手段、２１６は図１での圧縮手段
３０１に接続される端子、２１７は図１での出力端子５
０６に接続される端子である。

【００４１】従来のように、フレーム構造とフィールド
構造とを任意に選択して圧縮符号化を行なう通常遅延動
作の場合には、切替手段２１４は画像記憶手段２１２の
出力を選択する。端子２１１からインターレース画像信
号として入力された動画像情報は、フィールド１，フィ
ールド２の順に画像記憶手段２１２に蓄えられる。

【００４２】この動画像情報は、フレーム構造で圧縮を
行なう場合には、フレーム画像を構成するために必要な
情報が入力された時点、つまり、フィールド１の画像入
力が終了し、フィールド２の画像入力が開始された時点
から逐次フレーム順に出力される。この出力が完了する
までに１フレーム期間必要なため、１フレームの画像の
出力が完了するのは、次のフレームのフィールド１の画
像入力が完了する時刻にほぼ等しい。一方、フィールド
構造として圧縮する期間についても、前後のフレームと
信号が連続する必要があるため、やはりフィールド１の
画像入力が終了し、フィールド２の画像入力が開始され
た時点から、逐次、フィールド１の画像情報，フィール
ド２の画像情報を出力する。

【００４３】このようにして、フレームまたはフィール
ド構造に並び替えられた画像情報はマクロブロック構成
手段２１５でマクロブロック毎の情報に並び替えられ
て、端子２１６から図１での圧縮手段３０１に送られ、
ＭＰＥＧ２方式によって定められた所定符号に変換され
る。その際、必要に応じて、フィールド構造フラグをＭ
ＰＥＧ２方式の定めるユーザデータに挿入する。マクロ
ブロックを構成するためには、１６ライン分の情報が必
要であるため、マクロブロック構成手段２１５（図２）
での遅延時間は１６ライン分の時間にほぼ相当する。し
かし、この時間は、フィールド分に相当する時間に比較
してはるかに短い。

【００４４】図３は以上に説明した通常遅延状態での圧
縮単位構成手段２０１（図２）の入出力タイミングの一
例を示すタイミング図であって、８０１は端子２１１か
らの入力画像信号、８０２は端子２１６から出力される
マクロブロック信号をフィールドまたはフレーム毎に示
したものであり、“Ｆrm”はフレームを、“Ｆld”はフ
ィールドを夫々表わす。

【００４５】この例は、フレームＦrm３をフィールド構
造として圧縮し、フレーム１，２，４はフレーム構造と
して圧縮するものである。フレーム構造とフィールド構
造との両方とも、入力画像信号８０１から出力マクロブ
ロック信号８０２までの間に１フィールド期間以上の遅
延が生じる。

【００４６】一方、図２において、フィールド構造に固
定して遅延時間の低減を図る低遅延動作の場合には、切
替手段２１４は端子２１１からの入力画像信号を選択す
る。このとき、必要に応じてフィールド構造フラグを端
子２１７から出力する。この状態では、インターレース
画像信号としてフィールド順に入力された動画像信号が
そのままマクロブロック構成手段２１５に供給され、フ
ィールド構造のマクロブロックに変換される。このマク
ロブロック信号は、端子２１６から図１での圧縮手段３
０１に供給され、ＭＰＥＧ２方式によって定められた所
定符号に変換される。その際、必要に応じて、フィール
ド構造フラグをＭＰＥＧ２方式の定めるユーザデータに
挿入する。

【００４７】図４はかかる低遅延状態での圧縮単位構成
手段２０１の入出力タイミングを示した例を示す図であ
って、図３に対応する信号には同一符号を付けている。

【００４８】同図において、低遅延状態では、全ての入
力画像はフィールド構造として圧縮される。この場合の
処理遅延時間は、１フィールド時間に比較してはるかに
小さい。

【００４９】図５は動画像情報圧縮機能をもつ信号処理
装置の一従来例（以下、第１の従来例という）を示すブ
ロック図であって、２０１’は圧縮単位構成手段であ
り、図１に対応する部分には同一符号を付けている。ま
た、図６は図５における圧縮単位構成手段２０１’の構
成を示したブロック図であって、図２に対応する部分に
は同一符号を付けている。

【００５０】図１，図２と図５，図６とを比較して明ら
かなように、上記第１の実施形態は、第１の従来例に対
し、圧縮単位構成手段２０１が圧縮単位構成手段２０
１’にマクロブロック構成手段２１５に直接入力された
インターレース画像信号を供給する機能を設けたものに
相当する。

【００５１】即ち、この第１の実施形態の通常遅延状態
での遅延（図３）が第１の従来例での遅延に相当する。
図４と図３との比較から判るように、第１の従来例の場
合（図３）では、画像圧縮単位であるフィールド（フレ
ーム３中のフィールド１またはフィールド２）の各々の
最後の情報が画像単位構成手段２０１に入力される前
に、各々のフィールドを画像圧縮単位に構成し直した信
号の先頭部を圧縮単位構成手段２０１から出力すること
は不可能であるが、この第１の実施形態での低遅延状態
（図４）では、画像圧縮単位であるフィールドの各々の
最後の情報が画像単位構成手段２０１に入力される前
に、各々のフィールドを画像圧縮単位に構成し直した信
号の先頭部を圧縮単位構成手段２０１から出力すること
が可能となる。そのため、この第１の実施形態では、従
来手法に比較して、およそ１フィールドに相当する遅延
時間を削減することが可能となる。

【００５２】図７は本発明による動画像情報伸長機能を
もつ信号処理方法及び装置の第２の実施形態を示すブロ
ック図であって、１０２は画像信号の出力端子、２０２
はインターレース画像構成手段、３０２は伸長手段、４
０２はデータ転送レート変換手段、５０２は圧縮信号の
入力端子、５０７はフィールド構造フラグの入力端子で
ある。

【００５３】この第２の実施形態は、圧縮単位がフィー
ルド構造のみである場合に、より少ない遅延時間でイン
ターレース画像を構成することを可能にするものであ
る。

【００５４】図７において、所定の転送速度で転送され
た動画像圧縮符号信号は端子５０２から入力され、伸長
可能なデータ長となるまでデータ転送レート変換手段４
０２に蓄積される。この信号は、伸長手段３０２でＭＰ
ＥＧ２方式に定める伸長手順で伸長されてマクロブロッ
ク信号に変換される。その際、符号のユーザデータ中に
フィールド構造フラグを含む場合には、これも展開して
出力する。インターレース画像構成手段２０２では、こ
のマクロブロック信号からインターレース画像を構成す
る。

【００５５】図８は図７におけるインターレース画像構
成手段２０２の一具体例を示すブロック図であって、２
３１は図７の伸長手段３０２からのマクロブロック信号
を入力する端子、２３２はマクロブロック信号からフィ
ールドまたはフレーム構成の走査線を構成する走査線構
成手段、２３３は画像記憶手段、２３４はフレーム／フ
ィールド読出アドレス生成手段、２４４は低遅延／通常
遅延切替手段、２３５は図７の画像出力端子１０２に接
続される端子、２４１は図７の伸長手段３０２で展開さ
れたフィールド構造フラグを入力する端子、２４２は外
部から入力されたフィールド構造フラグを入力する端
子、２４３はフラグ切替手段、２４４は低遅延／通常遅
延切替手段、２４５はコマ数調整手段である。

【００５６】同図において、端子２３１から入力された
マクロブロック信号は、走査線の情報が揃うまで走査線
構成手段２３２に蓄積され、これが揃った時点で、圧縮
された構造に応じて、フレーム順またはフィールド順に
出力される。この出力信号は画像記憶手段２３３にフレ
ーム順またはフィールド順に蓄えられる。画像記憶手段
２３３では、圧縮単位がフレーム構造の場合には、イン
ターレース画像であるフィールド順となるように読出し
順を変えられて出力される。この際、フレーム画像をフ
ィールド画像に変換するため、１フィールドの遅延を生
じる。また、圧縮単位がフィールド構造の場合には、読
出し順が変えられずに出力される。この際、フレーム画
像と連続して出力できるようにするために、１フィール
ドの遅延をおいて出力する。このような読出し／書込み
を実現するように、アドレス生成手段２３４でアドレス
が発生される。

【００５７】フィールド構造フラグがビットストリーム
中に存在する場合、または、外部端子５０７から同等の
信号が入力された場合には、図８において、選択手段２
４３により、使用する方のフィールド構造フラグが選択
され、このフラグがフィールド構造のみであることを示
している場合には、切替手段２４４は走査線構成手段２
３２の出力を選択する。そのため、端子２３５から出力
される信号は、インターレース化に伴う遅延を含まない
ため、同一フィールドに属する圧縮単位の最後がこの実
施形態に入力される前に、同じフィールドの先頭部を伸
長した画像をインターレース画像構成手段２０２から出
力することが可能となる。

【００５８】一方、これらのフラグが存在しない場合、
または、フレーム構造を含むことを示している場合に
は、切替手段２４４は画像記憶手段２３３の出力を選択
する。この出力は、入力に対して、１フィールド以上遅
延している。

【００５９】図９は動画像情報伸長機能をもつ信号処理
装置の第２の従来例を示すブロック図であって、２０
２’はインターレース画像構成手段であり、図７に対応
する部分には同一符号を付けている。また、図１０は図
９におけるインターレース画像構成手段２０２’の一例
を示すブロック図であって、図８に対応する部分には同
一符号を付けている。

【００６０】図７，図８と図９，図１０とを比較して明
らかなように、上記第２の実施形態は、この第２の従来
例に対して、インターレース画像構成手段２０２とし
て、インターレース画像構成手段２０２’に走査線構成
手段２３２からの出力を端子２３５に出力する機能を設
けたものに相当する。

【００６１】図１１は上記第２の実施形態におけるイン
ターレース画像構成手段２０２（図８）での入出力タイ
ミング例を示した図であり、図１２は上記第２の従来例
におけるインターレース画像構成手段２０２’（図１
０）での入出力タイミング例を示した図である。同図
中、８５１，８５３は夫々インターレース画像構成手段
２０２に入力されるマクロブロック信号をフィールド毎
に示したもの、８５２，８５４は夫々インターレース画
像構成手段２０２から出力されるインターレース画像信
号をフィールド毎に示したものであり、表記は図４に準
ずる。

【００６２】この例では、マクロブロック信号８５１と
出力インターレース画像信号８５２とは全ての圧縮単位
がフィールド構造に固定されたものであって、インター
レース画像信号に変換するための遅延を削減したもので
あり、マクロブロック信号８５３と出力インターレース
画像信号８５４はフレーム構造とフィールド構造が混在
しているものである。

【００６３】図１１と図１２との比較から判るように、
図１２に示す従来例では、画像圧縮単位であるフィール
ド（フレーム３のフィールド１またはフィールド２）の
各々の最後の情報がインターレース画像構成手段２０
２’（図９，図１０）に入力される前に、これら各々の
フィールドを画像圧縮単位に構成し直した画像信号の先
頭部をこのインターレース画像構成手段２０２’から出
力することは不可能であったのに対し、この第２の実施
形態の低遅延状態（図１１）では、画像圧縮単位である
フィールドの各々の最後の情報がインターレース画像構
成手段２０２（図７，図８）に入力される前に、これら
各々のフィールドを画像圧縮単位に構成し直した画像信
号の先頭部をこのインターレース画像構成手段２０２か
ら出力することが可能となる。そのため、この第２の実
施形態によれば、上記従来手法に比較して、およそ１フ
ィールドに相当する遅延時間を削減することが可能とな
る。

【００６４】また、この第２の実施形態では、フィール
ド構造フラグがない場合、または、フレーム構造を含む
ことを示す場合であっても、コマ数調整手段２４５（図
８）によってフィールド構造とフレーム構造との変化点
でのコマ数を調節し、連続した画像となるように変換す
るものであり、これにより、フィールド構造では、低遅
延であるようなインターレース画像信号を出力すること
が可能である。

【００６５】図１３，図１４はこの場合のインターレー
ス画像構成手段２０２の入出力例を示す図であって、８
５５はインターレース画像構成手段２０２に入力される
マクロブロック信号、８５６はインターレース画像構成
手段２０２から出力されるインターレース画像信号を夫
々フィールド毎に示すものであり、表記は図４に準ず
る。

【００６６】図１３は、フィールド構造からフレーム構
造へ遷移するとき、２フィールド繰り返し、フレーム構
造からフィールド構造へ遷移するとき、２フィールド間
引くようにした例を示すものである。この例では、フィ
ールド構造では、遅延は１フィールド以内に収めること
ができ、フレーム構造での遅延は、２フィールド以上と
増加するものの、両者の接続点であっても、フィールド
順が乱れないという特徴がある。

【００６７】一方、図１４は、フィールド構造からフレ
ーム構造へ遷移するとき、１フィールド繰り返し、フレ
ーム構造からフィールド構造へ遷移するとき、１フィー
ルド間引くようにした例を示すものである。この例で
は、フィールド構造では、遅延は１フィールドよりも小
さい値に収めることができ、フレーム構造での遅延は、
１フィールド以上と増加するものの、この値は従来手法
での遅延と同等である。

【００６８】図１５は本発明による動画像情報圧縮機能
をもつ信号処理方法及び装置の第３の実施形態を示すブ
ロック図であって、５０８は伸長開始可能時刻情報の出
力端子、６０１は制御手段であり、図１に対応する部分
には同一符号を付けて重複する説明を省略する。

【００６９】この第３の実施形態は、図１５において、
圧縮手段３０１に圧縮単位の先頭部が入力されてから平
滑化手段４０１から対応するデータが出力されるまでの
遅延時間を考慮して、圧縮手段３０１における発生符号
量の制御を行なう機能を有し、圧縮手段３０１に圧縮単
位の先頭部が入力されてから平滑化手段４０１から対応
するデータが出力されるまでの遅延時間が１圧縮単位時
間に満たない場合でも、途切れることなく、ビットスト
リームを出力し続ける機能を有することを特徴とし、ま
た、平滑化手段４０１から一定転送レートで出力される
ビットストリームを受信側で１圧縮単位分蓄積する前に
受信側で伸長を開始しても、連続伸長が保証されるよう
に、符号量制御を行なうととともに、伸長開始可能時刻
情報をデータトリーム中に挿入、または、端子５０８か
ら出力する機能を有することを特徴とする。

【００７０】図１６は図１５における制御手段６０１の
一具体例を示すブロック図であって、６１１はタイミン
グ算出手段、６１２はマクロブロック符号量配分算出手
段、６１３はマクロブロック符号化パラメータ算出手段
である。

【００７１】図１７はこの第３の実施形態に対する信号
処理装置の第３の従来例のブロック図を示すブロック図
であって、６０１’は制御手段であり、図１５に対応す
る部分には同一符号を付けている。また、図１８は図１
７における制御手段６０１’の一例を示すブロック図で
あって、図１６に対応する部分には同一符号を付けてい
る。

【００７２】この第３の実施形態では、図１５に示すよ
うに、入力端子１０１から入力される画像情報が圧縮単
位構成手段２０１でＭＰＥＧ２方式の定めるマクロブロ
ック順に変換され、圧縮手段３０１でＭＰＥＧ２方式の
定める符号に変換され、さらに、平滑化手段４０１で伝
送路の仕様に合わせたデータ転送レートに変換されて出
力端子５０１から出力される。

【００７３】平滑化手段４０１からビットストリームを
出力するタイミングは制御手段６０１が管理し、制御手
段６０１は、図１６において、圧縮手段３０１が画像圧
縮単位を構成するフィールド画像またはフレーム画像の
情報の最後の情報が入力される時刻以前も含めて、定め
られたタイミングで平滑化手段４０１からビットストリ
ームを出力する時刻をストリーム出力タイミング算出手
段６１１で算出し、平滑化手段４０１に指示する。

【００７４】また、制御手段６０１は、圧縮手段３０１
に圧縮単位の先頭部が入力されてから平滑化手段４０１
から対応するデータが出力されるまでの遅延時間を考慮
してマクロブロックの符号量配分をマクロブロック符号
配分算出手段６１２で算出し、さらに、これを基に各マ
クロブロックの符号化パラメータをマクロブロック符号
化パラメータ算出手段６１３で算出し、圧縮手段３０１
に指示する。また、必要に応じて、平滑化手段４０１か
ら一定転送レートで出力されるビットストリームを受信
側で１圧縮単位分蓄積する前に受信側で伸長を開始して
も、連続伸長が保証されるように、符号量制御を行なう
ととともに、伸長開始可能時刻情報をビットストリーム
中に挿入し、または、端子５０８から外部に出力する。

【００７５】これらの制御方法については後に説明する
が、マクロブロック符号化パラメータとしては、量子化
計数や符号化すべきＤＣＴ係数の次数，フィルタ処理な
どがある。

【００７６】一方、図１７及び図１８に示す第３の従来
例では、制御手段６０１’におけるマクロブロックの符
号配分算出手段６１２は平滑化手段４０１の出力タイミ
ングを考慮せずに符号量配分を決定し、圧縮手段３０１
にマクロブロックの符号化パラメータを指示する。

【００７７】次に、第３の実施形態と第３の従来例での
制御の例について、図１９を用いて説明する。

【００７８】図１９は第３の実施形態及び第３の従来例
での圧縮手段３０１から出力される符号量の累計例と、
平滑化手段４０１から出力される符号量の累計例とを示
しており、横軸に時間を、縦軸に発生符号量の累計を夫
々とっている。ここで、時間の単位は圧縮単位（フィー
ルドまたはフレーム）の時間をＴとして表現し、横軸
（時間軸）の原点は最初の圧縮単位が圧縮手段３０１に
入力された時点としている。圧縮処理に伴う遅延は無視
できるほど小さい。また、発生符号量の累計は、１圧縮
単位当たりの平均割り当て符号量をＢと表現している。

【００７９】同図において、第３の従来例での平滑化手
段４０１（図１７）からの出力累計例９０３は、時刻Ｔ
から出力を開始する例を示している。この条件は、最初
の圧縮単位の圧縮手段３０１への入力が完了した時点で
平滑化手段４０１からの出力を開始することにほぼ等し
い。

【００８０】一方、この第３の実施形態での平滑化手段
４０１（図１５）からの出力累計例曲線９０４は、時刻
ｙＴ（但し、０≦ｙ＜１）から開始する例を示してい
る。この条件は、最初の圧縮単位の圧縮手段３０１（図
１５）への画像入力が完了する以前に、平滑化手段４０
１からの出力を開始することを表している。出力累計例
曲線９０４は次式で表わすことができる。

【００８１】 ｂ(ｔ)＝(ｔ/Ｔ−ｙ)Ｂ ……(１) 但し、ｔ＞ｙＴ。

【００８２】また、図１９において、曲線９０５は、受
信側での伸長開始可能時刻を０とした場合の平滑化手段
４０１からの出力累計を表わす。つまり、伸長開始可能
時刻は、符号到着後ｚＴ時間経過した時刻であることを
意味する。

【００８３】また、図１９において、曲線９０１は、上
記第３の従来例での圧縮手段３０１（図１７）から出力
される符号量の累計の例を表している。この例では、１
圧縮単位毎に符号量割り当てを決め、各圧縮単位内での
符号量割り当ては平滑化手段４０１（図１７）からビッ
トストリームが出力されるタイミングに無関係に設定さ
れる例である。つまり、図１９において、(ｔ，ｂ)＝
(Ｔ，Ｂ)，(２Ｔ，２Ｂ)，……の点を通過するように制
御を行なった例である。これらの点の間を結ぶ曲線がど
のような軌跡を辿るかは、入力される画像の性質によっ
て変化する。

【００８４】この曲線９０１は、曲線９０３よりは常時
上にあるが、曲線９０４より上にあるとは限らない。こ
のことは、この第３の従来例によるレート制御では、最
初の圧縮単位の圧縮手段３０１（図１７）への画像入力
が完了する以前に平滑化手段４０１（図１７）からの出
力を開始すると、途中で平滑化バッファがアンダーフロ
ーを起こす可能性があることを示している。

【００８５】また、曲線９０１は、曲線９０５より常時
下にあるとは限らない。このことは、伸長手段がこの符
号の先頭を受信後ｚＴ時刻経過した時点で伸長を開始す
ると、伸長途中で符号量の不足が生じることを意味す
る。上記文献２に示す従来例のように、圧縮単位内を複
数のブロックに分割し、夫々に対して符号量を定めたと
しても、その符号量が平滑化バッファからのビットスト
リームの出力タイミングｙＴや圧縮単位伸長開始可能時
刻ｚＴを反映した値でない限り、平滑化バッファのアン
ダーフロー、または、受信側のデータ不足が生じる可能
性がある。

【００８６】一方、図１９の曲線９０２は、この第３の
実施形態での圧縮手段３０１（図１５）から出力される
符号量の累計の例を表わしている。この例では、１圧縮
単位毎に符号量割り当てを決め、さらに、各圧縮単位内
での発生符号量推移の下限を平滑化手段４０１（図１
５）からの出力タイミング及び伸長手段側の圧縮単位伸
長開始可能時刻を考慮して符号量制御を行なった例であ
る。

【００８７】この例では、各圧縮単位の符号量が次式を
満足するように、発生符号量の制御を行なっている。 ｂ(ｔ)＞(ｔ/Ｔ−ｙ)Ｂ ……(２) ｂ(ｔ)＜(ｔ/Ｔ＋ｚ)Ｂ ……(３)。

【００８８】このような制御を行なうことにより、曲線
９０２は、図１９中メッシュで表わした領域内に制御さ
れる。この領域では、曲線９０４よりも常時上にあり、
かつ曲線９０５よりも常時下にあることが保証される。
そのため、このような符号量制御を行なって生成したビ
ットストリームは、圧縮単位の先頭部が圧縮手段３０１
（図１５）に入力されてからｙＴ時間後には、平滑化バ
ッファからの出力を開始することが可能である。このこ
とは、圧縮単位の最後がこの圧縮手段３０１に入力され
る以前にこの圧縮単位の情報を平滑化バッファから出力
しても、途切れることなく、ビットストリームを出力し
続けることが可能であることを示している。また、伸長
器側では、圧縮単位の先頭部を受信後ｚＴ時刻経過後に
は、伸長処理を開始することが可能である。

【００８９】図２０は図１９から導出されるこの第３の
実施形態の各ブロックの入出力タイミングを示す図であ
って、８１１は圧縮手段３０１（図１５）の入力画像信
号、８１２は平滑化手段４０１（図１５）の出力ビット
ストリームであり、図中の表記は図４の例と同等であ
る。

【００９０】同図において、この第３の本実施形態で
は、圧縮手段３０１での画像信号８１１が入力開始して
から平滑化手段４０１からビットストリーム８１２が出
力開始されるまでの遅延は、上記式２におけるｙＴであ
り、圧縮単位時間Ｔよりも短い遅延時間にすることが可
能である。

【００９１】一方、図２１は図１９から導出されるこの
第３の従来例の各ブロックの入出力タイミングを示す図
であって、図中の表記は図２０，図４の例と同等であ
る。

【００９２】同図において、この第３の従来例では、圧
縮手段３０１（図１７）での画像信号８１１が入力開始
してから平滑化手段４０１（図１７）からビットストリ
ーム８１２が出力開始されるまでの遅延は、圧縮単位時
間Ｔよりも長い遅延時間となる。

【００９３】図２２は本発明による動画像情報伸長機能
をもつ信号処理方法及び装置の第４の実施形態を示すブ
ロック図であって、４３１は符号記憶手段、４３２はア
ドレス生成手段、４３３は伸長開始可能時刻情報復元手
段、４３４は選択手段、５０９は伸長開始可能時刻情報
の入力端子であり、図７に対応する部分には同一符号を
付けて重複する説明を省略する。

【００９４】この第４の実施形態は、外部から入力され
る、または、ビットストリーム中に含まれている圧縮単
位伸長開始可能時刻情報を基に、従来よりも少ない遅延
時間で伸長処理を開始することを可能としたものであ
る。

【００９５】図２２において、所定の転送速度で転送さ
れた動画像圧縮符号信号が入力端子５０２から入力さ
れ、データ転送レート変換手段４０２において、符号記
憶手段４３１に記憶される。この信号は、圧縮単位の先
頭データが入力されてから所定時刻経過後、伸長手段３
０２でＭＰＥＧ２方式に定める伸長手順で伸長され、イ
ンターレース画像構成手段２０２でインターレース画像
に構成されて出力端子１０２から出力される。

【００９６】符号記憶手段４３１から圧縮単位の先頭デ
ータを読み出すタイミングは、ビットストリーム中に含
まれた伸長開始可能時刻情報を基に決定する。この情報
は、図１５〜図１９を用いて説明した第３の実施形態の
信号処理装置によって生成される圧縮単位伸長開始可能
時刻情報であり、上記式３中のｚＴに相当する。

【００９７】この情報がビットストリーム中のユーザデ
ータに含まれている場合には、圧縮単位伸長開始可能時
刻情報復元手段４３３でこれが復元処理され、外部から
入力される場合には、入力端子５０９から入力されるも
のを用いる。両者のうちの適切な情報を選択手段４３４
で選択し、アドレス生成手段４３２に供給する。アドレ
ス生成手段４３２では、圧縮単位の先頭データが入力さ
れてからｚＴ時間経過した時点でこの圧縮単位の先頭デ
ータが伸長手段３０２に送られ、その後は、伸長手段３
０２で必要とする分だけのデータが送られるように、ア
ドレスを発生する。このｚＴ時間は、Ｔよりも短くする
ことが可能であるため、画像圧縮単位を圧縮した情報の
最後の情報が転送レート変換手段４０２に入力される前
に、この画像圧縮単位を伸長した結果得られる画像情報
の先頭部を伸長手段３０２から出力することが可能とな
る。

【００９８】図２３はこの第４の実施形態に対する動画
像情報伸長機能をもつ信号処理装置の第４の従来例を示
すブロック図であって、４０２’はデータ転送レート変
換手段であり、図２２に対応する部分には同一符号を付
けている。

【００９９】上記第４の実施形態は、この第４の従来例
に対して、転送レート変換手段４０２を転送レート変換
手段４０２’に圧縮単位伸長開始可能時刻情報を基に伸
長開始時刻を決定する機能を付加した信号処理装置であ
る。

【０１００】この第４の従来例は、図２３に示すよう
に、圧縮単位伸長開始可能時刻情報から圧縮単位伸長開
始時刻を算出する機能を持たないため、画像圧縮単位を
圧縮した情報の最後の情報が転送レート変換手段４０
２’に入力された時点で伸長処理を開始せざるを得ず、
この画像圧縮単位を伸長した結果得られる画像情報の先
頭部を伸長手段３０２’に出力することはできない。つ
まり、上記第４の実施形態は、この第４の従来例よりも
低遅延で圧縮データを伸長することが可能となる。

【０１０１】図２４はこの第４の実施形態の各ブロック
での入出力タイミングを示す図であって、８７１はデー
タ転送レート変換手段４０２（図２２）の入力圧縮情
報、８７２は同じく出力であり、図中の表記は図４の例
と同等である。

【０１０２】同図において、この第４の実施形態では、
データ転送レート変換手段４０２への圧縮情報８７１の
入力が開始されてからこのデータ転送レート変換手段４
０２から圧縮情報８７２が出力開始されるまでの遅延
は、上記式３における時間ｚＴであり、圧縮単位時間Ｔ
よりも短い遅延時間にすることが可能である。図１９か
らも明らかなように、この遅延時間でも、伸長途中でデ
ータ不足が生じることなく伸長できるように、圧縮単位
内の符号量制御がなされている。

【０１０３】一方、図２５は第４の従来例の各ブロック
での入出力タイミングを示す図であって、図中の表記は
図２４，図４の例と同等である。

【０１０４】同図において、この第４の従来例では、デ
ータ転送レート変換手段４０２’（図２３）への圧縮情
報８７１が入力開始されてからこのデータ転送レート変
換手段４０２’から圧縮情報８７２が出力開始されるま
での遅延は、圧縮単位時間．Ｔよりも長い遅延時間とな
る。

【０１０５】図２６は本発明による動画像情報圧縮機能
をもつ信号処理方法及び装置の第５の実施形態のブロッ
ク図であって、前出図面に対応する部分には同一符号を
付けて重複する説明を省略する。また、図２７は図２６
における圧縮手段３０１の一具体例を示すブロック図で
あって、３１１は主圧縮手段、３２１はtemporalrefere
nce（テンポラル・リファレンス）計数手段、３２２はte
mporal reference指示手段、３２３はスキップ手段、
３２４は符号量計数手段である。

【０１０６】この第５の実施形態は、ＭＰＥＧ２方式で
定められたスキップピクチャが発生した場合、スキップ
によって確保した余剰符号量をピクチャ間で最適に配分
することを可能とするものである。

【０１０７】この第５の実施形態では、入力端子１０１
から入力される画像情報を、圧縮単位構成手段２０１で
ＭＰＥＧ２方式の定めるマクロブロック順に変換し、圧
縮手段３０１でＭＰＥＧ２方式の定める符号に変換し、
さらに、平滑化手段４０１で伝送路の仕様に合わせたデ
ータ転送レートに変換して出力端子５０１から出力す
る。

【０１０８】ＭＰＥＧ２方式では、各圧縮単位に“temp
oral reference”と呼ばれるフレーム番号を付加して圧
縮情報を生成する。そのため、圧縮手段３０１内に、図
２７に示すように、temporal reference計数手段３２１
を設け、ここで計数されたtemporal referenceをtempor
al reference指示手段３２２を通じて主圧縮手段３１１
に伝達する。temporal reference指示手段３２２は、通
常の動作では、temporal reference計数手段３２１の値
をそのまま主圧縮手段３１１に伝達する。圧縮手段３０
１による圧縮の結果得られた符号量を符号量計数手段３
２４で計数し、これによってＭＰＥＧ２方式の定める大
画像が発生したと判定された場合には、スキップ指示手
段３２３でスキップすべきピクチャを決定して主圧縮手
段３１１に指示する。また、大画像後の数フレームのte
mporal referenceを必要に応じて設定するために、temp
oral reference指示手段３２２に所定の指示を行なう。

【０１０９】なお、この第５の実施形態における大画像
後の数フレームのtemporal referenceの設定方法につい
ては、後述する。

【０１１０】図２８はこの第５の実施形態に対する動画
像情報圧縮機能をもつ信号処理装置の第５の従来例での
圧縮手段３０１’の構成を示すブロック図であって、図
２７に対応する部分には同一符号を付けている。

【０１１１】同図において、この第５の従来例では、圧
縮手段３０１’による圧縮の結果得られた符号量を符号
量計数手段３２４で計数し、ＭＰＥＧ２方式の定める大
画像が発生したと判定された場合には、スキップ指示手
段３２３で大画像に続く必要フィールド数スキップする
ことを決定して主圧縮手段３１１に指示する。

【０１１２】この第５の従来例では、大画像後であって
も、ＭＰＥＧ２方式の定める通り、temporal reference
の値はtemporal reference計数手段３２１の値をそのま
ま用いる。

【０１１３】図２９は図２６及び図２７に示した第５の
実施形態の各ブロックの入出力及び処理タイミングの一
例を示す図であり、また、図３０はこの第５の従来例の
各ブロックの入出力及び処理タイミングの一例を示す図
である。これら図面中、“Ｆrm”に続く数字はフレーム
番号を表わし、Ｆldに続く数字はフィールド番号を表わ
し、“Ref”に続く数字はＭＰＥＧ２方式の定めるtempo
ral referenceを表わす。なお、temporal referenceは
フレーム単位で増加する。また、８２１は圧縮単位構成
手段２０１から圧縮手段３０１，３０１’へ送られるマ
クロブロック信号のタイミングをフィールド単位で表わ
し、８２２は圧縮手段３０１，３０１’で圧縮処理が行
なわれて平滑化手段４０１にビットストリームが送られ
るタイミングをフィールド単位で表わし、８２３は平滑
化手段４０１からビットストリームが出力されるタイミ
ングをフィールド単位で表わし、８２４はピクチャスキ
ップにより生じた余剰転送期間を表わしている。

【０１１４】ここでは、先に説明した第３の実施形態と
の併用は行なわず、平滑化手段４０１の出力８２３は、
圧縮手段３０１，３０１’の出力８２２が完了したフィ
ールドのビットストリームのみを出力する例を説明して
いる。また、フレームＦrm１中のフィールドＦld１を大
画像としており、このフィールドは、他のフィールドに
較べて、平滑化手段４０１の出力８２３に占める時間が
長い。

【０１１５】図３１はこの第５の実施形態の図２９に示
す動作をなす圧縮時と再生時の参照画像との時間間隔及
び走査線位置ずれを模式的に表わす図、図３２はこの第
５の従来例の図３０に示した動作をなす圧縮時と再生時
の参照画像との時間間隔及び走査線位置ずれを模式的に
表わす図であり、これらにおいて、各丸はフィールドを
表わしており、横軸はフィールド間の時間間隔を、縦軸
はフィールド間の走査線位置ずれを夫々表わしている。
また、“Ref”，“Ｆrm”，“Ｆld”は図２９及び図３
０の同じ符号に対応し、“Skip”は圧縮処理を行なわな
いフィールドを表わし、“repeat”はSkipにより欠落し
たフィールドの再生位置を表わし、さらに、図中の矢印
はＭＰＥＧ２方式の定める前方予測のための参照関係を
表わしている。また、repaｔのフィールドは、前回の同
じフィールド側の再生画像を繰り返し出力することが規
定されている。

【０１１６】図３０に示した第５の従来例の動作では、
大画像(フレームＦrm１中のフィールドＦld１)直後の画
像を２フィールド(フレームＦrm１中のフィールドＦld
２とフレームＦrm２中のフィールドＦld１)スキップ
し、引き続く画像(フレームＦrm２中のフィールドＦld
２)から圧縮処理を再開する。ＭＰＥＧ２方式では、特
殊な場合を除き、２フィールド単位でスキップを行な
う。

【０１１７】ところで、フレームＦrm１中のフィールド
Ｆld１がこのフレーム中前半フィールドであって、ＭＰ
ＥＧ２方式が定めるＩピクチャであり、フレームＦrm２
中のフィールドＦld２がこのフレーム中後半フィールド
でＭＰＥＧ２方式が定めるＰピクチャである場合、フレ
ームＦrm２中のフィールドＦld２はフレームＦrm１中の
フィールドＦld１のみを参照することが規定されてい
る。

【０１１８】これによると、フレームＦrm２中のフィー
ルドＦld２はフレームＦrm１中のフィールドＦld１から
時間的に距離が離れている上、走査線位置が異なるた
め、参照画像との差分が大きいことが多い。そのため、
圧縮効率が低下し、同じ符号量配分では画質が劣化する
可能性がある。

【０１１９】しかしながら、フレームＦrm２中のフィー
ルドＦld２の圧縮処理が終了した時点でスキップによる
余剰転送区間が終了してしまうため、余剰転送区間をフ
レームＦrm２中のフィールドＦld２に割り当てることは
できない。そのため、フレームＦrm２中のフィールドＦ
ld２の画質が劣化し、これを参照する後続の画像の画質
の劣化も招くことになる。

【０１２０】一方、図２９に示した第５の実施形態の動
作では、大画像（フレームＦrm１中のフィールドＦld
１)直後の１フィールド(フレームＦrm１中のフィールド
Ｆld２)はスキップせずに圧縮を行ない、それに続く２
フィールド(フレームＦrm２中のフィールドＦld１，フ
レームＦrm２中のフィールドＦld２)をスキップし、引
き続く画像(フレームＦrm３中のフィールドＦld１)から
圧縮処理を再開する。但し、ＭＰＥＧ２方式では、temp
oral referenceの不連続によって大画像の存在を示すた
め、フレームＦrm１中のフィールドＦld２に対するtemp
oral referenceは２とする。

【０１２１】フレームＦrm１中のフィールドＦld１がこ
のフレーム中の前半フィールドでＭＰＥＧ２方式が定め
るＩピクチャであり、フレームＦrm１中のフィールドＦ
ld２がこのフレーム中の後半フィールドでＭＰＥＧ２方
式が定めるＰピクチャである場合、フレームＦrm１中の
フィールドＦld２はフレームＦrm１中のフィールドＦld
１のみを参照することが規定されている。この第５の実
施形態では、スキップ後に伝送されるフレームＦrm１中
のフィールドＦld２はフレームＦrm１中のフィールドＦ
ld１から時間的距離が離れていないため、上記第５の従
来例の場合よりも参照誤差が小さくなり、圧縮効率が向
上する。

【０１２２】また、フレームＦrm１中のフィールドＦld
２の圧縮処理が終了してからビットストリーム出力を開
始するまでに時間余裕があるので、スキップにより生じ
た余剰期間を、フレームＦrm１中のフィールドＦld１の
みならず、フレームＦrm１中のフィールドＦld２にも割
り当てることが可能であり、両者の符号量配分を最適に
行なうことにより、画質劣化の少ない再生画像を得るこ
とができる。

【０１２３】また、図３１に示した第５の実施形態での
フレームＦrm３中のフィールドＦld１，フレームＦrm３
中のフィールドＦld２は、図３２に示した第５の従来例
に比較して、参照画像との時間距離が遠いが、これらの
画像は２枚の画像を参照画像とすることができるため、
第５の従来例でのフレームＦrm２中のフィールドＦld２
よりも効率良く参照を行なうことができる。

【０１２４】図３３はこの第５の実施形態の各ブロック
の入出力及び処理タイミングの他の例を、また、図３４
はこの第５の従来例の各ブロックの入出力及び処理タイ
ミングの他の例を夫々示す図であって、これらでの表記
は図２９及び図３０と同等である。

【０１２５】また、図３５はこの第５の実施形態に対応
する圧縮時及び再生時の参照画像との時間間隔及び走査
線位置ずれを模式的に表わす図、図３６はこの第５の従
来例に対応する圧縮時及び再生時の参照画像との時間間
隔及び走査線位置ずれを模式的に表わした図であって、
これらでの表記は図３１及び図３２と同等である。

【０１２６】この例は、フレームＦrm１中のフィールド
Ｆld１とフレームＦrm２中のフィールドＦld２の両方が
大画像であり、スキップピクチャを生じる例である。こ
の例では、フレームＦrm１中のフィールドＦld１とフレ
ームＦrm２中のフィールドＦld２はＩピクチャとして圧
縮され、他の画像はＰピクチャとして圧縮されるものと
する。

【０１２７】第５の従来例では、図３４及び図３６に示
すように、フレームＦrm１中のフィールドＦld１とフレ
ームＦrm２中のフィールドＦld２の夫々の後にスキップ
が発生している。その結果、スキップ後の画像（フレー
ムＦrm４中のフィールドＦld１)は、３フレーム前の画
像であるフレームＦrm１中のフィールドＦld１と２フレ
ーム前の走査線位置が異なる画像であるフレームＦrm２
中のフィールドＦld２とを参照しなければならず、圧縮
効率が低下する。しかも、フレームＦrm４中のフィール
ドＦld１の圧縮処理が終了した時点でスキップによる余
剰転送区間が終了してしまうため、余剰転送区間をフレ
ームＦrm４中のフィールドＦld１に割り当てることはで
きず、そのため、フレームＦrm４中のフィールドＦld１
の画像の画質が劣化し、これを参照する後続のピクチャ
も画質画劣化する。

【０１２８】これに対し、この第５の実施形態では、図
３３及び図３５に示すように、フレームＦrm１中のフィ
ールドＦld１に対しては、直後の２フィールドをスキッ
プしているが、フレームＦrm２中のフィールドＦld２に
関しては、直後の１フィールド(Ｆrm３中のフィールド
Ｆld１)はスキップせずに圧縮を行ない、それに続く２
フィールド(フレームＦrm３中のフィールドＦld２とフ
レームＦrm４中のフィールドＦld１)をスキップし、引
き続く画像(フレームＦrm４中のフィールドＦld２)から
圧縮処理を再開する。但し、ＭＰＥＧ２方式では、temp
oral referenceの不連続によって大画像の存在を示すた
め、フレームＦrm３中のフィールドＦld１に対するtemp
oral referenceは４とする。

【０１２９】このような構成とすることにより、従来例
で発生していた３フレーム前の参照が生じなくなり、参
照効率が向上する。

【０１３０】以上、本発明の実施形態について説明した
が、これら実施形態は、互いに相反するものではなく、
夫々を組み合わせて遅延，画質劣化のより少ない信号処
理装置を構成することも可能である。

【０１３１】

【発明の効果】以上説明したように、本発明によれば、
圧縮単位をフィールド画のみに限定し、フレーム構成に
伴う遅延時間をなくし、圧縮単位であるフィールド画像
情報の最後の情報が圧縮単位構成手段に入力される前
に、このフィールドからなる画像圧縮単位の先頭部を圧
縮単位構成手段から出力することが可能となるから、圧
縮単位を構成することに伴う遅延時間を低減させること
ができる。

【０１３２】

【０１３３】

【０１３４】さらに、本発明によれば、所定の圧縮単位
の集合が全てフィールド構造であることを示すフラグを
ビットストリーム中または外部出力として出力し、伸長
時、このフラグがフィールド構造のみであることを示し
ている集合体は、遅延を伴うことなく、インターレース
変換が可能であるために、伸長時にフレーム構造をイン
ターレース画像に変換することに伴う遅延を低減させる
ことができる。また、フレーム構造を含む場合であって
も、フィールド構造区間ではインターレース変換に伴う
遅延を削減し、フレーム構造期間ではインターレース変
換に伴う遅延を付加し、両者の境界では適切にフィール
ドの繰り返しまたは間引きを行なうことにより、フィー
ルド構造区間での遅延を低減させることが可能となる。

【０１３５】

【図面の簡単な説明】

【図１】図１は本発明による動画像情報圧縮機能をもつ
信号処理方法及び装置の第１の実施形態を示すブロック
図である。

【図２】図１における圧縮単位構成手段の一具体例を示
すブロック図である。

【図３】第１の従来例での動作を示すタイミング図であ
る。

【図４】図１に示した第１の実施形態の動作を示すタイ
ミング図である。

【図５】図１に示した第１の実施形態に対する第１の従
来例を示すブロック図である。

【図６】図５における圧縮単位構成手段の一例を示すブ
ロック図である。

【図７】本発明による動画像情報伸長機能をもつ信号処
理方法及び装置の第２の実施形態を示すブロック図であ
る。

【図８】図７でのインターレース画像構成手段の一具体
例を示すブロック図である。

【図９】図７に示した第２の実施形態に対する第２の従
来例を示すブロック図である。

【図１０】図９でのインターレース画像構成手段の一例
を示すブロック図である。

【図１１】図７に示した第２の実施形態の動作を示すタ
イミング図である。

【図１２】図９に示した第２の従来例の動作を示すタイ
ミング図である。

【図１３】図７に示した第２の実施形態の他の動作を示
すタイミング図である。

【図１４】図７に示した第２の実施形態のさらに他の動
作を示すタイミング図である。

【図１５】本発明による動画像情報圧縮機能をもつ信号
処理方法及び装置の第３の実施形態を示すブロック図で
ある。

【図１６】図１５における制御手段の一具体例を示すブ
ロック図である。

【図１７】図１５に示した第３の実施形態に対する第３
の従来例を示すブロック図である。

【図１８】図１７における制御手段の一例を示すブロッ
ク図である。

【図１９】図１５に示した第３の実施形態と図１７に示
した第３の従来例での制御による符号量遷移を示す図で
ある。

【図２０】図１５に示した第３の実施形態の動作を示す
タイミング図である。

【図２１】図１７に示した第３の従来例の動作を示すタ
イミング図である。

【図２２】本発明による動画像情報伸長機能をもつ信号
処理方法及び装置の第４の実施形態を示すブロック図で
ある。

【図２３】図２２に示した第４の実施形態に対応する第
４の従来例を示すブロック図である。

【図２４】図２２に示した第４の実施形態の動作を示す
タイミング図である。

【図２５】図２３に示した第４の従来例の動作を示すタ
イミング図である。

【図２６】本発明による動画像情報圧縮機能をもつ信号
処理方法及び装置の第５の実施形態のブロック図であ
る。

【図２７】図２６における圧縮手段の一具体例を示すブ
ロック図である。

【図２８】図２７に示した第５の実施形態に対応する第
５の従来例の圧縮手段を示すブロック図である。

【図２９】図２６に示した第５の実施形態の動作を示す
タイミング図である。

【図３０】図２８に示した第５の従来例の動作を示すタ
イミング図である。

【図３１】図２６に示した第５の実施形態のピクチャ参
照関係を示す図である。

【図３２】図２８に示した第５の従来例のピクチャ参照
関係を示す図である。

【図３３】図２６に示した第５の実施形態の他の動作を
示すタイミング図である。

【図３４】図２８に示した第５の従来例の他の動作を示
すタイミング図である。

【図３５】図２６に示した第５の実施形態の他のピクチ
ャ参照関係を示す図である。

【図３６】図２８に示した第５の従来例の他のピクチャ
参照関係を示す図である。

【図３７】インターレース画像の画素転送順序を示す図
である。

【符号の説明】

１０１ 動画像信号の入力端子 １０２ 画像信号の出力端子 ２０１ 圧縮単位構成手段 ２０２ インターレース画像構成手段 ３０１ 圧縮手段 ３０２ 伸長手段 ４０１ 平滑化手段 ４０２ データ転送レート変換手段 ５０１ 圧縮信号の出力端子 ５０２ 圧縮信号の入力端子 ５０６ フィールド構造フラグの出力端子 ５０７ フィールド構造フラグの入力端子 ５０８ 伸長開始可能時刻情報の出力端子 ５０９ 伸長開始可能時刻情報の入力端子 ６０１ 制御手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 将 神奈川県横浜市戸塚区吉田町292番地 株式会社 日立製作所 マルチメディア システム開発本部内 (56)参考文献 特開 平６−197273（ＪＰ，Ａ) ＭＰＥＧ２符号化方式におけるフィー ルド／フレーム構造，電子情報通信学会 技術研究報告，1993年 ４月26日，93 ／20，ｐ．１−６ 藤原，最新ＭＰＥＧ教科書，日本, 1994年 ８月 １日，159 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 インターレース画像である動画像信号を
   フレームまたはフィールド毎の画像圧縮単位に構成し直
   して圧縮し圧縮信号を生成する信号処理方法において、動画像信号に対し１フィールド期間以上遅延処理した後
   にマクロブロックを構成する通常遅延動作、または、動
   画像信号に対し遅延処理を行なわずにマクロブロックを
   構成する低遅延動作の何れか一方を選択し、 所定の集合をなす画像圧縮単位を全てフィールドからな
   るフィールド構造で圧縮する場合に、該低遅延動作を選
   択して、所定の集合をなす該画像圧縮単位が全てフィー
   ルドからなるフィールド構造であることを示す情報を該
   圧縮信号に付加し、 該通常遅延動作または該低遅延動作により構成されたマ
   クロブロックの圧縮処理を行なう ことを特徴とする信号
   処理方法。
2. 【請求項２】 インターレース画像である動画像信号を
   フレームまたはフィールド毎の画像圧縮単位に構成し直
   して圧縮された圧縮信号を伸長する信号処理方法におい
   て、 該圧縮信号を伸長することでフレームまたはフィールド
   構成の伸長画像を生成し、 該伸長画像に対し１フィールド期間以上遅延処理した後
   に画像出力する通常遅延動作、または、該伸長画像に対
   し遅延処理を行なわずに画像出力する低遅延動作の何れ
   か一方を選択して、伸長画像の出力を行ない、 該圧縮信号には、所定の集合をなす画像圧縮単位の構造
   を示す情報が付加されており、該情報が、所定の集合を
   なす画像圧縮単位が全てフィールドからなるフィールド
   構造であることを示す情報であった場合に、該低遅延動
   作を選択する ことを特徴とする信号処理方法。
3. 【請求項３】 インターレース画像である動画像信号を
   フレームまたはフィールド毎の画像圧縮単位の画像情報
   に構成し直す圧縮単位構成手段と、 前記圧縮単位構成手段からの前記画像圧縮単位の画像情
   報を圧縮して圧縮信号を生成する圧縮手段と を備え、 前記圧縮単位構成手段は、 前記動画像信号に対し１フィールド期間以上遅延処理を
   行なう遅延手段と、 １フィールド期間以上遅延処理を行なった動画像信号、
   または、遅延処理を 行なわない動画像信号の何れか一方
   を選択して出力する切替手段と、 該切替手段から出力される動画像信号からマクロブロッ
   クを構成するマクロブロック構成手段と、 からなり、 所定の集合をなす画像圧縮単位を全てフィールドからな
   るフィールド構造で圧縮する場合に、該切替手段が、該
   遅延処理を行なわない動画像信号を選択して出力すると
   ともに、所定の集合をなす画像圧縮単位が全てフィール
   ドからなるフィールド構造であることを示す情報を圧縮
   信号に付加することを特徴とする信号処理装置。
4. 【請求項４】 インターレース画像である動画像信号を
   フレームまたはフィールド毎の圧縮単位に構成し直して
   圧縮された圧縮信号を伸長処理する伸長手段と、 該伸長手段で伸長された画像情報をインターレース画像
   に構成し直す画像構成手段と を備え、 該画像構成手段は、 該伸長されたインターレース画像に対し１フィールド期
   間以上遅延処理を行 なう遅延手段と、 １フィールド期間以上遅延処理を行ったインターレース
   画像、または、遅延 処理を行なわないインターレース画
   像の何れか一方を選択して出力する切替 手段と、 からなり、 該圧縮信号には、所定の集合をなす画像圧縮単位の構造
   を示す情報が付加されており、 該情報が、所定の集合をなす画像圧縮単位が全てフィー
   ルドからなるフィール ド構造であることを示す情報であ
   った場合に、該切替手段が、該遅延処理を行なわないイ
   ンターレース画像を選択して出力することを特徴とする
   信号処理装置。