JPH08116539A

JPH08116539A - 動画像符号化装置と動画像符号化方法

Info

Publication number: JPH08116539A
Application number: JP25075194A
Authority: JP
Inventors: Noribumi Yanai; 則文箭内; Mariko Watanabe; 真理子渡辺; Yasushi Yokosuka; 靖横須賀; Kozo Nakamura; 浩三中村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-10-17
Filing date: 1994-10-17
Publication date: 1996-05-07

Abstract

(57)【要約】【目的】動画像符号化装置のフレームメモリ容量をよ
り小さくする。【構成】差分器10は入力信号S0と伸張器９０の出力す
る１フレーム前の伸張した画像信号S9との差分値を算出
して信号S１とし出力する。周波数変換器20はフレーム
間差分値を周波数成分に分解し、量子化器30は変換係数
の値の取り得る範囲を有限数に分割し分割したどの範囲
に変換係数が属するかを示すラベルを付ける。逆量子化
器40は付与されたラベルを変換係数の信号値に戻し、周
波数逆変換器50は変換係数を波形信号S5に戻す。加算器
60はこの波形信号と伸張した画像信号S9とを加算し局部
復号信号S6を出力する。圧縮器70は信号S６を圧縮して
フレームメモリ80に出力し、メモリ80は格納した圧縮信
号S7を１フレーム時間遅延させて信号S8として出力す
る。伸張器90は圧縮画像信号S8を伸張し、１フレーム時
間前の伸張した画像信号S9として出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビジョン信号などの
動画像信号を圧縮する動画像符号化方法及びその装置に
係り、特に、フレームメモリ容量を小さくするのに好適
な動画像符号化方法及びその装置に関する。

【０００２】

【従来の技術】画像信号は音声信号に比較し膨大な情報
量を有するため、その伝送に当たっては、情報量の圧縮
が適用される。テレビジョン放送などで使用する動画像
は、１秒当たり３０枚程度のフレームと呼ばれるコマか
らなる。伝送する画像信号が動画像の場合、現在伝送し
ようとするフレームの信号値と、１フレーム前の信号値
との変化分を伝送するフレーム間符号化が、圧縮率の点
で優れている。

【０００３】フレームメモリの記憶容量に関して数値を
挙げると、ITU-T（旧CCITT）規格のH.261（p x 64kb/s
オーディオビジュアルサービス用ビデオ符号化方式）で
は、１フレームの画像信号の蓄積が必要であり、およ
そ、360（水平画素数）× 280（垂直画素数）× 1.5
（輝度信号Y：色差信号C1：色差信号C2＝1.0：0.25：0.
25）＝ 150 kBytes、ISO規格のMPEG （蓄積用動画像符
号化方式）では２フレームの画像信号の蓄積が必要であ
り、約360 × 280 × 1.5 × 2 ＝ 300 kBytes、現在勧
告化の急がれるMPEG２で高精細テレビジョン信号(HDTV)
を圧縮する場合、約1920 × 1035 × 1.5 × 2 ＝ 6 MB
ytes の大きさになる。

【０００４】動画像符号化装置のシステムでは、フレー
ム間符号化の為の差分値を算出するためのフレームメモ
リの他に、種々の使われ方をするフレームメモリが搭載
される。特開平２-２９６４８４号公報に記載の装置
は、フレーム内符号化装置の画質改善のために、圧縮時
の雑音成分を１フレーム分蓄積するフレームメモリを持
つ。また、特開平３-２１１９８５号公報に記載の装置
は、テレビ電話の保留信号として、１フレーム分蓄積す
るフレームメモリを持つ。

【０００５】

【発明が解決しようとする課題】テレビ電話等の動画を
伝送するシステムの一般への普及を図るには、製造コス
トの低減や装置の小型化を図る必要がある。そのため、
動画像符号化装置のコスト増，スペース増の要因となる
フレームメモリの容量を低減しなければならない。しか
し、上述した従来の動画像符号化装置は、フレーム間符
号化の為の差分値を算出するためのフレームメモリの記
憶容量を縮小するものではない。

【０００６】本発明の目的は、フレームメモリ容量をよ
り小さくし得る動画像符号化方法及びその装置を提供す
ることにある。

【０００７】

【課題を解決するための手段】上記目的は、フレーム間
符号化の為の差分値を算出するためのフレームメモリの
前段で画像信号を圧縮手段で圧縮し、フレームメモリか
ら読み出された画像信号を伸張手段で伸張することで、
達成される。

【０００８】

【作用】圧縮手段はフレームメモリに画像信号を入力す
る前に圧縮し、画像信号の情報量を小さくしてからフレ
ームメモリに入力する。そのため、従来のフレーム間符
号化を用いた動画像符号化装置に比べ、フレームメモリ
の容量を削減できる。

【０００９】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は、本発明の一実施例に係る動画像符号化
装置の構成図である。１０は差分器、２０は周波数変換
器、３０は量子化器、４０は逆量子化器、５０は周波数
逆変換器、６０は加算器、７０は圧縮器、８０はフレー
ムメモリ、９０は伸張器である。また、S０は入力信
号、S１は差分器１０の出力信号、S３は量子化器３０の
出力信号、S５は周波数逆変換器５０の出力信号、S６は
局部復号信号、S７は圧縮した局部復号信号、S８はフレ
ームメモリ８０の出力する圧縮した画像信号、S９は伸
張した１フレーム時間前の画像信号である。

【００１０】差分器１０は、入力信号S０即ち現フレー
ムと、伸張器９０の出力する１フレーム前の伸張した画
像信号S９との差分値、即ち変化分を算出し、信号S１と
して出力する。周波数変換器２０は、フレーム間差分値
を周波数成分即ち変換係数に分解する。周波数変換方式
としては、例えば、離散コサイン変換（DCT:DiscreteCo
sine Transform）を採用する。量子化器３０は、周波数
変換した複数の変換係数のうち人間の視覚に目立ちにく
いものから省略すなわち変換係数を零とし、変換係数の
値の取り得る範囲を有限数に分割しておき、分割したど
の範囲に変換係数が属するかを示すラベルを付け、信号
S３として図示しないエントロピー符号化器に出力す
る。エントロピー符号化器に出力する前記フレーム間差
分値は、一般に零近辺の値の小さな部分に多く確率分布
するという冗長な信号である。エントロピー符号化器
は、この性質を用いて、具体的にはハフマン符号化やラ
ンレングス符号化により画像信号の符号長の圧縮を行
う。

【００１１】逆量子化器４０は、量子化器３０にて付与
したラベルを変換係数の信号値に戻し、周波数逆変換器
５０は変換係数を波形信号に戻し、信号S５として出力
する。加算器６０は、この波形信号S５と、伸長器９０
で伸張した画像信号S９とを加算し、局部復号信号S６を
出力する。圧縮器７０は、局部復号信号S６を圧縮し、
圧縮した局部復号信号S７をフレームメモリ８０に出力
する。フレームメモリ８０は、圧縮された局部復号信号
S７を１フレーム時間遅延させてから、信号S８として出
力する。伸張器９０は圧縮された画像信号S８を伸張
し、１フレーム時間前の伸張した画像信号S９として出
力する。このように、フレームメモリ８０の前段に圧縮
器７０を設けることで、圧縮しない場合に比べ少ない容
量のフレームメモリでフレーム間符号化が実現できる。

【００１２】尚、本発明は、周波数変換を用いるフレー
ム間符号化に限定されるものではなく、基本的に現在の
画素信号と１フレーム時間前の信号とを比較するフレー
ム間符号化方式であればいずれにも適用できる。

【００１３】図２は、図１に示す圧縮器７０の詳細構成
図である。７１は差分器、７５は例えばDタイプ-フリッ
プ・フロップといった１画素時間の遅延素子、７６はハ
フマン符号化器である。また、S６は局部復号信号、S７
は圧縮した局部復号信号である。

【００１４】図２に示される圧縮器７０は、量子化器を
持たず、圧縮した符号が必ず元の画像信号に復元される
という可逆符号化を実行するものである。差分器７１は
局部復号信号S６と、１画素時間の遅延素子７５で遅延
させた局部復号信号との差分値をとり、ハフマン符号化
器７６で符号長を圧縮する。

【００１５】図３は、図１に示す伸張器９０の詳細構成
図である。９１はハフマン復号化器、９３は加算器、９
４は例えばDタイプ-フリップ・フロップといった１画素
時間の遅延素子である。また、S８は１フレーム時間の
遅延がかかった圧縮したままの画像信号、S９は伸張し
た画像信号である。

【００１６】図３に示す伸張器９０は、圧縮した符号が
必ず元の画像信号に復元されるという可逆符号化を実行
する圧縮器７０に対応するものである。ハフマン復号化
器９１は、１フレーム時間の遅延がかかった圧縮したま
まの画像信号S８を復号化し隣接画素間の差分値に戻
す。加算器９３は、１画素時間の遅延素子９４が出力す
る１画素時間前の画像信号と、ハフマン復号化器９０が
出力する現在の差分値を加算し、現在の画像信号を、伸
張した画像信号S９として出力する。可逆符号化では、
伸張した画像信号S９は局部復号信号S６を１フレーム時
間遅延しただけのものになり、本実施例を適用したこと
による画像信号の新たな劣化は発生しない。従って、IT
U-T（旧CCITT）規格のH.261（p x 64kb/s オーディオビ
ジュアルサービス用ビデオ符号化方式）、ISO規格のMPE
G （蓄積用動画像符号化方式）などの標準化方式との互
換性を確保できる。

【００１７】図４は、他の実施例に係る圧縮器７０の構
成図である。７１は差分器、７２は量子化器、７３は逆
量子化器、７４は加算器、７５は例えばDタイプ-フリッ
プ・フロップといった１画素時間の遅延素子、７６はハ
フマン符号化器である。また、S６は局部復号信号、S７
は圧縮した局部復号信号である。

【００１８】図４に示す圧縮器７０は量子化器を含み、
圧縮した符号は必ずしも元の画像信号に戻らないという
非可逆符号化を実行するものである。差分器７１は、局
部復号信号S６と、１画素時間の遅延素子７５が出力す
る画像信号との差分値をとり、量子化器７２で量子化し
た後、ハフマン符号化器７６で符号長を圧縮する。量子
化器７２の出力する信号は、逆量子化器７３にも入力
し、量子化器７２にて付与したラベルを信号値に戻す。
加算器７４は１画素時間の遅延素子７５が出力する画像
信号と逆量子化器７３の出力する信号とを加算し、１画
素時間の遅延素子７５に入力する。

【００１９】非可逆符号化を適用すると、標準化方式と
の互換性は確保できないが、圧縮率を向上させフレーム
メモリを更に小さくできる効果がある。また、本実施例
の符号化装置と標準化方式の符号化装置とを接続する
と、送信側符号化装置と受信側復号化装置間で画面の不
一致が発生する。この場合、送信側符号化装置と受信側
復号化装置の各々のフレームメモリの内容を定期的に一
致させるリフレッシュ制御を行えばよい。

【００２０】図５は、他の実施例に係る伸張器９０の構
成図である。９１はハフマン復号化器、９２は逆量子化
器、９３は加算器、９４は例えばDタイプ-フリップ・フ
ロップといった１画素時間の遅延素子である。また、S
８は１フレーム時間の遅延がかかった圧縮したままの画
像信号、S９は伸張した画像信号である。

【００２１】図５に示す伸張器９０は、圧縮した符号が
必ずしも元の画像信号に復元されるとは限らない非可逆
符号化を実行する圧縮器７０に対応するものである。ハ
フマン復号化器９１は、１フレーム時間の遅延がかかっ
た圧縮したままの画像信号S８を復号化し、隣接画素間
の差分値に戻す。逆量子化器７３は、隣接画素間の差分
値を信号の単位に合うレベルに変換する。加算器９３
は、１画素時間の遅延素子９４が出力する１画素時間前
の画像信号と、ハフマン復号化器９０が出力する現在の
差分値を加算し、現在の画像信号すなわち伸張した画像
信号S９として出力する。

【００２２】本実施例では、フレームメモリの前段に接
続する圧縮器の一例を、図２または図４に示し、フレー
ムメモリの後段に接続する伸張器の一例を、図３または
図５に示したが、本発明はこれらに図示した圧縮器，伸
張器に限定されるものではなく、同様の圧縮，伸張の機
能を有するものであれば、適用できる。

【００２３】図６は、圧縮符号化のタイミングを説明す
る図である。入力信号S０、差分器１０の出力信号S１、
量子化器３０の出力信号S３、周波数逆変換器５０の出
力信号S５、局部復号信号S６、及び圧縮した局部復号信
号S７は、同一のフレーム番号の画像信号を処理する。
そして、フレームメモリ８０の出力する圧縮した画像信
号S８及び伸張器９０の出力する伸張した１フレーム時
間前の画像信号S９は、同一のフレーム番号の画像信号
を処理する。信号線S８，S９を流れる画像信号は、信号
線S１，S３，S５，S６，S７を流れる画像信号に比べ、
１フレーム時間遅延する。

【００２４】図６のフレームメモリ情報量は、圧縮器７
０が出力する圧縮した局部復号信号S７の１フレーム期
間の累積情報量を示す。フレームメモリの最大容量であ
る「Full」まで累積情報量が達しないので、正常な圧縮
符号化を継続できる。

【００２５】図７は、メモリオーバフロー処理のタイミ
ングを説明する図である。図中の各信号は、図６に示す
ものと同一である。図７のフレームメモリ情報量は、圧
縮器７０が出力する圧縮した局部復号信号S７の１フレ
ーム期間の累積情報量を示す。この図７では、図６に示
した場合とは異なり、フレームメモリの最大容量である
「Full」まで累積情報量が達してしまい、オーバフロー
を引き起こしてしまう。そこで、オーバフローを検出し
た時は、フレームメモリの初期化を行う。例えば、伸張
器９０の出力を強制的に零とし、入力信号S０の新たな
１フレーム分をフレームメモリ８０へ記憶内容として入
力する。この新たな１フレーム分は、図１において図示
しないハフマン符号化器、同じく図示しない伝送路を経
由して受信側復号化装置にも送信し、受信側復号化装置
のフレームメモリへも記憶内容として入力する。

【００２６】図８は、フレームメモリの初期化を説明す
る図である。構成手段は図１と同様であるが、フレーム
メモリ８０の累積情報量を観測する情報量観測手段１５
０を付加した点が異なる。

【００２７】フレームメモリの最大容量である「Full」
まで累積情報量が達すると、情報量観測手段１５０はオ
ーバフローを検出し、伸張器９０への制御信号S１５と
して出力する。伸張器９０は、オーバフローを検出した
次の１フレーム期間は零を、それ以外の場合は伸張した
画像信号を出力する。

【００２８】図９は、本発明の第２実施例に係る動画像
符号化装置の構成図である。１０は差分器、２０は周波
数変換器、３０は量子化器、４０は逆量子化器、５０は
周波数逆変換器、６０は加算器、７０は圧縮器、８０は
フレームメモリ、９０は伸張器、１００は第２のフレー
ムメモリ、１１０は動き検出器、１２０は可変遅延器で
ある。また、S０は入力信号、S１は差分器１０の出力信
号、S３は量子化器３０の出力信号、S５は周波数逆変換
器５０の出力信号、S６は局部復号信号、S７は圧縮した
局部復号信号、S８は１フレーム時間の遅延がかかった
圧縮したままの画像信号、S９は伸張した画像信号、S１
０a は動き検出に用いる画像信号、S１０b は可変遅延
器１２０への画像信号、S１１は動き量を示す信号、S１
２は可変遅延を加味した約１フレーム遅延した画像信号
である。

【００２９】差分器１０は、入力信号S０即ち現フレー
ムと、可変遅延器１２０の出力する約１フレーム前の画
像信号S１２との差分値、即ち変化分を算出し、信号線S
１へ出力する。周波数変換器２０は、フレーム間差分値
を周波数成分即ち変換係数に分解する。周波数変換方式
としては、本実施例では離散コサイン変換を採用する
が、他の方式を採用してもよい。量子化器３０は、周波
数変換した複数の変換係数のうち人間の視覚に目立ちに
くいものから省略即ち変換係数を零とし、変換係数の値
の取り得る範囲を有限数に分割しておき、分割したどの
範囲に変換係数が属するかを示すラベルを付ける。そし
て、信号線S３を介し、図示しないエントロピー符号化
器に出力する。エントロピー符号化器に出力する前記フ
レーム間差分値は、一般に零近辺の値の小さな部分に多
く確率分布するという冗長な信号である。エントロピー
符号化器は、この性質を用いて、具体的にはハフマン符
号化やランレングス符号化により画像信号の符号長の圧
縮を行う。

【００３０】逆量子化器４０は、量子化器３０にて付与
したラベルを変換係数の信号値に戻し、周波数逆変換器
５０は変換係数を波形信号に戻し、信号線S５へ出力す
る。加算器６０はこの波形信号と可変遅延器１２０の出
力する約１フレーム前の画像信号S１２とを加算し局部
復号信号S６を出力する。

【００３１】圧縮器７０は局部復号信号S６を圧縮し、
圧縮した局部復号信号S７を出力する。フレームメモリ
８０は、圧縮された局部復号信号S７を１フレーム時間
遅延させ、信号線S８に出力する。伸張器９０は、圧縮
された画像信号S８を伸張し、１フレーム時間前の伸張
した画像信号S９として出力する。ここまでは、図１の
実施例の動作と同じである。

【００３２】本実施例では、動き検出及び動き補償を行
うことを特徴とする。動き検出及び動き補償を行う動画
像圧縮符号化においては、現在の画素信号が前フレーム
のどこから移動してきたのか探索を行う。従って、探索
の対象範囲は、圧縮された形態ではなく、画像信号に伸
張されていなければならない。そこで、第２のフレーム
メモリ１００は、探索の対象範囲の伸張された画像信号
を記憶し、適宜、動き検出に用いる画像信号S１０a を
出力する。動き検出器１１０は、入力信号S０と画像信
号S１０a とを比較し、動き量を示す信号S１１を出力す
る。可変遅延器１２０は動き量を示す信号S１１に従
い、第２のフレームメモリ１００からの伸張された画像
信号S１０b に必要な可変遅延量を加味し、信号線S１２
に出力する。

【００３３】本実施例によれば、動き検出及び動き補償
を行う符号化装置においても、必要となるフレームメモ
リ量を更に小さくすることができる。

【００３４】図１０は、本発明の第３実施例に係る動画
像符号化装置の構成図である。２００は集積回路、２０
１は中央演算手段（CPU）、２０２は周波数変換器、２
０３は内部バス、２０４は圧縮用画像バス、２０５は伸
張用画像バス、２０６は圧縮器、２０７はフレームメモ
リ、２０８は伸張器である。

【００３５】本実施例においては、図１に示す差分器、
量子化器、逆量子化器、加算器の演算処理処理は、CPU
２０１が行なう。周波数変換器、周波数逆変換器の演算
処理処理もCPU２０１が行えるが、一般に周波数変換処
理は負荷が大きいので、周波数変換器２０６が実行す
る。

【００３６】図１に示す加算器６０が出力する局部復号
信号S６に相当する信号を、内部バス２０３、圧縮用画
像バス２０４を経由して圧縮器２０６に入力する。圧縮
器２０６は同信号を圧縮し、フレームメモリ２０７に格
納する。フレームメモリ２０７は、圧縮した画像信号を
１フレーム時間遅延させ出力し、伸張器２０８は同画像
信号を伸張し、伸張用画像バス２０５、内部バス２０３
を経由して、CPU２０１又は周波数変換器２０６に入力
する。図１０に示す実施例でも、第１，第２実施例と同
様の効果が得られる。

【００３７】

【発明の効果】本発明によれば、フレームメモリ容量を
より小さくし小型で低コストの動画像符号化装置を得る
ことができる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る動画像符号化装置の
構成図である。

【図２】図１に示す圧縮器の詳細構成図である。

【図３】図１に示す伸張器の詳細構成図である。

【図４】圧縮器の他の実施例に係る構成図である。

【図５】伸張器の他の実施例に係る構成図である。

【図６】圧縮符号化のタイミングを説明する図である。

【図７】メモリオーバフロー処理のタイミングを説明す
る図である。

【図８】フレームメモリの初期化を説明する図である。

【図９】本発明の第２実施例に係る動画像符号化装置の
構成図である。

【図１０】本発明の第３実施例に係る動画像符号化装置
の構成図である。

【符号の説明】

１０…差分器、２０…周波数変換器、３０…量子化器、
４０…逆量子化器、５０…周波数逆変換器、６０…加算
器、７０…圧縮器、８０…フレームメモリ、９０…伸張
器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者中村浩三茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内

Claims

【特許請求の範囲】

【請求項１】現在の画像信号と１フレーム時間前の画
像信号とを比較するフレーム間符号化を行う動画像符号
化装置において、１フレーム時間の遅延を発生させるた
めのフレームメモリの前段に設けた画像信号圧縮手段
と、該フレームメモリの後段に設けた画像信号伸張手段
とを備えることを特徴とする動画像符号化装置。
【請求項２】請求項１において、前記画像信号圧縮手
段及び前記画像信号伸張手段は可逆符号化を行うことを
特徴とする動画像符号化装置。
【請求項３】請求項１において、前記画像信号圧縮手
段及び前記画像信号伸張手段は非可逆符号化を行うこと
を特徴とする動画像符号化装置。
【請求項４】請求項３において、定期的にフレームメ
モリのリフレッシュを行う手段を備えることを特徴とす
る動画像符号化装置。
【請求項５】請求項１において、フレームメモリに格
納される画像情報量を観測する手段を有することを特徴
とする動画像符号化装置。
【請求項６】請求項５において、フレームメモリに格
納される画像情報量がフレームメモリの記憶容量を越え
たことを観測したときに前記画像信号伸張手段の出力信
号を零にする手段を備えることを特徴とする動画像符号
化装置。
【請求項７】請求項１において、全画面の一部を予め
伸張し格納する第２のフレームメモリを有することを特
徴とする動画像符号化装置。
【請求項８】中央演算手段と、１フレーム時間の遅延
を発生させるためのフレームメモリと、前記フレームメ
モリの前に接続する画像信号圧縮手段と、前記フレーム
メモリの後に接続する画像信号伸張手段と、前記中央演
算手段と前記画像信号圧縮手段とに接続する第１の信号
バスと、前記中央演算手段と前記画像信号伸張手段とに
接続する第２の信号バスとを有することを特徴とする動
画像符号化装置。
【請求項９】現在の画像信号と１フレーム時間前の画
像信号とを比較するフレーム間符号化を行う動画像符号
化方法において、１フレーム時間の遅延を発生させるた
めのフレームメモリに格納する画像信号を圧縮し、前記
フレームメモリから出力信号を伸張することを特徴とす
る動画像符号化方法。
【請求項１０】請求項９において、画像信号の圧縮と
伸張は、可逆符号化または非可逆符号化のいずれかで行
うことを特徴とする動画像符号化方法。
【請求項１１】請求項１０において、非可逆符号化で
圧縮と伸張を行うときは定期的にフレームメモリをリフ
レッシュすることを特徴とする動画像符号化方法。