JP3200108B2 - 画像処理方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像情報処理方法及び装
置、特に各画面が夫々複数の画素よりなる複数のブロッ
クに分割された画像情報を処理する方法及び装置に関す
るものである。

【０００２】

【従来の技術】従来より、映像信号の各画面を夫々複数
の画素よりなる複数のブロックに分割し、分割されたブ
ロック単位で画像を圧縮符号化する手法が知られてい
る。このような手法の中で、近年離散コサイン変換（以
下、ＤＣＴを記す）を用いて、各ブロックの各画素の振
幅値を２次元周波数成分に変換し、この２次元周波数成
分を可変長符号化する手法が注目されている。

【０００３】ところで、このようにブロック単位で符号
化を行なう装置において、符号誤りが発生した場合には
誤り訂正回路によってできる限りその訂正を行うが、も
し、訂正不能の符号誤りが発生した場合にはこの符号誤
りの発生した部分の画像を他の部分の画像に置き換える
誤り修正（補間）処理を行なわなければならない。

【０００４】このような補間処理としては、誤りの発生
した画素（ブロック）と同一の画面の他の画素（ブロッ
ク）にて、この誤りの発生した画素（ブロック）を置換
する、所謂フィールドもしくはフレーム内補間処理と、
誤りの発生した画素（ブロック）の前後の画面の他の画
素（ブロック）にて誤りの発生した画素（ブロック）を
置換する、所謂フィールドもしくはフレーム間補間処理
とが知られている。

【０００５】そして、これらのフィールドもしくはフレ
ーム間補間処理とフィールドもしくはフレーム内補間処
理とを適応的に使い分ける処理の従来より知られてい
る。

【０００６】

【発明が解決しようとしている課題】ところで、上述の
如くブロック単位で符号化を行なう場合、各ブロック内
に誤り訂正不能な符号が発生した場合、当該ブロック全
体が復元不可能となる。ここで、一般に圧縮符号化を行
なうブロックは２次元に拡がりをもつので、隣接するブ
ロック間では画像の相関が薄くなりがちであり、フィー
ルドもしくはフレーム内での補間のみではある程度の画
質劣化を免れない。

【０００７】一方、逆に例えば前画面の同一ブロックに
置換する、フィールドもしくはフレーム間補間では、あ
る程度の画質は期待できるが、画像に大きな動きがあっ
た場合、特にシーンチェンジの部分において、大きな画
質劣化が発生する。

【０００８】そこで、主にフィールドもしくはフレーム
間補間を行ない、画像に大きな動きがあった場合にのみ
フィールドもしくはフレーム内補間を行なう適応補間を
用いることが考えられる。

【０００９】しかしながら、上述のごとくブロック単位
での圧縮符号化を行なった場合に、各ブロックにおける
画像の動きを検出しようとすると、ブロック内の全ての
画素について画面間での比較を行なわねばならず、演算
に要する時間もしくはハードウエアを大きくせざるをえ
ない。

【００１０】特に、上述の如きＤＣＴ変換を用いた可変
長圧縮を行ない画像情報を伝送した場合においては、そ
の復号に多くの処理過程を必要とし、その後にＤＣＴ逆
変換を施した後でないと上述の画像の動きが検出できな
い。したがって、画像に大きな動きがあったか否か検出
されるまでには非常に長い時間を要し、上述の如き適応
的な補間を行なう場合に障害となっていた。

【００１１】本発明は上述の如き背景下に、各画面が夫
々複数の画素よりなる複数のブロックに分割された画像
情報を処理する際に、画像の動きを検出する場合、その
処理時間を大幅に短縮し得る画像情報処理方法及び装置
を提供することを目的とする。

【００１２】

【課題を解決するための手段】かかる目的下において、
本発明の画像処理方法によれば、各画面がそれぞれ複数
の画素よりなる複数のブロックに分割された画像データ
を処理する方法であって、前記画像データ中の誤りを訂
正する誤り訂正処理と、前記誤り訂正処理が施された画
像データ中の各ブロックの直流成分の値とその前画面の
同一位置のブロックの直流成分との差分値を一画面分累
算し、この累算結果を所定の閾値と比較することにより
シーンチェンジの有無を判別する判別処理と、前記判別
処理によりシーンチェンジありと判断した場合に前記画
像データ中の訂正不能な誤りを含む誤りブロックを同一
画面の他のブロックにより補間すると共に、前記判別処
理によりシーンチェンジなしと判断した場合に前記誤り
ブロックを前画面のブロックにより補間する補間処理と
を行う。

【００１３】また、本発明の画像処理装置によれば、各
画面がそれぞれ複数の画素よりなる複数のブロックに分
割された画像データを処理する装置であって、前記画像
データを入力する入力手段と、前記入力データ中の誤り
を訂正する誤り訂正手段と、前記誤り訂正手段より出力
された画像データ中の各ブロックの直流成分の値とその
前画面の同一位置のブロックの直流成分との差分値を一
画面分累算し、この累算結果を所定の閾値と比較するこ
とによりシーンチェンジの有無を判別する判別手段と、
前記判別手段によりシーンチェンジありと判断された場
合に前記誤り訂正手段により訂正不能な誤りを含む誤り
ブロックを同一画面の他のブロックにより補間すると共
に、前記判別手段によりシーンチェンジなしと判断され
た場合に前記誤りブロックを前画面のブロックにより補
間する補間手段とを備える。

【００１４】

【００１５】

【作用】上述の如き画像情報処理方法においては、各ブ
ロックの直流成分の値（平均値）のみから画像の動きを
認識し得るので、ブロック単位での動き検出に係わるハ
ード量もしくは処理時間を軽減できる。また、特に処理
中に直流成分が抽出されるような変換を行なう処理にお
いては、ハードウエアの追加も殆どなく、且、処理時間
も大幅に短縮できる。

【００１６】

【実施例】以下、本発明の実施例について詳細に説明す
る。

【００１７】図１は本発明を適用した動画送受信装置の
構成を示すブロック図である。図中、１１は動画像情報
を発生するビデオカメラ、１２は送信側の入力端子、１
３はアナログ−デジタル（ＡＤ）変換器、１４はＤＣＴ
変換器、１５はＤＣＴ変換されたデータをＤＣ成分とＡ
Ｃ成分に分離するスイッチ、２６はランレングス符号
器、１７はハフマン符号器、１８はＤＰＣＭ符号器、１
９はＡＣ成分とＤＣ成分を選択的に出力するスイッチ、
２０は誤り訂正符号を形成付加する誤り訂正符号符号
器、２１は送信側の出力端子である。

【００１８】２２は衛星、電話線等の伝送路であり、こ
の伝送路２２を介したデータが受信側の入力端子２３に
入力される。

【００１９】受信側において、２４は上述の誤り訂正符
号を用いて符号誤りの訂正を行なう誤り訂正符号復号
器、２５は伝送されてきたデータをＤＣ成分とＡＣ成分
とに分離するスイッチ、２６はハフマン復号器、２７は
ランレングス復号器、２８はＤＰＣＭ復号器、２９はＡ
Ｃ成分とＤＣ成分を選択的に出力するスイッチ、３０は
１フレーム期間の遅延回路、３１は減算回路、３２は累
算回路、３３は累算回路３３の出力に応じて切り換えら
れるスイッチ、３４は画面の垂直方向に１ＤＣＴブロッ
ク分（８水平走査線分）の期間の遅延回路、３５は誤り
訂正符号復号器２４からのエラーフラグにより切り換え
られるスイッチ、３６は１フレーム期間の遅延回路、３
８はＤＣＴ復号器、３９はデジタル−アナログ（ＤＡ）
変換器、４０は受信側の出力端子、４１は受信側端末と
してのモニタである。

【００２０】以下、図１の装置の動作について説明す
る。

【００２１】ビデオカメラ１１からの動画像信号は送信
機側の入力端子１２を介して送信機に入力され、ＡＤ変
換器１３にてデジタル信号に変換された後、ＤＣＴ変換
器１４に入力される。

【００２２】ＤＣＴ変換器１４では、ＡＤ変換器１３か
らのデジタル動画情報の各画面を（８×８）の画素より
なるブロックに分割し、分割された各ブロックについて
ＤＣＴ変換を施す。ＤＣＴ変換は周知の様に（８×８）
の画素よりなるブロックに付いて、各画素の振幅値を
（８×８）の２次元周波数成分に変換するものであり、
可逆変換である。

【００２３】こうしてＤＣＴ変換されたデータ中、１つ
の周波数成分は所謂直流（ＤＣ）成分であり、各ブロッ
クの画素の振幅の平均値である。ここで、このＤＣ成分
以外の周波数成分をＡＣ成分とよぶことにすると、スイ
ッチ１５はＡＣ成分をＡ側端子を介してランレングス符
号器１６に、ＤＣ成分をＤＰＣＭ符号器１８に夫々供給
する。

【００２４】ＡＣ成分については、ランレングス符号器
１６にて周知の如くジグザグスキャンによって０ラン長
が長くなる様配列変換され、適宜量子化された後ランレ
ングス符号化される。そして、ハフマン符号器１７にお
いて、ハフマン符号化が施され、スイッチ１９のＡ端子
に導かれる。

【００２５】一方、ＤＣ成分はＤＰＣＭ符号化器１８に
より隣接ブロック間の差分値が符号化され、スイッチ１
９のＤ端子に導かれる。

【００２６】ここで、スイッチ１５及びスイッチ１９の
動作について、図２、図３を用いて説明する。

【００２７】図２は図１中のＤＣＴ変換器１４からスイ
ッチ１５に供給されるデータ列を時系列的に示す摸式図
であり、図中矢印５５の部分にてスイッチ１５が反転
し、ＤＣ成分をＤＰＣＭ符号器１８に、ＡＣ成分をＡ側
端子を介してランレングス符号器１６に供給する。

【００２８】一方、図３は図１中のスイッチ１９から誤
り訂正符号符号器２０に供給されるデータ列を時系列的
に示す摸式図であり、図中矢印５６の部分にてスイッチ
１９が反転する。図２と図３とで、ＤＣ成分に対するＡ
Ｃ成分の比が異なるのはＡＣ成分のほうが圧縮率が高い
からである。

【００２９】スイッチ１９により時系列化されたデータ
は、長い伝送路にて外乱により符号誤りが生じた場合に
もその復元が可能な様に、誤り訂正符号符号器２０にて
誤り訂正符号が形成付加され、この誤り訂正符号単位で
出力端子２１に導かれ、送信出力として伝送路２２に送
出される。

【００３０】送信機の出力端子２１から受信機の入力端
子２３には伝送路を介して信号が授受されることになる
が、この伝送路としては、衛星、光ファイバーケーブ
ル、電話回線等様々なものが考えられる。

【００３１】受信機の入力端子２３を介して入力された
伝送データ列は誤り訂正符号復号器２４において、誤り
訂正符号符号器２０にて形成付加された誤り訂正符号を
用いて、符号誤りの訂正が行われる。この、誤り訂正符
号復号器２４において訂正符号な誤りが発生した場合に
は、エラーフラグＥＦが「１」とされる。このエラーフ
ラグＥＦは誤りのない場合及び誤りが訂正された場合に
は「０」であり、後述するスイッチ３５の制御信号とし
て利用される。

【００３２】誤り訂正符号復号器２４から出力されたデ
ータ列は、スイッチ２５によりＤＣ成分と、ＡＣ成分に
分離される。この、スイッチ２５を切り換えるタイミン
グは図３の矢印５６に対応しており、スイッチ１９の動
作と対応する。

【００３３】このスイッチ２５にて抽出されたＡＣ成分
は、ハフマン復号器２６にてハフマン復号が施され、更
にランレングス復号器２７にてランレングス復号され、
逆量子化、前述のジグザグスキャンに対応する配列の逆
変換等が施された後、スイッチ２９のＡ端子に供給され
る。

【００３４】一方、スイッチ２５にて抽出されたＤＣ成
分はＤＰＣＭ復号器２８にてＤＰＣＭ復号が施され、ス
イッチ２９のＢ端子に供給される。スイッチ２９は図２
の矢印５５のタイミングでスイッチングされ、時系列化
されて図２に示すようなデータ列に戻される。

【００３５】ＤＰＣＭ復号器２８から出力されたＤＣ成
分は減算器３１及び１フレーム期間の遅延線（１ＦＤ
Ｌ）３０に供給され、時間的に隣接するフレームの同一
ブロックのＤＣ成分の差分値が減算器３０から得られ
る。そして、この差分値は累算器３２に供給され、１フ
レーム分合計される。

【００３６】ＤＣＴ変換されて得たＤＣ成分は各ブロッ
ク内の全画素の振幅値の平均値であるため、各フレーム
における画像の概略はこのＤＣ成分によって知ることが
できる。従って、上述の減算器３０の出力するＤＣ成分
の差分値が大きい場合には、２つのフレーム間でシーン
チェンジがなされているか、画像の動きが大であるかの
何れかであると考えられる。この２通りの場合の内画像
の動きが大である場合には主に背景が変化せず、主被写
体のみが変化する場合が殆どであり、フレーム間でＤＣ
成分の差分が大となるブロックは少ない。これに対し、
シーンチェンジの場合には画面全体が直前の画面と無関
係な別の画面に変化してしまうので、殆どのブロックに
ついてフレーム間でＤＣ成分の差分が大となる。

【００３７】従って、画面上の全ブロックの合計値が所
定の閾値より大きい場合にはシーンチェンジが発生した
と判断することができる。この原則を利用するならば、
累算器３２で演算された合計値が所定の閾値以下か否か
によって、シーンチェンジの発生が検出できる。

【００３８】ここで、この１ＦＤＬ３０，減算器３１，
累算器３２にて行われる演算を数式で表現すると、Ｙ＝
Σ｛Ｄ（Ｘ）−Ｘ｝となる。ここで、ＸはＤＣＴブロッ
クのＤＣ成分、Ｄは１フレームの遅延を表現したもの、
Σは１フレーム分の合計を取ることを示す。

【００３９】累算器３２では、上記閾値との比較結果で
ある２値信号が出力され、スイッチ３３の制御信号とさ
れる。即ち、この累算器３２の出力がシーンチェンジで
あることを示すバイナリ値である場合にはスイッチ３３
により８水平走査期間遅延線（８ＨＤＬ）３４を用いた
フレーム内補間信号がスイッチ３５に供給され、累算器
３２の出力がシーンチェンジではないことを示すバイナ
リ値である場合にはスイッチ３３により１ＦＤＬ３６を
用いたフレーム間補間信号がスイッチ３５に供給される
ことになる。

【００４０】フレーム内の補間方法としては種々の方法
が考えられるが、本実施例では図４に示すように、画面
の垂直方向について隣接するブロックにより、訂正不能
な誤りの発生したブロック（図中斜線で示す）を補間す
る。図４は１枚の画面上におけるＤＣＴブロックの配置
を模式的に示している。ＤＣＴブロックの大きさは（８
×８）画素分であるので、画面上で横一列分のブロック
が伝送される期間は８水平走査期間であり、スイッチ３
５にスイッチ２９の出力から直接供給されているブロッ
クに対して、８ＨＤＬ３４を介して供給されるブロック
は画面上で１つ上に位置するブロックである。従って、
スイッチ３３が８ＨＤＬ３４側に接続され、スイッチ３
５がスイッチ３３側に接続されることによってフレーム
内補間がなされることになる。

【００４１】フレーム間の補間方法として、本実施例で
は図３に示すように訂正不能な誤りの発生したブロック
（図中斜線で示す）を直前の画面の同一位置のブロック
により補間する。図５は時間的に連続する複数枚の画面
上におけるＤＣＴブロックの配置を模式的に示してい
る。ここで、スイッチ３５にスイッチ２９の出力から直
接供給されているブロックに対して、１ＦＤＬ３６を介
して供給されるブロックは直前の画面上で同一位置にあ
るブロックである。従って、スイッチ３３が１ＦＤＬ３
４側に接続され、スイッチ３５がスイッチ３３側に接続
されることによってフレーム間補間がなされることにな
る。

【００４２】このように、訂正不能な誤りの発生したブ
ロックが発生した場合、その画面でシーンチェンジがな
されている時にはフレーム内補間、そうでない場合には
フレーム間補間がそれぞれ施されることになる。

【００４３】このように適応的に補間が施されたデータ
列は、スイッチ３５からＤＣＴ逆変換器３８の供給さ
れ、ＤＣＴ逆変換により周波数成分の値から振幅値に戻
され、ＤＡ変換器３９にてアナログ信号に変換されて、
受信側の出力端子４０に出力され、受信機側の端末であ
るモニタ４１に供給されることになる。

【００４４】以上のように、本実施例においては各ブロ
ックのＤＣ成分の値のみからシーンチェンジであるか否
かの判定を行い、フレーム間補間とフレーム内補間とを
適応的に用いるようにしているので、ＤＣＴ逆変換を行
う前の少ないデータによって確実にシーンチェンジの判
定ができ、演算処理に要する時間が短縮でき、ハード規
模も小さくできると共に良好な補間を可能としている。
また、このＤＣ成分は符号化の際に得られるものである
ので、このＤＣ成分の算出に別途回路や処理時間を費や
すことはない。特に、本実施例ではＡＣ成分については
処理時間の長いランレングス符号化やハフマン符号化を
行い、ＤＣ成分について比較的簡単なＤＰＣＭ符号化を
行っているのでこれらの処理時間の差を有効に用いるこ
とができ、実質的には上記シーンチェンジに必要な処理
時間は０とすることができている。

【００４５】次に、本発明の他の実施例である動画送受
信装置について説明する。

【００４６】図６はこの本発明の他の実施例の動画送受
信装置の構成を示すブロック図であり、図中図１と同様
の構成要件については同一番号を付し、詳細な説明は省
略する。

【００４７】図６の装置においては、送信側にてシーン
チェンジを検出する。即ち、スイッチ１５により分離さ
れたＡＣ成分とＤＣ成分のうち、ＤＣ成分を１ＦＤＬ５
４及び減算器５２の供給することによって、この減算器
５２から隣接フレームで同一位置にあるブロックのＤＣ
成分の差を算出する。そして、この減算器５２の出力を
累算器５３にて１フレーム分合計し、所定の閾値と比較
することによりシーンチェンジの発生の有無を検出し、
２値データとして出力している。

【００４８】累算器５３から出力された２値データは動
き情報付加回路５０に供給され、シーンチェンジの有無
を示す動き情報をデータ列中の所定の位置、例えば各フ
レームの先頭位置に付加する。

【００４９】受信側には、動き情報抽出回路５１を設
け、該回路５１にて誤り訂正符号復号器２４の出力する
データ列から上記動き情報を抽出する。該回路５１はこ
の動き情報に従う２値データをスイッチ３３に供給し、
前述の実施例と同様にシーンチェンジの部分においては
フレーム内補間が行われ、それ以外の部分ではフレーム
間補間が行われるように構成している。

【００５０】図６の実施例においても、図１の実施例と
同様の動画像の復元が可能である。

【００５１】また、この図６の実施例においても、送信
側で処理時間を必要としないＤＣ成分を用いて動き情報
を形成しているので、処理時間やハード規模の点で有利
である。更に、送信側での動き情報の形成は、ＡＣ成分
をランレングス符号化したりハフマン符号化したりする
間に行えるので、実質的に処理時間が全く増加すること
はない。

【００５２】更に、本実施例においてはこの種のシステ
ムを普及するに際し、多数の装置が製造される可能性の
高い受信機側の構成を簡略化でき、この点で図１の実施
例に比べて有利である。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
各ブロックの直流成分の画面間の差分値を一画面分累算
し、この累算結果に基づいてシーンチェンジの有無を判
別しているので、シーンチェンジの判別にかかわるバー
ド量もしくは処理時間を軽減できる。

【図面の簡単な説明】

【図１】本発明の一実施例としての動画像送受信装置の
構成を示すブロック図である。

【図２】図１中のＤＣＴ変換器から出力給されるデータ
列を時系列的に示す摸式図である。

【図３】図１中の誤り訂正符号符号器に供給されるデー
タ列を時系列的に示す摸式図である。

【図４】図１の装置におけるフレーム内の補間方法を説
明するための模式図である。

【図５】図１の装置におけるフレーム間の補間方法を説
明するための模式図である。

【図６】本発明の他の実施例としての動画像送受信装置
の構成を示すブロック図である。

【符号の説明】

１４ ＤＣＴ変換器 １５，１９，２５，２９，３３，３５ スイッチ １６ ランレングス符号器 １７ ハフマン符号器 １８ ＤＰＣＭ符号器 ２０ 誤り訂正符号符号器 ２４ 誤り訂正符号復号器 ２６ ハフマン復号器 ２７ ランレングス復号器 ２８ ＤＰＣＭ復号器 ３０，３６，５４ １フレーム期間遅延線 ３１，５２ 減算器 ３２，５３ 累算器 ３４ ８水平走査期間遅延線 ３８ ＤＣＴ逆変換器

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 G06T 9/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 各画面がそれぞれ複数の画素よりなる複
   数のブロックに分割された画像データを処理する方法で
   あって、 前記画像データ中の誤りを訂正する誤り訂正処理と、 前記誤り訂正処理が施された画像データ中の各ブロック
   の直流成分の値とその前画面の同一位置のブロックの直
   流成分との差分値を一画面分累算し、この累算結果を所
   定の閾値と比較することによりシーンチェンジの有無を
   判別する判別処理と、 前記判別処理によりシーンチェンジありと判断した場合
   に前記画像データ中の訂正不能な誤りを含む誤りブロッ
   クを同一画面の他のブロックにより補間すると共に、前
   記判別処理によりシーンチェンジなしと判断した場合に
   前記誤りブロックを前画面のブロックにより補間する補
   間処理とを備える画像処理方法。
2. 【請求項２】 各画面がそれぞれ複数の画素よりなる複
   数のブロックに分割された画像データを処理する装置で
   あって、 前記画像データを入力する入力手段と、 前記入力データ中の誤りを訂正する誤り訂正手段と、 前記誤り訂正手段より出力された画像データ中の各ブロ
   ックの直流成分の値とその前画面の同一位置のブロック
   の直流成分との差分値を一画面分累算し、この累算結果
   を所定の閾値と比較することによりシーンチェンジの有
   無を判別する判別手段と、 前記判別手段によりシーンチェンジありと判断された場
   合に前記誤り訂正手段により訂正不能な誤りを含む誤り
   ブロックを同一画面の他のブロックにより補間すると共
   に、前記判別手段によりシーンチェンジなしと判断され
   た場合に前記誤りブロックを前画面のブロックにより補
   間する補間手段とを備える画像処理装置。