JPH03268679A - 画像補完符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要］ 画像データを圧縮符号化するための装置に関し直交変換
結果における高周波成分をＯに抑え、符号化における圧
縮効率の低下を防止した画像補完符号化装置を提供する
ことを目的とし、画像を所定の大きさを有する部分画像
であるブロックに分割し直交変換を用いて符号化を行う
画像符号化部において、画像領域の境界部分を含むブロ
ックを画素列に分解するとともに、該画素列における領
域の境界を示すデータを発生するブロック分解部と、該
画素列における領域内の画素の値から高周波成分が０に
なるように領域外の画素に対する補完値を解析的に決定
する解析部と、該補完処理を行って得られた横方向また
は縦方向の画素列からブロックを再構成するブロック形
成部とからなる画像補完部を備え、画像領域の境界部分
を含まないブロックと、前記画像補完部からの補完され
たブロックとによって符号化を行うことによって構成す
る。

〔産業上の利用分野〕

本発明は、画像データを圧縮符号化するための装置に係
り、特に直交変換符号化によって部分画像を符号化する
際に、部分画像に満たない部分の補間を解析的に行うこ
とによって、効率的に画像符号化を行えるようにした画
像補完符号化装置に関するものである。

近年において、大容量のデータをコンピュータで取り扱
うことが可能となり、画像データのような大容量のデー
タをコンピュータで処理する技術が開発されている。そ
してこの際、データを蓄積するために必要な記憶装置の
大容量化も進んでいる。

しかしながら、取り扱うべきデータ量の増大は、記憶装
置の大容量化をはるかに上回っている。またデータ量の
増大の影響は、データの蓄積に関してだけではなく、デ
ータの伝達（コミュニケーション）に関しては一層顕著
である。

このようなデータ量の増大に対処するためには、データ
を効率的かつ高品質に圧縮できる技術が要求される。画
像データの場合のデータ圧縮の技術としては、予測符号
化、ベクトル量子化、変換符号化等、多くの技術が提案
されているが、なかでも変換符号化方式は圧縮率２画像
品質の点で有効と考えられている。

変換符号化方式においては、画像を矩形の部分画像に分
割し、各部分画像ごとに直交変換を行ってエネルギーを
集中させたのち、変換データを量子化することによって
、データ量を圧縮するようにしている。

このような変換符号化方式においては、部分画像単位で
符号化を行う際に、部分画像に満たない領域の存在に基
づいて、圧縮の効率が悪化しないようにすることが要望
される。

（従来の技術］ 一般に、画像を構成する画素の濃度レベルは一様ではな
い。しかしながら画像を局所的に観察した場合には、近
接する画素間の濃度レベルは清らかに変化しており、そ
の濃度レベルには強い相関関係が認められる。画像の符
号化に際しては、この滑らかに変化するという事実に注
目し、この特徴を利用して符号化を行うようにする。以
下においては、直交変換による符号化の例として、離散
コサイン変換（ＤＣＴ）による符号化方法について説明
する。

第７図は、画像のブロック分割を説明するものであって
、画像は図示のような小さな矩形領域である部分画像（
ブロック）に分割される。このブロックは、圧縮符号化
を行う際の処理の最小単位となるものである。画像をこ
のような小領域に分割するのは、前述のように小領域ご
とにみれば、画像の濃度レベルには強い相関があるため
である。

次に各ブロックに対して、二次元の離散コサイン変換を
施す。離散コサイン変換によって、各ブロックは、濃度
値の分布のデータから変換結果の周波数成分の強度分布
のデータに変換される。画素の濃度レベルに強い相関が
あるということは、変換結果において低周波成分の強度
が大きく、高周波成分の強度が小さいということを意味
している。そのため各ブロックは、離散コサイン変換に
よって低周波数成分にエネルギーが集中する。

第８図は、離散コサイン変換によるエネルギーの集中を
説明するものであって、あるブロックにおいて離散コサ
イン変換を行ったために、低周波成分にエネルギーが集
中した様子を示している。

図中、濃い色で表した部分にエネルギーが集中して大き
な値を示し、色が淡くなるに伴ってエネルギーが低くな
る。白い部分では変換値がほぼ０となるため、この部分
を除去することによってデータ量の圧縮を実現すること
ができる。

画像をブロックに分割する際のサイズとしては。

ブロックの一辺のサイズが８（画素）、１６（画素）等
の２に個の画素からなる正方形を用いる。

これは−辺が２Ｘ画素の矩形領域に対しては、離散コサ
イン変換の高速アルゴリズムが存在し、ハードウェア化
も行いやすいためである。

しかしながら、実際の画像をブロックに分割する場合、
画像の大きさがブロックの整数倍の太きさでなく、画像
の端部を含むブロックを生じる場合がある。

第９図は、画像の端部を含むブロックを示したものであ
って、Ａは画像の端部を示し、斜線を施して示した部分
は、画像の端部を含むブロックである。

このような画像の端部を含むブロックでは、画像と画像
以外の空白部分の濃度レベルに差異が生じるため、離散
コサイン変換結果に高周波成分が発生して、データ圧縮
の効果を低下させる。

また、画像に対してその性質が−様な部分をまとめて一
つの領域とするような領域分割を行ったのち、各領域ご
とにブロックに分割して符号化を行う方式がある。

第１０図（ａ）、　（ｂ）は、画像の領域分割を説明す
るものであって、（ａ）に示す原画を領域分割すること
によって、（ｂ）図中の１〜５に示される、月、空。

山、樹木の葉、樹木の幹のような、それぞれ類似の性質
を有する５個の領域が得られることが示されている。

直交変換を用いた符号化では、画素間の相関が強いほど
効率がよく、また品質がよいことが知られている。その
ため画像を性質がよく似た領域に領域分割して、その領
域単位で圧縮することによって、より効率がよく高品質
な符号化を行うことができる。

しかしながら、このような画像の領域分割を利用した符
号化の場合には、領域の境界を含むブロックが多数発生
する。

第１１図（ａ）、　（ｂ）は、領域のブロック分割を示
したものであって、第１０図（ｂ）に示された各領域１
゜４をそれぞれ矩形ブロックに分割した場合を例示し、
両図において斜線を施して示したプロ・ンクのように、
領域の境界を含むブロックが発生することが示されてい
る。

従来、このような画像の端部すなわち領域の境界を含む
ブロックを符号化する際には、領域外の空白部分には、
白や黒を表す値または、境界部分の値のような適当な一
定の値を充填して符号化を行っていた。

〔発明が解決しようとする課題〕

画像をブロックに分割し、そのブロックを単位として直
交変換によって画像を符号化する画像符号化方法では、
画像の端部すなわち領域分割結果の境界がブロック内に
存在することになる。このようなブロックでは、領域外
の空白部分の値の補完を行うが、領域の境界部分で濃度
差が生じ、直交変換を行った際に高周波成分を強く発生
する。

一般に画像は高周波成分を含まないので、このようにし
て生じた高周波成分は、画像自体の性質とは無関係であ
るにもかかわらず、画像の性質を歪めるだけでなく、圧
縮符号化に際しては高周波成分まで符号化することが必
要となるため、画像圧縮の効率が低下するという問題が
ある。

本発明はこのような従来技術の課題を解決しようとする
ものであって、画像内、領域内の画像の濃度レベルを解
析し、その結果を用いて境界外の空白部分を補完するこ
とによって、直交変換結果における高周波成分をＯに抑
え、符号化における圧縮効率の低下を防止した画像補完
符号化装置を提供することを目的としている。

〔課題を解決するための手段〕

本発明の画像補完符号化装置は、第１図にその原理的構
成を示すように、画像を所定の大きさを有する部分画像
であるブロックに分割し直交変換を用いて符号化を行う
画像符号化部１１において、ブロック分解部１９と、解
析部２０と、ブロック形成部２１とからなる画像補完部
１８を備え、画像領域の境界部分を含まないブロックと
、画像補完部１８からの補完されたブロックとによって
符号化を行うものである。

ここでブロック分解部１９は、画像領域の境界部分を含
むブロックを画素列に分解するとともに、この画素列に
おける領域の境界を示すデータを発生するものであり、
解析部２０は、この画素列における領域内の画素の値か
ら高周波成分が０になるように領域外の画素に対する補
完値を解析的に決定するものである。ブロック形成部２
１は、このようにして補完処理を行って得られた横方向
または縦方向の画素列からブロックを再構成する。

〔作用〕

本発明においては、画像をブロックに分解し、補完を必
要とする２”　Ｘ２に画素からなるブロックを、補完の
単位である２ｘ個からなる画素列に分解し、領域の境界
の情報から補完を必要とする範囲を決定する。そして領
域内の濃度差から補完値を解析的に決定し、補完された
画素列からブロックを再構成する。

第２図（ａ）、　（ｂ）は、二次元の直交変換を説明す
るものであって、（ａ）に示すように最初、−次元の直
交変換を横方向に行い、その後、（ｂ）に示すように一
次元の直交変換を縦方向に行う。なおこの順序は逆でも
よい。

画像の補完はこれに合わせて一次元で行うので、ブロッ
ク分解部では最初に直交変換を行う方向の画素列に分解
する。

例えば８×８の画素からなるブロックを、第２図（ａ）
、　（ｂ＞に示すように横、縦の順に直交変換を行う場
合には、１×８の横方向の８個の画素列に分解する。

第３図は１×８の横方向の画素列を示したものである。

このようζこして求められた横方向の一次元の画素列を
、画素列のどの部分が領域内でありどの部分が補完すべ
き領域であるかを示す情報とともに解析部へ送る。

解析部では、以下に示すようにして補完値を決定する。

一次元の直交変換は、次式（１）で示すように一次の多
項式で表すことができる。

Ｉｓ　　＝ａＮ＋Ｘ＋　　＋ａｓｚｘｚ　　＋ａＮ：＋
ｘ３＋　ａ　Ｎ４　Ｘ　４　＋−−＋ａ　ＮＮ　Ｘ　Ｎ
ここでＸｉ　　（ｉ＝１．２．−、Ｎ）は画素の濃度レ
ベルである。ｆ、（ｉ＝１．２．−１Ｎ）は変換後の周
波数の強度（変換値）であって、ｉが大きいほど周波数
が高くなる。またａ＝＝（ｉ、ｊ＝　１　、　２、−、
　Ｎ）は変数の係数である。Ｎはブロックのサイズであ
り、Ｎ＝２にである。

直交変換は、与えられた画素の濃度値Ｘｉを（１）式に
代入することによって、ｆｉとして求めることができる
。

ブロック内に境界が存在しない場合には、（１）式をそ
のまま用いることによって変換値を求めることができる
。第８図に示すようにブロック内に境界が存在する場合
には、次のようにして変換値を求める。

第４図は、Ｎ個の画素による一次元の画素列を示したも
のである。

いま、第４図の画素列において、Ｘｌが領域の境界であ
り、Ｘ、〜Ｘ１が領域内、ＸＬ。１〜ｘＮが補完すべき
空白部分とすると、この場合、ｆ〜ｆＮを求める代わり
に、ｆＬ。１〜ｆ、に０を代入して、ｆ　ｌ　−ｆＬ　
＋　　ｘｔ−＋〜χ８を求めることができる。これは未
知数ＮのＮ元連立−次方程式なので、（１）式を解析的
に解くことによって、−意に求めることができるからで
ある。

これによって、変換値ｆ、の高周波成分子り。

〜ｆ８を０とするような補完値Ｘ、４１〜ＸＮを決定す
る。

第４図の例では、補完する画素は画素列の後半の連続部
分であったが、これは画素列内に散在していてもよく、
その場合でも、補完する画素の数Ｋに対して、変換値ｆ
、（ｉ＝Ｎ−に、−、Ｋ）の高周波成分に個をＯとして
補完値を求める。

以上においては横方向の画素列の処理について説明した
が、縮方向の画素列を補完する場合についても、同様に
して補完の処理を行うことができる。

ブロック形成部では、このようにして補完された横方向
または縦方向の２に個の画素列を並べることによって、
補完された２に×２に画素のブロックを再構成する。

このように本発明では、直交変換の変換値の高周波成分
がＯになるように直交変換式を解析的に解き、補完値を
一意に決定することによって、画像符号化を効率的に行
うための画像の補完を行う。

これによって、本来は画像の性質と無関係な、補完によ
って生じる高周波成分の発生を防止することができる。

以下においては、Ｎ＝４の場合の補完を例示する。この
ときの直交変化を表す一次式は、ここで、Ｃ４＝ｃｏｓ
　（π／４）／２．Ｃ３−ｃ　ｏ　Ｓ　　（π／８）　
／２．　５８＝ｓ　　ｉ　ｎ　　（ｚ／８）／２である
。

第５図は画素列の濃度レベルを例示する図である。

いま３番目の画素を境界として、頭載内の画素の濃度値
をｘｌ　＝６４．　　Ｘｚ　＝３２．　　ｘ３＝６４と
したとき、４番目の画素に補完するものとする。

このとき、ｆ、＝Ｏとして濃度値Ｘ４を求めると、（２
）の第４式から Ｘ４　＝ＸＩ　　　Ｃ８／Ｓ８＊Ｘ２ 十Ｃ８／　Ｓ　８　＊　ｘ　：＋ ＝１４１．２５ となる。このときの変換値ｆ、は ｆ、＝１０６．５０ ｆ２−−４１．　８１ ｆ３＝３８．６３ ｆ４　＝０．　０ となり、画素３個分のデータがあればよい。

一方、従来方式によって濃度値Ｘ４＝６４を代入して変
換値ｆ、を求めると、 ｆ、　　＝７９．　２０ ｆｚ−−６，１２ ｆ：＋＝１１．３１ ｆｎ＝１４．７８ となって、画素４個分のデータが必要となる。このとき
ｆ４＝０としてデータを３個に削減してデータを復元す
ると、データの高周波成分が除去されて、 ｘ、−５８，３４ ｘｚ　＝４５．　６６ Ｘ３＝５０．３４ ｘ４＝６９．６６ となって、大きな誤差を生しることになる。

〔実施例〕

第６図は、本発明の一実施例を示したものであって、領
域分割を利用した画像符号化を行う画像補完符号化装置
を示している。

この画像補完符号化装置は、入力された画像を−様な領
域ごとに領域分割し、その結果得られた領域をブロック
に分割するとともに、ブロック内の領域外の空白部分の
画素を補完して、画像を符号化するものである。

第６図において、１１は画像の圧縮符号化を行う画像符
号化部を示し、１２は画像入力部、１３は領域分割部、
１４は領域抽出部、１５はブロック分割部、１６はブロ
ック分類部、１７は符号化部である。１８は画像補完部
を示し、画像補完部１８は、ブロック分解部１９と、解
析部２０と、ブロック形成部２１とからなっている。２
２は符号化されたデータを受は渡しする画像データベー
スを示し、データの受は渡しは回線２３によっても行わ
れる。２４は符号化されたデータを画像に復元する画像
復元部を示している。画像復元部２４は、復号化部２５
と、領域生成部２６と、画像再構成部２７とからなって
いる。

画像符号化部１１において、画像入力部１２は、アナロ
グ画像をディジタル画像に変換して、装置に取り込む。

領域分割部１３は、入力された画像を第１０図において
示されたように、性質が−様な領域ごとにまとめ領域分
割を行う。領域抽出部１４は、領域分割部１３で領域分
割された画像から各領域を切り出して、それぞれの領域
ごとに境界線を抽出する。領域抽出部１４で切り出され
た領域データと境界線データは、ブロック分割部１５へ
送られる。

ブロック分割部１５では、領域を画素の整数倍である最
小の大きさを有する矩形の部分画像（ブロック）に分割
する。ブロック分類部１６は、領域の境界線を参照して
、領域の境界部分を含むブロックと、境界部分を含まな
いブロックとに分類する。第１１図においては、領域の
境界部分を含むブロックに斜線を施して示している。

領域の境界部分を含まないブロックは、そのまま符号化
部１７へ送られる。一方、領域の境界部分を含むブロッ
クは、境界線のデータとともに画像補完部１８に送られ
る。画像補完部１８では、領域の境界部分を含むブロッ
クについて、前述の解析的な手段により、領域外の空白
部分の補完を行う。

すなわち、ブロック分解部１９ではブロックを横方向ま
たは縮方向の画素列ごとに分解して、補完しなければな
らない部分を示すデータとともに、解析部２０へ送る。

解析部２０では、前述の（１）で示された方程式を解く
ことによって、補完しなければならない部分に対する補
完値を求めて、その部分に代入する。ブロック形成部２
１では、補完処理の終了した横方向または縦方向の画素
列をまとめてブロックの形に戻す。

符号化部１７では、ブロック分類部１６から送られてき
たブロックと、画像補完部１８から送られてきたブロッ
クとを符号化する。符号化部１７では、ブロックが、ブ
ロック分類部１６から送られたブロックか、画像補完部
１８から送られたブロックかを区別することなく符号化
を行う。

このようにして符号化されたデータは、境界線データと
とともに画像データベース２２に蓄積される。

画像復元部２４において、復号化部２５は、画像データ
ベース２２から取り出された符号化データを、ブロック
単位で復号化することによって、領域を中に含む画像が
再現される。領域生成部２６では、復号化部２５で復号
化された画像に対して境界線データをあてはめることに
よって、画像符号化部１１において、領域部分のみを切
り出して領域分割を行った結果得られたものと同し領域
を生成する。このようにして生成された領域は、画像再
構成部２７に集められて、画像のもとの位置に組み合わ
せられることによって、もとの画像が復元される。

なお、画像データベース２２を経由する代わりに、回線
２３を経て符号化データを遠隔地に効率的に伝送し、画
像復元部２４において画像を復元するようにしてもよい
。

〔発明の効果〕

以上説明したように本発明によれば、画像をブロックに
分割して、ブロック単位で画像を符号化および復号化す
る装置において、ブロックに満たない領域を符号化する
際に、直交変換に基づく高周波成分の発生を抑圧して、
効率的な画像符号化を行うことができる。

【図面の簡単な説明】

第１図は本発明の原理的構成を示す図、第２区（ａ）、
　（ｂ）は二次元直交変換を説明する図、第３図は１×
８の横方向の画素列を示す図、第４図はＮ個の画素によ
る一次元の画素列を示す図、第５図は画素列の濃度レベ
ルを例示する図、第６図は本発明の一実施例を示す図、
第７図は画像のブロック分割を説明する図、第８図は離
散コサイン変換によるエネルギーの集中を説明する図、
第９図は画像の端部を含むブロックを示す図、第１０図
（ａ）。 （ｂ）は画像の領域分割を説明する図、第１１図（ａ）
。 （ｂ）は領域のブロック分割を示す図である。 １１は画像符号化部、１８は画像補完部、１９はブロッ
ク分解部、２０は解析部、２１はブロック形成部である
。

Claims (1)

1. 【特許請求の範囲】 画像を所定の大きさを有する部分画像であるブロックに
   分割し直交変換を用いて符号化を行う画像符号化部（１
   １）において、 画像領域の境界部分を含むブロックを画素列に分解する
   とともに、該画素列における領域の境界を示すデータを
   発生するブロック分解部（１９）と、 該画素列における領域内の画素の値から高周波成分が０
   になるように領域外の画素に対する補完値を解析的に決
   定する解析部（２０）と、 該補完処理を行って得られた横方向または縦方向の画素
   列からブロックを再構成するブロック形成部（２１）と からなる画像補完部（１８）を備え、画像領域の境界部
   分を含まないブロックと、前記画像補完部（１８）から
   の補完されたブロックとによって符号化を行うことを特
   徴とする画像補完符号化装置。