JP2969921B2 - エッジ特徴抽出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像のエッジ抽出処理において、劣化した
画像から、ノイズの影響を受け難く、更に連結性が良い
エッジ線を抽出でき、かつ高速に処理できるエッジ特徴
抽出装置に関するものである。

従来の技術 従来のエッジ特徴抽出装置としては、例えば「C.コッ
ホ（C.Koch）,J.マロクイン（J.Marroquin）and A.ユー
リ（A.Yuille）：アナログ“ニューロナル”ネットワー
クス イン アーリー ビジョン（Analog“Neuronal"N
etworks in early vision）,Proc.Natl.Acad.Sci.USA,8
3,pp.4263−4267（1986）」に示されているものがあ
る。

第８図はこの従来のエッジ特徴抽出装置の構成図を示
すものであり、１は入力画像、２はコンボリューション
マトリクスデータ、81はエッジエネルギー最小化部、82
は画素エネルギー最小化部、６はエッジ出力部である。

以上のように構成された従来のエッジ特徴抽出装置の
動作を図に従って説明する。

正しいエッジ線を劣化画像から得る場合には、劣化画
像の復元処理を行いながらエッジを抽出しなければなら
ない。一般に画像の劣化過程は、まず原画像がぼやかさ
れ次に雑音が加法的に加わるという形で表現される。し
たがって劣化画像をｇ（x,y）、原画像をｆ（x,y）、前
記原画像が関数ｈ（x,y）によってぼかされたものと
し、さらにノイズをｎ（x,y）とすると画像の劣化過程
を次式のように表すことができる。

ｇ（x,y）＝∬ｈ（ｘ−a,y−ｂ）ｆ（a,b）dadb＋ｎ（x,y） ・・・（１） （１）式を離散的な画像の場合に置き直すと（２）式
のように表すことができる。

ここで、座標（i,j）における劣化画像の画素値をＧ
（i,j）、原画像の画素値をＦ（i,j）、ノイズ値をＮ
（i,j）、前記関数ｈ（x,y）を表すコンボリューション
マトリクスの（i,j）成分をＨ（i,j）とする。但し、前
記コンボリューションマトリクスは（k,l）成分がｆ
（i,j）に対応する。

Ｇ（i,j）、Ｈ（i,j）が既知である場合にＦ（i,j）
を推定することを考える。いま（２）式を次式のように
変形する。

Ｎ（i,j）が未知であるのでＧ（i,j）を平滑化しなが
ら（３）式の右辺を最小にするＦ（i,j）を求めなけれ
ばならない。したがって、平滑化を行なう制約条件とし
て、次式で表されるような各画素間の画素値の差分が０
になる時に最小となる式Econ（i,j）を（３）式に付け
加える。

Econ（i,j）＝｛Ｆ（i,j＋１）−Ｆ（i,j））｝^２ ＋｛Ｆ（ｉ＋1,j）−Ｆ（i,j）｝^２ ・・・（４） いまエッジは画素と画素の間に存在すると仮定する。
そこでエッジがあるかないかを表す指標として第９図に
示すような線過程と呼ばれる、画素と画素の間に存在す
る仮想の値、Ａ（i,j）及び、Ｂ（i,j）を導入し、Econ
（i,j）を次式のように書き換える。但し、Ａ（i,j）、
Ｂ（i,j）は、エッジがたっていれば１、たっていなけ
れば０を値として持つとする。

Econ（i,j）＝｛Ｆ（i,j＋１）− Ｆ（i,j）｝^２｛１−Ａ（i,j）｝ ＋｛Ｆ（ｉ＋1,j）− Ｆ（i,j）｝^２｛１−Ｂ（i,j）｝ ・・・（５） （５）式は、線過程Ａ、Ｂから見れば「画素間の画素値
の差が大きいほど線過程の値を１に近づける」というこ
とを表わしており、画素値Ｆから見れば「エッジが立っ
ていない画素間では平滑化を行い、エッジが立っている
画素間では平滑化を行なわない」ということを表してい
る。

さらにＡ（i,j）、Ｂ（i,j）も入力画像から推定しな
ければならない。そこで次式で表されるEedgを最小にす
る時のＡ（i,j）、Ｂ（i,j）の組が画像のエッジとして
一番もっともらしいと仮定する。

ここで、第１項目は「線仮定は、１または０のどちら
かの値をとる」、第２項目は「同じ方向の線仮定は平行
に並ぶことはまずない」、第３項目は「エッジは余り多
くは立たない」、そして最後の項は「エッジはたいてい
続いているかまたは、曲がっており、分枝することは余
りない」という過程を各々表している。但し、Ca、Cb、
Ccは各項の全体に対する重みを表すパラメータである。

結局、次式で表されるＥを最小にするＦ（i,j）が求
めたい復元画像の座標（i,j）における画素値というこ
とになる。

但し、C1、C2、C3、C4、C5は全体に対する各項の重み
を表すパラメータである。

従来のエッジ特徴抽出装置においては第８図に示すよ
うにエッジエネルギー最小化部81は、入力画像１、コン
ボリューションマトリクスデータ２及び、画素エネルギ
ー最小化部82から入力を受ける。

第10図は、エッジエネルギー最小部81及び、画素エネ
ルギー最小化部82の具体的な構成図であり、101はエッ
ジ偏微分部、104はエッジメモリ、105は画素偏微分部、
108は画素メモリ、102及び、106は乗算部、103及び、10
7は加算部を表す。

復元画像の画素値を表す画素メモリの内容は、最初に
入力画像１の各画素値に初期設定される。また線過程の
値を表すエッジメモリ104の内容は、すべて０〜１の適
当な値に初期設定される。

第10図に示すように画素偏微分部105は入力画像１、
コンボリューションマトリクスデータ２、加算部103及
び、エッジメモリ104から入力を受ける。

いま（７）式をＦ（i,j）に関して偏微分した関数をE
_fとおくと、画素偏微分部105は入力値をもとに各画素ご
とのE_fの値を算出し、乗算部106及び、それに続く加算
部107を介して自分自身にフィードバックさせる。但
し、（７）式における係数C1〜C5は、あらかじめ適当な
値に固定されている。

乗算部106は、入力の値に十分に０に近い負の数（−
ε_ｆ）をかけて出力する。

加算部107は乗算部106と画素メモリ108からの入力を
足し合わせた値を画素偏微分部105及び、エッジ偏微分
部101に対して出力する一方、画素メモリ108の内容を出
力した値に書き変える。結局、画素メモリ108の内容は
一時刻前のＦ（i,j）の値であり、次式に従って内容が
更新されることになる。

F_t+1（i,j）＝F_t（i,j）−ε_fE_f（F_t（i,j）） ・・・（８） 但し、F_t+1（i,j）及び、F_t（i,j）は各々、座標（i,
j）の時刻ｔ＋１における画素値、時刻ｔにおける画素
値を表し、ε_ｆは十分に小さな正数とする。

ここでＥはＦ（i,j）について微分可能であるので次
のことが成り立つ。

△Ｆ（i,j）→０ならば ｛Ｅ（△Ｆ（i,j）＋Ｆ（i,j））− Ｅ（Ｆ（i,j））｝／△Ｆ（i,j） ＝∂E/∂Ｆ（i,j） ・・・（９） ここで、 △Ｆ（i,j）＝−ε_ｆ∂E/∂Ｆ（i,j）とおくと Ｅ（△Ｆ（i,j）＋Ｆ（i,j））−Ｅ（Ｆ（i,j）） ＝−ε_ｆ｛∂E/∂Ｆ（i,j）｝^２≦０ ・・・（10） （10）式から、（８）式に従ってＦ（i,j）を更新する
ことによってＥを最小にするＦ（i,j）を求められるこ
とがわかる。

エッジ偏微分部101は加算部107及び、画素メモリ108
から入力を受ける。

いま（７）式をＡ（i,j）、Ｂ（i,j）に関して偏微分
した関数をE_eとおくと画素偏微分部105は、入力値をも
とに各線過程ごとのE_eの値を算出し、乗算部106及び、
それに続く加算部107を介して自分自身にフィードバッ
クさせる。但し、（７）式における係数C1〜C5は、あら
かじめ適当な値に固定されている。

乗算部102は、入力の値に十分に０に近い負の数（−
ε_ｌ）をかけて出力する。

加算部103は乗算部102とエッジメモリ104からの入力
を足し合わせた値をエッジ偏微分部101及び、画素偏微
分部105に対して出力する一方、エッジメモリ104の内容
を出力した値に書き変える。結局、エッジメモリ104の
内容は一時刻前のＡ（i,j）、Ｂ（i,j）の値でり、
（８）〜（10）式で示した内容と同様の理由により、Ｅ
を最小にするＡ（i,j）、Ｂ（i,j）を求めることが出来
る。

次にエッジ出力部６がエッジメモリ104の内容をエッ
ジ画像として出力する。

発明が解決しようとする課題 しかしながら上記のような構成では、画素値の変動幅
が極端に大きい画素間では、線過程を推定する際に、
「画素間の画素値の差が大きいほど線過程の値を１に近
づける」という仮定を表わしている（７）式の第２項
（（５）式）による引き込みが生じ、他の仮定（（７）
式の第３項以降）に関係なく、いっきに線過程の値を１
に近づけてしまうことになる。従って、変動幅が極端に
大きいノイズがのった画素間では、非常に早く線過程の
値が１に近づくために、エッジ画像にノイズによる誤っ
たエッジが残ってしまう。さらに他のエッジ線の連結性
の仮定（７）式の第３項以降）の影響が減少するうえ
に、誤ったエッジが残るためにエッジ線の連結性も悪く
なる。また変動幅が極端に大きいノイズが多い場合は、
多くの不要な線過程が１に近い値を持つために、画像全
体の平滑化が進まず、処理速度が遅くなるという課題を
有していた。

本発明はかかる点に鑑み、画素値の変動幅が大きいノ
イズがある場合でも、ノイズの影響を受けにくく、さら
に連結性が良いエッジ線を抽出でき、かつ処理速度も速
いエッジ特徴抽出装置を提供することを目的とする。

課題を解決するための手段 入力される画像の隣合う画素間の差分に応じて、画像
の各画素に付随するパラメータを設定するパラメータ設
定部と、画素間にエッジが存在している確率を表わす値
をもつ線過程を変数とし、入力される画像と前記パラメ
ータ設定部からの入力で決まる関数を最小化することに
よって線過程を推定するエッジエネルギー最小化部と、
画素値を変数とし、入力される画像と前記エッジエネル
ギー最小化部からの入力と画像の劣化過程を表わすコン
ボリューションマトリクスデータとで決まる関数を最小
化することによって画素値を推定する画素エネルギー最
小化部と、前記エッジエネルギー最小化部によって推定
された線過程の値から得られる画像をエッジ画像として
出力するエッジ出力部を備えたエッジ特徴抽出装置を構
成する。

作用 本発明は前記の構成により、「画素間の画素値の差が
極端に大きい場合はノイズである確率が高い」という仮
定に基づき、パラメータ設定部によって画素間の画素値
の差分が大きい場合には、（７）式の係数を変化させ
る。このような（７）式の係数の制御によって、（７）
式の第２項（（５）式）による引き込みを抑えることが
でき、ノイズによる誤ったエッジが残らないエッジ画像
を得ることができる。それにともなってエッジ線の連結
性も良くなる。また不要な線過程の活性化速度も抑える
ことができ、それにともなって処理速度が速くなる。

実施例 第１図は本発明の実施例におけるエッジ特徴抽出装置
の構成図を示すものである。第１図において、１は入力
画像、２はパラメータ設定部、３はコンボリューション
マトリクスデータ、４はエッジエネルギー最小化部、５
は画素エネルギー最小化部、６はエッジ出力部である。

以上のように構成された本実施例のエッジ特徴抽出装
置について、以下にその動作を説明する。

まず入力画像１はパラメータ設定部２と画素エネルギ
ー最小化部５に入力される。但し、パラメータ設定部２
には、処理の最初では入力画像１が、それ以降では画素
エネルギー最小化部５からの出力が入力される。

第２図はパラメータ設定部２の構成図であり、21は関
数パラメータ決定部、22は画素差分部、23は係数制御
部、24は係数メモリである。係数メモリ24は線過程の座
標位置で区別されるメモリから成る。各メモリの内容は
すべて同じ値で初期化される。

パラメータ設定部２に入力された画像は、まず関数パ
ラメータ決定部21と画素差分部22に入力される。関数パ
ラメータ決定部21は、入力された画像に対し、例えば空
間周波数分析を行なうことによって、高周波成分が大き
いならば、不連続性の強い画像、低周波成分が大きいな
らば、不連続性が弱い画像と判断し、不連続性の強い画
像ならば大きい値を、不連続性の弱い画像ならば小さい
値を係数制御部23に出力する。

画素差分部21は、隣合う画素間の差分値を算出し、計
算した画素間の線過程の座標位置ごとに、その結果を係
数制御部23へ出力する。

係数制御部23は、関数パラメータ決定部21からの入力
をもとに（７）式の係数を制御する関数（係数制御関
数）を決定し、さらに画素差分部22からの入力に対する
係数制御関数の出力を、画素差分部22からの入力を計算
した画素間の線過程の座標位置に対応する係数メモリ24
内のメモリに出力する。係数メモリ24は各メモリの内容
を入力値に書換え、保持する。

第３図は係数制御部23の具体的な構成図を表わす図で
あり、31は時間関数部、32は係数制御関数部である。

関数パラメータ決定部21の出力は、時間関数部31に入
力される。時間関数部31の出力値θは、関数パラメータ
決定部21からの入力値θ_０に対して、例えば第４図
（ａ）に示すような線形関数、第４図（ｂ）に示すよう
な線形関数の組合せ、あるいは第４図（ｃ）に示すよう
な非線形関数等によって決まる値をもつ。

係数制御関数部32は、時間関数部31と画素差分部22か
らの入力を受け、各画素間ごとに値を出力する。例えば
（７）式の係数C2を制御する場合、係数制御関数部32の
出力値C2（x,i,j）は、画素差分部22からの入力値△Ｆ
（x,i,j）が、時間関数部31からの入力値θまでは一定
値をもち、前記入力値θを越える前記入力△Ｆ（x,i,
j）に対しては、第５図（ａ）に示すような線形関数、
第５図（ｂ）に示すような線形関数の組合せ、あるいは
第５図（ｃ）に示すような非線形関数等によって決まる
値をもつ。但し、C2（x,i,j）は、適当な初期値C2₀に初
期設定されている。ここでC2及び、△Ｆの添え字のｘは
差分をとる画素の方向（水平方向か、垂直方向か）を表
わしている。

C2は、「エッジは余り多くは立たない」という仮定を
考慮する割合を表わしており、C2の値が大きい場合は、
線過程の活性化を抑制する効果も増大し、線過程の値を
０に近づけることになる。従って、第５図に示すような
係数C2の制御は、「画素間の差分がある値よりも大きい
場合は、線過程の活性化をその差分値に比例して抑制す
る」ことに相当する。

第６図は、エッジエネルギー最小化部４及び、画素エ
ネルギー最小化部５の具体的な構成図であり、61はエッ
ジ偏微分部、62及び、66は乗算部、63及び、67は加算
部、64はエッジメモリ、65は画素偏微分部、68は画素メ
モリを表す。

線過程の値を表すエッジメモリ64の内容はすべて０〜
１の適当な値に初期設定される。また復元画像の画素値
を表す画素メモリ68の内容は最初に、入力画像１の各画
素値に初期設定される。

エッジ偏微分部61は加算部67、画素メモリ68及び、パ
ラメータメモリ64から入力を受ける。

いま（７）式をＡ（i,j）、Ｂ（i,j）に関して偏微分
した関数をE_eとおくと画素偏微分部45は、入力値をもと
に各線過程ごとのE_eの値を算出し、乗算部46及び、それ
に続く加算部47を介して自分自身にフィードバックさせ
る。但し、各線過程ごとにE_eの値を算出する際、パラメ
ータメモリ24の内の対応するメモリに保持されている内
容が読み出され、（７）式の係数の値は、読み出された
値に変えられる。

乗算部62は、入力の値に十分に０に近い負の数をかけ
て出力する。

加算部63は乗算部62とエッジメモリ64からの入力を足
し合わせた値をエッジ偏微分部61及び、画素偏微分部65
に対して出力する一方、エッジメモリ64の内容を出力し
た値に書き変える。結局、エッジメモリ64の内容は一時
刻前のＡ（i,j）、Ｂ（i,j）の値であり、（８）〜（1
0）式で示した内容と同様の理由により、Ｅを最小にす
るＡ（i,j）、Ｂ（i,j）を求めることが出来る。

この時、パラメータ設定部２による係数制御によっ
て、（７）式の第２項（（５）式）による引き込みを抑
え、他の条件（（７）式の第３項以降の項）によって連
結性を加味することができる。したがって、変動幅の大
きいノイズがある場合でも、線過程Ａ（i,j）、Ｂ（i,
j）の値は急激に１に近づくことがなく、連結性の良い
線過程を得ることができる。

第６図に示すように画素偏微分部65は入力画像１、コ
ンボリューションマトリクスデータ２、加算部63及び、
エッジメモリ64から入力を受ける。

いま（７）式をＦ（i,j）に関して偏微分した関数をE
_fとおくと画素偏微分部65は、入力値をもとに各画素ご
とのE_fの値を算出し、乗算部66及び、それに続く加算部
67を介して自分自身にフィードバックさせる。

乗算部66は、入力の値に十分に０に近い負の数をかけ
て出力する。

加算部67は乗算部66と画素メモリ68からの入力を足し
合わせた値を画素偏微分部65及び、エッジ偏微分部61に
対して出力する一方、画素メモリ68の内容を出力した値
に書き変える。結局、画素メモリ68の内容は一時刻前の
Ｆ（i,j）の値であり、（８）〜（10）式で示した内容
と同様の理由により、Ｅを最小にするＦ（i,j）を求め
ることが出来る。

この時、エッジメモリ64に保持されている線過程は、
パラメータ設定部２による係数の制御により、ノイズの
影響がなく、連結性の良い状態になっているので、それ
にともなって画素メモリ68に保持されている画素値は、
変動幅の大きいノイズがなく、エッジ部分が明瞭な状態
になる。

さらに、変動幅の大きいノイズが多い場合でも、その
ノイズの影響で多くの不要な線過程の値が１に近づくこ
とがない。したがって平滑化が速く進むことになり、処
理の高速化も図ることができる。

次にエッジ出力部６がエッジメモリ64の内容をエッジ
画像として出力する。

なお（７）式の係数C1を制御する場合には、係数制御
関数部32の出力関数を第７図（ａ）に示すような線形関
数、第７図（ｂ）に示すような線形関数の組合せ、ある
いは第７図（ｃ）に示すような非線形関数等にする。

発明の効果 本発明によれば、変動幅の大きいノイズによる誤った
エッジが残らず、連結性の良いエッジ線を得ることがで
きる。さらに、それにともなって処理速度が速くなる。

【図面の簡単な説明】

第１図は本実施例におけるエッジ特徴抽出装置の構成を
示すブロック図、第２図は第１図のパラメータ設定部の
構成を示すブロック図、第３図は第２図の係数制御部の
構成を示すブロック図、第４図は第３図の時間関数部の
出力関数の図、第５図は（７）式の係数C2を制御する場
合の係数制御関数の図、第６図は第１図のエッジエネル
ギー最小化部と画素エネルギー最小化部の具体的な構成
を示すブロック図、第７図は（７）式の係数C1を制御す
る場合の係数制御関数の図、第８図は従来例の実施例に
おけるエッジ特徴抽出装置の構成を示すブロック図、第
９図は線過程の説明図、第10図は第８図におけるエッジ
エネルギー最小化部と画素エネルギー最小化部の構成を
示すブロック図である。 １……入力画像、２……パラメータ設定部、３……コン
ボリューションマトリクスデータ、４、81……エッジエ
ネルギー最小化部、５、82……画素エネルギー最小化
部、６……エッジ出力部、21……関数パラメータ決定
部、22……画素差分部、23……係数制御部、24……係数
メモリ、31……時間関数部、32……係数制御関数部、6
1、101……エッジ偏微分部、62、66、102、106……乗算
部、63、67、103、107……加算部、64、104……エッジ
メモリ、65、105……画素偏微分部、68、108……画素メ
モリ。

フロントページの続き (72)発明者 香田 敏行 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 〆木 泰治 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 昭62−211780（ＪＰ，Ａ) 特開 平１−113879（ＪＰ，Ａ) 特開 昭63−261479（ＪＰ，Ａ) 特開 平１−145783（ＪＰ，Ａ) 特開 平１−224883（ＪＰ，Ａ) 画像電子学会研究会講演予稿 Ｖｏ ｌ．119ｔｈ 1990．４．５「エネルギ ー最小化原理に基づく自然画像の復元適 応的 バイアス入力法の検討」山本 他 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 9/20

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】入力される画像の隣合う画素間の差分に応
   じて、画像の各画素に付随するパラメータを設定するパ
   ラメータ設定部と、画素間にエッジが存在している確率
   を表わす値をもつ線過程を変数とし、入力される画像と
   前記パラメータ設定部からの入力で決まる関数を最小化
   することによって線過程を推定するエッジエネルギー最
   小化部と、画素値を変数とし、入力される画像と前記エ
   ッジエネルギー最小化部からの入力と画像の劣化過程を
   表わすコンボリューションマトリクスデータとで決まる
   関数を最小化することによって画素値を推定する画素エ
   ネルギー最小化部と、前記エッジエネルギー最小化部に
   よって推定された線過程の値から得られる画像をエッジ
   画像として出力するエッジ出力部とを備えたことを特徴
   とするエッジ特徴抽出装置。
2. 【請求項２】パラメータ設定部を入力画像が連続性の強
   い画像か弱い画像かを判断し、その結果に応じた出力を
   出す関数パラメータ決定部と、入力される画像の隣合う
   画素間の差分値を算出する画素差分部と、前記関数パラ
   メータ決定部からの入力によって決まる関数を係数制御
   関数として持ち、前記画素差分部からの入力によって、
   前記係数制御関数がエッジエネルギー最小化部のパラメ
   ータを制御する係数制御部と、前記係数制御部からの出
   力を保持する係数メモリで構成したことを特徴とする請
   求項１に記載のエッジ特徴抽出装置。
3. 【請求項３】係数制御部を関数パラメータ決定部からの
   入力を初期値とし、処理時間とともに出力値が変化する
   時間関数部と、前記時間関数部からの入力と画素差分部
   からの入力によって出力が決まる係数制御関数部で構成
   したことを特徴とする請求項２に記載のエッジ特徴抽出
   装置。
4. 【請求項４】時間関数部は、関数パラメータ決定部から
   の入力値をそのまま出力値とすることを特徴とする請求
   項３に記載のエッジ特徴抽出装置。
5. 【請求項５】時間関数部は、処理時間とともに一定の割
   合で出力値が変化することを特徴とする請求項３に記載
   のエッジ特徴抽出装置。
6. 【請求項６】時間関数部は、処理時間で区別される区間
   において、各々異なる割合で出力値が変化することを特
   徴とする請求項３に記載のエッジ特徴抽出装置。
7. 【請求項７】時間関数部は、処理時間とともに非線形に
   出力値が変化することを特徴とする請求項３に記載のエ
   ッジ特徴抽出装置。
8. 【請求項８】係数制御関数部は、画素差分部からの入力
   値が時間関数部からの入力値より小さい場合は変化せ
   ず、前記時間関数部からの入力値以上になると、前記画
   素差分部からの入力値に対して一定の割合で変化する出
   力値をとることを特徴とする請求項３に記載のエッジ特
   徴抽出装置。
9. 【請求項９】係数制御関数部は、画素差分部からの入力
   値が時間関数部からの入力値より小さい場合は変化せ
   ず、前記時間関数部からの入力値以上になると、前記画
   素差分部からの入力値で区別される各区間に対して、各
   々異なる割合で変化する出力値をとることを特徴とする
   請求項３に記載のエッジ特徴抽出装置。
10. 【請求項１０】係数制御関数部は、画素差分部からの入
    力値が時間関数部からの入力値より小さい場合は変化せ
    ず、前記時間関数部からの入力値以上になると、前記画
    素差分部からの入力値に対して、非線形に変化する出力
    値をとることを特徴とする請求項３に記載のエッジ特徴
    抽出装置。