JP5295431B2

JP5295431B2 - 画像処理装置

Info

Publication number: JP5295431B2
Application number: JP2012523439A
Authority: JP
Inventors: 偉雄藤田; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-07-06
Filing date: 2010-07-06
Publication date: 2013-09-18
Anticipated expiration: 2030-07-06
Also published as: CN102959582A; DE112010005721B4; WO2012004830A1; JPWO2012004830A1; CN102959582B; US8913842B2; DE112010005721T5; US20130051664A1

Description

本発明は、画像処理によって発生するエッジのがたつきを低減する画像処理装置に関するものである。

従来、例えば、カラーレーザプリンタ向けの文字等のエッジのスムージング方法として、画像データを二値化、もしくは三値化し、予め定めたパターンテーブルと一致するかどうか判定し、一致した場合は、注目画素を予め定めた画像信号に置換するものがあった（例えば、特許文献１参照）。また、この特許文献１には、入力画像に対してエッジ判定を行い、注目画素がエッジ周辺部かそれ以外の画像平坦部かを判定し、判定結果に応じてマッチング処理を行うかどうか切り替えることで高精細な出力画像を得る方法について記載されている。

特開２００１−１５７０４号公報

しかしながら、上記特許文献１に記載された技術は、スムージング処理が文字データのエッジのみを対象としており、マッチングするパターンに応じて注目画素を置換する画素値が固定値として定められているため、中間階調の信号から成る自然画像に対しては適用できないものであった。

この発明は、かかる問題を解決するためになされたもので、歪み補正処理や座標変換処理、視点変換処理により発生するエッジ部分のがたつきを解消し、かつ、処理に必要な演算量の削減と、エッジのがたつき解消による画像の高画質化とを両立することのできる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、画像信号に対し、参照画素の輝度信号平均値を閾値として輝度値の二値化を行う二値化手段と、二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、パターンマッチング手段からの出力が適合するグループの情報であった場合は、グループに対応したいずれかのフィルタの出力を、パターンマッチング手段からの出力が適合無しの情報であった場合は、画像信号を選択する出力データ選択手段とを備え、画像信号は、輝度信号および色差信号の二種類の信号を有し、複数のフィルタは、複数の輝度信号用フィルタおよび複数の色差信号フィルタを有し、複数の輝度信号用フィルタは、グループに対応して設けられ、輝度信号のエッジ方向に応じてスムージング処理を行い、複数の色差信号用フィルタは、グループに対応して設けられ、色差信号のエッジ方向に応じてスムージング処理を行うものである。

本発明によれば、自然画像といった画像データであっても、エッジの鮮鋭性を保ったままがたつきの平滑化を行うことができる。

この発明の実施の形態１の画像処理装置を示す構成図である。この発明の実施の形態１の画像処理装置におけるマッチング処理に用いるパターンを示す説明図である。この発明の実施の形態１の画像処理装置におけるデジタルフィルタを示す説明図である。この発明の実施の形態２の画像処理装置を示す構成図である。この発明の実施の形態３の画像処理装置を示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１による画像処理装置を示す構成図である。
図１において、画像処理装置は、パターンマッチング処理部（二値化手段、パターンマッチング手段）１０、０度方向対応フィルタ２１、４５度方向対応フィルタ２２、９０度方向対応フィルタ２３、１３５度方向対応フィルタ２４、セレクタ３０を備えている。また、入力画像データ１は、中間階調の信号を含む自然画像等の画像データであり、出力画像データ２は、スムージング処理が行われた処理結果としての画像データである。パターンマッチング処理部１０は、入力画像データ１に対して二値化処理およびバターン照合処理を行い結果を出力する処理部である。０度方向対応フィルタ２１〜１３５度方向対応フィルタ２４は、それぞれ、画面水平方向、斜め４５度方向、垂直方向、斜め１３５度方向のエッジに対応したデジタルフィルタ処理を行うフィルタである。セレクタ（出力データ選択手段）３０は、パターンマッチング処理の結果を参照し、出力画像データの切替えを行うためのセレクタである。

次に、実施の形態１の動作について説明する。ここでは、入力画像データ１は、１画素について８ｂｉｔ、１０ｂｉｔ、１２ｂｉｔ等の値で表現されるグレースケール画像のデータとする。
先ず、入力画像データ１はパターンマッチング処理部１０によって二値化処理およびパターンとの照合処理が行われる。ここでは処理の一例として参照する画素の範囲を注目画素を中心とし、３画素ｘ３画素とする場合について述べる。

入力データの二値化処理では、注目画素を中心とした領域を参照範囲として、画素平均値を求め、求められた平均値を閾値として閾値以上の画素を１、閾値未満の画素を０として９個の０または１からなるデータを作成する。このデータに対し予め用意したパターンとのマッチング処理を行う。図２はマッチング処理に用いるパターンの例を示したものである。図中の「０」および「１」はそれぞれ画像データから算出した２値化データの「０」または「１」に対応しており、同一の位置のデータがすべてパターンと合致する場合のみ適合するするパターンと見なす。また、図中の「Ｘ」についてはマッチング対象としない画素を示しており、対応する位置の二値化データが「０」または［１］のいずれの場合もパターンと合致するものと見なす。

即ち、パターン上で「Ｘ」と設定されている画素を除く全ての画素について「０」または「１」の配列が画像データから算出した２値化データと全て一致する場合に、２値化データがパターンと適合しているとみなす。ここで図２におけるパターンは、「０度方向」「４５度方向」「９０度方向」「１３５度方向」の４つのグループに予め分類しておく。
そして、パターンマッチング処理部１０では、パターンマッチングを実施し、適合するパターンが無い場合は「適合パターンなし」、適合するパターンがあった場合パターンが属するグループに応じて「０度方向適合」「４５度方向適合」「９０度方向適合」「１３５度方向適合」のいずれか、即ち、適合状態を示す５つの値の内のいずれかを出力する。

一方、入力画像データ１は同時に、水平、垂直、斜め方向の４種類のエッジに対応する０度方向対応フィルタ２１〜１３５度方向対応フィルタ２４に入力される。それぞれのデジタルフィルタ処理では該当方向のエッジジャギーに対し、解像感の低下を抑えてスムージング処理を適するため、エッジの方向に沿って画素値の平均化処理を実施する。
図３には各方向に対応したデジタルフィルタの一例を示す。図３において数字は各画素位置に対する係数を示しており、「スケール値」は画素値の正規化を行うために除算する数を示している。図２においてデータのエッジが発生する方向性と図３においてフィルタ処理で参照する画素の方向性を合致させることにより、エッジの鮮鋭性を保ったままがたつきの平滑化を行うことが可能である。

以上のように、実施の形態１の画像処理装置によれば、画像信号に対し、参照画素の輝度平均値を閾値として輝度値の二値化を行う二値化手段と、二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、パターンマッチング手段からの出力が適合するグループの情報であった場合は、グループに対応したいずれかのフィルタの出力を、パターンマッチング手段からの出力が適合無しの情報であった場合は、画像信号を選択する出力データ選択手段とを備えたので、自然画像といった画像データであっても、エッジの鮮鋭性を保ったままがたつきの平滑化を行うことができる。

実施の形態２．
実施の形態１では入力画像データがグレースケール画像である場合の処理について説明したが、実施の形態２では入力画像データが輝度信号と色差信号から成るカラー画像である場合の処理について示す。
図４は、実施の形態２の画像処理装置を示す構成図である。
図４において、入力画像データ１は、輝度信号（Ｙ）１ａと色差信号（Ｃｂ，Ｃｒ）１ｂの２種類の信号から構成される。パターンマッチング処理部１０は、入力画像データ１の輝度信号１ａに対して二値化処理およびバターン照合処理を行い結果を出力するよう構成されている。また、０度方向対応フィルタ２１ａ〜１３５度方向対応フィルタ２４ａ及び０度方向対応フィルタ２１ｂ〜１３５度方向対応フィルタ２４ｂは、それぞれ、実施の形態１の０度方向対応フィルタ２１〜１３５度方向対応フィルタ２４と同様のデジタルフィルタ処理を行うフィルタであるが、０度方向対応フィルタ２１ａ〜１３５度方向対応フィルタ２４ａは、輝度信号１ａに対応した輝度信号用フィルタ、０度方向対応フィルタ２１ｂ〜１３５度方向対応フィルタ２４ｂは、色差信号１ｂに対応した色差信号用フィルタである。

セレクタ３０ａは、パターンマッチング処理部１０の出力情報に基づいて、０度方向対応フィルタ２１ａ〜１３５度方向対応フィルタ２４ａの出力を選択するフィルタ、セレクタ３０ｂは、パターンマッチング処理部１０の出力情報に基づいて、０度方向対応フィルタ２１ｂ〜１３５度方向対応フィルタ２４ｂの出力を選択するフィルタである。出力画像データ２は、セレクタ３０ａの選択結果である輝度信号２ａと、セレクタ３０ｂの選択結果である色差信号２ｂからなるものである。

次に、実施の形態２の動作について説明する。
入力画像データ１のうち、輝度信号１ａに対してパターンマッチング処理部１０によるパターンマッチング処理を適用する。パターンマッチング処理の内容は実施の形態１に記載したものと同一の、二値化処理、およびパターン照合処理を組み合わせたものとする。
パターンマッチング処理部１０におけるパターンマッチング処理の結果、パターン適合状態に応じ、「適合パターンなし」、「０度方向適合」、「４５度方向適合」、「９０度方向適合」、「１３５度方向適合」のいずれかの状態を示す値がパターンマッチング処理より出力される。
デジタルフィルタ処理は、輝度信号１ａに対して適用するための０度方向対応フィルタ２１ａ〜１３５度方向対応フィルタ２４ａと、色差信号１ｂに対して適用するための０度方向対応フィルタ２１ｂ〜１３５度方向対応フィルタ２４ｂに分かれており、それぞれ個別の係数を適用する。一般的に輝度信号１ａと比較して色差信号１ｂでは信号に含まれる周波数が低いため、色差信号１ｂに対してはより周辺画素の係数を大きくし、平滑化の強度が強いフィルタ処理係数を用いる。

パターンマッチング処理は輝度成分のみを対象として行い、そのマッチング結果は輝度信号１ａに対応したセレクタ３０ａおよび色差信号１ｂに対応したセレクタ３０ｂの両方のセレクタに入力されることにより、輝度成分および色差成分は常に一致したエッジ方向でデジタルフィルタ処理が行われる。これにより、輝度信号１ａと色差信号１ｂとの間で対応する方向性処理が異なることによって発生する偽色を防止する。

以上のように、実施の形態２の画像処理装置によれば、輝度信号および色差信号の二種類の信号からなる画像信号に対し、参照画素の輝度信号平均値を閾値として輝度値の二値化を行う二値化手段と、二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、グループに対応して設けられ、輝度信号のエッジ方向に応じてスムージング処理を行う複数の輝度信号用フィルタと、グループに対応して設けられ、色差信号のエッジ方向に応じてスムージング処理を行う複数の色差信号用フィルタと、パターンマッチング手段からの出力が適合するグループの情報であった場合は、そのグループに対応したいずれかの輝度信号用フィルタおよび色差信号用フィルタの出力を、パターンマッチング手段からの出力が適合無しの情報であった場合は、画像信号を選択する出力データ選択手段とを備えたので、色差成分を含んだカラー画像に対しても、偽色による画質の劣化および解像度の低下を抑え、エッジの鮮鋭性を保ったままがたつきの平滑化を行うことができる。

実施の形態３．
実施の形態３では、パターンマッチングを用いたエッジ検出と、エッジの方向性を考慮しないエッジ検出の組み合わせにより、補正の精度を向上させる処理について示す。

図５は、実施の形態３の画像処理装置を示す構成図である。
実施の形態３の画像処理装置は、パターンマッチング処理部（二値化手段、パターンマッチング手段）１０、０度方向対応フィルタ２１〜１３５度方向対応フィルタ２４、セレクタ（出力データ選択手段）３０ｃ、画素間最大差分値算出部（画素間最大差分値算出手段）４０、メディアンフィルタ５０、セレクタ（メディアン出力選択手段）６０を備えている。ここで、パターンマッチング処理部１０及び０度方向対応フィルタ２１〜１３５度方向対応フィルタ２４については実施の形態１と同様であるため、ここでの説明は省略する。画素間最大差分値算出部４０は、周辺画素と注目画素との画素値差分を算出し、画素値差分の最大値を求める処理部である。また、メディアンフィルタ５０は、メディアン処理、即ち、周辺画素と注目画素を含めた画素値から中央値を抽出して出力する処理部である。セレクタ６０は、画素間最大差分値算出処理の結果を参照し、出力画像データの切替えを行うためのセレクタである。更に、セレクタ３０ｃは、パターンマッチング処理部１０の出力が「適合パターンなし」であった場合、セレクタ６０の出力を選択するよう構成されている。

次に、実施の形態３の動作について説明する。
実施の形態１と同様に、入力画像データ１に対してパターンマッチング処理部１０によるパターンマッチング処理を適用し、その結果としてマッチングに関する情報（「適合パターンなし」、「０度方向適合」、「４５度方向適合」、「９０度方向適合」、「１３５度方向適合」）のいずれかがセレクタ３０ｃに送られる。
実施の形態１ではマッチング結果として適合パターンが無かった場合、無処理として入力信号をそのまま出力信号として選択していたが、本実施の形態では「適合パターンなし」の場合には選択的にメディアン処理を適用した画像データを出力する。

選択的なメディアン処理の適用について以下説明する。
先ず、入力画像データ１を画素間最大差分値算出部４０に入力する。画素間最大差分値算出部４０では、注目画素の画素値と周辺画素の画素値の差分絶対値を算出し、その中で最も大きくなる値を記録する。参照する画素の範囲はここでは注目画素を中心とした３画素ｘ３画素の領域とするが、処理対象となる画像の大きさや特性に応じて他の大きさに変更してもよい。
画素間最大差分値算出部４０で算出された最大差分値の情報は、セレクタ６０に送付される。セレクタ６０では、送付された最大差分値を予め定められたメディアン出力選択用閾値と比較し、この閾値より大きい場合はメディアンフィルタ５０によるメディアン処理の出力を、小さい場合には無処理データを出力データとして選択する。

エッジ部に発生するがたつきには、振幅が大きく、マッチングによる処理ではエッジであると判定されない画素が含まれる。このような画素について実施の形態３のように、方向性を考慮せず、局所的な画素値の変動に基づくエッジ判定、およびメディアン処理による方向性に依存しない平滑化処理の適用を組み合わせることで、平滑化処理が適用される画素の範囲を広げ、より効果の大きいがたつきの平滑化を行うことが可能である。

以上のように、実施の形態３の画像処理装置によれば、画像信号に対し、参照画素の輝度平均値を閾値として輝度値の二値化を行う二値化手段と、二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、画像信号に対し、周辺画素と着目画素の差分の最大値を求める画素間最大差分値算出手段と、画像信号に対し、メディアンフィルタ処理を行うメディアンフィルタと、画素間最大差分値算出手段の出力値が予め定めたメディアン出力選択用閾値よりも大きかった場合はメディアンフィルタの出力を、メディアン出力選択用閾値以下であった場合は画像信号を選択するメディアン出力選択手段と、パターンマッチング手段からの出力が適合するグループの情報であった場合は、そのグループに対応したいずれかのフィルタの出力を、パターンマッチング手段からの出力が適合無しの情報であった場合は、メディアン出力選択手段の出力を選択する出力データ選択手段とを備えたので、より確実にエッジのがたつきの平滑化を行うことができる。

尚、上記実施の形態３では、実施の形態１の構成に対して画素間最大差分値算出部４０やメディアンフィルタ５０およびセレクタ６０からなる構成を適用したが、実施の形態２の構成に対して適用してもよい。この場合は、入力画像データ１における輝度信号１ａと色差信号１ｂの両方の信号に対してこれらの構成を設けることになる。

以上のように、この発明に係る画像処理装置は、画像処理によって発生するエッジのがたつきを低減させる構成に関するものであり、画像処理装置においてスムージング処理を行うのに適している。

Claims

画像信号に対し、参照画素の輝度信号平均値を閾値として輝度値の二値化を行う二値化手段と、
前記二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、
前記グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、
前記パターンマッチング手段からの出力が適合するグループの情報であった場合は、当該グループに対応した前記いずれかのフィルタの出力を、前記パターンマッチング手段からの出力が適合無しの情報であった場合は、前記画像信号を選択する出力データ選択手段とを備え、
前記画像信号は、輝度信号および色差信号の二種類の信号を有し、
前記複数のフィルタは、複数の輝度信号用フィルタおよび複数の色差信号フィルタを有し、
前記複数の輝度信号用フィルタは、前記グループに対応して設けられ、前記輝度信号のエッジ方向に応じてスムージング処理を行い、
前記複数の色差信号用フィルタは、前記グループに対応して設けられ、前記色差信号のエッジ方向に応じてスムージング処理を行う画像処理装置。
画像信号に対し、参照画素の輝度平均値を閾値として輝度値の二値化を行う二値化手段と、
前記二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、
前記グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、
前記画像信号に対し、周辺画素と着目画素の差分の最大値を求める画素間最大差分値算出手段と、
前記画像信号に対し、メディアンフィルタ処理を行うメディアンフィルタと、
前記画素間最大差分値算出手段の出力値が予め定めたメディアン出力選択用閾値よりも大きかった場合は前記メディアンフィルタの出力を、前記メディアン出力選択用閾値以下であった場合は前記画像信号を選択するメディアン出力選択手段と、
前記パターンマッチング手段からの出力が適合するグループの情報であった場合は、当該グループに対応した前記いずれかのフィルタの出力を、前記パターンマッチング手段からの出力が適合無しの情報であった場合は、前記メディアン出力選択手段の出力を選択する出力データ選択手段とを備えた画像処理装置。
画像信号に対し、参照画素の輝度信号平均値を閾値として輝度値の二値化を行う二値化手段と、
前記二値化手段から出力された二値化パターンを、予め用意したグループ毎のマッチング用のパターンと照合し、適合するグループの情報または適合無しの情報を出力するパターンマッチング手段と、
前記グループに対応して設けられ、画像のエッジ方向に応じてスムージング処理を行う複数のフィルタと、
前記画像信号に対し、周辺画素と着目画素の差分の最大値を求める画素間最大差分値算出手段と、
前記画像信号に対し、メディアンフィルタ処理を行うメディアンフィルタと、
前記画素間最大差分値算出手段の出力値が予め定めたメディアン出力選択用閾値よりも大きかった場合は前記メディアンフィルタの出力を、前記メディアン出力選択用閾値以下であった場合は前記画像信号を選択するメディアン出力選択手段と、
前記パターンマッチング手段からの出力が適合するグループの情報であった場合は、当該グループに対応した前記いずれかのフィルタの出力を、前記パターンマッチング手段からの出力が適合無しの情報であった場合は、前記メディアン出力選択手段の出力を選択する出力データ選択手段とを備え、
前記画像信号は、輝度信号および色差信号の二種類の信号を有し、
前記複数のフィルタは、複数の輝度信号用フィルタおよび複数の色差信号フィルタを有し、
前記複数の輝度信号用フィルタは、前記グループに対応して設けられ、前記輝度信号のエッジ方向に応じてスムージング処理を行い、
前記複数の色差信号用フィルタは、前記グループに対応して設けられ、前記色差信号のエッジ方向に応じてスムージング処理を行う画像処理装置。