JP2004172726A

JP2004172726A - 画像処理装置および方法

Info

Publication number: JP2004172726A
Application number: JP2002333488A
Authority: JP
Inventors: Shintaro Okada; 紳太郎岡田; Kazuhiko Ueda; 和彦上田; Mitsuyasu Asano; 光康浅野; Kazuki Yokoyama; 一樹横山; Takeshi Kubozono; 猛窪園
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-11-18
Filing date: 2002-11-18
Publication date: 2004-06-17
Anticipated expiration: 2022-11-18
Also published as: JP4273748B2

Abstract

【課題】画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を抑えることができるようにする。
【解決手段】非線形平滑化器２２には、縦属接続されるεフィルタ５３Ａ乃至５３Ｃが設けられている。εフィルタ５３Ａから後段のεフィルタ５３Ｃになるに連れて、タップ数の多い狭帯域フィルタからタップ数の少ない広帯域フィルタとなるように設定されており、このとき、εフィルタ５３Ａ乃至εフィルタ５３Ｃのタップ数のインターバルは２のべき乗と設定される。εフィルタ５３Ａ乃至εフィルタ５３Ｃは、それぞれの閾値を閾値ε_１、閾値ε_２、およびε閾値ε_３とするとき、閾値をε_１＜ε_２＜ε_３となるように設定する。本発明は、ビデオカメラに適用することができる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法に関し、特に、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を抑えることができるようにした画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来、ビデオカメラにおいては、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ），ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されており、また高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００４】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ないという課題があった。
【０００５】
そこで、本出願人は、入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調して表示することを先に提案している（例えば、特許文献１）。
【０００６】
【特許文献１】
特開２００１−２９８６２１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載されている方法においては、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合、平滑化の効果を充分に得るためには、非常に大きなタップ数の非線形フィルタを設ける必要があり、計算量が多くなるという課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を少なくすることができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、入力画像データを平滑化し、平滑化画像データを生成する平滑化手段を備え、平滑化手段は、縦属に接続された、平滑化の度合いを制御するパラメータおよび帯域に関するインターバルが異なる複数の非線形フィルタからなることを特徴とする。
【００１０】
前記平滑化手段は、中心画素とその近傍画素の差分値に基づいて、平滑化の度合いを適応的に変化させるようにすることができる。
【００１１】
前記非線形フィルタのパラメータの値は、後段の方が前段に較べて大きいようにすることができる。
【００１２】
前記非線形フィルタのインターバルの値は、後段の方が前段に較べて小さいようにすることができる。
【００１３】
前記非線形フィルタのインターバルは２のべき乗とされるようにすることができる。
【００１４】
前記非線形フィルタは、εフィルタまたはメディアンフィルタとされるようにすることができる。
【００１５】
本発明の画像処理方法は、入力画像データを平滑化し、平滑化画像データを生成する平滑化ステップを含み、平滑化ステップの処理は、縦属に接続された、平滑化の度合いを制御するパラメータおよび帯域に関するインターバルが異なる複数の非線形フィルタにより行なわれることを特徴とする。
【００１６】
本願発明においては、入力画像データが平滑化される。また、入力画像データの平滑化は、縦属に接続された、平滑化の度合いを制御するパラメータおよび帯域に関するインターバルが異なる複数の非線形フィルタにより行なわれる。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したビデオカメラ１の構成例を表わしている。
【００１８】
ＣＣＤ，ＣＭＯＳなどの撮像素子よりなる撮像素子１１は、被写体からの光画像を入力画像データとして取得し、入力画像データを画像処理回路１２の遅延回路２１および非線形平滑化器２２に入力する。この入力画像データは、２次元ディジタル画像とされ、画像上の位置（ｉ，ｊ）に対応する画素値がｘ（ｉ，ｊ）により表わされる。
【００１９】
非線形平滑化器２２は、入力画像データを平滑化して、平滑化データを生成する。
【００２０】
遅延回路２１は、撮像素子１１によって撮像された入力画像データを所定量遅延させ、これを遅延画像データとして演算部２３の減算器３１に送出する。画像強調手段を構成する演算部２３は、減算器３１の他、乗算器３２、および加算器３３により構成され、出力画像データを生成する。減算器３１は、遅延画像データの各画素値ｘ（ｉ，ｊ）から平滑化画像データの各画素値ｓ（ｉ，ｊ）を減算し、その結果得られた差分画像データを乗算器３２に出力する。
【００２１】
乗算器３２は、差分画像データの各画素値（ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ））に、それぞれゲイン係数ｇ（ｉ，ｊ）を乗算して増幅し、その結果得られた差分画像データを加算器３３に出力する。ゲイン係数ｇ（ｉ，ｊ）としては、全画面に対して一様な値、又は各画素（ｉ，ｊ）毎に設定された値が用いられる。
【００２２】
加算器３３は、乗算器３２から供給される差分画像データの各画素値
ｇ（ｉ，ｊ）×（ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ））
に対して、減算器３１によって減算されたオフセット分である平滑化画像データの各画素値ｓ（ｉ，ｊ）を加算し、その結果得られた出力画像データをカメラ信号処理回路１３に出力する。
【００２３】
カメラ信号処理回路１３は、出力画像データに対して所定のデータ処理を施し、その結果得られた出力画像データをＶＴＲ（ＶｉｄｅｏＴａｐｅＲｅｃｏｒｄｅｒ）１４に送出して記録させる。
【００２４】
次に、図２のフローチャートを参照して、図１の画像処理回路１２における画像処理を説明する。なお、この処理は、ユーザの指令により、撮像素子１１から入力画像データが供給されたとき開始される。
【００２５】
ステップＳ１において、遅延回路２１は、撮像素子１１から供給された入力画像データを取得する。
【００２６】
ステップＳ２において、非線形平滑化器２２は、撮像素子１１から供給された入力画像データを取得する。
【００２７】
ステップＳ３において、非線形平滑化器２２は、ステップＳ２の処理により取得した入力画像データの中から画素値の変化が急峻なエッジ成分を抽出し、当該エッジ成分に対しては平滑化することなくそのまま出力するのに対して、エッジ成分以外の小振幅成分に対しては、平滑化することにより、入力画像データのエッジ成分を保存したまま当該入力画像データを平滑化して、平滑化画像データを生成する。その処理の詳細は、図８乃至図１０を参照して後述する。非線形平滑化器２２は、生成した平滑化画像データを、減算器３１と加算器３３に供給する。
【００２８】
ステップＳ４において、遅延回路２１は、ステップＳ１の処理により取得した入力画像データを所定量遅延させ、これを遅延画像データとして減算器３１に送出する。
【００２９】
ステップＳ５において、減算器３１は、遅延回路２１から供給された遅延画像データ（ステップＳ４の処理）の各画素値ｘ（ｉ，ｊ）から非線形平滑化器２２から供給された（ステップＳ３の処理）平滑化画像データの各画素値ｓ（ｉ，ｊ）を減算し、差分画像データを生成する。減算器３１は、生成した差分画像データを乗算器３２に供給する。
【００３０】
ステップＳ６において、乗算器３２は、減算器３１から供給された（ステップＳ５の処理）差分画像データの各画素値（ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ））に、それぞれゲイン係数ｇ（ｉ，ｊ）を乗算して増幅し、その結果得られた差分画像データを加算器３３に送出する。なお、ゲイン係数ｇ（ｉ，ｊ）は、全画面に対して一様な値、又は各画素（ｉ，ｊ）毎に設定された値が用いられる。
【００３１】
ステップＳ７において、加算器３３は、ステップＳ６の処理により乗算器３２から供給される差分画像データの各画素値
ｇ（ｉ，ｊ）×（ｘ（ｉ，ｊ）−ｓ（ｉ，ｊ））
に対して、平滑化画像データ（ステップＳ３の処理により非線形平滑化器２２から供給された平滑化画像データ）の各画素値ｓ（ｉ，ｊ）を加算し、その結果得られた出力画像データをカメラ信号処理回路１３に送出する。
【００３２】
図２の処理により、画像処理回路１２は、入力画像データを平滑化し、画像強調処理された出力画像データを得ることができる。
【００３３】
図３は、非線形平滑化器２２の構成例を示すブロック図である。
【００３４】
線形ローパスフィルタ５１は、入力画像データのうち、極めて高い周波数成分の信号レベルを減衰させ、その結果得られた画像データをルックアップテーブル５２に送出する。ルックアップテーブル５２は、線形ローパスフィルタ５１から供給された画像データに対して、例えば、対数変換のような階調変換を施し（入力画像データに対して非線形変換を施し、非線形画像データを生成し）、その結果得られた画像データをεフィルタ５３に送出する。
【００３５】
εフィルタ５３は、縦属に接続（カスケード接続）されたｎ個（図３の例では、３個）のεフィルタ５３Ａ乃至εフィルタ５３Ｃにより構成される。εフィルタ５３Ａは、非線形平滑化フィルタ、すなわち、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、ルックアップテーブル５２から供給される画像データのエッジを保存したまま当該画像データを平滑化し、その結果得られた平滑化画像データをεフィルタ５３Ｂに送出する。
【００３６】
εフィルタ５３Ａの後段に接続されるεフィルタ５３Ｂと、さらにその後段に接続されるεフィルタ５３Ｃは、当該εフィルタ５３Ａと同様の構成であるが、閾値εと帯域（タップ数）が異なる。εフィルタ５３Ａ乃至εフィルタ５３Ｃの詳細は、図４乃至図６を参照して後述する。
【００３７】
εフィルタ５３Ｂは、画像データを平滑化し、その結果得られた平滑化画像データをεフィルタ５３Ｃに送出する。εフィルタ５３Ｃは、εフィルタ５３Ｂから供給された平滑化画像データをさらに平滑化し、平滑化画像データをルックアップテーブル５４に供給する。
【００３８】
ルックアップテーブル５４は、εフィルタ５３Ｃから供給された平滑化画像データに対して、階調変換（ルックアップテーブル５２が施した対数変換の逆変換）を施し、その結果得られた平滑化画像データを線形ローパスフィルタ５５に送出する。
【００３９】
線形ローパスフィルタ５５は、エッジを保存したまま平滑化された平滑化画像データのエッジを僅かに鈍らせることにより平滑化画像データを生成し、これを減算器３１および加算器３３に送出する。これにより、後段の画像強調処理（演算部２３が実行する処理）においてエッジ近傍での画像の滑らかさを保持することができる。
【００４０】
図４は、εフィルタ５３Ａの詳細な構成例を示すブロック図である。
【００４１】
このεフィルタ５３Ａは、フィルタ処理用の画素が１次元で１７タップとされ、閾値設定部１４０により設定された閾値がε_１とされる。εフィルタ５３Ａは、レジスタ１０１乃至１１６、閾値設定部１４０、セレクタ１４１乃至１４４、増幅器１６１乃至１６５、加算器１８１、並びに割算器１８２により構成される。レジスタ１０１乃至１１６は、それぞれ１画素分の画素値を保持するレジスタである。
【００４２】
セレクタ１４１は、レジスタ１１６から供給された値Ｘｍ、レジスタ１０８から供給された中心画素ｐｎの画素値Ｘｎ、並びに閾値設定部１４０から供給された閾値ε_１に基づいて、演算を行ない、演算を行なった結果を増幅器１６１に供給する。セレクタ１４２は、レジスタ１１２から供給された値Ｘｍ、レジスタ１０８から供給された中心画素ｐｎの画素値Ｘｎ、並びに閾値設定部１４０から供給された閾値ε_１に基づいて演算を行ない、演算結果を増幅器１６１に供給する。
【００４３】
セレクタ１４３は、レジスタ１０４から供給された値Ｘｍ、レジスタ１０８から供給された中心画素ｐｎの画素値Ｘｎ、並びに閾値設定部１４０から供給された閾値ε_１に基づいて、演算を行ない、演算を行なった結果を増幅器１６４に供給する。セレクタ１４４は、入力された値Ｘｍ、レジスタ１０８から供給された中心画素ｐｎの画素値Ｘｎ、並びに閾値設定部１４０から供給された閾値ε_１に基づいて演算を行ない、演算結果を増幅器１６５に供給する。
【００４４】
レジスタ１０１乃至１０３で構成されるレジスタ１９１、レジスタ１０５乃至１０７で構成されるレジスタ１９２、レジスタ１０９乃至１１１で構成されるレジスタ１９３、レジスタ１１３乃至１１５で構成されるレジスタ１９４は、それぞれインターバルを設定する為に設けられている。
【００４５】
増幅器１６３には、レジスタ１０８から中心画素ｐｎの画素値Ｘｎが供給される。
【００４６】
増幅器１６１乃至１６５は、入力される画素値Ｘに対してそれぞれタップ係数ａｋを乗算し、その演算結果を加算器１８１に送出する。いまの場合、増幅器１６１と増幅器１６５のタップ係数は１とされ、増幅器１６２乃至１６４のタップ係数は２とされる。加算器１８１は、供給されたそれぞれの値（増幅器１６１乃至１６５から供給された値）を加算し、これを割算部１８２に供給する。割算部１８２は供給された値を割算し（いまの例の場合、８で割算する）、これをεフィルタ５３Ｂに送出する。なお、割算器１８２を省略し、増幅器１６１，１６５のタップ係数を１／８とし、増幅器１６２乃至１６４のタップ係数を２／８としてもよい。
【００４７】
図５は、εフィルタ５３Ｂの詳細な構成例を示すブロック図であり、図６は、εフィルタ５３Ｃの詳細な構成例を示すブロック図である。
【００４８】
図４を図５および図６と比較して明らかなように、図５および図６のεフィルタ５３Ｂおよび５３Ｃは、図４のεフィルタ５３Ａと、基本的に同様の構成とされている。
【００４９】
すなわち、図４のεフィルタ５３Ａのレジスタ１０１乃至１１６、閾値設定部１４０、セレクタ１４１乃至１４４、増幅器１６１乃至１６５、加算器１８１、並びに割算器１８２に対応して、図５のεフィルタ５３Ｂは、レジスタ３０１乃至３０８、閾値設定部３４０、セレクタ３４１乃至３４４、増幅器３６１乃至３６５、加算器３８１、並びに割算器３８２を有している。対応する名称のものは対応する機能を有している。
【００５０】
ただし、εフィルタ５３Ｂは、閾値設定部３４０により設定され、セレクタ３４１乃至３４４に供給される閾値ε_２の値と、レジスタの数（図６のεフィルタ５３Ａの場合、レジスタの数は、１６個であり、図８のεフィルタ５３Ｂの場合、レジスタの数は、８個である）が、図４のεフィルタ５３Ａと異なる。εフィルタ５３Ｂにおいては、インターバルを設定するレジスタ３９１乃至３９４は、それぞれ１個のレジスタ３０１，３０３，３０５，または３０７により構成されている。
【００５１】
また、図４のεフィルタ５３Ａのレジスタ１０１乃至１１６、閾値設定部１４０、セレクタ１４１乃至１４４、増幅器１６１乃至１６５、加算器１８１、並びに割算器１８２に対応して、図６のεフィルタ５３Ｃは、レジスタ４０１乃至４０４、閾値設定部４４０、セレクタ４４１乃至４４４、増幅器４６１乃至４６５、加算器４８１、並びに、割算器４８２を有している。対応する名称のものは対応する機能を有している。
【００５２】
ただし、上述した図５（εフィルタ５３Ｂ）と同様、εフィルタ５３Ｃは、閾値設定部４４０により設定され、セレクタ４０１乃至４０４に供給される閾値ε_３の値と、レジスタの数（εフィルタ５３Ａのレジスタの数は１６個であり、εフィルタ５３Ｃのレジスタの数は４個である）が、図６のεフィルタ５３Ａと異なる。εフィルタ５３Ｃにおいては、インターバルを設定するレジスタは設けられていない。
【００５３】
図７は、図４のセレクタ１４１の構成例を示すブロック図である。
【００５４】
画素ｐｍの画素値Ｘｍ（いまの例の場合、レジスタ１１６から供給される画素値）、およびレジスタ１０８から供給される中心画素ｐｎの画素値Ｘｎは、減算器２００およびセレクタ２０１に入力される。減算器２００は、画素値Ｘｎと画素値Ｘｍの差をとり、その結果を絶対値変換器２０２に出力する。絶対値変換器２０２は、画素値Ｘｎと画素値Ｘｍの差の絶対値｜Ｘｎ −Ｘｍ｜を求め、これを大小比較器２０３に出力する。
【００５５】
大小比較器２０３は、この絶対値｜Ｘｎ −Ｘｍ｜と、所定の閾値ε（いまの例の場合、閾値ε_１）とを比較し、その比較結果をセレクタ２０１に送出する。セレクタ２０１は、絶対値｜Ｘｎ −Ｘｍ｜が所定の閾値εよりも小さい場合には、画素値Ｘｍを選択して後段の増幅器１６１に送出するとともに、絶対値｜Ｘｎ −Ｘｍ｜が所定の閾値ε_１よりも大きい場合には、画素値Ｘｎを選択して後段の増幅器１６１に送出する。
【００５６】
セレクタ１４２乃至１４４は、それぞれセレクタ１４１と同様に構成され、選択した画素ｐの画素値Ｘをそれぞれ対応する後段の増幅器１６２，１６４および１６５に送出する。
【００５７】
図５のセレクタ３４１乃至３４４、並びに、図６のセレクタ４４１乃至４４４の構成も、セレクタ１４１と同様であるため、その説明は省略する。
【００５８】
次に、図８のフローチャートを参照して、図３の非線形平滑化器２２における非線形平滑化処理を説明する。このフローチャートは、図２のステップＳ２およびステップＳ３の処理を詳細に説明するものである。なお、この処理は、ユーザの指令により撮像素子１１から入力画像データが非線形平滑化器２２の線形ローパスフィルタ５１に供給されたとき開始される。
【００５９】
ステップＳ３１において、線形ローパスフィルタ５１は、撮像素子１１から供給された入力画像データを取得する。
【００６０】
ステップＳ３２において、線形ローパスフィルタ５１は、入力画像データのうち極めて高い周波数成分の信号レベルを減衰させ、その結果得た画像データをルックアップテーブル５２に送信する。
【００６１】
このように、線形ローパスフィルタ５１は、入力画像データのうち極めて高い周波数成分の信号レベルを減衰させることにより、後段のεフィルタ５３（εフィルタ５３Ａ乃至５３Ｃ）において平滑化処理を行う場合、振幅の大きい高周波成分が十分平滑化されずに点状のノイズとして画像上に残存することを防止している。なお、この線形ローパスフィルタ５１は、１次元の線形ローパスフィルタを画像の水平方向および垂直方向にそれぞれ適用することによって構成されるか、又は２次元の線形ローパスフィルタによって構成される。
【００６２】
ステップＳ３３において、ルックアップテーブル５２は、ステップＳ３２の処理により線形ローパスフィルタ５１から供給された画像データを取得し、取得した画像データに対して、例えば、対数変換のような階調変換を施し、その結果得られた画像データをεフィルタ５３（εフィルタ５３Ａ）に送出する。
【００６３】
ところで、後段のεフィルタ５３Ａ乃至５３Ｃは、閾値ε_１乃至ε_３の大きさを異ならせることにより、相対的に画像データの振幅に応じて適応的な平滑化処理を行うが、一般に画像データの振幅の大きさは、撮像対象を照明している照明光の強さに比例して大きくなる。そこでルックアップテーブル５２は、予め画像データに対して対数変換を施すことにより、後段のεフィルタ５３Ａ乃至５３Ｃにおいて平滑化処理を行う際、照明条件によらず同一の平滑効果を得ることを可能にする。これと共にルックアップテーブル５２は、例えば画像の暗い領域や明るい領域で平滑効果を高くすることにより、後段の画像強調処理による強調度合いを増加させるなど、画素値に応じて平滑効果を制御することも可能にする。
【００６４】
ステップＳ３４において、εフィルタ５３（εフィルタ５３Ａ乃至５３Ｃ）は、平滑化処理を実行する。なお、この平滑化処理の詳細は、図９を参照して後述する。
【００６５】
ステップＳ３５において、ルックアップテーブル５４は、εフィルタ５３（εフィルタ５３Ｃ）から供給された平滑化画像データに対して、階調変換（ステップＳ３３の処理によりルックアップテーブル５２が施した対数変換の逆変換）を施し、その結果得た平滑化画像データを線形ローパスフィルタ５５に送出する。
【００６６】
ステップＳ３６において、線形ローパスフィルタ５５は、エッジを保存したまま平滑化された平滑化画像データ（ステップＳ３５の処理によりルックアップテーブル５４から供給された平滑化画像データ）のエッジを僅かに鈍らせることにより平滑化画像データを生成し、これを減算器３１と加算器３３（図１）に送出する。これにより、後段の演算部２３による画像強調処理においてエッジ近傍での画像の滑らかさを保持することができる。
【００６７】
図８の処理により非線形平滑化処理が行なわれた平滑化データは、上述したように、さらに図２のステップＳ４乃至ステップＳ７における処理が実行される。
【００６８】
図９は、図８のステップＳ３４の平滑化処理を説明するフローチャートである。なお、この処理は、εフィルタ５３の第１段目のεフィルタ（すなわち、いまの場合、εフィルタ５３Ａ）に、画像データが供給されたとき（図８のステップＳ３３の処理の後）開始される。
【００６９】
ステップＳ７１において、εフィルタ５３Ａは、第１の閾値ε_１と第１のインターバルにより第１段の平滑化処理を実行する。なお、この処理の詳細は、図１０を参照して後述する。εフィルタ５３Ａは、第１の平滑化処理を実行した平滑化データを後段のεフィルタ５３Ｂに供給する。
【００７０】
ステップＳ７２において、εフィルタ５３Ｂは、第２の閾値ε_２と第２のインターバルにより第２段の平滑化処理を実行する。εフィルタ５３Ｂは、第２の平滑化処理を実行した平滑化データを後段のεフィルタ５３Ｃに供給する。
【００７１】
ステップＳ７３において、εフィルタ５３Ｃは、第３の閾値ε_２と第３のインターバルにより第３段の平滑化処理を実行する。εフィルタ５３Ｃは、第３の平滑化処理を実行した平滑化データをεフィルタ５３の出力として、ルックアップテーブル５４に供給する。ルックアップテーブル５４は、上述したように、平滑化データを階調変換する（図８のステップＳ３５の処理）。
【００７２】
図９の処理により、εフィルタ５３に備えられているεフィルタ５３Ａ乃至５３Ｃにより平滑化処理が行なわれ、平滑化データが生成される。
【００７３】
具体的には、εフィルタ５３Ａにより、入力された画像データに対して、｛１，０，０，０，２，０，０，０，２，０，０，０，２，０，０，０，１｝のタップ係数の演算がなされ、εフィルタ５３Ｂにより｛１，０，２，０，２，０，２，０，１｝のタップ係数の演算がなされ、εフィルタ５３Ｃにより｛１，２，２，２，１｝のタップ係数の演算がなされる。その結果、実質的に、入力された画像データに、｛１，２，３，４，６，８，１０，１２，１３，１４，１５，１６，１６，１６，１６，１６，１５，１４，１３，１２，１０，８，６，４，３，２，１｝のタップ係数の演算がなされたことと等価となる。
【００７４】
すなわち、３個のεフィルタ（１７タップ、９タップ、および５タップのεフィルタ）をカスケード接続することで、２７タップの非線形フィルタを用いて演算した結果とほぼ同等の効果を得ることができる。このとき、２７タップの非線形フィルタを用いて演算した場合に較べて、比較演算は、２６回から１２回へ削減することができ、乗算演算は、２７回から１５回へ削減することができる。
【００７５】
なお、この平滑化処理（図８のステップＳ３４の処理）ではエッジ以外の部分では可能な限り変化の少ない画像を生成することが望ましいが、そのためにはεフィルタ５３Ａにおいて、非常に大きなフィルタを用いる必要がある。しかし、用いるフィルタを大きくした場合、全画素にタップ係数ａｋを乗算すると後段のセレクタ１４１乃至１４４、増幅器１６１乃至１６５の数も増加させなければならず、回路規模が増大する。
【００７６】
そこで、本実施の形態では、レジスタ列（レジスタ１０１乃至１０４，レジスタ１０５乃至１０８，レジスタ１０９乃至１１２、および、レジスタ１１３乃至１１６）をそれぞれ４画素分のレジスタによって構成し、これ以降の演算処理に対しては各レジスタ列の先頭の１画素（レジスタ１０４，レジスタ１０８，レジスタ１１２、および、レジスタ１１６の画素）のみに施すようにすることにより、後段の回路規模を増加させることなく、空間的に広い範囲をカバーするεフィルタを実現している。但し、このように数画素おきにのみ有意な係数を持つフィルタは大きな平滑化効果が期待できる反面、一般的にサイドローブが大きくなる傾向があり、不要な高周波数成分が平滑化画像データに残存し易くなる。
【００７７】
そこで、εフィルタ５３Ｂおよびεフィルタ５３Ｃを縦属（カスケード）接続することにより、平滑化効果とサイドローブの抑制を両立させている。
【００７８】
図１０は、図９のステップＳ７１乃至７３の各ステップの処理、すなわち、第ｎ段（ｎ＝１，２，または３）の平滑化処理（任意のεフィルタにおける平滑化処理）を説明するフローチャートである。なお、この処理は、処理を実行する任意のεフィルタ５３に対して、入力画像データが供給されて来たとき開始される。
【００７９】
ステップＳ１０１において、各レジスタは、それぞれデータを保持する。例えば、図４のεフィルタ５３Ａにおいてこの処理を実行する場合、レジスタ１０１乃至１１６は、それぞれ入力されたデータを保持する。このとき、保持されたデータは、画素ｐｍの画素値Ｘｍとしてそれぞれセレクタ１４１乃至１４４に供給される。すなわち、そのときレジスタ１０４，１０８，１１２，および１１６に保持されている画素値Ｘｍが、それぞれセレクタ１４１乃至１４４に供給される。また、レジスタ１０８から供給される中心画素ｐｎの画素値Ｘｎは、セレクタ１４１乃至セレクタ１４４、並びに、乗算器１６３に入力される。
【００８０】
ステップＳ１０２において、セレクタ１４１乃至１４４の減算器２００は、画素ｐｍの画素値Ｘｍと中心画素ｐｎの画素値Ｘｎにおける差分（Ｘｎ−Ｘｍ）を演算する。
【００８１】
ステップＳ１０３において、セレクタ１４１乃至１４４の絶対値変換器２０２は、ステップＳ１０２の処理により演算した差分画素値Ｘｎと画素値Ｘｍの差（Ｘｎ−Ｘｍ）の絶対値｜Ｘｎ −Ｘｍ｜を求め、これを大小比較器２０３に送出する。
【００８２】
ステップＳ１０４において、セレクタ１４１乃至１４４の大小比較器２０３は、この絶対値｜Ｘｎ −Ｘｍ｜と所定の閾値ε（いまの例の場合、閾値ε_１）とを比較し、その比較結果をセレクタ２０１に送出する。
【００８３】
ステップＳ１０５において、セレクタ１４１乃至１４４のセレクタ２０１は、絶対値｜Ｘｎ −Ｘｍ｜が所定の閾値εよりも小さい場合には、画素値Ｘｍを選択して後段の増幅器１６１に送出し、絶対値｜Ｘｎ −Ｘｍ｜が所定の閾値ε_１よりも大きい場合には、画素値Ｘｎを選択して増幅器１６１に送出する。このとき増幅器１６１に供給される画素値を画素値Ｘと設定する。
【００８４】
ステップＳ１０６において、増幅器１６１乃至１６５は、入力される画素値Ｘに対してタップ係数ａｋを乗算し、その演算結果を加算器１８１に送出する。すなわち、増幅器１６１乃至１６５は、画素値Ｘを重み付けする。いまの例の場合、増幅器１６１，１６５のタップ係数は１であり、増幅器１６２乃至１６４のタップ係数は２であるので、画素値Ｘに対して、１または２が乗算される。
【００８５】
ステップＳ１０７において、加算器１８１は、増幅器１６１乃至１６５より供給されたそれぞれの値を加算し、これを割算部１８２に供給する。
【００８６】
ステップＳ１０８において、割算部１８２は加算器１８１から供給された値を割算し（いまの例の場合８で割算する）、これをεフィルタ５３Ｂに送出する。そして処理は、図９に戻り、それ以降（いまの場合、ステップＳ７２）の処理が行なわれる。
【００８７】
図１０の処理により、非線形平滑化フィルタであるεフィルタ５３（εフィルタ５３Ａ乃至５３Ｃ）は、画素値の急峻な変化を損なうことなく当該画素値を平滑化し、ルックアップテーブル５２から供給される画像データ（図８のステップＳ３２の処理によりルックアップテーブル５２から供給される画像データ）のエッジを保存したまま当該画像データを平滑化することができる。このεフィルタ５３における平滑化処理（図１０の処理）をまとめると、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、式（１）により示される。
【数１】

【００８８】
すなわち、εフィルタ５３は、フィルタ処理の中心画素ｐｎの画素値Ｘｎと画素ｐｎ−ｋの画素値Ｘｎ−ｋとの差の絶対値｜Ｘｎ −Ｘｎ−ｋ｜を所定の閾値εと比較する。その結果、εフィルタ５３Ａは、絶対値｜Ｘｎ −Ｘｎ−ｋ｜が所定の閾値εよりも小さいと判断した場合には、ｗｎ−ｋに画素値Ｘｎ−ｋを代入し、ａｋを各タップ係数とした通常の線形ローパスフィルタと同様の処理を実行することにより、中心画素ｐｎを中心として画像を一様に平滑化する。
【００８９】
これに対して、εフィルタ５３は、絶対値｜Ｘｎ −Ｘｎ−ｋ｜が所定の閾値εよりも大きいと判断した場合には、ｗｎ−ｋに画素値Ｘｎを代入し、画素ｐｎ−ｋの画素値Ｘｎ−ｋを中心画素ｐｎの画素値Ｘｎに置き換えた後に当該中心画素ｐｎを中心としてローパスフィルタ処理を行うことにより、画素値Ｘｎ−ｋを無視して画素値Ｘｎ近傍の画素値のみで平滑化を行う。
【００９０】
図１１は、εフィルタ５３Ａ（１７タップのεフィルタ）のレジスタ１０１乃至１１６に保持される画素値を説明する図である。
【００９１】
図１１において、フィルタ中心画素の画素値はＣとされ、中心画素より左側の画素値がＸ１，Ｘ２，Ｘ３，Ｌ１，Ｘ４，Ｘ５，Ｘ６，およびＬ２とされている。また、中心画素より右側の画素値がＹ１，Ｙ２，Ｙ３，Ｒ１，Ｙ４，Ｙ５，Ｙ６，およびＲ２とされている。
【００９２】
通常、ラインの走査は、左上から右下方向に行なわれるので、図中、最も左側の画素値Ｌ２が最も先に走査され、最も右側の画素値Ｒ２が最後に走査されるので、画素値Ｌ２がレジスタ１１６に保持され、画素値Ｘ６がレジスタ１１５に保持され、画素値Ｘ５がレジスタ１１４に保持される。以下、順次、図１１において左側の画素値から順番にレジスタ１１３，１１２，１１１，・・・に保持され、画素値Ｙ６がレジスタ１０１に保持され、画素値Ｒ２がセレクタ１４４に直接供給される（画素値Ｒ２をラッチするレジスタを設けてもよい）。
【００９３】
上述したようにεフィルタ５３Ａのタップ係数は｛１，０，０，０，２，０，０，０，２，０，０，０，２，０，０，０，１｝であるので、Ｌ２，Ｒ２の係数は１とされ、Ｌ１，Ｃ１，Ｒ１の係数は２とされ、Ｘ１乃至Ｘ６（それぞれ、レジスタ１１５，１１４，１１３，１１１，１１０，１０９に保持される）、並びに、Ｙ１乃至Ｙ６（それぞれ、レジスタ１０７，１０６，１０５，１０３，１０２，１０１に保持される）の係数は０とされる（各レジスタの出力が加算器１８１に供給されていない）。
【００９４】
上述した式（１）を適用すると、例えば、画素値Ｃと画素値Ｌ１との差の絶対値｜Ｃ−Ｌ１｜が、所定の閾値ε_１と比較され、所定の閾値ε_１よりも大きいとされた場合、画素値Ｌ１が、画素値Ｃに置き換えられる。式（１）によりＲ２，Ｙ６，Ｙ５，Ｙ４，Ｒ１，Ｙ３，Ｙ２，Ｙ１，Ｘ１，Ｘ２，Ｘ３，Ｌ１，Ｘ４，Ｘ５，Ｘ６，およびＬ２のそれぞれに対して演算された結果の画素値をＲ２’，Ｙ６’，Ｙ５’，Ｙ４’，Ｒ１’，Ｙ３’，Ｙ２’，Ｙ１’，Ｘ１’，Ｘ２’，Ｘ３’，Ｌ１’，Ｘ４’，Ｘ５’，Ｘ６’，およびＬ２’とすると、εフィルタ５３Ａから出力される画素値Ｃ’は、式（２）が演算されることにより行なわれる（式（２）は、図１０のステップＳ１０６乃至ステップＳ１０８の処理をまとめた式とされる）。
【数２】

【００９５】
図１２は、εフィルタ５３Ａ乃至εフィルタ５３Ｃにおける閾値εの関係を説明する図である。
【００９６】
εフィルタ５３Ａ乃至εフィルタ５３Ｃにおける閾値εは、後段のεフィルタ５３になるほど、大きくなる。すなわち、この場合、閾値ε_１＜ε_２＜ε_３とされる。
【００９７】
閾値εは、大きい値であるほど、ナマリが生じやすく（すなわち、ボケが生じるため、ノイズが取れる）、小さい値であるほど、ナマリが生じにくい（すなわち、ボケが生じにくく、ノイズが残る）。
【００９８】
例えば、タップ数が３とされ、タップ係数が｛１，２，１｝とされ、Ｌ１，Ｃ，Ｒ１が、それぞれＬ１＝３０，Ｃ＝１００およびＲ１＝８０とされ、閾値εが５０とされる場合、式（１）により、Ｌ１’＝１００とされる（Ｒ１’はそのままの値（Ｒ１）とされる）。また、式（２）により、Ｃ’＝｛１×１００＋２×１００＋１×８０｝／４が演算され、出力画素Ｃ’＝９５とされる。一方、例えば、タップ数が３とされ、タップ係数が｛１，２，１｝とされ、Ｌ１＝３０，Ｃ＝１００，Ｒ１＝８０とされ、閾値εが８０とされる場合（すなわち、上述した例と閾値εの値のみが異なる場合）、式（１）から、Ｌ１’とＲ１’はそのままの値（Ｌ１，Ｒ１）とされる。また、式（２）により、Ｃ’＝｛１×３０＋２×１００＋１×８０｝／４が演算され、出力画素Ｃ’＝７７．５とされる。このように、閾値εが大きいほど（いまの例の場合、閾値εが５０より８０であるほど）、出力画像にナマリが生じる（ボケが生じる）こととなる。
【００９９】
図１３は、εフィルタ５３Ｂ（９タップのεフィルタ）のレジスタ３０１乃至３０８に保持される画素値を説明する図であり、図１４は、εフィルタ５３Ｃのレジスタ３０１乃至３０８に保持されている画素値を説明する図である。
【０１００】
図１３において、フィルタ中心画素の画素値はＣとされ、中心画素より左側の画素値がＸ１，Ｌ１，Ｘ２，およびＬ２とされている。また、中心画素より右側の画素値がＹ１，Ｒ１，Ｙ２，およびＲ２とされている。上述したようにεフィルタ５３Ｂのタップ係数は｛１，０，２，０，２，０，２，０，１｝であるので、Ｌ２，Ｒ２の係数は１とされ、Ｌ１，Ｃ１，Ｒ１の係数は２とされ、Ｘ１，Ｘ２，Ｙ１，およびＹ２（それぞれ、レジスタ３０７，３０５，３０３，３０１に保持される）の係数は０とされる。
【０１０１】
また、図１４のεフィルタ５３Ｃにおいて、フィルタ中心画素の画素値はＣとされ、中心画素より左側の画素値がＬ１，およびＬ２とされている。また、中心画素より右側の画素値がＲ１，およびＲ２とされている。上述したようにεフィルタ５３Ｃのタップ係数は｛１，２，２，２，１｝であるので、Ｌ２，Ｒ２の係数は１とされ、Ｌ１，Ｃ１，Ｒ１の係数は２とされる。
【０１０２】
このように、εフィルタ５３Ａのインターバルは、４（＝２^２）（インターバル設定のためのレジスタの数は３個）、εフィルタ５３Ｂのインターバルは、２（＝２^１）（インターバル設定の為のレジスタの数は１個）、εフィルタ５３Ｃのインターバルは、１（＝２^０）（インターバル設定のためのレジスタの数は０個）とされる。
【０１０３】
ここで、それぞれの画素値に対して上述した式（１）と式（２）が適用されることにより、出力画素値Ｃ’が得られる。このとき、タップ数が大きいεフィルタ５３Ａに比較して、εフィルタ５３Ｂにより演算される出力画素値Ｃ’は、ノイズが多くなる。また、タップ数が大きいεフィルタ５３Ｂに比較して、εフィルタ５３Ｃにより演算される出力画素値Ｃ’は、ノイズが多くなる。すなわち、ノイズの大きさは、タップ数の多いεフィルタ５３Ａにおいてはノイズが少なく、後段のεフィルタ５３Ｃ（タップ数が少ない）になるに連れて、ノイズが多くなる。
【０１０４】
そこで、図１２に示されるように、εフィルタ５３の閾値εを、εフィルタのタップ数により変化させる（タップ数の多いεフィルタ５３Ａにおいては、閾値ε_１を小さくさせ、タップ数の少ないεフィルタ５３Ｃにおいては、閾値ε_３を大きくさせる）ことにより、εフィルタ５３Ａ乃至εフィルタ５３Ｃの全ての出力画素値Ｃ’のノイズを抑えることができる。
【０１０５】
図１５は、平滑化処理される画像データを説明する図である。
【０１０６】
図中左側の入力された画像データは、εフィルタ５３により平滑化処理されることによって、図中右側に示されるような画像データにされる。
【０１０７】
すなわち、急峻なエッジの前後で画素値の差の絶対値が所定の閾値εを超える場合、中心画素ｐｎを中心とし、ローパスフィルタ処理を行う際には画素ｐｍの画素値Ｘｍを中心画素ｐｎの画素値Ｘｎに置き換えてローパスフィルタ処理を施すことにより、画素値Ｘｎの近傍で平滑化するのに対して、画素ｐｍを中心としてローパスフィルタ処理を行う際には画素値Ｘｍ近傍で平滑化する。
【０１０８】
このとき、εフィルタ５３Ａは、フィルタ処理を行う範囲内に画素値Ｘの近い画素ｐが存在しないエッジ部分の画素ｐでは、当該エッジ部分の画素ｐの画素値Ｘをほぼそのまま出力することにより、エッジの急峻な変化をそのまま保存する（式（１））。因みに、εフィルタ５３Ａは、線形ローパスフィルタ５１と同様に、１次元のεフィルタを画像の水平方向および垂直方向にそれぞれ適用することによって構成される場合と、２次元のεフィルタによって構成される場合とがある。
【０１０９】
図１６は、εフィルタ５３Ａ乃至εフィルタ５３Ｃにおける周波数応答を説明する図である。
【０１１０】
図１６において、横軸はナイキスト周波数を０．５として正規化した周波数であり、縦軸はフィルタ周波数応答を表わしている。５３Ａ，５３Ｂ，５３Ｃは、それぞれ、εフィルタ５３Ａ、εフィルタ５３Ｂ、およびεフィルタ５３Ｃに対応する周波数応答を示す。
【０１１１】
εフィルタ５３（例えば、εフィルタ５３Ａ）のタップ数のインターバル（間引き）を２のべき乗とすることにより、図１６に示されるように、εフィルタ５３Ａ（例えば、インターバル＝４）の周波数応答の波形におけるサイドローブのピークを、εフィルタ５３Ｂ（例えば、インターバル＝２）の周波数応答により打ち消すことができる（εフィルタ５３Ａの周波数応答の波形におけるサイドローブのピーク点と、εフィルタ５３Ｂの周波数応答の波形における０点が同じであるため、打ち消している）。すなわち、前のεフィルタ５３のサイドローブを、次のεフィルタ５３により抑制することができ、もって、平滑化効果とサイドローブの抑制を両立することができる。
【０１１２】
εフィルタ５３により平滑化された平滑化画像データは、上述したように、演算部２３により演算され、画像処理回路１２の出力として、カメラ信号処理回路１３に供給される。このとき、画像処理回路１２から出力される出力画像データの各画素値ｙ（ｉ，ｊ）は、式（３）により示される。
【数３】

【０１１３】
式（３）において、ゲイン係数ｇ（ｉ，ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データの各画素値ｓ（ｉ，ｊ）を入力画像データのダイナミックレンジの中央値又は全画素値の平均値Ｃに置き換えると、この式（３）は、従来のトーンカーブ調整によるコントラスト強調方法を示す式（４）のように表わされる。
【数４】

【０１１４】
また、式（３）において、ゲイン係数ｇ（ｉ，ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データの各画素値ｓ（ｉ，ｊ）を入力画像データの各画素値ｘ（ｉ，ｊ）に線形ローパスフィルタ処理を施した画像データの各画素値ｆ（ｉ，ｊ）に置き換えると、この式（３）は、従来のアンシャープマスクによる高域成分強調方法を示す式（５）のように表わされる。
【数５】

【０１１５】
このように、従来のコントラスト強調方法は、画像の各画素毎に独立して画像強調処理を行う方法であると共に、従来の高域成分強調方法は、中心画素の周辺に存在する周辺画素との相対的なレベル差を基に画像強調処理を行う方法であるのに対して、本実施の形態による方法は、非線形平滑化フィルタを用いて従来のコントラスト強調方法及び高域成分強調方法を統合し、一段と高品位な画像強調処理を可能にしている。
【０１１６】
また、従来の非線形平滑化フィルタを用いた方法（入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調して表示する方法）に対して、本実施の形態による方法は、εフィルタ５３のタップ数のインターバルを２のべき乗とし、εフィルタ５３の閾値εをフィルタの帯域にあわせて変更することにより、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を抑えることができる。
【０１１７】
以上のように、帯域に応じた閾値εを設定し（狭帯域フィルタ（タップ数の多いεフィルタ）の場合は、閾値εを小さくし、広帯域フィルタ（タップ数の少ないεフィルタ）の場合は、閾値εを大きくする）、狭帯域フィルタから広帯域フィルタの順番にεフィルタをカスケード接続し、さらに、εフィルタのインターバル（実質的に処理する画素の抽出間隔）を２のべき乗とすることにより、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を抑えることができる。
【０１１８】
また、ノイズが生じにくく、かつ、計算量を抑えた出力画像を得ることができる。
【０１１９】
また、サイドローブを抑えた画像を出力させることができる。
【０１２０】
さらに上述の実施の形態においては、本発明をビデオカメラ１に適用した場合について述べたが、本発明はこれに限らず、例えば電子スチルカメラ、プリンタ、ディスプレイ、コンピュータのような他の種々の画像処理装置に本発明を広く適用し得る。この場合、コンピュータでは、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いのみを補正でき、自然な合成画像を生成することができる。
【０１２１】
なお、以上の例においては、非線形平滑化器２２が備えるεフィルタの数を３個（εフィルタ５３Ａ，εフィルタ５３Ｂ、およびεフィルタ５３Ｃ）としたが、任意のＮ個のεフィルタ５３を備えるようにしてもよい。勿論、その場合、Ｎ番目のεフィルタをεフィルタ５３Ｎとすると、εフィルタ５３Ａの閾値ε_１は最小とされ、後段に接続されるεフィルタ５３Ｎの閾値ε_Ｎは最大とされる（ε_１＜ε_Ｎ）。
【０１２２】
また、以上の例においては、εフィルタを用いるようにしたが、εフィルタだけでなく、例えば、メディアンフィルタ等を用いるようにしても良い。
【０１２３】
なお、本明細書において、各フローチャートを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２４】
【発明の効果】
以上の如く、本願発明によれば、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を平滑化する場合においても、計算量を抑えることができる。特に、この発明によれば、ノイズが生じにくく、かつ、サイドローブを抑えた画像を出力させることができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラの機能的構成を示すブロック図である。
【図２】図１の画像処理回路における画像処理を説明するフローチャートである。
【図３】図１の非線形平滑化器の機能的構成を示すブロック図である。
【図４】図２のεフィルタの構成例を示すブロック図である。
【図５】図２の他のεフィルタの構成例を示すブロック図である。
【図６】図２のさらに他のεフィルタの構成例を示すブロック図である。
【図７】図４のセレクタの構成例を示すブロック図である。
【図８】図２の非線形平滑化器における非線形平滑化処理を説明するフローチャートである。
【図９】図８のステップＳ３４の処理を説明するフローチャートである。
【図１０】図９のステップＳ７１乃至ステップＳ７３の処理を説明するフローチャートである。
【図１１】図４のレジスタに保持される画素値を説明する図である。
【図１２】図３の各εフィルタにおける閾値の関係を説明する図である。
【図１３】図５のレジスタに保持される画素値を説明する図である。
【図１４】図６のレジスタに保持される画素値を説明する図である。
【図１５】平滑化処理される画像データを説明する図である。
【図１６】タップ数と周波数応答の関係を示す図である。
【符号の説明】
１ビデオカメラ，１１撮像素子，１２画像処理回路，２１遅延回路，２２非線形平滑化器，２３演算部，３１減算器，３２乗算器，３３加算器，５１線形ローパスフィルタ，５２ルックアップテーブル，５３ εフィルタ，５４ルックアップテーブル，５５線形ローパスフィルタ，１０１乃至１１６レジスタ，１４１乃至１４４セレクタ，１６１乃至１６５増幅器，１８１加算器，１８２割算器，１４０閾値設定部，２００減算器，２０１セレクタ，２０２絶対値変換器，２０３大小比較器

Claims

入力画像データを処理する画像処理装置において、
前記入力画像データを平滑化し、平滑化画像データを生成する平滑化手段を備え、
前記平滑化手段は、縦属に接続された、平滑化の度合いを制御するパラメータおよび帯域に関するインターバルが異なる複数の非線形フィルタからなる
ことを特徴とする画像処理装置。
前記平滑化手段は、中心画素とその近傍画素の差分値に基づいて、平滑化の度合いを適応的に変化させる
ことを特徴とする請求項１に記載の画像処理装置。
前記非線形フィルタのパラメータの値は、後段の方が前段に較べて大きい
ことを特徴とする請求項１に記載の画像処理装置。
前記非線形フィルタのインターバルの値は、後段の方が前段に較べて小さい
ことを特徴とする請求項１に記載の画像処理装置。
前記非線形フィルタのインターバルは２のべき乗とされる
ことを特徴とする請求項４に記載の画像処理装置。
前記非線形フィルタは、εフィルタまたはメディアンフィルタとされる
ことを特徴とする請求項１に記載の画像処理装置。
入力画像データを処理する画像処理装置の画像処理方法において、
前記入力画像データを平滑化し、平滑化画像データを生成する平滑化ステップを含み、
前記平滑化ステップの処理は、縦属に接続された、平滑化の度合いを制御するパラメータおよび帯域に関するインターバルが異なる複数の非線形フィルタにより行なわれる
ことを特徴とする画像処理方法。