JP4415236B2

JP4415236B2 - Image processing apparatus and image processing method

Info

Publication number: JP4415236B2
Application number: JP2001015121A
Authority: JP
Inventors: 隆史土屋; 昌美緒形; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-07
Filing date: 2001-01-23
Publication date: 2010-02-17
Anticipated expiration: 2021-01-23
Also published as: JP2001298621A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像処理方法に関し、例えばビデオカメラに適用して好適なものである。
【０００２】
【従来の技術】
従来、ビデオカメラにおいては、固体撮像素子（ＣＣＤ：Charge Coupled Device ）によって撮像された画像のコントラスト（明暗の差）及び鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と呼ぶ）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されており、また高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００４】
【発明が解決しようとする課題】
ところでコントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ない問題があった。
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る画像処理装置及び画像処理方法を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像データのうち画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅する画像処理手段を具える画像処理装置において、画像処理手段は、入力画像データ各々に対して非線形変換を施し非線形画像データを生成する非線形変換手段と、非線形画像データに対して、非線形ディジタルフィルタを施し非線形平滑化画像データを生成する非線形フィルタリング手段と、非線形平滑化画像データに対して、非線形変換手段の逆変換を施して平滑化画像データを生成する非線形逆変換手段と、平滑化画像データを入力画像データから減算し、当該減算結果を増幅した後、平滑化画像データを加算し出力画像データを生成する画像強調手段とを具え、非線形フィルタリング手段は、直列に接続された大きさの異なる複数の非線形フィルタからなるようにしたことにより、急峻なエッジ以外の部分を強調して表示することができる。
【０００７】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【０００８】
（１）第１の実施の形態
図１において、１は全体として第１の実施の形態のビデオカメラの構成を示し、固体撮像素子（ＣＣＤ：Charge Coupled Device ）２によって撮像された入力画像データＳ１を画像処理回路３の遅延回路４及び非線形平滑化器５に入力する。ここで入力画像データＳ１は、２次元ディジタル画像であり、画像上の位置（ｉ、ｊ）に対応する画素値をｘ（ｉ、ｊ）と表す。
【０００９】
非線形平滑化器５は、この入力画像データＳ１の中から画素値の変化が急峻なエッジ成分を抽出し、当該エッジ成分に対しては平滑化することなくそのまま出力するのに対して、エッジ成分以外の小振幅成分に対しては平滑化することにより、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化する。
【００１０】
具体的には非線形平滑化器５は、図２に示すように、入力画像データＳ１を線形ローパスフィルタ１０に入力する。線形ローパスフィルタ１０は、入力画像データＳ１のうち極めて高い周波数成分の信号レベルを減衰させ、その結果得た画像データＳ２をルックアップテーブル１１に送出する。このように線形ローパスフィルタ１０は、入力画像データＳ１のうち極めて高い周波数成分の信号レベルを減衰させることにより、後段のεフィルタ１２によって平滑化処理を行う際、振幅の大きい高周波成分が十分平滑化されずに点状のノイズとして画像上に残存することを防止している。因みに、この線形ローパスフィルタ１０は、１次元の線形ローパスフィルタを画像の水平方向及び垂直方向にそれぞれ適用することによって構成されるか、又は２次元の線形ローパスフィルタによって構成される。
【００１１】
ルックアップテーブル１１は、画像データＳ２に対して例えば対数変換のような階調変換を施し、その結果得た画像データＳ３をεフィルタ１２Ａに送出する。ところで、後段のεフィルタ１２は画像データの振幅に応じて適応的な平滑化処理を行なうが、一般に画像データの振幅の大きさは、撮像対象を照射している照明光の強さに比例して大きくなる。そこでルックアップテーブル１１は、予め画像データＳ２に対して対数変換を施すことにより、後段のεフィルタ１２において平滑化処理を行う際、照明条件によらず同一の平滑効果を得ることを可能にする。これと共にルックアップテーブル１１は、例えば画像の暗い領域や明るい領域で平滑効果を高くすることにより、後段の画像強調処理による強調度合いを増加させるなど、画素値に応じて平滑効果を制御することも可能にする。
【００１２】
非線形平滑化フィルタであるεフィルタ１２Ａは、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、ルックアップテーブル１１から供給される画像データＳ３のエッジを保存したまま当該画像データＳ３を平滑化し、その結果得た平滑化画像データＳ４Ａをεフィルタ１２Ｂに送出する。このεフィルタ１２Ａにおける平滑化処理は、フィルタ処理用の画素が１次元で２Ｎ＋１タップの場合、次式
【００１３】
【数１】

【００１４】
によって表される。
【００１５】
すなわちεフィルタ１２Ａは、フィルタ処理の中心画素ｐn の画素値ｘn と画素ｐn-k の画素値ｘn-k との差の絶対値｜ｘn −ｘn-k ｜を所定の閾値εと比較する。その結果、εフィルタ１２Ａは、絶対値｜ｘn −ｘn-k ｜が所定の閾値εよりも小さいと判断した場合には、ｗn-k に画素値ｘn-k を代入し、ａk を各タップ係数とした通常の線形ローパスフィルタと同様の処理を実行することにより、中心画素ｐn を中心として画像を一様に平滑化する。
【００１６】
これに対してεフィルタ１２Ａは、絶対値｜ｘn −ｘn-k ｜が所定の閾値εよりも大きいと判断した場合には、ｗn-k に画素値ｘn を代入し、画素ｐn-k の画素値ｘn-k を中心画素ｐn の画素値ｘn に置き換えた後に当該中心画素ｐn を中心としてローパスフィルタ処理を行うことにより、画素値ｘn-k を無視して画素値ｘn 近傍の画素値のみで平滑化を行う。
【００１７】
εフィルタ１２Ａは、例えば図３に示すように、急峻なエッジの前後で画素値の差の絶対値が所定の閾値εを超える場合、中心画素ｐn を中心としてローパスフィルタ処理を行う際には画素ｐm の画素値ｘm を中心画素ｐn の画素値ｘn に置き換えてローパスフィルタ処理を施すことにより、画素値ｘn の近傍で平滑化するのに対して、画素ｐm を中心としてローパスフィルタ処理を行う際には画素値ｘm 近傍で平滑化する。
【００１８】
このときεフィルタ１２Ａは、フィルタ処理を行う範囲内に画素値ｘの近い画素ｐが存在しないエッジ部分の画素ｐでは、当該エッジ部分の画素ｐの画素値ｘをほぼそのまま出力することにより、エッジの急峻な変化をそのまま保存する。因みに、εフィルタ１２Ａは、線形ローパスフィルタ１０と同様に、１次元のεフィルタを画像の水平方向及び垂直方向にそれぞれ適用することによって構成される場合と、２次元のεフィルタによって構成される場合とがある。
【００１９】
ところでεフィルタ１２Ａの後段には、当該εフィルタ１２Ａと同様の構成でなるεフィルタ１２Ｂ〜１２Ｎが順次接続され、平滑化画像データＳ４Ａに対して順次平滑化処理を施すことにより平滑化効果を向上させるようになされている。このようにして、エッジ以外の成分が十分に平滑化された平滑化画像データＳ４Ｎが得られ、後段のルックアップテーブル１３に供給される。
【００２０】
ここで図４は、フィルタ処理用の画素が１次元で７タップの場合のεフィルタ１２Ａの構成を示し、レジスタ列２０Ａ〜２０Ｆとセレクタ２１Ａ〜２１Ｆと増幅器２３Ａ〜２３Ｇと加算器２４とから構成されている。レジスタ列２０Ａは、図５に示すように、それぞれ１画素分の画素値を保持するレジスタ２２Ａ〜２２Ｅを直列に接続することによって構成され、レジスタ列２０Ｂ〜２０Ｆについてもレジスタ列２０Ａと同様に構成されている。
【００２１】
セレクタ２１Ａは、図６に示すように、例えば図３に示す中心画素ｐn の画素値ｘn を加算器３０及びセレクタ３１に入力すると共に、画素ｐm の画素値ｘm を加算器３０及びセレクタ３１に入力する。加算器３０は、画素値ｘn と画素値ｘm の差をとり、その結果を絶対値変換器３２に送出する。絶対値変換器３２は、画素値ｘn と画素値ｘm の差の絶対値｜ｘn −ｘm ｜を求め、これを大小比較器３３に送出する。
【００２２】
大小比較器３３は、この絶対値｜ｘn −ｘm ｜と所定の閾値εとを比較し、その比較結果をセレクタ３１に送出する。セレクタ３１は、絶対値｜ｘn −ｘm ｜が所定の閾値εよりも小さい場合には、画素値ｘm を選択して後段の増幅器２３Ａに送出するのに対して、絶対値｜ｘn −ｘm ｜が所定の閾値εよりも大きい場合には、画素値ｘn を選択して後段の増幅器２３Ａに送出する。
【００２３】
セレクタ２１Ｂ〜２１Ｆは、それぞれセレクタ２１Ａと同様に構成され、選択した画素ｐの画素値ｘをそれぞれ対応する後段の増幅器２３Ｂ及び２３Ｃ並びに２３Ｅ〜２３Ｇに送出する。増幅器２３Ｄは、レジスタ列２０Ｃから中心画素ｐn の画素値ｘn が供給されるようになされている。
【００２４】
増幅器２３Ａ〜２３Ｇは、入力される画素値ｘに対してぞれぞれタップ係数ａk を乗算するためのものであり、その演算結果をそれぞれ加算器２４に送出して当該加算器２４において加算した後、これを平滑化画像データＳ４Ａとしてεフィルタ１２Ｂに送出する。
【００２５】
なお、この平滑化処理ではエッジ以外の部分では可能な限り変化の少ない画像を生成することが望ましいが、そのためにはεフィルタ１２Ａにおいて、非常に大きなフィルタを用いる必要がある。しかし、用いるフィルタを大きくした場合、全画素にタップ係数ａk を乗算すると後段のセレクタ２１Ａ〜２１Ｆや増幅器２３Ａ〜２３Ｇの数も増加させなければならず、回路規模が増大する。そこで、本実施の形態では、各レジスタ列２０をそれぞれ数画素分のレジスタ２２によって構成し、これ以降の演算処理に対しては各レジスタ列２０の先頭の１画素のみに施すようにすることにより、後段の回路規模を増加させることなく、空間的に広い範囲をカバーするεフィルタを実現している。例えば、７タップのεフィルタに対し、レジスタ２２の数を２とした場合、同等な回路規模で図１３に示すような１３画素×１３画素の大きさのフィルタを構成することが可能となる。但し、このように数画素おきにのみ有意な係数を持つフィルタは大きな平滑化効果が期待できる反面、一般的にサイドローブが大きくなる傾向があり、不要な高周波数成分が平滑化画像データに残存しやくなる。レジスタ２２の数を変化させて構成したフィルタの周波数応答の比較を図１４に示す。横軸はナイキスト周波数を0.5として正規化した周波数であり、縦軸はフィルタの周波数応答を表している。Filter A、Filter B、及びFilter Cはそれぞれレジスタ２２の数が１、２、及び３の場合に対応しており、それぞれの実際のフィルタ係数は図１５に示すとおりである。図１４からもレジスタ２２の数が多いほどサイドローブが増加していることがわかる。そこで本実施の形態ではこの問題を回避するために、レジスタ列２０Ａ〜２０Ｆ内のレジスタ２２の数を除いて同様の構成を持つ複数のεフィルタ１２Ａ〜１２Ｎを直列に接続することで、平滑化効果とサイドローブの抑制を両立させている。すなわち、レジスタ２２の数が多いεフィルタによって大きな平滑化効果を得るとともに、レジスタ２２の数が少ないεフィルタにより、他のフィルタのサイドローブを通過した不要な高周波数成分を除去する。ここで、εフィルタはエッジ周辺部において高周波数成分を通過させる性質があるため、レジスタ２２の数が少ないεフィルタを先に用いた場合、そのメインローブを通過した周波数成分が、エッジ周辺部では後段のεフィルタによって十分減衰されない可能性がある。従って、良好な平滑化効果を得るためには、レジスタ２２の数の多いものから順に適用していくことが望ましい。
【００２６】
ルックアップテーブル１３は、εフィルタ１２Ｎから供給される平滑化画像データＳ４Ｎに対して、ルックアップテーブル１１が施した対数変換の逆変換を施し、その結果得た平滑化画像データＳ１０を線形ローパスフィルタ３５に送出する。線形ローパスフィルタ３５は、エッジを保存したまま平滑化された平滑化画像データＳ１０のエッジを僅かに鈍らせることにより平滑化画像データＳ１１を生成し、これを加算器４０及び４１（図１）に送出する。これにより、後段の画像強調処理においてエッジ近傍での画像の滑らかさを保持することができる。
【００２７】
図１に戻って、遅延回路４は、ＣＣＤ２によって撮像された入力画像データＳ１を所定量遅延させ、これを遅延画像データＳ１５として加算器４０に送出する。加算器４０は、加算器４１及び乗算器４２と共に画像強調手段を構成し、遅延画像データＳ１５の各画素値ｘ（ｉ、ｊ）から平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を減算し、その結果得た差分画像データＳ１６を乗算器４２に送出する。
【００２８】
乗算器４２は、差分画像データＳ１６の各画素値（ｘ（ｉ、ｊ）−ｓ（ｉ、ｊ））にそれぞれゲイン係数ｇ（ｉ、ｊ）を乗算して増幅し、その結果得た差分画像データＳ１７を加算器４１に送出する。ここでゲイン係数ｇ（ｉ、ｊ）は、全画面に対して一様な値、又は各画素（ｉ、ｊ）毎に設定された値を用いる。
【００２９】
加算器４１は、乗算器４２から供給される差分画像データＳ１７の各画素値ｇ（ｉ、ｊ）×（ｘ（ｉ、ｊ）−ｓ（ｉ、ｊ））に対して、加算器４０によって減算されたオフセット分である平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を加算し、その結果得た出力画像データＳ１８をカメラ信号処理回路４５に送出する。カメラ信号処理回路４５は、出力画像データＳ１８に対して所定のデータ処理を施し、その結果得た出力画像データＳ１９をＶＴＲ（Video Tape Recorder ）４６に送出して記録する。
【００３０】
画像処理回路３から出力される出力画像データＳ１８の各画素値ｙ（ｉ、ｊ）は、次式
【００３１】
【数２】

【００３２】
によって表される。この（２）式において、ゲイン係数ｇ（ｉ、ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を入力画像データＳ１のダイナミックレンジの中央値又は全画素値の平均値Ｃに置き換えると、この（２）式は、従来のトーンカーブ調整によるコントラスト強調方法を示す次式
【００３３】
【数３】

【００３４】
のように表される。
【００３５】
また、上述の（２）式において、ゲイン係数ｇ（ｉ、ｊ）を全画面に一様なゲイン係数Ｇに置き換えると共に、平滑化画像データＳ１１の各画素値ｓ（ｉ、ｊ）を入力画像データＳ１の各画素値ｘ（ｉ、ｊ）に線形ローパスフィルタ処理を施した画像データの各画素値ｆ（ｉ、ｊ）に置き換えると、この（２）式は、従来のアンシャープマスクによる高域成分強調方法を示す次式
【００３６】
【数４】

【００３７】
のように表される。
【００３８】
このように、従来のコントラスト強調方法は、画像の各画素毎に独立して画像強調処理を行う方法であると共に、従来の高域成分強調方法は、中心画素の周辺に存在する周辺画素との相対的なレベル差を基に画像強調処理を行う方法であるのに対して、本実施の形態による方法は、非線形平滑化フィルタを用いて従来のコントラスト強調方法及び高域成分強調方法を統合し、一段と高品位な画像強調処理を可能にしている。
【００３９】
以上の構成において、画像処理回路３は、非線形平滑化器５によって入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成する。そして画像処理回路３は、この平滑化画像データＳ１１をオフセット分として元画像である遅延画像データＳ１５から減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データＳ１１を加算する。
【００４０】
従って、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。これによりビデオカメラ１は、霞んだ遠景の撮影や霧の中での撮影でも、ダイナミックレンジ及びコントラストが確保された鮮明な画像を撮影することができ、また高品位な画像強調処理を行うことができる。
【００４１】
以上の構成によれば、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成した後、当該平滑化画像データＳ１１をオフセット分として入力画像データＳ１から減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データＳ１１を加算することにより、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００４２】
（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図７は、第２の実施の形態のビデオカメラ５０を示し、画像処理回路５１の構成を除いて、第１の実施の形態のビデオカメラ１と同様に構成されている。
【００４３】
この実施の形態の場合、非線形平滑化器５は、平滑化画像データＳ１１を加算器４０及び遅延回路５２に送出する。加算器４０は、遅延画像データＳ１５から平滑化画像データＳ１１を減算し、その結果得た差分画像データＳ１６を雑音除去フィルタ５３に送出する。
【００４４】
雑音除去フィルタ５３は、差分画像データＳ１６の雑音成分を低減し、その結果得られる差分画像データＳ３０を乗算器４２に送出する。雑音除去フィルタ５３は、例えば図８に示すような入出力特性を有し、図中矢印で示した範囲の小振幅成分を出力しないことで雑音成分を低減させるコアリングと呼ばれる階調変換を施す。この結果、後段の乗算器４２において雑音成分が増幅されて画像処理回路５１から出力される画像データのＳ／Ｎ比（信号対雑音比）が劣化することを防止している。
【００４５】
乗算器４２は、差分画像データＳ３０の各画素値にそれぞれゲイン係数を乗算して増幅し、その結果得た差分画像データＳ３１を加算器４１に送出する。遅延回路５２は、平滑化画像データＳ１１を所定量遅延し、これを遅延平滑化画像データＳ３２として加算器４１に送出する。
【００４６】
加算器４１は、乗算器４２から供給される差分画像データＳ３１の各画素値に対して、オフセット分である平滑化画像データＳ３２の各画素値を加算し、その結果得た出力画像データＳ３３をルックアップテーブル５４に送出する。ルックアップテーブル５４は、出力画像データＳ３３に対して例えば図９に示すような黒近傍及び白近傍を圧縮する階調変換を施し、その結果得た出力画像データＳ３４をカメラ信号処理回路４５に送出する。これにより加算器４１の加算処理によって画素値が黒又は白側でダイナミクレンジを超える場合であっても、黒近傍又は白近傍で階調がつぶれるクリッピングひずみが発生することを防止する。
【００４７】
以上の構成において、画像処理回路５１は、非線形平滑化器５によって入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成する。そして画像処理回路５１は、この平滑化画像データＳ１１をオフセット分として元画像である遅延画像データＳ１５から減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データＳ１１を加算する。
【００４８】
従って、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。
【００４９】
以上の構成によれば、入力画像データＳ１のエッジ成分を保存したまま当該入力画像データＳ１を平滑化して平滑化画像データＳ１１を生成した後、当該平滑化画像データＳ１１をオフセット分として入力画像データＳ１から減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データＳ１１を加算することにより、入力画像データＳ１のうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００５０】
また雑音除去フィルタ５３において差分画像データＳ１６の雑音成分を低減することにより、後段の乗算器４２において雑音成分が増幅され出力画像データＳ３４のＳ／Ｎ比が劣化することを防止し得る。さらにルックアップテーブル５４において出力画像データＳ３３に対して黒近傍及び白近傍を圧縮する階調変換を施すことにより、画素値がダイナミクレンジを超える場合であってもクリッピングひずみの発生を防止し得る。
【００５１】
（３）第３の実施の形態
図１０において、６０は全体として第３の実施の形態のビデオカメラ６０を示し、ＣＣＤ６１によってカラー画像を撮像し、当該撮像されたカラー画像を入力画像データＳ４０として色分離回路６２に入力する。色分離回路６２は、この入力画像データＳ４０をＲ（赤色）Ｇ（緑色）Ｂ（青色）の３原色の画像データにそれぞれ分離し、このうち緑色の画像データを緑色画像データＳ４０Ｇとして画像処理部６３の画像処理回路３Ａに入力し、赤色の画像データを赤色画像データＳ４０Ｒとして画像処理部６３の画像処理回路３Ｂに入力し、青色の画像データを青色画像データＳ４０Ｂとして画像処理部６３の画像処理回路３Ｃに入力する。
【００５２】
画像処理回路３Ａ〜３Ｃは、それぞれ図１に示す画像処理回路３と同様の構成でなり、入力される画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂに対してエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調する処理をそれぞれ施すようになされている。
【００５３】
すなわち、画像処理回路３Ａは、緑色画像データＳ４０Ｇのエッジ成分を保存したまま当該緑色画像データＳ４０Ｇを平滑化して平滑化緑色画像データを生成した後、当該平滑化緑色画像データをオフセット分として緑色画像データＳ４０Ｇから減算し、その減算結果にゲイン係数を乗算した上で平滑化緑色画像データを加算することにより、緑色出力画像データＳ４１Ｇを生成しカメラ信号処理回路６４に送出する。
【００５４】
画像処理回路３Ｂ及び３Ｃは、画像処理回路３Ａと同様に、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂに対してそれぞれ上述の処理を施すことにより、赤色出力画像データＳ４１Ｒ及び青色出力画像データＳ４１Ｂを生成しカメラ信号処理回路６４にそれぞれ送出する。
【００５５】
カメラ信号処理回路６４は、緑色出力画像データＳ４１Ｇ、赤色出力画像データＳ４１Ｒ及び青色出力画像データＳ４１Ｂそれぞれに対して所定のデータ処理を施し、その結果得た出力画像データＳ４２をＶＴＲ６５に送出して記録する。
【００５６】
以上の構成において、画像処理回路３Ａ〜３Ｃは、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのエッジ成分を保存したまま当該画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂをそれぞれ平滑化して平滑化画像データを生成する。そして画像処理回路３Ａ〜３Ｃは、この平滑化画像データをオフセット分として元画像である画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂからそれぞれ減算し、その減算結果にゲイン係数を乗算した後、オフセット分である平滑化画像データをそれぞれ加算する。
【００５７】
従って、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルをそれぞれ強調することができ、かくして画像のダイナミックレンジを維持しながら画像全体のコントラストを向上させることができると共に、エッジ付近でも画像の鮮鋭度を向上させることができる。
【００５８】
以上の構成によれば、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのエッジ成分を保存したまま当該画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂをそれぞれ平滑化して平滑化画像データを生成した後、当該平滑化画像データをオフセット分として画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂからそれぞれ減算し、その減算結果にゲイン係数を乗算した上で平滑化画像データをそれぞれ加算することにより、画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂのうちエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルを強調することができ、かくして画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００５９】
また、ＣＣＤ６１によって撮像されたカラー画像をＲＧＢの３原色に分離し、当該分離された画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂに対してそれぞれエッジ成分を保存したまま当該エッジ成分以外の小振幅成分の信号レベルをそれぞれ強調する画像処理を施すことにより、カラー画像が入力される場合であっても、画像のダイナミックレンジを維持しながら従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る。
【００６０】
（４）他の実施の形態
なお上述の第２の実施の形態においては、コアリングと呼ばれる手法を用いた雑音除去フィルタ５３によって差分画像データＳ１６から雑音成分を低減する場合について述べたが、本発明はこれに限らず、図４に示すεフィルタ１２Ａによって雑音除去フィルタを構成し、差分画像データＳ１６の小振幅成分のみ平滑化して雑音成分を低減するようにしても良い。
【００６１】
また上述の第２の実施の形態においては、雑音除去フィルタ５３を加算器４０の後段に配置した場合について述べたが、本発明はこれに限らず、要は、雑音除去フィルタ５３を乗算器４２の前段に位置すれば良く、遅延回路４の前段又は後段に配置しても良い。
【００６２】
また上述の第３の実施の形態においては、色分離回路６２によって入力画像データＳ４０をＲＧＢの３原色信号に分離した場合について述べたが、本発明はこれに限らず、輝度信号Ｙ、赤色信号Ｒから輝度信号Ｙを減算した色差信号Ｒ−Ｙ及び青色信号Ｂから輝度信号Ｙを減算した色差信号Ｂ−Ｙに分離するようにしても良い。
【００６３】
また上述の第３の実施の形態においては、画像処理回路３Ａ〜３Ｃ中のεフィルタを１次元又は２次元のεフィルタによって構成する場合について述べたが、本発明はこれに限らず、３次元のεフィルタによって構成するようにしても良い。
【００６４】
この場合、図１０との対応部分に同一符号を付して示す図１１に示すように、ビデオカメラ７０の画像処理部７１は、色分離回路６０から供給される緑色画像データＳ４０Ｇを画像処理回路７２Ａ〜７２Ｃに入力し、赤色画像データＳ４０Ｒを画像処理回路７２Ａ〜７２Ｃに入力し、青色画像データＳ４０Ｂを画像処理回路７２Ａ〜７２Ｃに入力する。
【００６５】
画像処理回路７２Ａ〜７２Ｃは、例えば緑色画像データＳ４０Ｇの画素値をｇn 、赤色画像データＳ４０Ｒの画素値をｒn 及び青色画像データＳ４０Ｂの画素値をｂn とした場合、上述の（１）式における画素値ｘn と画素値ｘn-k の差の絶対値｜ｘn −ｘn-k ｜に代わりに、次式
【００６６】
【数５】

【００６７】
をそれぞれ用いることにより、一段と効果的な平滑化を行うようになされている。
【００６８】
また上述の第３の実施の形態においては、入力画像データＳ４０をＲＧＢの３原色に分離し、当該分離された画像データＳ４０Ｇ、Ｓ４０Ｒ及びＳ４０Ｂそれぞれに対して画像強調処理を施す場合について述べたが、本発明はこれに限らず、入力画像データＳ４０の輝度データのみに画像強調処理を施して全体の演算量を削減するようにしても良い。
【００６９】
図１０との対応部分に同一符号を付して示す図１２に示すように、ビデオカメラ８０の画像処理部８１は、色分離回路６２から供給される緑色画像データＳ４０Ｇ、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂを画像処理部８１のマトリクス回路８２に入力する。マトリクス回路８２は、緑色画像データＳ４０Ｇ、赤色画像データＳ４０Ｒ及び青色画像データＳ４０Ｂを、輝度データＳ５０Ａ、赤色画像データＳ４０Ｒから当該輝度データＳ５０Ａを減算した色差データＳ５０Ｂ及び青色画像データＳ４０Ｂから当該輝度データＳ５０Ａを減算した色差データＳ５０Ｃに変換し、このうち輝度データＳ５０Ａを画像処理回路３Ａ並びに除算器８３Ａ及び８３Ｂに送出し、色差データＳ５０Ｂを除算器８３Ａに送出し、色差データＳ５０Ｃを除算器８３Ｂに送出する。
【００７０】
画像処理回路３Ａは、図１に示す画像処理回路３と同様に構成され、輝度データＳ５０Ａに対して画像強調処理を施し、その結果得た出力輝度データＳ５１Ａを乗算器８４Ａ及び８４Ｂ並びにカメラ信号処理回路６４に送出する。除算器８３Ａ及び８３Ｂは、それぞれ色差データＳ５０Ｂ及びＳ５０Ｃを輝度データＳ５０Ａで除算することにより、色差データＳ５０Ｂ及びＳ５０Ｃを輝度データＳ５０Ａでそれぞれ正規化した正規化データＳ５２Ａ及びＳ５２Ｂを生成し、これらを遅延回路８５Ａ及び８５Ｂにそれぞれ送出する。
【００７１】
遅延回路８５Ａ及び８５Ｂは、正規化データＳ５２Ａ及びＳ５２Ｂをそれぞれ所定量遅延させ、これらを遅延正規化データＳ５３Ａ及びＳ５３Ｂとして乗算器８４Ａ及び８４Ｂに送出する。乗算器８４Ａ及び８４Ｂは、遅延正規化データＳ５３Ａ及びＳ５３Ｂに対して輝度データＳ５１Ａをそれぞれ乗算することにより、色差データＳ５４Ａ及びＳ５４Ｂを生成し、これらをカメラ信号処理回路６４に送出する。
【００７２】
さらに上述の実施の形態においては、本発明をビデオカメラ１、５０及び６０に適用した場合について述べたが、本発明はこれに限らず、例えば電子スチルカメラ、プリンタ、ディスプレイ、コンピュータのような他の種々の画像処理装置に本発明を広く適用し得る。この場合、コンピュータでは、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いのみを補正でき、自然な合成画像を生成することができる。
【００７３】
【発明の効果】
上述のように本発明によれば、入力画像データのうち画素値の変化が急峻なエッジについては平滑化を行なわず当該エッジ以外の小振幅成分についてレジスタ数の異なる複数の非線形フィルタを用いて平滑化を行い増幅することにより、急峻なエッジ以外の小振幅成分を強調して表示することができるので、従来に比して画像のダイナミックレンジを維持しながら一段と画像全体のコントラストを向上できると共にエッジ付近の画像の鮮鋭度を向上させることができ、かくして従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明によるビデオカメラの第１の実施の形態を示すブロック図である。
【図２】非線形平滑化器の構成を示すブロック図である。
【図３】εフィルタの動作の説明に供する略線図である。
【図４】εフィルタの構成を示すブロック図である。
【図５】レジスタ列の構成を示すブロック図である。
【図６】セレクタの構成を示すブロック図である。
【図７】第２の実施の形態のビデオカメラの構成を示すブロック図である。
【図８】雑音除去フィルタの入出力特性の説明に供する略線図である。
【図９】ルックアップテーブルの説明に供する略線図である。
【図１０】第３の実施の形態のビデオカメラの構成を示すブロック図である。
【図１１】他の実施の形態のビデオカメラの構成を示すブロック図である。
【図１２】他の実施の形態のビデオカメラの構成を示すブロック図である。
【図１３】レジスタ２２を用いたεフィルタの例を示す図である。
【図１４】レジスタ２２の数と周波数応答の関係を示す図である。
【図１５】図１４の周波数応答に対応するフィルタの係数を示す図である。
【符号の説明】
６０……ビデオカメラ、２、６１……ＣＣＤ、３、５１、７２……画像処理回路、５……非線形平滑化器、１２……εフィルタ、２０……レジスタ列、２１……セレクタ、２２……レジスタ、２３……増幅器、４０、４１……加算器、４２、８４……乗算器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus. as well as Image processing To the law For example, it is suitable for application to a video camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a video camera, contrast enhancement by gradation conversion is used as a method for improving the contrast (brightness / darkness difference) and sharpness (brightness of a boundary) of an image captured by a solid-state imaging device (CCD). Methods and high-frequency component enhancement methods that enhance the contrast of high-frequency components in an image have been considered.
[0003]
Contrast enhancement methods include tone curve adjustment for converting each pixel level of an image with a function having a predetermined input / output relationship (hereinafter referred to as a level conversion function), and frequency distribution of pixel levels. A method called histogram equalization has been proposed in which the level conversion function is adaptively changed in accordance with the frequency conversion function, and as a high-frequency component enhancement method, so-called contour enhancement is performed in which an edge is extracted from an image and the extracted edge is enhanced. A method called an unsharp mask has been proposed.
[0004]
[Problems to be solved by the invention]
By the way, the contrast enhancement method has a problem that the contrast can be improved only in a part of the luminance range in the entire dynamic range of the image (difference between the maximum level and the minimum level). However, in the case of histogram equalization, and in the vicinity of the luminance region where the frequency distribution is small, the contrast is lowered. Furthermore, in the high frequency component enhancement method, only the contrast of the high frequency component of the image is emphasized, and as a result, the vicinity of the edge of the image is unnaturally emphasized, and it is inevitable that the image quality deteriorates.
[0005]
The present invention has been made in consideration of the above points, and an image processing apparatus capable of further improving the contrast and sharpness of the entire image as compared with the prior art. as well as Image processing The law It is what we are going to propose.
[0006]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, a portion other than the edge is amplified while preserving an edge having a sharp change in pixel value in the input image data. In an image processing apparatus comprising image processing means, the image processing means performs nonlinear transformation on each input image data to generate nonlinear image data, and applies a nonlinear digital filter to the nonlinear image data. Non-linear filtering means for generating non-linear smoothed image data, non-linear non-conversion means for generating non-linear smoothing image data by applying non-linear conversion means to the non-linear smoothing image data, and smoothing image data is input Subtracting from the image data, amplifying the subtraction result, and then adding the smoothed image data to generate output image data, the nonlinear filtering means comprises a plurality of differently connected in series Made of non-linear filter By Steep A part other than the edge can be highlighted and displayed.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0008]
(1) First embodiment
In FIG. 1, reference numeral 1 denotes the overall configuration of the video camera of the first embodiment. Input image data S <b> 1 captured by a solid-state imaging device (CCD: Charge Coupled Device) 2 is used as a delay circuit 4 of the image processing circuit 3. And input to the nonlinear smoother 5. Here, the input image data S1 is a two-dimensional digital image, and the pixel value corresponding to the position (i, j) on the image is represented as x (i, j).
[0009]
The nonlinear smoother 5 extracts an edge component having a sharp change in pixel value from the input image data S1, and outputs the edge component without being smoothed. By smoothing the other small amplitude components, the input image data S1 is smoothed while the edge components of the input image data S1 are preserved.
[0010]
Specifically, the nonlinear smoother 5 inputs the input image data S1 to the linear low-pass filter 10 as shown in FIG. The linear low-pass filter 10 attenuates the signal level of an extremely high frequency component in the input image data S1, and sends the image data S2 obtained as a result to the lookup table 11. In this way, the linear low-pass filter 10 attenuates the signal level of the extremely high frequency component in the input image data S1, so that the high-frequency component having a large amplitude is sufficiently smoothed when performing the smoothing process by the ε filter 12 at the subsequent stage. It is prevented from remaining on the image as point-like noise. Incidentally, the linear low-pass filter 10 is configured by applying a one-dimensional linear low-pass filter in the horizontal direction and the vertical direction of the image, respectively, or is configured by a two-dimensional linear low-pass filter.
[0011]
The look-up table 11 performs gradation conversion such as logarithmic conversion on the image data S2, and sends the image data S3 obtained as a result to the ε filter 12A. By the way, the ε filter 12 at the subsequent stage performs adaptive smoothing processing according to the amplitude of the image data. In general, the amplitude of the image data is proportional to the intensity of the illumination light that irradiates the imaging target. Become bigger. Therefore, the look-up table 11 performs logarithmic transformation on the image data S2 in advance, so that the same smoothing effect can be obtained regardless of the illumination conditions when the smoothing process is performed in the subsequent ε filter 12. . At the same time, the look-up table 11 may control the smoothing effect according to the pixel value, for example, by increasing the smoothing effect in a dark region or a bright region of the image, thereby increasing the degree of enhancement by the subsequent image enhancement processing. enable.
[0012]
The ε filter 12A, which is a non-linear smoothing filter, is a digital filter that is effective in smoothing the pixel value without impairing a sharp change in the pixel value, and the edge of the image data S3 supplied from the lookup table 11 The image data S3 is smoothed with the image data stored, and the smoothed image data S4A obtained as a result is sent to the ε filter 12B. The smoothing process in the ε filter 12A is performed when the filter processing pixel is one-dimensional and 2N + 1 taps.
[0013]
[Expression 1]

[0014]
Represented by
[0015]
That is, the ε filter 12A compares the absolute value | xn−xn−k | of the difference between the pixel value xn of the center pixel pn and the pixel value xn−k of the pixel pn−k with a predetermined threshold ε. As a result, if the ε filter 12A determines that the absolute value | xn−xn−k | is smaller than the predetermined threshold ε, the pixel value xn−k is substituted for wn−k, and ak is used as each tap coefficient. By executing the same processing as that of the normal linear low-pass filter, the image is uniformly smoothed around the center pixel pn.
[0016]
On the other hand, if the ε filter 12A determines that the absolute value | xn−xn−k | is larger than the predetermined threshold ε, the pixel value xn is substituted for wn−k, and the pixel of the pixel pn−k By replacing the value xn-k with the pixel value xn of the center pixel pn and performing low-pass filter processing around the center pixel pn, the pixel value xn-k is ignored and only the pixel values near the pixel value xn are smoothed. Do.
[0017]
For example, as shown in FIG. 3, when the absolute value of the difference between pixel values before and after a steep edge exceeds a predetermined threshold value ε, the ε filter 12A performs pixel low pass filter processing when the low pass filter process is performed around the center pixel pn. When the low-pass filter processing is performed by replacing the pixel value xm of pm with the pixel value xn of the central pixel pn, smoothing is performed in the vicinity of the pixel value xn. Is smoothed near the pixel value xm.
[0018]
At this time, the ε filter 12A outputs the pixel value x of the pixel p of the edge portion almost as it is at the edge portion of the pixel p where the pixel p close to the pixel value x does not exist within the filtering range. The steep change of is preserved as it is. Incidentally, as in the case of the linear low-pass filter 10, the ε filter 12A is configured by applying a one-dimensional ε filter in the horizontal direction and the vertical direction of the image, and by a two-dimensional ε filter. There is.
[0019]
By the way, ε filters 12B to 12N having the same configuration as the ε filter 12A are sequentially connected to the subsequent stage of the ε filter 12A, and the smoothing effect is improved by sequentially performing smoothing processing on the smoothed image data S4A. It is made to let you. In this way, smoothed image data S4N in which components other than edges are sufficiently smoothed is obtained and supplied to the look-up table 13 at the subsequent stage.
[0020]
Here, FIG. 4 shows the configuration of the ε filter 12A in the case where the pixel for filter processing is one-dimensional and has 7 taps, and includes a register array 20A to 20F, selectors 21A to 21F, amplifiers 23A to 23G, and an adder 24. Has been. As shown in FIG. 5, the register string 20A is configured by connecting registers 22A to 22E each holding a pixel value for one pixel in series, and the register strings 20B to 20F are configured similarly to the register string 20A. Has been.
[0021]
As shown in FIG. 6, the selector 21A inputs, for example, the pixel value xn of the central pixel pn shown in FIG. 3 to the adder 30 and the selector 31, and inputs the pixel value xm of the pixel pm to the adder 30 and the selector 31. To do. The adder 30 takes the difference between the pixel value xn and the pixel value xm and sends the result to the absolute value converter 32. The absolute value converter 32 obtains the absolute value | xn−xm | of the difference between the pixel value xn and the pixel value xm and sends this to the magnitude comparator 33.
[0022]
The magnitude comparator 33 compares the absolute value | xn−xm | with a predetermined threshold value ε, and sends the comparison result to the selector 31. When the absolute value | xn−xm | is smaller than the predetermined threshold value ε, the selector 31 selects the pixel value xm and sends it to the subsequent amplifier 23A, whereas the absolute value | xn−xm | If it is larger than the predetermined threshold ε, the pixel value xn is selected and sent to the subsequent amplifier 23A.
[0023]
The selectors 21B to 21F are configured in the same manner as the selector 21A, and send the pixel value x of the selected pixel p to the corresponding

subsequent amplifiers

23B and 23C and 23E to 23G, respectively. The amplifier 23D is supplied with the pixel value xn of the center pixel pn from the register row 20C.
[0024]
The amplifiers 23A to 23G are for multiplying the input pixel value x by a tap coefficient ak, respectively, and the calculation results are sent to the adder 24 and added by the adder 24. Thereafter, it is sent to the ε filter 12B as smoothed image data S4A.
[0025]
In this smoothing process, it is desirable to generate an image with as little change as possible in a portion other than the edge. For this purpose, it is necessary to use a very large filter in the ε filter 12A. However, when the filter to be used is increased, if all the pixels are multiplied by the tap coefficient ak, the number of selectors 21A to 21F and amplifiers 23A to 23G in the subsequent stage must be increased, which increases the circuit scale. Therefore, in this embodiment, each register row 20 is configured by a register 22 for several pixels, and the subsequent arithmetic processing is performed only on the first pixel of each register row 20. Thus, an ε filter that covers a wide spatial range is realized without increasing the circuit scale of the subsequent stage. For example, when the number of registers 22 is 2 for a 7-tap ε filter, a filter having a size of 13 pixels × 13 pixels as shown in FIG. 13 can be configured with an equivalent circuit scale. However, a filter having a significant coefficient only every few pixels can be expected to have a large smoothing effect, but generally has a tendency to increase side lobes, and unnecessary high-frequency components remain in the smoothed image data. It becomes easy. FIG. 14 shows a comparison of frequency responses of filters configured by changing the number of registers 22. The horizontal axis represents the frequency normalized with the Nyquist frequency being 0.5, and the vertical axis represents the frequency response of the filter. Filter A, Filter B, and Filter C correspond to the case where the number of registers 22 is 1, 2, and 3, respectively, and the actual filter coefficients are as shown in FIG. FIG. 14 also shows that the side lobe increases as the number of registers 22 increases. Therefore, in this embodiment, in order to avoid this problem, smoothing is achieved by connecting a plurality of ε filters 12A to 12N having the same configuration except for the number of registers 22 in the register trains 20A to 20F in series. The effect and suppression of side lobes are compatible. That is, a large smoothing effect is obtained by the ε filter having a large number of registers 22, and unnecessary high frequency components that have passed through the side lobes of other filters are removed by the ε filter having a small number of registers 22. Here, since the ε filter has a property of passing a high frequency component in the edge peripheral portion, when the ε filter having a small number of registers 22 is used first, the frequency component having passed through the main lobe is changed in the edge peripheral portion. There is a possibility that it is not sufficiently attenuated by the subsequent ε filter. Therefore, in order to obtain a good smoothing effect, it is desirable to apply the register 22 in descending order.
[0026]
The lookup table 13 subjects the smoothed image data S4N supplied from the ε filter 12N to the inverse transformation of the logarithmic transformation performed by the lookup table 11, and the resulting smoothed image data S10 is converted into a linear low-pass filter. 35. The linear low-pass filter 35 generates the smoothed image data S11 by slightly dulling the edge of the smoothed image data S10 that has been smoothed while preserving the edges, and supplies the smoothed image data S11 to the adders 40 and 41 (FIG. 1). Send it out. Thereby, the smoothness of the image in the vicinity of the edge can be maintained in the subsequent image enhancement processing.
[0027]
Returning to FIG. 1, the delay circuit 4 delays the input image data S1 imaged by the CCD 2 by a predetermined amount, and sends this to the adder 40 as the delayed image data S15. The adder 40 constitutes image enhancement means together with the adder 41 and the multiplier 42, and each pixel value s (i, j) of the smoothed image data S11 from each pixel value x (i, j) of the delayed image data S15. And the difference image data S16 obtained as a result is sent to the multiplier 42.
[0028]
The multiplier 42 multiplies each pixel value (x (i, j) -s (i, j)) of the difference image data S16 by a gain coefficient g (i, j) and amplifies the difference, and the difference obtained as a result thereof. The image data S17 is sent to the adder 41. Here, the gain coefficient g (i, j) is a uniform value for the entire screen or a value set for each pixel (i, j).
[0029]
The adder 41 applies the pixel value g (i, j) × (x (i, j) −s (i, j)) of the difference image data S17 supplied from the multiplier 42 by the adder 40. Each pixel value s (i, j) of the smoothed image data S11 that is the subtracted offset is added, and output image data S18 obtained as a result is sent to the camera signal processing circuit 45. The camera signal processing circuit 45 performs predetermined data processing on the output image data S18, and sends the output image data S19 obtained as a result to a VTR (Video Tape Recorder) 46 for recording.
[0030]
Each pixel value y (i, j) of the output image data S18 output from the image processing circuit 3 is expressed by the following equation:
[0031]
[Expression 2]

[0032]
Represented by In this equation (2), the gain coefficient g (i, j) is replaced with a uniform gain coefficient G over the entire screen, and each pixel value s (i, j) of the smoothed image data S11 is replaced with the input image data S1. When replaced with the median value of the dynamic range or the average value C of all the pixel values, this equation (2) represents the following contrast enhancement method by tone curve adjustment:
[0033]
[Equation 3]

[0034]
It is expressed as
[0035]
Further, in the above equation (2), the gain coefficient g (i, j) is replaced with a gain coefficient G that is uniform over the entire screen, and each pixel value s (i, j) of the smoothed image data S11 is replaced with the input image. When each pixel value x (i, j) of the data S1 is replaced with each pixel value f (i, j) of the image data obtained by performing linear low-pass filter processing, this equation (2) The following formula shows the method for emphasizing band components
[0036]
[Expression 4]

[0037]
It is expressed as
[0038]
As described above, the conventional contrast enhancement method is a method in which image enhancement processing is performed independently for each pixel of the image, and the conventional high-frequency component enhancement method is performed with the surrounding pixels existing around the center pixel. In contrast to the method of performing image enhancement processing based on the relative level difference, the method according to the present embodiment integrates the conventional contrast enhancement method and high-frequency component enhancement method using a nonlinear smoothing filter. This enables higher-quality image enhancement processing.
[0039]
In the above configuration, the image processing circuit 3 smoothes the input image data S1 while the edge components of the input image data S1 are stored by the nonlinear smoother 5, and generates smoothed image data S11. Then, the image processing circuit 3 subtracts the smoothed image data S11 as an offset from the delayed image data S15 that is the original image, multiplies the subtraction result by a gain coefficient, and then obtains the smoothed image data S11 that is the offset. to add.
[0040]
Therefore, it is possible to enhance the signal level of the small amplitude component other than the edge component while keeping the edge component in the input image data S1, and thus improve the contrast of the entire image while maintaining the dynamic range of the image. In addition, the sharpness of the image can be improved near the edge. As a result, the video camera 1 can shoot a clear image having a dynamic range and contrast, even when shooting a distant view or shooting in a fog, and can perform high-quality image enhancement processing. it can.
[0041]
According to the above configuration, the input image data S1 is smoothed while the edge component of the input image data S1 is preserved to generate the smoothed image data S11, and then the smoothed image data S11 is used as an offset for the input image data. By subtracting from S1, multiplying the subtraction result by a gain coefficient, and adding the smoothed image data S11, the signal level of the small amplitude component other than the edge component is preserved while keeping the edge component in the input image data S1. Thus, while maintaining the dynamic range of the image, the contrast and sharpness of the entire image can be further improved as compared with the conventional case.
[0042]
(2) Second embodiment
FIG. 7, in which parts corresponding to those in FIG. 1 are given the same reference numerals, shows a video camera 50 according to the second embodiment, except for the configuration of the image processing circuit 51. 1 is configured.
[0043]
In the case of this embodiment, the nonlinear smoother 5 sends the smoothed image data S11 to the adder 40 and the delay circuit 52. The adder 40 subtracts the smoothed image data S11 from the delayed image data S15 and sends the difference image data S16 obtained as a result to the noise removal filter 53.
[0044]
The noise removal filter 53 reduces the noise component of the difference image data S16 and sends the difference image data S30 obtained as a result to the multiplier. The noise removal filter 53 has input / output characteristics as shown in FIG. 8, for example, and performs gradation conversion called coring for reducing noise components by not outputting small amplitude components in the range indicated by arrows in the figure. . As a result, the noise component is amplified in the subsequent multiplier 42 and the S / N ratio (signal-to-noise ratio) of the image data output from the image processing circuit 51 is prevented from deteriorating.
[0045]
The multiplier 42 multiplies each pixel value of the difference image data S30 by a gain coefficient and amplifies it, and sends the difference image data S31 obtained as a result to the adder 41. The delay circuit 52 delays the smoothed image data S11 by a predetermined amount, and sends this to the adder 41 as delayed smoothed image data S32.
[0046]
The adder 41 adds each pixel value of the smoothed image data S32, which is an offset amount, to each pixel value of the difference image data S31 supplied from the multiplier 42, and outputs the resulting output image data S33. It is sent to the lookup table 54. The look-up table 54 performs gradation conversion for compressing the neighborhood of black and the neighborhood of white as shown in FIG. 9 for the output image data S33, and sends the output image data S34 obtained as a result to the camera signal processing circuit 45. To do. Thereby, even when the pixel value exceeds the dynamic range on the black or white side by the addition processing of the adder 41, it is possible to prevent the occurrence of clipping distortion in which the gradation is lost near black or white.
[0047]
In the above configuration, the image processing circuit 51 smoothes the input image data S1 while the edge components of the input image data S1 are stored by the non-linear smoother 5, and generates smoothed image data S11. Then, the image processing circuit 51 subtracts the smoothed image data S11 from the delayed image data S15 that is the original image as an offset, and multiplies the subtraction result by the gain coefficient, and then the smoothed image data S11 that is the offset. to add.
[0048]
Therefore, it is possible to enhance the signal level of the small amplitude component other than the edge component while maintaining the edge component in the input image data S1, and thus improve the contrast of the entire image while maintaining the dynamic range of the image. In addition, the sharpness of the image can be improved near the edge.
[0049]
According to the above configuration, the input image data S1 is smoothed while the edge component of the input image data S1 is preserved to generate the smoothed image data S11, and then the smoothed image data S11 is used as an offset for the input image data. By subtracting from S1, multiplying the subtraction result by a gain coefficient, and adding the smoothed image data S11, the signal level of the small amplitude component other than the edge component is preserved while the edge component is preserved in the input image data S1. Thus, while maintaining the dynamic range of the image, the contrast and sharpness of the entire image can be further improved as compared with the conventional case.
[0050]
Further, by reducing the noise component of the difference image data S16 in the noise removal filter 53, it is possible to prevent the noise component from being amplified in the subsequent multiplier 42 and the S / N ratio of the output image data S34 from being deteriorated. Further, by performing gradation conversion for compressing the neighborhood of black and the neighborhood of white on the output image data S33 in the lookup table 54, the occurrence of clipping distortion can be prevented even when the pixel value exceeds the dynamic range.
[0051]
(3) Third embodiment
In FIG. 10, reference numeral 60 denotes a video camera 60 according to the third embodiment as a whole. A color image is picked up by the CCD 61, and the picked-up color image is input to the color separation circuit 62 as input image data S40. The color separation circuit 62 separates the input image data S40 into three primary color image data of R (red), G (green), and B (blue), and among these, the green image data is converted into green image data S40G. 63, the red image data is input to the image processing circuit 3B of the image processing unit 63 as the red image data S40R, and the blue image data is input to the image processing unit 63 as the blue image data S40B. Input to the circuit 3C.
[0052]
Each of the image processing circuits 3A to 3C has the same configuration as that of the image processing circuit 3 shown in FIG. 1, and a small amplitude other than the edge component while keeping the edge component for the input image data S40G, S40R, and S40B. Processing for emphasizing the signal level of each component is performed.
[0053]
That is, the image processing circuit 3A generates smoothed green image data by smoothing the green image data S40G while preserving the edge component of the green image data S40G, and then uses the smoothed green image data as an offset for the green image. Subtracting from the data S40G, multiplying the subtraction result by the gain coefficient, and adding the smoothed green image data, generates green output image data S41G and sends it to the camera signal processing circuit 64.
[0054]
Similarly to the image processing circuit 3A, the image processing circuits 3B and 3C generate the red output image data S41R and the blue output image data S41B by performing the above-described processing on the red image data S40R and the blue image data S40B, respectively. Are sent to the camera signal processing circuit 64, respectively.
[0055]
The camera signal processing circuit 64 performs predetermined data processing on each of the green output image data S41G, the red output image data S41R, and the blue output image data S41B, and sends the output image data S42 obtained as a result to the VTR 65 for recording. To do.
[0056]
In the above configuration, the image processing circuits 3A to 3C smooth the image data S40G, S40R, and S40B, respectively, while generating the edge data of the image data S40G, S40R, and S40B, and generate smoothed image data. The image processing circuits 3A to 3C subtract the smoothed image data from the original image data S40G, S40R, and S40B as offsets, multiply the subtraction results by a gain coefficient, and then smooth the offsets. Each of the converted image data is added.
[0057]
Accordingly, it is possible to enhance the signal levels of small amplitude components other than the edge components while preserving the edge components in the image data S40G, S40R, and S40B, thus increasing the contrast of the entire image while maintaining the dynamic range of the image. It is possible to improve the sharpness of the image even near the edge.
[0058]
According to the above configuration, the smoothed image data is generated by smoothing the image data S40G, S40R, and S40B while the edge components of the image data S40G, S40R, and S40B are stored, and then the smoothed image data is offset. The edge components of the image data S40G, S40R, and S40B are stored by subtracting the image data from the image data S40G, S40R, and S40B as the minute, multiplying the subtraction result by the gain coefficient, and adding the smoothed image data. The signal level of the small amplitude component other than the edge component can be enhanced as it is, and thus the contrast and sharpness of the entire image can be further improved as compared with the prior art while maintaining the dynamic range of the image.
[0059]
Further, the color image picked up by the CCD 61 is separated into the three primary colors of RGB, and the signal levels of the small amplitude components other than the edge component are stored in the separated image data S40G, S40R and S40B, respectively. By performing image processing for emphasizing each of these, even when a color image is input, the contrast and sharpness of the entire image can be further improved as compared with the conventional case while maintaining the dynamic range of the image.
[0060]
(4) Other embodiments
In the above-described second embodiment, the case where the noise component is reduced from the difference image data S16 by the noise removal filter 53 using a technique called coring has been described. However, the present invention is not limited to this, and FIG. A noise removal filter may be configured by the ε filter 12A shown in FIG. 4, and only the small amplitude component of the difference image data S16 may be smoothed to reduce the noise component.
[0061]
In the above-described second embodiment, the case where the noise removal filter 53 is arranged at the subsequent stage of the adder 40 has been described. However, the present invention is not limited to this, and the point is that the noise removal filter 53 is the multiplier 42. It may be located in the previous stage, and may be arranged in the previous stage or the subsequent stage of the delay circuit 4.
[0062]
In the above-described third embodiment, the case where the input image data S40 is separated into RGB three primary color signals by the color separation circuit 62 has been described. However, the present invention is not limited to this, and the luminance signal Y, red signal, and the like. The color difference signal RY obtained by subtracting the luminance signal Y from R and the color difference signal BY obtained by subtracting the luminance signal Y from the blue signal B may be separated.
[0063]
In the third embodiment described above, the case where the ε filter in the image processing circuits 3A to 3C is configured by a one-dimensional or two-dimensional ε filter has been described. However, the present invention is not limited to this, and the three-dimensional The ε filter may be used.
[0064]
In this case, as shown in FIG. 11 in which the same reference numerals are assigned to the corresponding parts to FIG. 10, the image processing unit 71 of the video camera 70 uses the green image data S40G supplied from the color separation circuit 60 as the image processing circuit. 72A to 72C, red image data S40R is input to the image processing circuits 72A to 72C, and blue image data S40B is input to the image processing circuits 72A to 72C.
[0065]
For example, when the pixel value of the green image data S40G is gn, the pixel value of the red image data S40R is rn, and the pixel value of the blue image data S40B is bn, the image processing circuits 72A to 72C are pixels in the above equation (1). Instead of the absolute value | xn−xn−k | of the difference between the value xn and the pixel value xn−k,
[0066]
[Equation 5]

[0067]
By using each of these, smoothing is performed more effectively.
[0068]
In the third embodiment described above, the case where the input image data S40 is separated into the three primary colors RGB and the image enhancement processing is performed on each of the separated image data S40G, S40R, and S40B has been described. The present invention is not limited to this, and image enhancement processing may be performed only on the luminance data of the input image data S40 to reduce the total amount of calculation.
[0069]
As shown in FIG. 12, in which parts corresponding to those in FIG. 10 are assigned the same reference numerals, the image processing unit 81 of the video camera 80 is supplied with green image data S40G, red image data S40R and blue image data supplied from the color separation circuit 62. The image data S40B is input to the matrix circuit 82 of the image processing unit 81. The matrix circuit 82 uses the luminance data S50A from the color difference data S50B and the blue image data S40B obtained by subtracting the luminance data S50A from the luminance data S50A and the red image data S40R. Is converted to the color difference data S50C, the luminance data S50A is sent to the image processing circuit 3A and the

dividers

83A and 83B, the color difference data S50B is sent to the divider 83A, and the color difference data S50C is sent to the divider 83B. To do.
[0070]
The image processing circuit 3A is configured in the same manner as the image processing circuit 3 shown in FIG. 1, performs image enhancement processing on the luminance data S50A, and uses the output luminance data S51A obtained as a result of the

multipliers

84A and 84B and camera signal processing. Send to circuit 64. The

dividers

83A and 83B divide the color difference data S50B and S50C by the luminance data S50A, respectively, thereby generating normalized data S52A and S52B obtained by normalizing the color difference data S50B and S50C with the luminance data S50A, respectively. Send to

circuits

85A and 85B, respectively.
[0071]
The

delay circuits

85A and 85B delay the normalized data S52A and S52B by a predetermined amount, respectively, and send them to the

multipliers

84A and 84B as delay normalized data S53A and S53B. The

multipliers

84A and 84B generate the color difference data S54A and S54B by multiplying the delay normalized data S53A and S53B by the luminance data S51A, respectively, and send them to the camera signal processing circuit 64.
[0072]
Further, in the above-described embodiment, the case where the present invention is applied to the

video cameras

1, 50, and 60 has been described. The present invention can be widely applied to various image processing apparatuses. In this case, when correcting the image contrast, the computer can obtain a high-quality contrast-corrected image while maintaining the dynamic range, and when synthesizing the images obtained under different illumination conditions, Only the difference in the components can be corrected, and a natural composite image can be generated.
[0073]
【The invention's effect】
As described above, according to the present invention, the edge of the input image data whose pixel value changes sharply. About smoothing The Not done Other than the edge Smoothing small amplitude components using multiple nonlinear filters with different numbers of registers The Conduct By amplifying Steep Other than edge Small amplitude component Can be highlighted Because , The contrast of the entire image can be further improved while maintaining the dynamic range of the image as compared with the past, and the sharpness of the image near the edge can be improved. Thus, it is possible to realize an image processing apparatus capable of further improving the contrast and sharpness of the entire image as compared with the conventional case.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a video camera according to the present invention.
FIG. 2 is a block diagram showing a configuration of a nonlinear smoother.
FIG. 3 is a schematic diagram for explaining the operation of an ε filter.
FIG. 4 is a block diagram illustrating a configuration of an ε filter.
FIG. 5 is a block diagram illustrating a configuration of a register string.
FIG. 6 is a block diagram showing a configuration of a selector.
FIG. 7 is a block diagram illustrating a configuration of a video camera according to a second embodiment.
FIG. 8 is a schematic diagram for explaining input / output characteristics of a noise removal filter;
FIG. 9 is a schematic diagram for explaining a lookup table;
FIG. 10 is a block diagram illustrating a configuration of a video camera according to a third embodiment.
FIG. 11 is a block diagram illustrating a configuration of a video camera according to another embodiment.
FIG. 12 is a block diagram illustrating a configuration of a video camera according to another embodiment.
13 is a diagram illustrating an example of an ε filter using a register 22. FIG.
FIG. 14 is a diagram illustrating the relationship between the number of registers 22 and the frequency response.
FIG. 15 is a diagram illustrating filter coefficients corresponding to the frequency response of FIG. 14;
[Explanation of symbols]
60... Video camera, 2, 61... CCD, 3, 51, 72... Image processing circuit, 5... Nonlinear smoother, 12. ... Register, 23... Amplifier, 40 and 41... Adder, 42 and 84.

Claims

In an image processing apparatus comprising image processing means for amplifying a portion other than the edge while preserving an edge where the change in pixel value is steep among input image data,
The image processing means includes
Nonlinear conversion means for performing nonlinear conversion on each of the input image data to generate nonlinear image data;
Non-linear filtering means for generating non-linear smoothed image data by applying a non-linear digital filter to the non-linear image data;
A non-linear inverse transform unit that generates the smoothed image data by performing an inverse transform of the non-linear transform unit on the non-linear smoothed image data;
Image enhancement means for subtracting the smoothed image data from the input image data, amplifying the subtraction result, and adding the smoothed image data to generate output image data;
The nonlinear filtering means is:
An image processing apparatus comprising a plurality of nonlinear filters of different sizes connected in series .

The nonlinear filtering means is :
The image processing apparatus according to claim 1 , wherein the image processing apparatus includes a plurality of nonlinear filters of different sizes connected in series, and the smaller the filter, the more downstream the filter.

In an image processing method for performing image processing for amplifying a portion other than the edge while preserving an edge having a steep change in pixel value in input image data,
A non-linear transformation step of performing non-linear transformation on each of the input image data to generate non-linear image data;
A non-linear filtering step of generating non-linear smoothed image data by applying a non-linear digital filter to the non-linear image data;
A non-linear inverse transform step for generating the smoothed image data by performing the inverse transform of the non-linear transform unit on the non-linear smoothed image data;
An image enhancement step of subtracting the smoothed image data from the input image data, amplifying the subtraction result, adding the smoothed image data to generate output image data,
In the nonlinear filtering step, the nonlinear smoothed image data is generated by serially applying a plurality of nonlinear filters having different sizes to the nonlinear image data .

The nonlinear smoothing image data is generated by applying a plurality of nonlinear filters of different sizes to the nonlinear image data in order from the largest in the nonlinear filtering step. 4. The image processing method according to 3 .