JP4363125B2 - 画像信号処理装置、ビューファインダ、表示装置、画像信号処理方法、記録媒体及びプログラム - Google Patents

Description

本発明は、画像信号の処理装置に関する。また、同技術を適用したビューファインダ及び表示装置に関する。また、同技術を実現する画像信号処理方法及びプログラムに関する。また、同プログラムを記録した記録媒体に関する。

今日、画像には非常に高い画質が求められる。特に、大画面では、撮像時のわずかな焦点のずれが画質に影響する。このため、レンズの焦点合わせが非常に重要になる。
ところが、撮像する画像は、必ずしも焦点合わせの容易な絵柄ばかりではない。例えば、コントラストの低い絵柄は焦点合わせが難しい。焦点がずれてもコントラストの変化を確認しづらいからである。
このため、コントラストの低い絵柄に焦点を合わしたい場合には、コントラスト強調後の撮像信号を用いて焦点合わせが行われる。
特開平０９−１３９９５２号公報 特開平０９−４６５７６号公報 特開２００２−１３５８０１号公報

ところで、従来装置では、図１（Ａ）に示すように、撮像信号の利得を変化させてコントラストを調整する。この際、コントラストの調整は画面全体に作用する。このため、図１（Ｂ）に示すような黒潰れや白潰れが発生し、絵柄が見づらくなる問題があった。

本発明は、以上の問題を考慮してなされたものであり、着目する画像部分のみを選択的に強調して画像の絵柄を見やすくすることを目的とする。

本発明は、入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出部と、コントラストを示す数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、数値の絶対値が第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合はフィルタ係数を数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、数値の絶対値が第二の閾値より小さい場合はフィルタ係数を０に決定するフィルタ係数算出部と、フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断される、フィルタ係数算出部で決定されたフィルタ係数に基づいて画像信号を各画素に係る信号毎に濾波するローパスフィルタ部と、ローパスフィルタ部からの出力を画像信号から減算する減算部と、減算部からの出力に、予め設定された所定の利得を乗算する増幅部と、増幅部からの出力を、入力された画像信号に加算する合成部とを備えるものである。
なお、提案する画像処理技術は、輝度信号と色信号（色差信号を含む。）のそれぞれについて個別にコントラストを調整する場合に、また原色信号のそれぞれについて個別にコントラストを調整する場合に適用することができる。

本発明の一態様は、画像信号のうちコントラストの低い部分だけを選択的に抽出するフィルタである。このフィルタの出力には、画像信号のうち低コントラスト成分だけが現れる。従って、抽出された低コントラスト成分だけを選択的に増幅することが可能になる。このフィルタを用いれば、例えば、以下の画像処理装置を実現できる。

図３に、本発明の一態様である画像処理装置を示す。この画像処理装置は主に２つの機能部を有する。機能の一つは、前述のフィルタである。すなわち、画像信号Ｓ１のうちコントラストの低い部分だけを選択的に抽出するフィルタ１である。他の機能の一つは、フィルタ１の出力信号Ｓ２と、フィルタ１の入力信号である画像信号Ｓ１とを合成して出力する合成器２である。合成器２には、例えば加算器を用いれば良い。

ここで、コントラストとは画像の明暗差（範囲）のことである。そして、コントラストが低い部分とは、周辺画像との明暗差が小さい画像のことをいう。ここでの部分には単一画素だけでなく、複数画素も含む。合成器２からは、画像信号Ｓ１にフィルタ出力Ｓ２を合成した合成出力Ｓ３が出力される。この合成出力Ｓ３に含まれる低コントラスト成分の信号振幅は、入力信号である画像信号Ｓ１の２倍になっている。勿論、フィルタ１で抽出されなかった信号成分はそのままである。低コントラスト信号だけが強調されるため、黒潰れや白潰れは生じることはない。

図４に、本発明の他の一形態である画像処理装置を示す。この画像処理装置は主に３つの機能部を有する。機能部のうち２つは第２の形態と同じである。残る一つの機能部は、フィルタ１の出力信号Ｓ２を増幅して出力する増幅器３である。なお、増幅器３の出力信号Ｓ４は合成器２の入力となる。この形態に係る発明では、低コントラスト成分Ｓ２を一段と強調することができる。従って、画面上でのコントラストが増加し、原画像では確認の難しかった低コントラスト部分の確認が容易になる。ここで、増幅度は固定値とすることもできるし、制御信号により可変制御することもできる。

図５に、本発明の他の一形態である画像処理装置を示す。この画像処理装置は主に４つの機能部を有する。機能部のうち３つは第３の形態と同じである。ただし、増幅器３として、増幅度がｎ−１倍（ｎは１より大きい実数）で与えられるものを使用する。この場合、合成出力Ｓ３には、低コントラスト成分Ｓ２をｎ倍に増幅した信号成分が現れる。勿論この場合も、他の信号成分については増幅されずに出力される。

残る一つの機能部は、増幅器３による増幅を打ち消すように、合成器２の出力信号Ｓ３を減衰して出力する減衰器４である。減衰器４は、合成器２の出力信号Ｓ３を１／ｍ倍（ｍは２以上の実数）する。なお、ｎとｍは独立に任意の値を設定し得る。好ましくは、ｍはｎと同じか、ｎとほぼ同じ数値であることが望ましい。ｎとｍがほぼ同じ値の場合、減衰器４の出力信号Ｓ５には、画像信号Ｓ１の低コントラスト成分が原画像とほぼ同じコントラストで現れる一方、他のコントラスト成分が１／ｍに圧縮されて現れる。

この形態は、画像信号Ｓ１のコントラストの高すぎる部分だけを選択的にコントラストを低下させるものである。この手法によっても、原画像の模様は損なわずに、低コントラスト部分を見やすい画像に変換することができる。なお、減衰器４の出力信号Ｓ５を増幅すれば、黒潰れや白潰れなくコントラストを全体的に高めることができるのは言うまでもない。

なお、この形態の場合にも増幅器３の増幅度は可変制御とすることもできる。ただし、その場合には、増幅度の制御に連動して減衰度も制御することが望ましい。例えば、増幅度を上げる場合には減衰度も同様に上げるように制御する。反対に増幅度を下げる場合は、減衰度も同様に下げるように制御する。

なお、第１の形態〜第４の形態におけるフィルタ１は、次の２つの機能部で構成されるものが望ましい。図６にフィルタ１の構成例を示す。機能部の１つは、コントラストが高い部分では、入力信号Ｓ１がそのまま出力信号Ｓ６として現れる一方で、コントラストが低い部分では、低いほど出力信号Ｓ６に現れる信号成分が直流成分に近づくように入出力特性が変化するローパスフィルタ１Ａである。もう一つの機能部は、ローパスフィルタ１Ａの出力信号Ｓ６をローパスフィルタ１Ａの入力信号Ｓ１から減算する減算器１Ｂである。

このフィルタ１の場合、高コントラスト成分の画像信号Ｓ１は、減算器１Ｂに入力される出力信号Ｓ６によりキャンセルされてしまう。一方、低コントラスト成分の画像信号Ｓ１は、出力信号Ｓ６がほぼ直流成分であるために、キャンセルされることなく減算器１Ｂから出力される。すなわち、低コントラスト成分が抽出される。

なお、入出力特性の変化は、低コントラスト部で少なく、コントラストが大きくなるに従って急速に大きくなるものが好ましい。例えば、低コントラスト成分に対する通過域は直流近辺でほとんど変化しないが、コントラストが大きくなるに従って通過域が急速に高域まで拡大するものが好ましい。かかる入出力特性を持たせることにより、抽出する信号成分の選択能力を高めることができる。

また、通過域に関する特性は連続的に変化するものでも良いし、複数の通過域の組の中から選択するものでも良い。例えば、コントラストと通過域との対応関係をルックアップテーブル（記憶媒体）に格納しておいて、適切な通過域のローパスフィルタを選択的に使用しても良い。

なお、このローパスフィルタは、コントラストが雑音レベル近くまで低くなると、出力信号に入力信号がそのまま現れるように入出力特性が変化することがより望ましい。かかる形態を採用すると、雑音及び雑音と区別できないほどコントラストの低い信号成分を減算器１Ｂでキャンセルすることができる。よって、本来の絵柄とは異なる雑音が強調されるのを防止できる。

また、この形態では、画像信号のコントラストに応じたフィルタ係数を発生し、ローパスフィルタ１Ａの入出力特性を適応的に可変させる係数発生部を有することが望ましい。この場合には、ローパスフィルタ１Ａが１つで済むため回路規模を小型化できる。なお、係数発生部は、コントラストとフィルタ係数との対応関係を格納するルックアップテーブル（記憶媒体）でも良い。また、同様の関係を演算回路で算出するものでも良いし、同様の関係をソフトウェア的に算出するものでも良い。

なお、第１の形態〜第４の形態における画像信号のコントラストは、対象画素を含む周辺画素間の信号レベル差に基づいて判定されることが望ましい。周辺画素間の情報を使用することによりコントラストの検出精度を高めることができる。

また、画像信号のコントラストは、隣接する２つの画素間の信号レベル差に基づいて判定されることが望ましい。２つの画素間の情報によっても実用に耐える精度を実現できる。この場合は、コントラストの検出に要する回路が単純で済み、回路規模を小型化できる。因みに、２つの画素は、画面上で水平方向に隣接する画素でも良いし、画面上で垂直方向に隣接する画素でも良い。

本発明によれば、画像全体の視認性を損なうことなく、着目する画像部分のみを選択的に強調することができる。

以下、本発明の実施形態を説明する。なお、本明細書で特に図示又は記載されない特質は、当該技術分野において知られているものから選択されても良い。
以下の説明では、好適な実施の形態をハードウェアとして実現する場合について説明するが、かかるハードウェアと等価なコンピュータプログラムによっても実現できる。

本発明がコンピュータプログラムとして実現される場合、プログラムは、コンピュータ読取り可能な記憶媒体に記憶される。
この記憶媒体には、例えば、磁気ディスク（フレキシブルディスク又はハードディスク）又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又はマシン読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような半導体記憶装置の他、コンピュータプログラムを記憶するために使用される他の物理装置又は媒体が含まれる。

また本発明がハードウェアで実現される場合、特定用途向け集積回路（ＡＳＩＣ）のような集積回路、又は当該技術分野において公知の他の手段として実現されてもよい。なお本発明は、ディジタル回路に限らず、アナログ回路としても実現できる。

（ａ）システム適用例
ここでは、本発明をビューファインダに適用する場合について説明する。なお、後述するように、本発明の適用例はビューファインダに限られるものではない。
図１１に、ビューファインダのシステム構成例を示す。このビューファインダは、主に５つの回路ブロックで構成される。コントラスト強調回路２０と、ピーキング回路３０と、コントラスト・ブライトネス回路４０と、表示デバイス駆動回路５０と、表示デバイス６０の５つである。

この実施形態におけるコントラスト強調回路２０は、低コントラスト成分を選択的に強調するための回路ブロックである。この回路ブロックは、前述した発明の一つの実施例に相当する。なお、コントラスト強調回路２０には、固体撮像素子その他の撮像装置から撮像信号が入力される。このコントラスト強調回路２０の詳細構成は後述する。

ピーキング回路３０は、焦点合わせに適した高周波成分だけをパルス幅方向に伸長する回路ブロックである。この回路ブロックも、前述した発明の一つの実施例に相当する。なお、ピーキング回路３０には、前段のコントラスト強調回路２０の出力信号が入力される。このピーキング回路３０の詳細構成も後述する。

コントラスト・ブライトネス回路４０は、コントラストとブライトネスを個別に調整するための回路ブロックである。この回路ブロックには既知のものを用いれば良い。従って、ここでのコントラスト調整は、全帯域を対象とした調整である。
表示デバイス駆動回路５０は、表示デバイス６０の駆動ブロックである。因みに、表示デバイス６０には、一般に液晶パネルを使用する。なお一般に、被写体の確認に用いられる接眼部のものをビューファインダと言うが、ここでの表示デバイスはより大型の液晶モニタと呼ばれるものでも良い。また、表示デバイス駆動回路５０と表示デバイス６０とは、これらで一体のユニットを構成し、コントラスト強調回路２０やピーキング回路３０を搭載する撮像ユニットに対して外付けされるものでも良い。

このように、本発明の実施例回路を２つ搭載する図１１のビューファインダの場合には、低コントラスト部分へ焦点合わせの容易なだけでなく、高周波部分にも焦点合わせの容易なビューファインダを実現することができる。
なお、図１１の場合には、本発明の適用例を説明するため、本発明の実施例回路を２つとも搭載しているが、本発明の実施例回路を１つだけ搭載するシステム構成とすることもできる。

例えば、コントラスト強調回路２０とピーキング回路３０のうち、ピーキング回路３０には既知の回路を用いる構成としても良い。この場合には、低コントラスト部分に焦点合わせの容易なビューファインダを実現できる。
また、選択的な強調機能を有するコントラスト強調回路２０は使用せず、本発明の一つの実施例回路であるピーキング回路３０だけを搭載する構成としても良い。この場合には、高周波部分に焦点合わせの容易なビューファインダを実現できる。

（ｂ）コントラスト強調回路
以下、コントラスト強調回路２０の実施例を説明する。コントラスト強調回路２０には、無限インパルス応答型（以下「ＩＩＲ（Infinite Impulse Response）型」という。）のローパスフィルタを用いるものと、有限インパルス応答型（以下「ＦＩＲ（Finite
Impulse Response）型」という。）のローパスフィルタを用いるものとに分類できる。以下、各場合の実施例を説明する。

（ｂ−１）第１の実施例
図１２に、コントラスト強調回路２０の第１の実施例を示す。このコントラスト強調回路２０は、ＩＩＲ型のローパスフィルタを用いるものである。このコントラスト強調回路２０は、前述の図４に示す画像処理装置のタイプに属する。

このコントラスト強調回路２０は、６つの機能部から構成されている。画像信号Ｓinのコントラストを検出する機能部（２１Ａ、２１Ｂ）と、検出されたコントラストに応じてフィルタ係数を発生する機能部（２１Ｅ）と、入力された画像信号Ｓinの低域成分を濾波するローパスフィルタ部（２１Ｃ、２１Ｇ、２１Ｉ、２１Ｋ）と、ローパスフィルタ部の出力を画像信号Ｓinから減算する減算部（２１Ｄ、２１Ｆ）と、強調度を調整するのに用いられる増幅部（２１Ｈ）と、選択的に強調された低コントラスト成分を元の画像信号Ｓinに合成する合成部（２１Ｊ）の６つである。

コントラストを検出する機能部（２１Ａ、２１Ｂ）は、フリップフロップ２１Ａと減算器２１Ｂとで構成する。フリップフロップ２１Ａには、画素クロックが入力されている。このフリップフロップ２１Ａにより画像信号Ｓinとして入力された画素データは１画素分遅延される。この実施例では、減算器２１Ｂにおいて、水平方向に隣接する画素の信号レベル差を計算する。

この機能部において、減算器２１Ｂで求められる値の絶対値が小さいほど、コントラストの低い絵柄であると判断される。
なお、更にフリップフロップ等の遅延素子を追加すれば、上下左右の広い範囲についてコントラストの高低を見分けることができる。高い検出精度が要求される場合に好適である。

ローパスフィルタ部（２１Ｃ、２１Ｇ、２１Ｉ、２１Ｋ）は、減算器２１Ｃと、乗算器２１Ｇと、加算器２１Ｉと、フリップフロップ２１Ｋとで構成する。このローパスフィルタ部は、１次のＩＩＲ型ローパスフィルタを構成する。このフィルタ特性は、乗算器２１Ｇに与えられるフィルタ係数によって可変することができる。この実施例の場合、フィルタ係数がゼロのとき、全域通過特性になる。一方、フィルタ係数が１に近づくほど遮断周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断される。

フィルタ係数を発生する機能部（２１Ｅ）は、係数発生器２１Ｅで構成する。この実施例では、係数発生器２１Ｅとして、ルックアップテーブルを用いる。図１３に、ルックアップテーブルで実現する入出力特性の一例を示す。図１３の太い実線部分が入出力特性を表す曲線である。出力されるフィルタ係数は、差分値（ここでは入力）の絶対値が小さいほど１に近い値になる。またフィルタ係数は、差分値の絶対値が大きくなるほどゼロに近い値となり、差分値が一定以上大きい範囲では全てゼロに固定されている。

かかる入出力特性を設定すると、ローパスフィルタ部の出力(フリップフロップ２１Ｋの出力)に前述の特性を現すことができる。すなわち、コントラストが高い部分は入力信号が素通しされ、コントラストが低い部分は低周波まで濾波される特性を実現することができる。
なお、入出力特性曲線には、フィルタ係数の可変制御を規定する差分値の設定範囲内で唯一の極値（極大値）を、出力座標軸上に有するｎ次関数曲線（ｎは２以上の自然数）を採用することが望ましい。またこの入出力特性曲線は、差分値の絶対値が同じであれば同じフィルタ値を有する左右対称形であるものが望ましい。

かかる曲線を採用すれば、差分値が小さい範囲に対しては、フィルタ係数の変化量を差分値の変化量に対して小さく抑えることができる。すなわち、差分値が小さいある一定の範囲では、ローパスフィルタの出力をほぼゼロにできる。このことは、減算器２１Ｆから入力画素データがそのまま出力できることを意味する。すなわち低コントラスト成分が抽出されることに通じる。

一方、かかる曲線を採用すれば、差分値がある程度以上大きい範囲に対しては、差分値の変化量に対してフィルタ係数の変化量を非常に大きくし、フィルタ係数を急速にゼロに近づけることができる。すなわち、差分値がある一定以上大きくなると、急速に遮断周波数を大きくさせることができる。このことは、ローパスフィルタに現れる入力画素データが急速に変化することを意味する。すなわち、差分値がある程度大きくなると、入力画素データが減算器２１Ｆで打ち消されるようにできる。

なお、入出力特性は図１３に限るものではない。例えば、差分値がゼロのときを頂点とする三角形状に設定しても良い。すなわち、差分値の変化量に応じ、フィルタ係数が一定の割合で変化するように設定することもできる。このように、入出力特性曲線の形状は、適用するシステムや処理対象とする画像に応じて適切なものを設定することができる。

また図１３には、差分値がゼロの付近に細い破線を描いている。この破線で示す入出力特性は、雑音成分までもが細かい模様と同時に強調されてしまった結果、画面がかえって見づらくなる場合に有効である。この入出力特性は、雑音か模様か区別がつかないくらいコントラストの非常に低い領域に設定する。この特性を設定した領域では、コントラストが小さいほどフィルタ係数が急激にゼロになる。すなわち、この領域におけるローパスフィルタの特性は全域通過特性となる。このことは、雑音と区別がつかない成分は減算器２１Ｆで打ち消されることを意味する。

図１４に、入出力特性曲線の具体例を示す。この例は、画像信号Ｓinが８ビットで量子化されている場合を表している。この例では、差分値が−１〜＋１の範囲と絶対値が１６以上の範囲でフィルタ係数をゼロに設定している。この設定により、振幅が−１〜＋１の範囲の雑音を積極的に除去している。なお、フィルタ係数をゼロに設定する範囲を調整することにより、除去できる雑音の振幅を自由に制御することができる。

参考までに、図１５に、フィルタ係数とステップ応答との関係を示す。図面より、フィルタ係数がゼロのときの応答時間が非常に短いことが分かる。これは入力信号が素通しされるからである。また、フィルタ係数が０．５の場合にも応答時間が短いが、これは素通しされる入力信号が多いためである。そして、図１４の最大値に当たるフィルタ係数が０．９３７５の場合には、応答時間が非常に長くなっている。これは信号がほぼ遮断されるためである。

減算部（２１Ｄ、２１Ｆ）は、フリップフロップ２１Ｄと減算器２１Ｆで構成する。フリップフロップ２１Ｄは遅延合わせ用である。減算器２１Ｆは、フリップフロップ２１Ｄの出力から、ローパスフィルタ部の出力を減算するのに用いられる。減算器２１Ｆの出力には、コントラストの高いところと、前述のように雑音除去のためにフィルタ係数をゼロにしたコントラストの非常に低いところでゼロが現れる。一方、減算器２１Ｆの出力には、前述の範囲を除いて、コントラストが低いほど、対応する信号成分が低周波まで現れる。

増幅部（２１Ｈ）は、乗算器２１Ｈで構成する。乗算器２１Ｈは、減算器２１Ｆの出力に適当な利得Ｓccを乗算する。コントラスト制御用の利得Ｓccは固定でも良い。この実施例では、電子ボリュームによって発生した任意の利得Ｓccを与える。利得Ｓccを調整することにより、抽出された低コントラスト成分だけを任意のコントラストに増幅できる。

合成部（２１Ｊ）は、加算器２１Ｊで構成する。加算器２１Ｊは、選択的に増幅されたコントラスト成分を、原画像（フリップフロップ２１Ｄの出力）に加算して出力する。言うまでもなく、選択的に強調されなかった画像部分は原画像のままである。すなわち、コントラスト比が元々高いところには何も加算されない。従って、従来回路のような白潰れや黒潰れ等の問題は生じない。

以上のように、コントラスト強調回路２０を図１２の構成とすれば、コントラストに応じてフィルタ特性が変化するフィルタ（ローパスフィルタと減算器２１Ｆ）によって、雑音成分を含まない低コントラスト成分を抽出することができる。そして、抽出された低コントラスト成分を所望の利得で増幅し、原画像信号に加算することができる。

（ｂ−２）第２の実施例
図１６に、コントラスト強調回路２０の第２の実施例を示す。ここでは、ＦＩＲ型のローパスフィルタを用いるコントラスト強調回路２０について説明する。なお、ＩＩＲ型のローパスフィルタをＦＩＲ型のローパスフィルタに置き換えただけでるため、基本的な構成は第１の実施例と同じである。このため、図１６には、図１２と対応する部分に同一符号を付して示している。なお、図にはフリップフロップ２１Ｄが描かれていないが、これはＦＩＲ型ローパスフィルタ２２の遅延段を用いて時間合わせを行うためである。

図１７に、このＦＩＲ型ローパスフィルタ２２の回路構成例を示す。このローパスフィルタ２２は、中央タップに対して左右対称にフィルタ係数を配置するタイプのフィルタである。従って、４８個の遅延器２２Ａに対して、２３個の加算器２２Ｂを配置する構成を採る。各加算器２２Ｂの出力と中央タップの出力のそれぞれには、対応するフィルタ係数を乗算するための２４個の乗算器２２Ｃが配置される。そして、各乗算結果を１個の加算器２２Ｄで加算し、ローパスフィルタ２２の出力とする。

なお、この実施例における係数発生器２１Ｅは、２４個のフィルタ係数を一組として検出されたコントラスト成分に最適なフィルタ係数を出力する。この実施例では、図１８に示すように、フィルタ係数の組を１５種類用意する。図１８は、画像信号Ｓinが８ビットで量子化されている場合を表している。図中、“フィルタ０”で表されるフィルタ係数の組は、図１４でフィルタ係数がゼロになる場合に相当する。この“フィルタ０”では、中央タップの出力のみが加算器２２Ｄへ出力されるようフィルタ係数の組が設定される。この第２の実施例の場合も、雑音を除去する特性をもたせるため、差分の絶対値がゼロと１の場合には“フィルタ０”を割り当てている。

また、“フィルタ１”，“フィルタ２”，“フィルタ３”…“フィルタ１５”で表されるフィルタ係数の組は、通し番号が大きくなる順番に、図１４のフィルタ係数が大きくなるのと同じ関係にある。図１８は、差分の絶対値が２のとき、図１４のフィルタ係数を最大値として差分値が大きくなるほどフィルタ係数を所定の特性曲線に沿って低減させるのと同じ関係を表している。因みに、この実施例の場合も、差分の絶対値が１７以上では“フィルタ０”を割り当てて全域通過特性を与えている。このような設定としても、第１の実施例と同様に動作するコントラスト強調回路２０を実現できる。

（ｂ−３）第３の実施例
図１９に、コントラスト強調回路２０の第３の実施例を示す。このコントラスト強調回路２０は、ＩＩＲ型のローパスフィルタを用いるものである。このコントラスト強調回路２０は、前述の図５に示す画像処理装置のタイプに属する。

この実施例の場合も、基本的な構成は第１の実施例と同じである。このため、図１９には、図１２と対応する部分に同一符号を付して示している。第３の実施例が第１の実施例と異なる点は２つである。１つは、ｎ−１倍（ｎは１より大きい実数）の増幅部２３を乗算器２１Ｈの後段に設けた点である。もう一つは、１／ｎ倍の減衰部２４を加算器２１Ｊの後段に設けた点である。

この実施例の場合、コントラスト制御用の利得Ｓccの値にもよるものの、乗算器２３と加算器２１Ｊとによってｎ倍に増幅された原画像の低コントラスト部分は、減衰器２４で１／ｎ倍されるため、ほとんど入力時と同じコントラストのまま出力される。一方、原画像においてコントラストが高かった部分については、減衰器２４によってコントラストが１／ｎ倍に落とされる。このことは、画像全体のコントラストが平均化できることを意味する。従って、高コントラスト部分が含まれるために、見えづらかった原画像の低コントラスト部分も画面上で確認しやすくできる。

なお言うまでもなく、変更するのは原画像の高コントラスト部分だけであり、絵柄（模様）については原画像の情報がそのまま保存される。本実施形態は、監視カメラの信号処理回路に用いる場合や撮像された画像を後処理する場合に有効である。例えば、特殊効果その他の画像編集に用いて好適である。

（ｂ−４）第４の実施例
図２０に、コントラスト強調回路２０の第４の実施例を示す。このコントラスト強調回路２０も、ＩＩＲ型のローパスフィルタを用いるものであり、前述の図４に示す画像処理装置のタイプに属するものである。なお、図２０には、図１２との対応部分に同一符号を付して表している。

第４の実施例は、第１の実施例のコントラスト検出機能（２１Ａ、２１Ｂ）を、ローパスフィルタ部の減算器２１Ｃとフリップフロップ２１Ｋによって実現している点を特徴とする。このため、第１の実施例では必要であったフリップフロップ２１Ａと減算器２１Ｂとが不要になり、その分、回路構成が簡略化されている。以下、簡単に動作内容を説明する。

この第４の実施例では、減算器２１Ｃにおいて、現在の出力（フリップフロップ２１Ｄの出力）と現在の入力との差分が算出され、その差分値が係数発生器２１Ｅに与えられる。係数発生器２１Ｅは、図１４に示す入出力特性に従い、検出されたコントラストに応じたフィルタ係数を発生して乗算器２１Ｇに与える。

なお、差分値が大きいほどコントラストが高いものと判断し、差分値が小さいほどコントラストが小さいと判断するのは第１の実施例と同じである。そして、第１の実施例と同様、コントラストが低いほど低周波まで濾波されたローパスフィルタ出力が得られることになる。

ところで、このような構成で得られるコントラスト検出出力（減算器２１Ｃの出力）は、厳密には、実際の入力画像のコントラストと違う部分があるのを避け得ない。
しかしながら、かかる誤差が生じるとしても、第４の実施例の場合には、自動的に誤差がキャンセルされるため、実用上支障は生じない。この自動キャンセル機能は、ＩＩＲ型のローパスフィルタの特性と係数発生器２１Ｅの入出力特性との組み合わせで実現される。

ＩＩＲ型のローパスフィルタでは、誤差成分が入力信号に含まれると、誤差成分が無限に集積されてしまう。このため、大きな値となった誤差分によりローパスフィルタ出力(フリップフロップ２１Ｋの出力)と入力との差が徐々に大きくなってしまう。
しかし、係数発生器２１Ｅは、差分が大きくなるとフィルタ係数を小さくするように作用するため、集積されていた誤差がある程度大きくなると、自動的にリセットされることになる。すなわち、係数発生器２１Ｅは、フィルタ係数をゼロに近づけるため、誤差の循環量が自動的に抑制されることになる。
このように、この実施形態の場合にも、前述の他の実施例と同様の精度を実現できる

（ｃ）ピーキング回路
以下、ピーキング回路３０の実施例を説明する。図２１は、ピーキング回路３０の実施例である。ピーキング回路３０は、バンドパスフィルタ３１と、パルス幅伸長部３２と、増幅部３３と、合成部３４とで構成される。

バンドパスフィルタ３１は、画像信号から注目する帯域成分を選択的に抽出する機能部である。バンドパスフィルタ３１には、通過帯域が固定のものを用いても良いし、通過帯域を任意に設定できるものを用いても良い。また、通過帯域の異なるバンドパスフィルタ３１を複数用意しても良い。いずれにしても、既知のバンドパスフィルタを用い得る。

なお、焦点合わせに用いること考えると、一般に通過帯域はなるべく高い周波数であることが望ましい。実際には、レンズの特性、撮像装置の信号処理帯域やＳ／Ｎ比等を考慮して、画面上で一番見やすい周波数を選択する。なお、一般には、帯域幅を狭く設定した方が見易くなる。

パルス幅伸長部３２は、バンドパスフィルタ３１で濾波された帯域成分を振幅一定のままパルス幅方向に伸長する機能部である。すなわち、振幅が飽和しないで、パルス幅だけを選択的に太くする。これにより、画面上で高周波成分を確認し易くできる。このパルス幅伸長部３２が、前述した発明の一つの実施例に相当する。詳細な構成は後述する。

増幅部３３は、パルス幅伸長部３２の出力を任意の利得で増幅するための機能部である。利得は、ピークゲイン制御用の利得Ｓpgで設定される。例えば、乗算器で構成する。
合成部３４は、増幅後の画像信号と原画像信号とを合成するための機能部である。合成部３４は、例えば、加算器で構成する。かくして、合成部３４からは、原画像のおおよその絵柄はそのままに、特定の帯域成分だけパルス幅が伸長された（線が太くなった）画像信号が出力される。

以下、このピーキング回路３０の主要な構成であるパルス幅伸長部３２の実施例を説明する。

（ｃ−１）第１の実施例
図２２に、パルス幅伸長部３２の第１の実施例を示す。このパルス幅伸長部３２は、振幅変調の特性を利用する。具体的には、ラジオのスーパーヘテロダイン方式と同様、適当な搬送波を信号波で振幅変調して側帯波を発生し、これを濾波することによって高周波を低周波に変換する。このように、帯域成分を低域側にシフトすることで、パルス幅を広く見せることができる。

パルス幅伸長部３２は、主に４つの機能部から構成される。オーバーサンプリング部（３２Ａ、３２Ｂ）と、振幅変調部（３２Ｃ、３２Ｄ）と、下側帯波抽出部（３２Ｅ）と、ダウンサンプリング部（３２Ｆ）の４つである。

オーバーサンプリング部（３２Ａ、３２Ｂ）は、画像信号Ｓinをオーバーサンプリングして出力する機能部である。このオーバーサンプリング部は、ゼロ挿入部３２Ａと、ローパスフィルタ３２Ｂで構成する。

ゼロ挿入部３２Ａは、前段のバンドパスフィルタ３１で濾波された画像信号Ｓinにｎ−１個のゼロを挿入し、ｎ倍オーバーサンプリング結果を得る。なお、ｎは１以上の自然数である。バンドパスフィルタ３１の通過帯域の中心周波数をｆとすると、画像信号Ｓinは、図２３（Ａ）のスペクトラムで表される。

ゼロ挿入部３２Ａでオーバーサンプリングすると、複数の折り返し成分が発生する。図２３（Ｂ）にそのスペクトラムを示す。ここでは、余分な折り返しが生じないように、ローパスフィルタ３２Ｂにて、もともとのサンプリング周波数ｆs の１／２までに帯域制限する。図２３（Ｃ）に、ローパスフィルタ３２Ｂの出力スペクトラムを示す。

振幅変調部（３２Ｃ、３２Ｄ）は、発振器３２Ｃで発生された搬送波をローパスフィルタ３２Ｂの出力で振幅変調する。振幅変調は、乗算器３２Ｄで行う。ここで、搬送波の周波数をＦとして表すと、搬送波の周波数Ｆの両側に中心周波数Ｆ−ｆとＦ＋ｆの２つの側波帯が発生する。図２３（Ｄ）に、そのスペクトラムを示す。

このとき、周波数Ｆ又はＦ＋ｆがｎｆs ／２を超えると、ｎｆs からの折り返しが生じ思わぬ妨害が起こる。このため、問題がおきないように倍率ｎを選択する。因みに、ｎ＝１で問題ない場合は、オーバーサンプリング部（３２Ａ、３２Ｂ）とダウンサンプリグ部（３２Ｆ）を省略可能である。

下側帯波抽出部（３２Ｅ）は、周波数Ｆ−ｆを中心とした側波帯だけを取り出すバンドパスフィルタ３２Ｅで構成する。図２３（Ｅ）に、バンドパスフィルタ３２Ｅの出力スペクトラムを示す。なお、ダウンサンプリング部（３２Ｆ）は、バンドパスフィルタ３２Ｅの出力をダウンサンプリングして、もとの標本化周波数に戻す。この結果、画像信号Ｓinの中心周波数ｆがより低域のＦ−ｆに変換される。

以上の通り、搬送波の周波数Ｆを適当に選ぶことにより、焦点合わせに適した周波数ｆ付近を抽出し、表示装置で見やすい周波数Ｆ−ｆ付近に変換することができる。

（ｃ−２）第２の実施例
図２４に、パルス幅伸長部３２の第２の実施例を示す。このパルス幅伸長部３２は、振幅方向に増幅した波形を、増幅前の振幅で制限することによりパルス幅を広げる手法を採用する。
このパルス幅伸長部３２は、４つの機能部から構成される。オーバーサンプリング部（３２Ｇ、３２Ｈ）と、最大振幅検出部（３２Ｉ、３２Ｊ、３２Ｋ）と、増幅部（３２Ｌ）と、振幅制限部（３２Ｍ）の４つである。

オーバーサンプリング部（３２Ｇ、３２Ｈ）は、画像信号Ｓinをオーバーサンプリングして出力する機能部である。このオーバーサンプリング部の構成は、第１の実施例で用いたオーバーサンプリング部と同じである。すなわち、ゼロ挿入部３２Ｇと、ローパスフィルタ３２Ｈとで構成されている。なお、各部の詳細な説明は重複するため省略する。

なお、本実施例においてオーバーサンプリングする理由は、後段の最大振幅検出部（３２Ｉ、３２Ｊ、３２Ｋ）において、正しいピーク値を検出させるためである。その理由を、図２５を用いて説明する。
一般に、ピーキングにはパルス波形として幅の狭いものが使用される。このため、サンプリングデータは、図２５（Ａ）に黒丸で示したように離散的となり、その最大値は真のピーク値よりも小さな値になる。そこで、オーバーサンプリングによりサンプリング点を補間する手法を採用する。

図２５（Ｂ）に示すように、２倍にオーバーサンプリングするだけでも、真のピーク値にかなり近いデータを求めることが可能となる。従って、このオーバーサンプリング後のデータを用いることにより、精度良くピーク値を求めることができる。なお、この実施例では倍率を２倍とするが、より高い倍率を採用することもできる。倍率を高めるほど精度を向上することができる。

オーバーサンプリングされた画像信号Ｓinは、最大振幅検出部（３２Ｉ、３２Ｊ、３２Ｋ）に入力され、そのピーク値が検出される。最大振幅検出部（３２Ｉ、３２Ｊ、３２Ｋ）は、絶対値回路３２Ｉと、遅延器を構成する複数のシフトレジスタ３２Ｊと、最大値回路３２Ｋで構成される。
絶対値回路３２Ｉは、画像信号の絶対値を抽出する回路である。

最大値回路３２Ｋは、シフトレジスタ３２Ｊの段数分のサンプル値の中から最大値を検出する回路である。最大値回路３２Ｋは、検出された最大値をバンドパスフィルタ３１で抽出された画像信号（パルス波）のピーク値として出力する。
ここで、ピーク値の探索範囲を決定するシフトレジスタ３２Ｊの段数は、前段のバンドパスフィルタ３１のインパルス応答の及ぶ範囲内（すなわち、バンドパスフィルタ３１のタップ数分）とする。
以上の２つの機能部により、原画像信号の振幅が検出され、保存される。

増幅部（３２Ｌ）は、画像信号Ｓinを振幅方向（正確には、パルス幅方向にも）増幅する。この増幅部は、乗算器３２Ｌで構成する。乗算器３２Ｌは、パルス幅制御用の利得Ｓpcに応じて画像信号Ｓinを増幅する。図２６（Ａ）は画像信号Ｓinの波形を、図２６（Ｂ）は増幅後の信号波形を示す。なお、利得を大きくするほど、波形整形後のパルス幅を太くできる。増幅後の画像信号は、振幅制限部（３２Ｍ）に出力される。

振幅制限部（３２Ｍ）は、リミッタ回路３２Ｍで構成する。リミッタ回路３２Ｍには、前述の最大値回路３２Ｋより入力パルスのピーク値が入力されている。リミッタ回路３２Ｍは、入力信号の振幅がこのピーク値以下となるように制限する。
これにより、リミッタ３２Ｍからは、図２６（Ｃ）に示すように信号波形の上部を切り取った台形形状のパルス波が出力される。
なお、リミッタ回路３２Ｍの前段には、乗算器３２Lの出力と最大値回路３２Ｋの出力の遅延を合わせるために不図示の遅延回路が配置されている。

本発明は、例えば放送用のカメラユニット、映画撮影用のカメラユニット、民生用のカメラユニット、工業用のカメラユニット、監視用のカメラユニットその他の信号処理回路に適用し得る。なお、これらのカメラユニットは、撮像信号を記録媒体への記録ユニットと一体化されていても良い。記録媒体としては、例えば磁気記録媒体（テープ状のもの、ディスク状のものを含む。）、光磁気記録媒体、光ディスク、半導体メモリその他を用い得る。

また本発明は、例えば電子カメラの信号処理回路にも適用し得る。なお、電子カメラ付の各種電子機器にも適用し得る。例えば、電子カメラ付き携帯電話や情報端末にも適用し得る。また、これらの付属ユニットとしても適用し得る。

また本発明は、撮像ユニットから出力された撮像信号に特殊効果その他の画像処理を施す編集装置にも適用し得る。また、かかる編集装置に搭載する回路ボードや回路ユニットにも適用し得る。

また本発明は、コンピュータ上で動作する画像編集ソフトにも適用できる。すなわち、カメラレンズの焦点合わせ用だけでなく、模様や絵柄といった原画像の特徴を残したまま低コントラスト部分を強調するといった用途や、細線を太い線に変換するといった用途にも使用できる。

従来回路のコントラスト調整機能とその問題点を示す図である。 空間周波数の高い模様を焦点合わせに用いる理由を示す図である。 低コントラスト成分の選択的強調技術を適用した画像処理装置の形態例の一つを示す図である。 低コントラスト成分の選択的強調技術を適用した画像処理装置の形態例の一つを示す図である。 低コントラスト成分の選択的強調技術を適用した画像処理装置の形態例の一つを示す図である。 低コントラスト成分の選択機能を有するフィルタの構成例を示す図である。 パルス幅の選択的強調技術を適用した画像処理装置の形態例の一つを示す図である。 パルス幅伸長部の形態例を示す図である。 パルス幅伸長部の他の形態例を示す図である。 パルス幅伸長部の他の形態例を示す図である。 ビューファインダの構成例を示す図である。 コントラスト強調回路の第１の実施例を示す図である。 係数発生器の入出力特性を示す図である。 入出力特性の具体例を示す図である。 フィルタ係数とステップ応答との関係を示す図である。 コントラスト強調回路の第２の実施例を示す図である。 ＦＩＲ型ローパスフィルタの構成例を示す図である。 差分値とフィルタ係数の組との関係を示す図である。 コントラスト強調回路の第３の実施例を示す図である。 コントラスト強調回路の第４の実施例を示す図である。 ピーキング回路の構成例を示す図である。 パルス幅伸長部の第１の実施例を示す図である。 図２２に示すパルス幅伸長部の各部の信号波形を示す図である。 パルス幅伸長部の第２の実施例を示す図である。 オーバーサンプリングによるサンプリング点の補間を示す図である。 図２４に示すパルス幅伸長部の各部の信号波形を示す図である。

符号の説明

１、１１ フィルタ
２、１３ 合成器
３ 増幅器
４ 減衰器
１２、３２ パルス幅伸長部
１２Ａ 振幅変調部
１２Ｃ オーバーサンプリング部
１２Ｄ ダウンサンプリング部
１２Ｅ 絶対値部
１２Ｆ 最大値検出部
１２Ｇ 増幅部
１２Ｈ 振幅制限部
２０ コントラスト強調回路
２１Ｅ 係数発生器
３０ ピーキング回路

Claims (6)

1. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出部と、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出部と、
   前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断される、前記フィルタ係数算出部で決定された前記フィルタ係数に基づいて前記画像信号を各画素に係る信号毎に濾波するローパスフィルタ部と、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算部と、
   前記減算部からの出力に、予め設定された所定の利得を乗算する増幅部と、
   前記増幅部からの出力を、入力された前記画像信号に加算する合成部と
   を備える画像信号処理装置。
2. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出部と、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出部と、
   前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断される、前記フィルタ係数算出部で決定された前記フィルタ係数に基づいて前記画像信号を各画素に係る信号毎に濾波するローパスフィルタ部と、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算部と、
   前記減算部からの出力に、予め設定された所定の利得を乗算する増幅部と、
   前記増幅部からの出力を、入力された前記画像信号に加算する合成部とを備える画像信号処理装置と、
   前記画像信号処理装置の出力信号を表示する表示部と
   を備えるビューファインダ。
3. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出コントラスト検出部と、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出部と、
   前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断される、前記フィルタ係数算出部で決定された前記フィルタ係数に基づいて前記画像信号を各画素に係る信号毎に濾波するローパスフィルタ部と、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算部と、
   前記減算部からの出力に、予め設定された所定の利得を乗算する増幅部と、
   前記増幅部からの出力を、入力された前記画像信号に加算する合成部とを備える画像信号処理装置と、
   前記画像信号処理装置の出力信号に基づいて表示部を駆動し、前記表示部に画像を表示させる表示制御部と
   を備える表示装置。
4. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出ステップと、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出ステップと、
   前記フィルタ係数ステップで決定された前記フィルタ係数に基づいて、前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断されるローパスフィルタ部で、前記画像信号を各画素に係る信号毎に濾波する濾波ステップと、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算ステップと、
   前記減算ステップで減算された信号に、予め設定された所定の利得を乗算する増幅ステップと、
   前記増幅ステップで乗算された信号を、入力された前記画像信号に加算する合成ステップと
   を含む画像信号処理方法。
5. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出機能と、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出機能と、
   前記フィルタ係数機能で決定された前記フィルタ係数に基づいて、前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断されるローパスフィルタ部で、前記画像信号を各画素に係る信号毎に濾波する濾波機能と、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算機能と、
   前記減算機能で減算された信号に、予め設定された所定の利得を乗算する増幅機能と、
   前記増幅機能で乗算された信号を、入力された前記画像信号に加算する合成機能と
   をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
6. 入力された画像信号に係る各画素毎に該各画素の周辺画素とのコントラストを示す数値を算出するコントラスト検出機能と、
   コントラストを示す前記数値の絶対値が第一の閾値より大きい場合はフィルタ係数を０に決定し、前記数値の絶対値が前記第一の閾値と、第一の閾値よりも小さい第二の閾値との間である場合は前記フィルタ係数を前記数値を変数とする所定のｎ（ｎは２以上の自然数）次関数で決定し、前記数値の絶対値が前記第二の閾値より小さい場合は前記フィルタ係数を０に決定するフィルタ係数算出機能と、
   前記フィルタ係数機能で決定された前記フィルタ係数に基づいて、前記フィルタ係数が０のとき全域通過特性になり、フィルタ係数が１に近づくほど遮蔽周波数が低くなり、フィルタ係数が１のとき直流まで完全に遮断されるローパスフィルタ部で、前記画像信号を各画素に係る信号毎に濾波する濾波機能と、
   前記ローパスフィルタ部からの出力を前記画像信号から減算する減算機能と、
   前記減算機能で減算された信号に、予め設定された所定の利得を乗算する増幅機能と、
   前記増幅機能で乗算された信号を、入力された前記画像信号に加算する合成機能と
   をコンピュータに実現させるためのプログラム。

Images