JP4997237B2 - 画像処理回路、半導体装置、画像処理装置 - Google Patents

Description

本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、及び、これを用いた画像処理装置に関するものである。

また、本発明は、動画における各フレーム毎の入力画像に何らかの動き（変化）が生じたか否かを検出する画像処理回路、これを集積化して成る半導体装置、及び、これを用いた監視装置に関するものである。

従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。

より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。

これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。

なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。

また、特許文献５、６には、入力画像のデータに所定の間引き処理を施して輝度ヒストグラムを求める画像処理装置が開示・提案されている。

また、特許文献７には、入力される画像信号のフレーム差分信号をしきい値と比較してその結果を動き検出信号として出力するしきい値処理手段と、画像信号の画面全体の平均輝度を検出する手段（或いは、画像信号を複数のブロックに分割してそのブロックごとに平均輝度を検出する手段）とを有し、前記平均輝度の検出手段の出力に基づいて前記しきい値処理手段のしきい値を適応的に切り換えるように構成してあることを特徴とする画像信号の動き検出回路が開示・提案されている。
特表２００４−５３０３６８号公報 特開２０００−０１３６２５号公報 特開２０００−０３６０４３号公報 特開２００４−１４５３９９号公報 特開平１０−１９８８０２号公報 特開２００１−２６８４００号公報 特開平８−４６９２５号公報

上述したように、画像全体の輝度ヒストグラムから画像全体に共通の輝度変換係数を算出する方法によれば、頻度の低い輝度範囲の部分については一律にコントラストが曖昧となってしまう。しかし、画像中において頻度の低い輝度範囲に係る部分であっても、かかる部分に良好な（より明瞭な）コントラストが要求される場合もある。このような場合、上述した従来の輝度変換処理を行うものでは、かかる要求に対応することが難しい。

一例を挙げると、画像全体の大部分は輝度が低めとなっているが、画像中の一部分に高い輝度の画素が集中しており、この一部分が画像において重要な部分となっている場合等がある。

かかる場合、上記の一部分については、より明瞭なコントラストが要求されるにも関わらず、画像全体として見た場合に、当該一部分に係る輝度範囲の頻度が低いことから、出力画像において、より狭い輝度範囲が割り当てられる結果となるので、良好なコントラストを得るのは難しい。

また、上記従来の画像処理装置では、輝度ダイナミックレンジ補正処理に際して、入力画像の全体を対象とした輝度ヒストグラムの取得処理（カウント処理）が行われていたため、入力画像のサイズ（画素数）が大きくなるにつれて、ビット幅の大きいカウンタが必要となり、回路規模の拡大を招く要因となっていた。

また、特許文献７に記載された上記従来の動き検出回路であれば、フレーム差分信号を基にした動き検出において、画面全体でみて時間方向に明るさの変化のある画像や、同一画面内で明るさの異なる部分を有する画像に対しても、精度の高い動き検出信号を生成することが可能となる。

しかしながら、上記従来の動き検出回路は、現フレーム全体と前フレーム全体との差分をとり、その絶対値と所定のしきい値との比較結果に基づいて動き検出処理を行う構成であるため、絶え間なく画像信号が変化するテレビジョン画像信号などの動き検出を行い、その検出された動き検出信号の制御によって動画像と静止画像とで信号処理を切り換える動き適応処理を行うことにより、画質を向上させる用途などには適しているものの、フレームの一部分に生じた動きの検出には不向きであり、例えば、不審者の僅かな動きを確実に検出して入力画像の記録を行う必要のある監視カメラなどのアプリケーションには、必ずしも適していると言えなかった。

また、上記従来の動き検出回路は、フレーム差分信号に基づいて動き検出処理を行う構成であるため、最低でも１フレーム分の画像信号をバッファしなければならず、画像サイズが大きい場合には、大容量のフレームメモリが必要となることから、回路規模の増大やコストアップを招来するおそれがあった。

なお、上記従来の動き検出回路では、画像信号の平均輝度（或いは、ブロック毎の平均輝度）を検出する構成が開示・提案されているが、当該構成は、画面の輝度変化に起因する動き検出精度の低下を抑制する手段として、しきい値処理手段のしきい値を可変制御するために採用されているものであり、本願発明とは、その目的並びに作用効果を異にするものである。

本発明は、上記の問題点に鑑み、画像全体からみると頻度の低い輝度（若しくは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能な画像処理回路、これを集積化して成る半導体装置、及び、これを用いた画像処理装置を提供することを目的とする。

また、本発明は、上記の問題点に鑑み、回路規模の拡大を抑えつつ、入力画像に輝度変換処理を施し、出力画像の画質や視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、及び、これを用いた画像処理装置を提供することを目的とする。

また、本発明は、上記の問題点に鑑み、フレームの一部分に生じた僅かな動きを高精度に検出することができる上、回路規模縮小に貢献することが可能な画像処理回路、これを集積化して成る半導体装置、及び、これを用いた画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理回路は、入力画像の各画素に、輝度変換係数に応じた輝度変換処理を施して出力する画像処理回路において、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎のヒストグラムを算出するヒストグラム算出手段と、を備え、前記輝度変換係数は、該ヒストグラムに基づいて定められる構成（第１の構成）とされている。

また、より具体的には、前記ヒストグラム算出手段の算出結果に基づき、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を備え、前記輝度変換係数は、該エリア別変換係数に基づいて定められる構成（第２の構成）とされている。

本構成によれば、エリア毎に算出されたヒストグラムに基づいて、輝度変換係数が定められる。従って、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて輝度変換がなされることとなる。その結果、例えば画像全体のヒストグラムに基づいて輝度変換係数が定められるもの等に比べ、当該部分についても良好なコントラストを得ることができる。

なお、「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。

また、上記第２の構成において、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を備えた構成（第３の構成）としてもよい。

エリア別変換係数は、該エリア内のヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的に考慮されないため、エリア同士の境界部分において輝度の差が目立つ場合がある。そこで、本構成のようにエリア別変換係数について画像空間におけるローパスフィルタを施すようにすることで、かかる輝度の差を軽減させることが可能となる。

また、上記第３の構成において、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して、前記フィルタを施す構成（第４の構成）としてもよい。

本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」は、かかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。

また上記第２〜第４いずれかの構成において、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を備え、該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第５の構成）としてもよい。

エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出される。そして、輝度変換係数は、この画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。

なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。

また、上記第２〜第５いずれかの構成において、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を備え、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するに際し、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第６の構成）としてもよい。

本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを差す。

また、上記第１〜第６いずれかの構成において、動画における各フレームを前記入力画像とするものであって、第ｎ番目のフレームに対する前記輝度変換処理は、第ｎ−１番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされる構成（第７の構成）としてもよい。

本構成では、第ｎ番目のフレームに対して、第ｎ−１番目のフレームに対応した輝度変換係数を用いた輝度変換処理を行うようにしているから、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実現することが可能となる。その結果、入力画像に輝度変換処理を施したものを早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

また、上記第１〜第７いずかの構成において、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段を備え、前記入力画像は、該撮像により得られた画像である構成（第８の構成）とすれば、上記の何れかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。

また、上記第１の構成から成る画像処理回路において、前記輝度ヒストグラムは、各エリア毎に含まれる全ての画素のうち、所定の間引き処理が施された後の画素のみを対象としてカウントされるものであり、かつ、そのカウント値は、下位の数ビットを除いて内部メモリに格納される構成（第９の構成）とされている。このような構成とすることによりカウンタや内部メモリの小型化を実現することができるので、回路規模の拡大を抑えつつ入力画像に輝度変換処理を施し、出力画像の画質や視認性を高めることが可能となる。

また、上記第９の構成から成る画像処理回路において、前記間引き処理は、間引かれる画素と間引かれない画素とが千鳥配列となるように実施される構成（第１０の構成）にするとよい。このような構成とすることにより、間引き処理に伴う輝度ヒストグラムの精度低下を極力抑えることが可能となる。

また、上記第１の構成から成る画像処理回路は、前記入力画像のエリア分割に際して所定の画素数に満たないエリアが生じた場合には、当該エリアに含まれる画素の輝度情報を用いて不足分の輝度情報を補い、当該エリアの輝度ヒストグラムを取得する構成（第１１の構成）とされている。このようなエリア補完処理により、全てのエリアで評価母数（総画素数）が等しくなるので、次段の処理を実行するためのハードウェアを一元化することができ、回路規模を縮小することが可能となる。また、エリア補完処理に際して、当該エリアに含まれる画素の輝度情報を用いる構成とすることにより、当該エリアに相当の輝度ヒストグラムを取得することができるので、輝度変換処理に及ぼす影響を極力低減することが可能となる。

また、上記第１１の構成から成る画像処理回路は、所定の画素数に満たないエリアにおいて、当該エリアに含まれる画素数よりも不足分の画素数の方が少ない場合には、当該エリアに含まれる画素のうち、補完すべき画素領域に近い側から必要量の画素を抽出し、その輝度情報を用いて不足分の輝度情報を補う構成（第１２の構成）にするとよい。このような構成であれば、補完すべき画素領域から離れた位置に存在する画素の輝度情報や無作為に抽出した画素の輝度情報を用いるよりも、当該エリアに相当の輝度ヒストグラムを取得することができるので、輝度変換処理に及ぼす影響を極力低減することが可能となる。

また、上記第１の構成から成る画像処理回路は、１フレーム分の入力画像を複数のエリアに分割した上で、各エリア毎の輝度情報を取得し、現フレームと前フレームとの間で、前記輝度情報の比較判定を行うことにより、入力画像に動きが生じたか否かを検出する動き検出部をさらに備えた構成（第１３の構成）とされている。このような構成とすることにより、フレーム差分信号を基に動き検出処理を行う従来構成に比べて、フレームの一部分に生じた僅かな動きを高精度に検出することが可能となる。

なお、上記第１３の構成から成る画像処理回路において、前記動き検出部は、各エリア毎に含まれる注目画素の輝度値を前記輝度情報として用いる構成（第１４の構成）にしてもよい。このような構成であれば、現フレームと前フレームとの間で、前記輝度情報の比較判定を行う際、バッファしておくデータ量が少なくて済むので、回路規模の縮小に貢献することが可能となる。

特に、上記第１４の構成から成る画像処理回路において、前記動き検出部は、現フレームにおける注目画素とその周辺画素との間、若しくは、現フレームにおける注目画素と前フレームにおける注目画素との間で、輝度値に関する所定の重み付け演算を行い、その演算結果を各エリア毎に含まれる注目画素の輝度値として用いる構成（第１５の構成）にするとよい。このような構成とすることにより、注目画素における瞬時的な輝度変化の影響を受けにくくなるので、ノイズ耐性を高めて誤検出を低減することが可能となる。

若しくは、上記第１３の構成から成る画像処理回路において、前記動き検出部は、各エリア毎の輝度ヒストグラムを前記輝度情報として用いる構成（第１６の構成）にするとよい。このような構成であれば現フレームと前フレームとの間で、前記輝度情報の比較判定を行うに際して、バッファしておくデータ量が少なくて済むので、回路規模の縮小に貢献することができる上、ノイズの影響を受けにくくなるので、各エリア毎の動き検出を高精度に行うことが可能となる。

また、上記第１３〜第１６いずれかの構成から成る画像処理回路は、１フレーム分の入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成り、前記動き検出部は、前記輝度変換係数の算出に際して取得される各エリア毎の輝度情報を流用して、前記入力画像の動き検出処理を行う構成（第１７の構成）にするとよい。このような構成とすることにより、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることできるので、出力画像の画質や視認性を高めることが可能となる。また、本構成であれば、輝度変換処理と動き検出処理の両方で必要となる輝度情報を一元的に取得することができるので、回路の重複を回避して、回路規模の縮小に貢献することが可能となる。

また、本発明に係る半導体装置は、上記第１〜第１７いずれかの構成から成る画像処理回路を集積化して成る構成（第１８の構成）とされている。

また、本発明に係る画像処理装置は、上記第１８の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段とを有して成り、前記入力画像は、該撮像により得られた画像である構成（第１９の構成）とされている。このような構成とすることにより、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。

また、上記第１９の構成から成る画像処理装置は、前記入力画像に動きが生じたと検出されたときに、前記入力画像の記録を行う録画手段を有する構成（第２０の構成）にするとよい。このような構成とすることにより、記録画像の高圧縮化（延いては記録画質の劣化）を招くことなく、記録メディアの容量を節約することが可能となる。

上記した通り、本発明に係る画像処理回路であれば、エリア毎に算出された輝度ヒストグラムに基づいて輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアの輝度ヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。

その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。

また、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、回路規模の拡大を抑えつつ、入力画像に輝度変換処理を施し、出力画像の画質や視認性を高めることが可能となる。

また、本発明に係る画像処理回路であれば、全エリアの評価母数が等しくなるので、次段の処理を実行するためのハードウェアを一元化することができ、回路規模を縮小することが可能となる。また、エリア補完処理に際して、当該エリアに含まれる画素の輝度情報を用いる構成とすることにより、当該エリアに相当の輝度ヒストグラムを取得することが可能となるので、輝度変換処理に及ぼす影響を極力低減することが可能となる。

また、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、フレーム差分信号を基に動き検出処理を行う従来構成に比べ、フレームの一部分に生じた僅かな動きを高精度に検出することができる上、回路規模縮小にも貢献することが可能となる。

は、本発明に係る画像処理装置の一実施形態を示すブロック図である。 は、画像処理の全体的な流れを説明するための図である。 は、輝度変換係数の算出処理を説明するためのフローチャートである。 は、画像処理装置１におけるエリア分割の態様を説明するための図である。 は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。 は、ローパスフィルタの態様を説明するための図である。 は、バイリニア演算について説明するための図である。 は、輝度ヒストグラム算出手段の一構成例を示すブロック図である。 は、輝度ヒストグラム取得時の間引き処理を説明するための図である。 は、エリア分割において余りが生じた様子を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、エリア補完処理の一例を説明するための図である。 は、本発明に係る監視装置の概略構成を示すブロック図である。 は、動き検出部１６の一構成例を示すブロック図である。 は、注目画素の抽出動作を説明するための図である。 は、動き検出部１６の別の一構成例を示すブロック図である。

符号の説明

１ 画像処理装置
１’ 監視装置（画像処理装置の一応用例）
１０ 撮像部（撮像手段）
１１ 輝度変換処理部
１３ 輝度変換係数算出部
１４ 輝度変換係数記憶部
１５ 出力部
１６、１６’ 動き検出部
１７ 録画部
１３１ 間引き処理部
１３２ カウンタ部
１３３ まるめ処理部
１３４ 内部メモリ部
１６１ 注目画素抽出部
１６２ ノイズフィルタ処理部
１６３ バッファ部
１６４ 比較判定部

以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。

まず、本発明に係る画像処理装置の概略構成について詳細に説明する。

図１は、本発明に係る画像処理装置の一実施形態を示すブロック図である。

本図に示す通り、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１３と、輝度変換係数記憶部１４と、出力部１５を有して成る。

撮像部１０は、所定のレンズや撮像素子（ＣＭＯＳセンサやＣＣＤセンサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１３に逐次出力される。

輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１４に記憶されている輝度変換係数に応じて変換することにより行われる。

輝度変換係数算出部１３は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。

輝度変換係数記憶部１４は、輝度変換係数算出部１３によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。

出力部１５は、ＬＣＤ［Liquid Crystal Display］等のディスプレイを備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。

上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。

なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１３、及び、輝度変換係数記憶部１４については、半導体装置に集積化するとよい。

次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。

図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。

本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１３は、入力画像に基づいて輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１４に一旦格納される。

一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１４に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。

より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１５を通じて出力される。
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）

このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。

次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。

図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。

まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。

図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。

なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。

エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。

なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることとなる。

図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。

ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。

まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。

図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。

そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。

上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。

なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図６中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。

このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。

図６は、ローパスフィルタの態様を説明するための図である。

これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。

例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
ａ´（０）＝ａ（０）／２＋{ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）}／８

このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図７に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。

上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。

ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。

図７は、バイリニア演算について説明するための図である。

ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。

そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数{ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）}と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。

より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ } ／（Ｘ×Ｙ）

なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。

かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。

また、先述の輝度変換係数記憶部１４には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１４のメモリ容量が少なくて済むようになる。

また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。

上記したように、本実施形態の画像処理装置１であれば、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。

また、本実施形態の画像処理装置１であれば、輝度ダイナミックレンジ補正処理に際して、入力画像の全体を対象とするのではなく、各エリアを対象した輝度ヒストグラムの取得処理（カウント処理）が行われるので、入力画像のサイズ（画素数）が大きくなってもカウンタのビット数（最大カウント数）を不必要に大きくする必要がなく、回路規模を大幅に縮小することが可能となる。また、高画素数の入力画像を取り扱う場合であっても、回路規模の拡大には繋がらないので、容易に高画素数化への対応が可能となる。

以下では、回路規模のさらなる縮小を実現するための手段として、輝度変換係数算出部１３に含まれる輝度ヒストグラム算出手段の一構成例を提案し、その構成及び動作について詳細な説明を行う。

図８は、輝度ヒストグラム算出手段の一構成例を示すブロック図である。

本図に示すように、本構成例の輝度ヒストグラム算出手段は、間引き処理部１３１と、カウンタ部１３２と、まるめ処理部１３３と、内部メモリ部１３４と、を有して成る。

間引き処理部１３１は、エリア分割された入力画像に対して所定の間引き処理を施す手段であり、各エリア毎に含まれる全ての画素に関して、輝度ヒストグラムのカウント対象となる画素（間引かれない画素）と、カウント対象外となる画素（間引かれる画素）との選別が行われる。

図９は、輝度ヒストグラム取得時の間引き処理を説明するための図である。

本図に示すように、上記の間引き処理は、間引かれる画素（ハッチングされた画素）と間引かれない画素（白抜きの画素）とが千鳥配列となるように実施される。このような構成とすることにより、間引き処理に伴う輝度ヒストグラムの精度低下を極力抑えることが可能となる。

ただし、間引き処理の内容については、上記に限定されるものではなく、奇数番目（或いは偶数番目）の画素を単純に間引いていく構成としてもよいし、若しくは、列毎（或いは行毎）に画素をまとめて間引く構成としてもよい。また、間引き率についても、５０％に限定されるものではなく、より多くの画素を間引いてもよいし、逆に、より少ない画素のみを間引いてもよい。

カウンタ部１３２は、輝度ヒストグラムのカウント対象となる画素を所定の輝度範囲毎に区分し、この各区分（各輝度範囲）に属する画素数をカウントする手段である。このとき、カウンタ部１３２のビット数は、エリア全体をカウント対象とする先述の構成に比べて半分（間引き率５０％の場合）で済むことになる。

まるめ処理部１３３は、カウンタ部１３２で得られた各輝度区分毎のカウント値に所定のまるめ処理を施す手段であり、上記のカウント値は、下位の数ビットを除いて内部メモリ部１３４に格納されることになる。例えば、カウンタ部１３２で得られるカウント値が７ビットである場合、内部メモリ部１３４に格納されるカウント値としては、下位４ビットが除かれ、上位３ビット分のみとなる。すなわち、まるめ処理部１３３では、カウント値の端数が落とされる形となる。このような構成とすることにより、内部メモリ部１３４の容量を低減することができるので、回路規模の縮小に貢献することが可能となる。

内部メモリ部１３４は、まるめ処理部１３３で得られたカウント値を一時格納する手段であり、その格納データは、輝度ヒストグラムとして輝度変換係数の算出に用いられる。

上記のように、本構成例の輝度ヒストグラム算出手段において、輝度ヒストグラムは、各エリア毎に含まれる全ての画素のうち、所定の間引き処理が施された後の画素のみを対象としてカウントされるものであり、かつ、そのカウント値は、下位の数ビットを除いて内部メモリ１３４に格納される構成とされている。このような構成とすることにより、カウンタ部１３２や内部メモリ１３４の小型化を実現することができるので、回路規模の拡大を抑えつつ、入力画像に輝度変換処理を施し、出力画像の画質や視認性を高めることが可能となる。

なお、本実施形態の画像処理装置１では、先述した通り、ダイナミックレンジ補正処理において、入力画像を所定サイズのエリアに分割して処理しているが、入力画像のサイズとエリアのサイズとの関係によっては、入力画像を複数のエリアに均等分割することができず、余りを生じる場合がある。

図１０は、エリア分割において余りが生じた様子を説明するための図である。なお、本図において、白抜きのエリアは、画素数が足りているエリアを示しており、ハッチングされたエリアは、画素数が不足しているエリア（入力画像の端部に位置するエリアＸ、Ｙ、Ｚ）を示している。また、破線部分は、画素が不足している部分を示している。

本図に示すように、入力画像のエリア分割に際して所定の画素数に満たないエリアＸ、Ｙ、Ｚが生じた場合には、各エリア内に含まれる総画素数が各々異なる結果となり、次段の処理（先の例では、エリア別輝度変換係数の算出処理）を実行するためのハードウェアが各エリア毎（総画素数毎）に必要となるため、回路規模が大きくなってしまう。

そこで、本実施形態の画像処理装置１では、入力画像のエリア分割に際して所定の画素数に満たないエリアが生じた場合には、当該エリアに含まれる画素の輝度情報を用いて不足分の輝度情報を補い、当該エリアの輝度ヒストグラムを取得する構成とされている。

図１１Ａ〜図１１Ｇは、それぞれ、エリア補完処理の一例を説明するための図である。なお、図１１Ａ、図１１Ｃ、図１１Ｅは、フレームの下端に位置するエリア（図１０のエリアＸ）でのエリア補完処理を示しており、図１１Ｂ、図１１Ｄ、図１１Ｆは、フレームの右端に位置するエリア（図１０のエリアＹ）でのエリア補完処理を示している。また、図１１Ｇは、フレームの右下端に位置するエリア（図１０のエリアＺ）でのエリア補完処理を示している。また、図１１Ａ〜図１１Ｇにて、ハッチングされた部分は、所定の画素数に満たないエリアを示しており、破線部分は、画素が不足している部分を示している。

図１１Ａ、図１１Ｂに示す通り、所定の画素数に満たないエリアにおいて、エリア内に含まれる画素数と不足している画素数とが互いに等しい場合には、エリア内に含まれる全画素の輝度情報を重複的にサンプリングし、得られた輝度情報を用いて不足分の輝度情報を補えばよい。このようなエリア補完処理により、全てのエリアで評価母数（総画素数）が等しくなるので、次段の処理を実行するためのハードウェアを一元化することができ、回路規模を縮小することが可能となる。また、エリア補完処理に際して、当該エリアに含まれる画素の輝度情報を用いる構成とすることにより、当該エリアに相当の輝度ヒストグラムを取得することが可能となるので、輝度変換処理に及ぼす影響を極力低減することが可能となる。

また、図１１Ｃ、図１１Ｄに示すように、画素の不足部分を１回の折り返しで補完し切れない場合には、エリア内に含まれる画素のサンプリングを複数回繰り返せばよい。

一方、図１１Ｅ、図１１Ｆに示すように、所定の画素数に満たないエリアにて、当該エリアに含まれる画素数よりも不足分の画素数の方が少ない場合には、当該エリアに含まれる画素のうち、補完すべき画素領域に近い側から必要量の画素を抽出し、その輝度情報を用いて不足分の輝度情報を補えばよい。このような構成とすることにより、補完すべき画素領域から離れた位置に存在する画素の輝度情報や、無作為に抽出した画素の輝度情報を用いるよりも、当該エリアに相当の輝度ヒストグラムを取得することが可能となるので、輝度変換処理に及ぼす影響を極力低減することが可能となる。

また、図１１Ｇに示すように、行方向にも列方向にも画素数が不足している場合についても、先述の手法に倣って、エリア内に含まれる画素のサンプリングを適宜繰り返し、得られた輝度情報を用いて不足分の輝度情報を補えばよい。

なお、上記で説明したエリア補完処理は、あくまで一例であり、入力画像のエリア分割に際して所定の画素数に満たないエリアが生じたとき、当該エリアに含まれる画素の輝度情報を用いて不足分の輝度情報を補えるのであれば、いかなる手法を用いても構わない。

また、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。

また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。

次に、動画撮像により得られた各フレームの画像に対して動き検出処理並びに輝度変換処理を行う監視装置（画像処理装置の一応用例）に本発明を適用した場合を例に挙げて詳細な説明を行う。

まず、本発明に係る監視装置の概略構成について詳細に説明する。

図１２は、本発明に係る監視装置の概略構成を示すブロック図である。

なお、本発明に係る監視装置１’は、先の画像処理装置１とほぼ同様の構成を有して成る。そこで、画像処理装置１と同様の構成部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の監視装置１’に特有の構成部分についてのみ、重点的な説明を行うことにする。

本図に示すように、本実施形態の監視装置１’は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１３と、輝度変換係数記憶部１４と、出力部１５を有するほか、さらに、動き検出部１６と、録画部１７と、を有して成る。

動き検出部１６は、輝度変換係数の算出に際して取得される各エリア毎の輝度情報を流用し、現フレームと前フレームとの間で、前記輝度情報の比較判定を行うことにより、各フレーム毎の入力画像に動き（変化）が生じたか否かを検出する手段である。なお、動き検出部１６の構成及び動作については、後ほど詳細な説明を行う。

録画部１７は、動き検出部１６の検出信号に基づいて、入力画像に動き（変化）が生じたと判断したときに、入力画像の記録を行う録画手段である。このような構成とすることにより、記録画像の高圧縮化（延いては記録画質の劣化）を招くことなく、記録メディアの容量を節約することが可能となる。

以上のように、上記構成から成る監視装置１’は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する一方、必要に応じてその録画を行う。

なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１３、輝度変換係数記憶部１４、及び、動き検出部１６については、半導体装置に集積化するとよい。

次に、動き検出部１６の構成及び動作について、詳細な説明を行う。

図１３は、動き検出部１６の一構成例を示すブロック図である。

本図に示すように、本構成例の動き検出部１６は、注目画素抽出部１６１と、ノイズフィルタ処理部１６２と、バッファ部１６３と、比較判定部１６４と、を有して成る。

注目画素抽出部１６１は、輝度変換係数算出部１３から、輝度変換係数の算出に際して取得される各画素毎の輝度値を引き出し、各エリア毎に、所定の注目画素とその周辺画素の輝度値を各々抽出する手段である。

図１４は、注目画素の抽出動作を説明するための図である。なお、本図では、各エリアの中心画素（黒塗り四角）を注目画素として抽出し、かつ、その上下左右４画素（白抜き四角）を周辺画素として各々抽出する様子が模式的に描写されている。

ノイズフィルタ処理部１６２は、各エリア毎の注目画素に対して、所定のノイズフィルタ処理を施す手段である。なお、ノイズフィルタ処理の一例としては、注目画素の輝度値と、その周辺画素の輝度値を参照して、先述のローパスフィルタ処理と同様の重み付け演算を施すことが考えられる。或いは、バッファ部１６３から前フレームにおける注目画素の輝度値を読み出し、現フレームにおける注目画素と前フレームにおける注目画素との間で、輝度値に関する所定の重み付け演算を行う構成としても構わない。

バッファ部１６３は、各エリア毎に含まれる注目画素の輝度値を、少なくとも次のフレームに係る動き検出処理が実行されるまで記憶する手段である。

比較判定部１６４は、ノイズフィルタ部１６２から入力される輝度値（すなわち、現フレームにおける注目画素の輝度値）と、バッファ部１６３から入力される輝度値（すなわち、前フレームにおける注目画素の輝度値）との比較判定を行うことにより、各フレーム毎の入力画像に動き（変化）が生じたか否かを検出する手段である。

なお、注目画素の輝度値が変化したか否かの判定基準については、監視装置１’の用途に応じて適宜設定すればよい。例えば、監視対象の僅かな動きを検出する必要がある場合には、現フレームと前フレームとの間で、注目画素の輝度値が完全に同一でない限り、注目画素の輝度値が変化したと判定すればよく、また、多少の輝度値変化を誤差として扱うのであれば、所定の許容範囲をもって、両輝度値の比較判定を行えばよい。

同様に、入力画像に動きが生じたか否かの判定基準についても、監視装置１’の用途に応じて適宜設定すればよい。例えば、フレームの一部分に生じた動きを厳格に検出する必要がある場合は、いずれか一のエリアで注目画素の輝度値に変化が生じたことをもって、入力画像に動きが生じたと判定すればよく、また、上記ほど厳格な動き検出が必要でないならば、所定数のエリアで注目画素の輝度値が変化した場合に限り、入力画像に動きが生じたと判定すればよい。

上記したように、１フレーム分の入力画像を複数のエリアに分割した上で、各エリア毎の輝度情報を取得し、現フレームと前フレームとの間で、前記輝度情報の比較判定を行うことにより、入力画像に動きが生じたか否かを検出する構成であれば、フレーム差分信号を基に動き検出処理を行う従来構成に比べて、フレームの一部分に生じた僅かな動きを高精度に検出することが可能となる。

また、上記したように、各エリア毎に含まれる注目画素の輝度値を前記輝度情報として用いる構成であれば、現フレームと前フレームとの間で、前記輝度情報の比較判定を行うに際して、バッファしておくデータ量が少なくて済むので、回路規模の縮小に貢献することが可能となる。

また、上記したように、現フレームにおける注目画素とその周辺画素との間、或いは、現フレームにおける注目画素と前フレームにおける注目画素との間で、輝度値に関する所定の重み付け演算を行い、その演算結果を各エリア毎に含まれる注目画素の輝度値として用いる構成であれば、注目画素における瞬時的な輝度変化の影響を受けにくくなるので、ノイズ耐性を高めて誤検出を低減することが可能となる。

また、上記したように、輝度変換係数の算出に際して取得される各エリア毎の輝度情報を流用して、入力画像の動き検出処理を行う構成であれば、輝度変換処理と動き検出処理の両方で必要となる輝度情報を一元的に取得することができるので、回路の重複を回避して、回路規模の縮小に貢献することが可能となる。ただし、本発明の適用に際して、輝度変換処理機能は必須の構成要素ではなく、入力画像に輝度変換処理を施す手段を具備しない監視装置についても、本発明は広く適用することが可能である。

また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。

例えば、上記実施形態では、各エリア毎に含まれる注目画素の輝度値に基づいて、動き検出を行う構成を例示して説明を行ったが、本発明の構成はこれに限定されるものではなく、図１５に示すように、各エリア毎の輝度ヒストグラムの比較判定を行うことにより、入力画像に動きが生じたか否かを検出する構成としてもよい。このような構成であれば、現フレームと前フレームとの間で、輝度情報の比較判定を行うに際して、バッファしておくデータ量が少なくて済むので、回路規模の縮小に貢献することができる上、注目画素の輝度値について比較判定を行う構成に比べて、ノイズの影響を受けにくくなるので、各エリア毎の動き検出を高精度に行うことが可能となる。

また、上記実施形態では、動き検出部１６の検出信号を録画動作の制御に利用する構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、例えば、動き検出部１６の検出信号に基づいて、動きが検出されたエリアに自動ズームを行う構成や、監視者への警報動作を行う構成など、種々の変更を加えることが可能である。

本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、回路規模の拡大を抑えつつ、出力画像の画質や視認性を高める上で有用な技術である。

また、本発明は、動画における各フレーム毎の入力画像に何らかの動き（変化）が生じたか否かを検出する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、検出精度向上や回路規模縮小を実現する上で有用な技術である。

Claims (19)

1. 入力画像の各画素に、輝度変換係数に応じた輝度変換処理を施して出力する画像処理回路において、
   前記入力画像の領域を複数のエリアに分割する分割手段と、
   前記エリア毎のヒストグラムを算出するヒストグラム算出手段と、
   前記ヒストグラム算出手段の算出結果に基づき、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段と、
   前記入力画像の領域の外側を囲うように前記エリアと同規模の仮想エリアを設定し、前記仮想エリアに仮想のエリア別変換係数を設定する仮想エリア設定手段と、を備え、
   前記仮想エリア設定手段は、前記仮想エリアのうち四隅に位置する仮想エリアのエリア別変換係数として、前記入力画像の領域の四隅のエリア別変換係数、または、前記入力画像の領域の外縁から１エリア分内側の領域における四隅のエリア別変換係数を設定し、
   前記輝度変換係数は、変換すべき画素の属する注目エリア及び該注目エリア周辺の所定範囲に存在するエリアに各々設定されたエリア別変換係数に基づいて定められることを特徴とする画像処理回路。
2. 前記仮想エリア設定手段は、設定すべき仮想エリアに隣り合う各エリアを基準として、当該仮想エリアと対称位置に存在するエリアに設定されたエリア別変換係数を参照して、仮想のエリア別変換係数を設定するものであり、特に、前記仮想エリアのうち四隅に位置する仮想エリアのエリア別変換係数については、前記入力画像の領域の外縁から１エリア分内側の領域における対応する四隅のエリア別変換係数を参照して設定することを特徴とする請求項１に記載の画像処理回路。
3. 前記仮想エリア設定手段は、設定すべき仮想エリアに隣り合う各エリアに設定されたエリア別変換係数を参照して、仮想のエリア別変換係数を設定するものであり、特に、前記仮想エリアのうち四隅に位置する仮想エリアのエリア別変換係数については、前記入力画像の領域の対応する四隅のエリア別変換係数を参照して設定することを特徴とする請求項１に記載の画像処理回路。
4. 前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を備え、
   該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、
   前記輝度変換係数は、該画素別変換係数に基づいて定められることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理回路。
5. 前記第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、
   該注目画素近傍の４エリアを選出し、これらのエリアの各々における中心の４点に着目したバイリニア演算処理を行うことを特徴とする請求項４に記載の画像処理回路。
6. 動画における各フレームを前記入力画像とするものであって、
   第ｎ番目のフレームに対する前記輝度変換処理は、
   第ｎ−１番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされることを特徴とする請求項１〜請求項５のいずれかに記載の画像処理回路。
7. 被写体の光学像を結像させ、該被写体の撮像を行う撮像手段を備え、
   前記入力画像は、該撮像により得られた画像であることを特徴とする請求項１〜請求項６のいずれかに記載の画像処理回路。
8. 前記輝度ヒストグラムは、各エリアに含まれる全ての画素のうち、所定の間引き処理が施された後の画素のみを対象としてカウントされるものであり、かつ、そのカウント値は、下位の数ビットを除いて内部メモリに格納されることを特徴とする請求項１に記載の画像処理回路。
9. 前記間引き処理は、間引かれる画素と間引かれない画素とが千鳥配列となるように実施されることを特徴とする請求項８に記載の画像処理回路。
10. 前記入力画像のエリア分割に際して所定の画素数に満たないエリアが生じた場合には、当該エリアに含まれる画素の輝度情報を用いて不足分の輝度情報を補い、当該エリアの輝度ヒストグラムを取得することを特徴とする請求項１に記載の画像処理回路。
11. 所定の画素数に満たないエリアにおいて、当該エリアに含まれる画素数よりも不足分の画素数の方が少ない場合には、当該エリアに含まれる画素のうち、補完すべき画素領域に近い側から必要量の画素を抽出し、その輝度情報を用いて不足分の輝度情報を補うことを特徴とする請求項１０に記載の画像処理回路。
12. １フレーム分の入力画像を複数のエリアに分割した上で、各エリア毎の輝度情報を取得し、現フレームと前フレームとの間で、前記輝度情報の比較判定を行うことにより、入力画像に動きが生じたか否かを検出する動き検出部をさらに備えたことを特徴とする請求項１に記載の画像処理回路。
13. 前記動き検出部は、各エリアに含まれる注目画素の輝度値を前記輝度情報として用いることを特徴とする請求項１２に記載の画像処理回路。
14. 前記動き検出部は、現フレームにおける注目画素とその周辺画素との間、若しくは、現フレームにおける注目画素と前フレームにおける注目画素との間で、輝度値に関する所定の重み付け演算を行い、その演算結果を各エリアに含まれる注目画素の輝度値として用いることを特徴とする請求項１３に記載の画像処理回路。
15. 前記動き検出部は、各エリアの輝度ヒストグラムを前記輝度情報として用いることを特徴とする請求項１２に記載の画像処理回路。
16. １フレーム分の入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成り、前記動き検出部は、前記輝度変換係数の算出に際して取得される各エリアの輝度情報を流用して、前記入力画像の動き検出処理を行うことを特徴とする請求項１２〜請求項１５のいずれかに記載の画像処理回路。
17. 請求項１〜請求項１６いずれかに記載の画像処理回路を集積化して成る半導体装置。
18. 請求項１７に記載の半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像であることを特徴とする画像処理装置。
19. 前記入力画像に動きが生じたと検出されたときに、前記入力画像の記録を行う録画手段を有して成ることを特徴とする請求項１８に記載の画像処理装置。

Images