JP4317619B2

JP4317619B2 - 画像処理装置

Info

Publication number: JP4317619B2
Application number: JP20741299A
Authority: JP
Inventors: 俊博笹井
Original assignee: メディア・テック・ユーエスエイ・インコーポレーテッド
Priority date: 1999-07-22
Filing date: 1999-07-22
Publication date: 2009-08-19
Anticipated expiration: 2019-07-22
Also published as: DE60015265D1; DE60015265T2; EP1079604A2; EP1079604B1; US6636629B1; JP2001054123A; EP1079604A3

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に単板式電子カメラ装置などで撮影された２次元のカラー画像信号から高画質の画像を生成する画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、単板式のカラーＣＣＤなどの撮像部を用いて撮影を行う電子撮像装置では、２次元の略市松状に配列された多数の画素ごとに、複数の色（原色）のうちの１つに対する画素値しか持たない画像から、各画素ごとにすべての色情報（ＲＧＢあるいは輝度値と色差信号）をもつ画像信号が生成出力される。
この画素ごとにすべての色情報を含む画像信号を生成する際には、各画素位置における不足色情報を、その不足色情報を持つ周辺の画素の画素値を用いて補間算出するものとなっている。
【０００３】
しかしながら、単板式のカラー撮像素子からの画像信号では、もともと各色ごとの情報はその撮像素子の全画素数よりも少ないため、前記のように補間によって生成された画像信号は、かなりボケた画像となってしまう。
特に、周囲直近の同色（不足色）画素からのみの補間で作られる場合には、その傾向が強く、本来その画素位置には存在しないはずの色情報が生成されてしまうことが多い。
【０００４】
従来、このような現象を防ぐため、単板色カラー撮像装置ではさまざまな補間方法が試みられている。
図１５は従来の画像処理装置での補間処理を示す説明図である。
ここでは、いわゆるベイヤ配列によるカラー撮像素子の画素配列が示されており、赤（Ｒ）緑（Ｇ）青（Ｂ）が市松状に配列されている。
【０００５】
このような配列のデータから、各画素ごとにＲＧＢの３色の画素値（輝度情報）を持つ画像情報を生成する場合、最も簡単には、その補間対象となる画素位置を中心に３×３のサブマトリクスに含まれる画素のうち、求める色情報と同色の周辺画素の画素値を用いて、次に示すような補間演算を行うことにより各色の補間画素値が算出される。
【０００６】
例えば、図１５（ａ）に示すように、サブマトリクスの中心にＲ画素が位置する場合は、Ｒ₃₃はそのままで、Ｇ₃₃およびＢ₃₃が周囲直近の画素値から補間算出される。
また図１５（ｂ）に示すように、サブマトリクスの中心にＧ画素が位置する場合は、Ｇ₄₃はそのままで、Ｒ₄₃およびＢ₄₃が周囲直近の画素値から補間算出される。
【０００７】
【発明が解決しようとする課題】
しかしながら従来の方法では、画素値の補間処理は簡単で高速であるが十分な画質が得られないといったものが多い。
例えば、図１５で説明した例では、前述した式からわかるように、各色データについては数画素ごとにローパスフィルタを通した場合と同じ結果となり、十分な画質が得られないという問題点があった。
【０００８】
これに対して、もう少し広い範囲のサブマトリクスを用いて、高次の補間を行なって空間周波数の高次成分を補ったり、偽色発生などを防ぐためもっと複雑な条件により演算方法を適応的に変更したりすることにより、高画質の画像を得る構成も提案されている（例えば、特表昭６１−５０１４２３号公報、特表昭６１−５０１４２４号公報、あるいはＵＳＰ５８０５２１７号公報など参照）。
しかし、このような処理は演算が複雑であり、さらに条件により変わる処理を行なわねばならないため、高速でのリアルタイムな処理に適応できないという問題点があった。
【０００９】
例えば、条件により処理が変わる演算をリアルタイムで行なうためには、各条件ごとの演算を最初から行なっておき、条件が決まった時にそれらの中から結果を選ぶといった処理が必要で、回路規模、消費電力の点で困難を伴う。
また、高次の補間を行なうためには、一方向について補間点を除いて片側２点の値が必要で、各色信号についてそれぞれ同色の画素値から補間を行う場合、もともとＧの画素と比較して画素数の少ないＲやＢについて必要な画素数は、両方向（ＸおよびＹ方向）に高次補間するならば９画素×９画素の原画素の範囲が必要となる。
【００１０】
したがって、演算処理の増加はもとより、それらの画素情報を演算のために一時的に保管しておくバッファメモリなども画素数に応じて増大する。
さらに、補間処理後に空間周波数特性の調整により高周波成分を強調することにより、補間によりボケてしまった画像を少しでもくっきり見せるような調整がなされているが、もともとない高域の周波数は強調のしようはなく、補間時に十分な高周波情報を残すような処理を施していない限り十分効果が上がらなかった。
【００１１】
本発明はこのような課題を解決するためのものであり、複雑な画素補間処理を行うことなく高画質の画像が得られる画像処理装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理装置は、補間点を含む所定の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値として出力する補間部と、補間点の周辺に位置する画素であって、前記補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値の高い周波数成分を補正するための画素補正成分を生成する補正成分算出部と、補正部とを備え、この補正部において、補正成分算出部で得られた補間点に対応する画素補正成分を、補間部から出力されたその補間点における各色信号の補間画素値に加算あるいは積算して当該補間画素値を補正し、その補間点における各色信号の新たな画素値として出力するようにしたものである。
【００１３】
また、補間部において、任意の画素と同一の位置、または隣接する画素間に設けられた補間点における補間画素値を算出出力するようにしたものである。
また、補正成分生成部において、補間点の周辺に位置する画素のうち、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値を用いて、その補間点に対応する画素補正成分を生成するようにしたものである。
【００１４】
また、補間部および補正成分算出部において、画像信号から所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれた所定数の画素ブロックからなるサブマトリクスに含まれる各画素の画素値を用いて、そのサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００１５】
また、画像信号を構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部を設け、補間部および補正成分算出部において、領域値算出部から並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００１６】
また、補間部において、補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。
また、補正成分算出部において、補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いるようにしたものである。
【００１７】
また、補間部で得られた補間画素値からなる補間画像信号に対して色補正処理を実行する色補正部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、色補正部で色補正された後の各画素値を補正して出力するようにしたものである。
【００１８】
また、補間部で得られた補間画素値からなる補間画像信号を輝度・色差信号に変換して出力する信号変換部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、信号変換部で得られた輝度信号を補正して出力するようにしたものである。
【００１９】
また、補間部で得られた補間画素値からなる補間画像信号をガンマ補正処理を実行するガンマ補正部を設け、補正部において、補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、ガンマ補正部でガンマ補正された後の各画素値を補正して出力するようにしたものである。
【００２０】
【発明の実施の形態】
次に、本発明について図面を参照して説明する。
図１は本発明の一実施の形態である画像処理装置のブロック図である。
同図において、画像処理装置１０には、入力される画像信号１で構成される２次元平面上に配置された任意の補間点を含む所定の補間領域内に位置する同一色の周囲画素の画素値を用いて、その補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値５として出力する補間部４が設けられている。
【００２１】
また、補間点の周辺に位置する画素であって、補間部４で用いる補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、補間点の画素値を補正する画素補正成分７を生成する補正成分算出部６と、この補正成分算出部６で得られた画素補正成分７を用いて、補間部４から出力された補間点における各色信号の補間画素値５を補正し、その補間点における各色信号の新たな画素値９として出力する補正部８とが設けられている。
【００２２】
また、以下では、画像信号１として、単板式のカラーＣＣＤなどの撮像素子から出力される画像信号、すなわちＲＧＢの各画素が略市松状に配列されたいわゆるベイヤ配列の画像信号を用いた場合について説明するが、これに限定されるものではない。
【００２３】
次に、図２および図３を参照して、本発明の第１の実施の形態について説明する。
図２および図３は本発明の第１の実施の形態による画像処理動作を示す説明図であり、特に図２ではＲ画素上に補間点が設定された場合が例示されており、図３ではＲ画素ライン上のＧ画素上に補間点が設定された場合が例示されている。
【００２４】
まず、図２を参照して、Ｒ画素上に補間点が設定された場合の処理動作について説明する。
図２において、（ａ）は画素配置例、（ｂ）は補正成分算出用のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。
【００２５】
補間部４では、入力される画像信号１の各画素のうち、図２（ａ）に示すような補間点Ｘ₃₃の周囲直近に位置する所定画素の画素値を用いて、その中心に設定されている補間点（Ｘ₃₃）における補間輝度値５（Ｇ₃₃，Ｒ₃₃，Ｂ₃₃）を算出する。
特に、各補間輝度値５は、補間点Ｘ₃₃の周囲近傍すなわち補間点Ｘ₃₃を中心とする３画素×３画素の補間領域１２内に位置する同一色の周囲画素の画素値を用いて、図２（ｃ）に示す数式により算出される。
【００２６】
これと並行して、補正成分算出部６では、補間部４で用いた補間点Ｘ₃₃の周囲に位置する所定画素の画素値と、図２（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図２（ｃ）に示す数式により、補間点における各色信号の画素値を補正する画素補正成分７（ＨＦ₃₃）が生成される。
特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間領域と比較して、その補間領域を含み、さらにその補間領域より広い範囲、ここではフィルタ係数に対応する５画素×５画素の補正領域１３内に位置する所定画素が用いられる。
【００２７】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域における空間周波数の高い成分は含まれないが、画素補正成分７には、その画素領域における高い空間周波数成分が含まれることになる。
そして、補正部８では、図２（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色信号の補間画素値５が補正され、補間点（Ｘ₃₃）における各色信号の新たな画素値９（Ｇ'₃₃，Ｒ'₃₃，Ｂ'₃₃）が算出される。
【００２８】
次に、図３を参照して、Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作について説明する。
図３において、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。
【００２９】
Ｒ画素ライン上のＧ画素上に補間点が設定された場合の処理動作は、図２で示したＲ画素上に補間点が設定された場合の処理動作と比較して、補間点が画素ライン方向に１画素分シフトしたものと見なすことができる。
したがって、補間部４、補正成分算出部６および補正部８での処理動作は、両者ともほぼ同じとなる。
【００３０】
但し、補間点（Ｘ₃₄）が元々Ｇ画素であるため、補間部４で補間画素値５を算出するための数式、および補正成分算出部６で画素補正成分７を算出するための数式が、図３（ｃ）のように変化する。
また、補正成分算出部６で画素補正成分７を算出するためのフィルタ係数が図３（ｂ）のように変化する。
【００３１】
図４は補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図であり、（ａ）には図２（ｂ）の場合、（ｂ）には図３（ｂ）の場合が示されている。
この例では、前記ＨＦ式における補正倍率ｇｆを１６とした場合が示されている。
【００３２】
なお、図２，３では、補間点がＲ画素ライン上に位置する場合について説明したが、補間点がＢ画素ライン上に位置する場合については、図２，３のＲ画素とＢ画素とが入れ替わったものと見なすことができる。
したがって、補間点がＢ画素ライン上に位置する場合は、図２（ｃ）および図３（ｃ）で示される各数式において、ＲとＢとを入れ替えてそれぞれの数式を用いればよい。
【００３３】
このように、本発明は、補間部４において補間点を含む所定の補間領域１２内に位置する同一色の画素の画素値から、その補間点における各補間画素値５をそれぞれ算出するとともに、補正成分算出部６において補間部４で用いる補間領域を含むより広い範囲の補正領域１３内に位置する複数の画素の画素値から、その補間点での画素補正成分７を算出し、補正部８においてこの画素補正成分７を用いて各補間画素値５を補正するようにしたものである。
【００３４】
したがって、補間部４における低次補間では得られない高い空間周波数成分が、画素補正成分７を用いた補正により補われ、高い空間周波数成分を含む新たな画素値が得られる。
これにより、従来のように、広い範囲の画素の画素値を用いてすべての色信号についてそれぞれ高次補間を行ったり、補間点周辺のさまざまな条件による複雑な補間処理を行うことなく、比較的簡素な処理により高い周波数成分を有する十分な画質の画像を得ることができる。
【００３５】
また、補正成分算出部６において、画素補正成分７を算出する場合、図２および図３に示すように、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出している。
【００３６】
したがって、補正部８において各色信号の画素の画素値に対して、輝度成分についてのみ補正することができ、色バランスを変化させることもない。
また、輝度成分を代表する画素は、通常、画素数が多く、最も高い周波数成分を有しているので、同色の画素のみから補間した画素値に比べて、より高い周波数成分を含む新たな画素値を得ることができる。
【００３７】
次に、図５を参照して、本発明の第２の実施の形態について説明する。
図５は本発明の第２の実施の形態による画像処理動作を示す説明図であり、（ａ）は画素配置例、（ｂ）補正成分算出力のフィルタ係数、（ｃ）は補間処理、補正成分算出処理および補正処理を示す数式である。
前述した第１の実施の形態では、画素上に補間点を設定した場合について説明したが、補間点については画素と同じ位置に限定されるものではなく、画素位置からずれた位置すなわち画素と画素との間に設定してもよい。
【００３８】
本実施の形態では、画素間に補間点ａを設定した場合について説明する。
図５（ａ）では、図２（ａ）の補間点Ｘ₃₃であるＲ画素Ｒ₃₃から右上にずれた４つ画素の間、Ｒ画素Ｒ₃₃、Ｇ画素Ｇ₃₂、Ｇ画素Ｇ₄₃およびＢ画素Ｂ₄₂に囲まれた位置に補間点ａが設定さている。
この場合、補間部４では、図５（ｃ）に示す数式に基づき、補間点ａを含む２画素×２画素の補間領域１４Ｇまたは３画素×３画素の補間領域１４Ｒ，１４Ｂに含まれる同一色の周囲画素から補間画素値５（Ｇａ，Ｒａ，Ｂａ）が算出される。
【００３９】
これと並行して、補正成分算出部６では、補間点ａの周囲に位置する複数の画素であって、補間部４で用いた補間領域を含むより広い範囲の画素の画素値と、図５（ｂ）に示すフィルタ係数および補正倍率（重み係数）ｇｆとを用いて、図５（ｃ）に示す数式により、補間点ａにおける各色信号の画素値を補正する画素補正成分７（ＨＦａ）が生成される。
特に、画素補正成分７の算出に用いる画素として、補間部４での補間処理に用いた補間点の周囲の画素の範囲と比較して、補間点ａを中心としたより広い範囲、ここではフィルタ係数に対応する４画素×４画素の補正領域１５内に位置する所定画素が用いられる。
【００４０】
したがって、補間部４で算出される補間画素値５には、補間点を中心とする画素領域での高い空間周波数成分が含まれないが、画素補正成分７には、その画素領域と係数に応じた特性で高い空間周波数成分が含まれることになる。
その後、補正部８では、図５（ｃ）の数式に示されているように、画素補正成分７が加算（あるいは積算）されて、各色信号の補間画素値５が補正され、補間点ａにおける各色信号の新たな画素値９（Ｇ'ａ，Ｒ'ａ，Ｂ'ａ）が算出される。
【００４１】
図６は補間点の設定位置を示す説明図である。
図５では、Ｒ画素Ｒ₃₃の右上に補間点ａを設定した場合について説明したが、補間点ａの設定位置は、このほか図６（ａ）〜図６（ｃ）に示すようにＲ画素Ｒ₃₃の左上、右下および左下の各位置に設定する場合が考えられる。
なお、図６（ａ）については、図５（ａ）の画素配置例を左右反転（または９０゜回転）させたものとみなすことができ、図５（ｂ）のフィルタ係数を左右反転（または９０゜回転）させて用いればよい。
【００４２】
また、図６（ｂ），図６（ｃ）については、図５および図６（ｂ）についてＲ画素とＢ画素とが入れ替わったものと見なすことができ、ＲとＢとを入れ替えて算出すればよい。
したがって、いずれの場合も、図５（ｃ）の数式と同様にして、補間点ａを含む２画素×２画素または３画素×３画素の補間領域内の画素から補間画素値５が算出され、その補間領域より広い４画素×４画素の補正領域内の所定画素から画素補正成分７が算出される。
【００４３】
なお、図５では、Ｒ画素の右上に補間点が位置する場合について説明したが、補間点がＧ画素やＢ画素の右上に位置する場合については、図５および図６で示したいずれかの場合に対応する。
例えば、Ｒ画素ライン上のＧ画素の右上に補間点ａを設定した場合、着目画素と補間点との位置関係は、図６（ａ）と一致する。
したがって、図５および図６（ａ）〜（ｃ）に示した４パターンですべての場合の処理を実行できる。
【００４４】
なお、図７は補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図であり、（ａ）には図５の場合、（ｂ）には図６（ａ）の場合が示されている。
この例では、前記ＨＦ式における補正倍率ｇｆを３２とした場合が示されている。
【００４５】
このように、補間点を画素位置からずれた位置に設定した場合でも、前述の第１の実施の形態と同様にして新たな画素値を算出でき、比較的簡素な処理により高い空間周波数成分を有する十分な画質の画像を得ることができる。
また、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値、例えばベイヤ配列の画像信号ではＧ画素の画素値のみを用いて画素補正成分７を算出ようにしたので、補正部８において各色信号の画素の画素値に対して、ほぼ輝度成分についてのみ補正することができ、色バランスを変化させることもない。
【００４６】
なお、補正成分算出に用いた４画素×４画素の領域のように、この領域の１辺の画素数が偶数の場合、１画素ごとに画素補正成分７の空間周波数特性は異なるが、図７に示したように、これは方向が異なるだけで特性そのものは同じである。
したがって、１辺の画素数が奇数の場合に比べて補間点位置に起因する画素補正成分７の特性変化が少ないので、より高画質の画像が得られる。
【００４７】
図８は第２の実施の形態により得られた画像の出力例であり、単板式ＣＣＤ撮像素子で撮影した画像「イ」を補間処理したもの（シミュレーション結果）である。
特に、囲み部分はそれぞれの画像「イ」の部分拡大図（１０画素×１０画素分）である。
図８（ａ）は、前述の図１５で示したものと同様の低次補間のみを行ったものである。
【００４８】
これに対して、図８（ｂ）は、図２，図３あるいは図５の係数フィルタを用いて本発明を適用したものである。
両者を比較すると、その拡大部に示されているように、図８（ｂ）は図８（ａ）に比較して、黒色から白色に変移するエッジ部分において、原画像に対するボケの発生や、偽色（本来、その画素位置には存在しないはずの色）の発生が抑制され、画質の高いクリアな画像が得られていることがわかる。
【００４９】
また、図８（ａ）の拡大部において、黒画素および白画素以外に色バランスがくずれた偽色画素が多数発生しているのに対して、図８（ｂ）ではその発生が１／２程度に低減されている。
【００５０】
次に、図９を参照して、本発明の第３の実施の形態について説明する。
図９は第３の実施の形態による画像処理装置を示すブロック図である。
前述した図１では、補間部４および補正成分算出部６において画像信号１を直接取り込む場合について説明したが、本実施の形態では図９に示すように領域値算出部２を設けて画像信号１を取り込んで前処理し、補間部４Ａおよび補正成分算出部６Ａに分配するようにしたものである。
【００５１】
図９において、２は画像信号１を取り込み、補間点を中心とする複数の画素からなるサブマトリクス上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出出力する領域値算出部である。
そして、領域値算出部２で得られた各領域値３は、画素ブロックの取込みに同期して並列出力される。
【００５２】
一方、補間部４Ａおよび補正成分算出部６Ａで行われる処理は、前述の図１の補間部４および補正成分算出部６と同様であるが、画像信号１を直接取り込むのではなく、領域値算出部２から並列出力される各領域値３を選択的に用いて、対応するサブマトリクスの補間点における補間画素値５および画素補正成分７を順次算出出力する。
【００５３】
図１０は領域値算出部の動作を示す説明図であり、（ａ）は画像信号の２次元平面画像、（ｂ）はサブマトリクス、（ｃ）はサブマトリクスに設定された領域群を示している。
領域値算出部２では、図１０（ａ）に示すように、画像信号１を構成する各画素値を所定画素ライン数分（ｊ方向）、ここでは画素補正成分７の算出に必要な画素ライン数として５画素ライン分だけ並列して同一画素列ごとに画素ブロック２１として順次取込む。
【００５４】
そして、図１０（ｂ）に示すように、これら連続して取り込んだ所定数（ｉ方向）、ここでは画素補正成分７の算出に必要な画素列数として５画素列分の画素ブロック２１からサブマトリクス２２を構成している。
これにより、サブマトリクス２２が、２次元平面画像上をｉ方向に１画素分ずつシフトしていくことになる。
【００５５】
領域値算出部２では、このようにして構成したサブマトリクス２２のうち、図１０（ｃ）に示すように、予め設定されている各画素領域Ａ〜Ｆごとに、その画素領域に属する画素の画素値の和すなわち領域値３を算出するとともに、これら各領域値を画素ブロック２１の取込みに同期して並列出力する。
そして、補間部４Ａおよび補正成分算出部６Ａでは、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力する。
【００５６】
なお、各画素領域は、後段の補間部４Ａおよび補正成分算出部６Ａで用いる数式に基づき設定すればよく、図１０（ｃ）には、前述の第１の実施の形態で用いた補間処理および画像補正成分算出処理を用いる場合の画素領域Ａ〜Ｆが示されている。
以下では、この画素領域Ａ〜Ｆが設定されている場合を例として説明する。
【００５７】
図１１は領域値算出部の構成例を示すブロック図である。
図１１において、２１〜２５は、それぞれ直列接続された４つの１ピクセルクロックディレイ２１１〜２１４，２２１〜２２４，２３１〜２３４，２４１〜２４４，２５１〜２５４からなるシフトレジスタであり、それぞれ画素ブロック２１の各画素値Ｖi1〜Ｖi5ごとに並列的に設けられている。
なお、１ピクセルクロックディレイ（以下、ディレイという）とは、画素ライン方向（ｉ方向）のクロック信号に同期して、入力された画素値を遅延出力するラッチ回路である。
【００５８】
したがって、連続する５つの画素ブロック２１が順次取り込まれた場合、シフトレジスタ２１〜２５の各ディレイの出力から、サブマトリクス２２の各画素位置における画素値が出力される。
そして、加算器２０１〜２０７により、各画素領域ごとにそれに属する画素と対応するディレイの出力がすべて加算され、それぞれの領域値が得られる。
【００５９】
例えば、加算器２０１では、図１０（ｃ）の領域Ａに対応するディレイ２２１，２２３，２４１，２４３が加算され領域値Ａが得られる。
このようにして、領域値算出部２では、取り込まれたサブマトリクス２２から各領域値３が算出され並列的に出力される。
【００６０】
図１２は補間部および補正成分算出部の構成例を示すブロック図である。
補間部４ＡはそれぞれＲ画素，Ｂ画素およびＧ画素に関する補間処理を行うＲ補間部４１、Ｂ補間部４２およびＧ補間部４３から構成されている。
これら補間部４１〜４３では、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。
【００６１】
そして、実際の補間点の位置を示すＯ／Ｅ信号およびＲ／Ｂ信号、あるいはＯ／Ｅ信号のみに基づき、対応する補間画素値がセレクタ４１Ａ〜４３Ａにより選択出力され、補間点における補間画素値５（Ｒ，Ｂ，Ｇ）として出力される。
なお、Ｒ／Ｂ信号とは、補間点がＲ画素ライン上にあるのかＢ画素ライン上にあるのかを示すＲ／Ｂ信号であり、Ｏ／Ｅ信号とは、補間点がＧ画素上にあるのか否かを示す信号である。
【００６２】
これと同様にして、補間成分算出部６Ａでも、積算器（除算器）や加算器を用いて補間点の位置に応じた複数の補間画素値を並列的に算出している。
そして、実際の補間点の位置を示すＯ／Ｅ信号に基づき、対応する補間画素値がセレクタ６１により選択出力され、補間点における画素補正成分７（ＨＦ）として出力される。
【００６３】
なお、画素補正成分の算出に用いるフィルタ係数の各係数として、２の累乗値の和を用いるとともに、これら各係数の和が２の累乗となる係数を用いることにより、補間成分算出部６Ａで用いる積算器（除算器）をビットシフト回路で構成することができ、回路構成の大幅な簡略化を実現できる。
【００６４】
図１３は補正部の構成例を示すブロック図である。
同図において、８１は画素補正成分７に対して２の累乗値を積算（除算）する複数の積算器からなる積算部であり、各積算器が互いに並列接続されている。
８２は補正倍率（重み係数）ｇｆに基づき積算部８１の各積算器の出力のうちの１つ以上を選択的に加算する加算器である。
【００６５】
８４は補間画素値５（Ｒ，Ｂ，Ｇ）に対して加算器８２の出力８３を個別に加算し、画素補正成分７により補正された補間点における新たな補間画素値９（Ｒ’，Ｂ’，Ｇ’）として出力する加算器である。
したがって、補正倍率ｇｆを任意に選択入力することにより、このｇｆに応じた強さだけ補間画素値５を補正することができる。
【００６６】
また、積算部８１として、２の累乗値を積算する複数の積算器で構成するようにしたので、簡素な回路構成で任意の補正倍率ｇｆを画素補正成分７に積算できる。
なお、画素補正成分７の基準レベルが補間点の位置に応じて変化する場合は、補間点の位置情報に応じて、ｇｆを自動的に切り替え選択することにより、画像補正成分７基準レベルを調整できる。
【００６７】
このように、第３の実施の形態では、領域値算出部２を設けて、サブマトリクス２２上に予め設定されている各画素領域ごとに、その画素領域に属する画素の画素値の和を領域値３として算出するとともに、これら各領域値３を画素ブロック２１の取込みに同期して並列出力し、補間部４Ａおよび補正成分算出部６Ａにおいて、これら並列出力される各領域値を選択的に用いて、対応するサブマトリクス２２の補間点における補間画素値および画素補正成分を順次算出出力するようにしたものである。
【００６８】
したがって、画素ブロック２１の取込みに同期して、サブマトリクスが画像信号１の２次元平面画像上をシフトしていくとともに、そのサブマトリクスに対応する補間点における各色信号の補間画素値として、画素補正成分７により補正された新たな補間画素値が得られ、結果として画素ブロック２１の取込みに同期したパイプライン処理が実現できる。
【００６９】
これにより、ＤＳＰなどを用いて数値演算することにより補間処理を行う場合と比較して、より高速に十分な画質の補間画素値を算出できる。
なお、本実施の形態では、第１の実施の形態を例として説明したが、第２の実施の形態にも、補正成分算出処理に必要な画素ライン数分および画素列分について回路を構成すれば同様にして本実施例を適用でき、前述と同様の作用効果が得られる。
【００７０】
また、本実施の形態を第２の実施の形態に適用した場合は、必要な画素数が減ってバッファメモリあるいはディレイのためのラッチが削減され、必要な回路面積は減少する。
特に、バッファメモリに保持すべきデータのライン数が減るということは、最近のように画素数の多いデジタルスチルカメラのような撮像装置の場合、極めて効果が高い。
【００７１】
次に、図１４を参照して、本発明の第４の実施の形態について説明する。
図１４は本発明の第４の実施の形態による画像処理装置の構成例を示すブロック図である。
前述した各実施の形態では、補間部４，４Ａで得られた補間画素値５に対して画素補正成分７による補正を実行する場合を例として説明したが、これに限定されるものではなく、補間画素値５に対する各種処理を行った後に画素補正成分７による補正を実行するようにしてもよい。
【００７２】
例えば、図１４（ａ）では、補間部４と補正部８との間に色補正部１１Ａを設け、補間画素値５に対して色バランスの補正を行った後、画素補正成分７による補正を実行している。
また、図１４（ｂ）では、補間部４と補正部８との間に信号変換部１１Ｂを設け、補間画素値５を輝度・色差信号に変換した後、その輝度信号に対して画素補正成分７による補正を実行している。
【００７３】
前述したように、画素補正成分７を用いた補間画素値の補正は、輝度値の補正を目的として各色信号の画素値が等しく補正される。
したがって、補間画素値５に対して色バランス補正を行う場合には、図１４（ａ）に示すように、この色バランス補正を行った後、画素補正成分７による補正を実行することにより、後で色バランス補正を行う場合と比較して、各色信号について均等に画素値を補正でき、補間点における輝度値を正確に補正できる。
【００７４】
また、補間画素値５に対して輝度・色差信号への変換処理を行う場合にも、図１４（ｂ）に示すように、この信号変換処理を行った後、輝度信号に対して画素補正成分７による補正を実行することにより、後で信号変換処理を行う場合と比較して、補間点における輝度値を正確に補正できる。
【００７５】
また、図１４（ｃ）では、補間部４と補正部８との間にガンマ補正部１１Ｃを設け、補間画素値５に対してガンマ補正を行った後、その輝度信号に対して画素補正成分７による補正を実行している。
一般的なガンマ補正では、輝度が高い領域が圧縮されるため、ガンマ補正後に画素補正成分７による補正を行うことにより、失われた画素成分を復元することができる。
この場合、補間点付近の輝度を示す統計量に基づき、画素補正成分７による補正実行を制御することにより、所望の輝度領域に対してのみ選択的に失われた画素成分の復元を実行できる。
【００７６】
なお、以上説明した各実施の形態では、正方形の範囲内に存在する画素を用いて、画素補正成分を算出する場合について説明したが、これに限定されるものではなく長方形の範囲内の画素を用いるようにしてもよい。
例えば、前述した第２の実施の形態（図５参照）において、ｉ方向に５画素分の長さを有する４画素×５画素の範囲から画素補正成分を算出すれば、図５（ａ）において、Ｇ画素Ｇ₂₁−Ｇ₃₂−Ｇ₄₃−Ｇ₅₄の方向だけでなく、Ｇ画素Ｇ₄₁−Ｇ₃₂−Ｇ₂₃−Ｇ₁₄の方向についても平均して高い空間周波数の補正成分を算出できる。
【００７７】
【発明の効果】
以上説明したように、本発明は、補間点の周辺に位置する複数の画素であって、補間部で用いる補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値を補正するための画素補正成分を生成する補正成分算出部を設け、この補正成分算出部で得られた補間点に対応する画素補正成分を用いて、補間部から出力されたその補間点における各色信号の補間画素値を補正し、その補間点における各色信号の新たな画素値として出力するようにしたものである。
【００７８】
したがって、補間点の周辺画素領域における空間周波数について、補間部における低次補間では得られない高い空間周波数成分が、画素補正成分を用いた補正により補われ、補正領域の範囲とその係数による空間周波数特性を持つ新たな画素値が得られる。
これにより、従来のように、広い範囲の画素の画素値を用いてすべての色信号についてそれぞれ高次補間を行ったり、補間点周辺のさまざまな条件に基づく複雑な補間処理を行うことなく、比較的簡素な処理により高い周波数成分成分を有する十分な画質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による画像処理装置のブロック図である。
【図２】第１の実施の形態による画像処理動作（Ｒ画素上に補間点が設定された場合）を示す説明図である。
【図３】第１の実施の形態による画像処理動作（Ｒ画素ライン上のＧ画素上に補間点が設定された場合）を示す説明図である。
【図４】補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図である。
【図５】第２の実施の形態による画像処理動作を示す説明図である。
【図６】補間点の設定位置を示す説明図である。
【図７】補正成分算出部で得られる画素補正成分の空間周波数特性を示す説明図である。
【図８】第２の実施の形態により得られた画像の出力例を示す説明図である。
【図９】第３の実施の形態による画像処理装置を示すブロック図である。
【図１０】領域値算出部の動作を示す説明図である。
【図１１】領域値算出部の構成例を示すブロック図である。
【図１２】補間部および補正成分算出部の構成例を示すブロック図である。
【図１３】補正部の構成例を示すブロック図である。
【図１４】第４の実施の形態による画像処理装置の構成例を示すブロック図である。
【図１５】従来の画像処理動作を示す説明図である。
【符号の説明】
１…画像信号、２…領域値算出部、３…領域値、４，４Ａ…補間部、５，５Ａ…補間画素値、６…補正成分算出部、７…画素補正成分、８…補正部、９…画素値（補間・補正後）、１０，１０Ａ，１０Ｂ，１０Ｃ…画像処理装置、１１Ａ…色補正部、１１Ｂ…信号変換部、１１Ｃ…ガンマ補正部、１２，１４Ｒ，１４Ｇ，１４Ｂ…補間領域、１３，１５…補正領域、２１…画素ブロック、２２…サブマトリクス。

Claims

２次元平面上に配置された多数の画素からなり、各画素ごとに複数の色信号のうちのいずれかに対応する画素値を有する画像信号について、その２次元平面上に配置された任意の補間点における画素値をその周囲の画素の画素値から補間し、各補間点ごとにすべての色信号の画素値を併せ持つ画像信号を生成する画像処理装置において、
補間点を含む所定の補間領域内に位置する同一色の画素の画素値を用いて、補間点における各色信号の画素値をそれぞれ補間算出し、各色信号ごとにその補間点における補間画素値として出力する補間部と、
補間点の周辺に位置する画素であって、前記補間領域を含むより広い範囲の補正領域内に位置する複数の画素の画素値を用いて、その補間点の画素値の高い周波数成分を補正するための画素補正成分を生成する補正成分算出部と、
この補正成分算出部で得られた補間点に対応する画素補正成分を、補間部から出力されたその補間点における各色信号の補間画素値に加算あるいは積算して当該補間画素値を補正し、その補間点における各色信号の新たな画素値として出力する補正部とを備えることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部は、
任意の画素と同一の位置、または隣接する画素間に設けられた補間点における補間画素値を算出出力することを特徴とすることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補正成分生成部は、
補間点の周辺に位置する画素のうち、画像信号の輝度成分を代表する色信号を有する複数の画素の画素値を用いて、その補間点に対応する画素補正成分を生成することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部および補正成分算出部は、
画像信号から所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込まれ、かつこれら連続して取り込まれた所定数の画素ブロックからなるサブマトリクスに含まれる各画素の画素値を用いて、そのサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
画像信号を構成する各画素値を所定画素ライン数分だけ並列して同一画素列ごとに画素ブロックとして順次取込むことにより、これら連続して取り込まれた所定数の画素ブロックからサブマトリクスを構成し、そのサブマトリクスに対して予め設定されている各領域に含まれる画素の画素値の和をそれぞれの領域ごとの領域値として算出し、これら各領域値を画素ブロックの取込みに同期して並列出力する領域値算出部を備え、
補間部および補正成分算出部は、
この領域値算出部から並列出力される各領域値を選択的に用いて、対応するサブマトリクスの補間点における補間画素値および画素補正成分を順次算出出力することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部は、
補間算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補間点における補間画素値を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補正成分算出部は、
補正成分算出時に用いる各画素の画素値とこれら各画素に対応する係数との積の和から補正成分を算出し、これら係数として各係数が２の累乗の和からなり、かつ各係数の和が２の累乗となる係数を用いることを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部で得られた補間画素値からなる補間画像信号に対して色補正処理を実行する色補正部を備え、
補正部は、
補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、色補正部で色補正された後の各画素値を補正して出力することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部で得られた補間画素値からなる補間画像信号を輝度・色差信号に変換して出力する信号変換部を備え、
補正部は、
補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、信号変換部で得られた輝度信号を補正して出力することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、
補間部で得られた補間画素値からなる補間画像信号をガンマ補正処理を実行するガンマ補正部を備え、
補正部は、
補正成分算出部で得られた画素補正成分を用いて、補間部からの補間画素値の代わりに、ガンマ補正部でガンマ補正された後の各画素値を補正して出力することを特徴とする画像処理装置。