JP3905708B2

JP3905708B2 - 画像補間装置

Info

Publication number: JP3905708B2
Application number: JP2001018258A
Authority: JP
Inventors: 紳聡阿部
Original assignee: ペンタックス株式会社
Priority date: 2001-01-26
Filing date: 2001-01-26
Publication date: 2007-04-18
Anticipated expiration: 2021-01-26
Also published as: US6747698B2; JP2002223452A; US20020101434A1

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る画像補間装置は、カラーフィルタとパターン設定部と第１のＧ補間処理手段と第２のＧ補間処理手段とＲ／Ｂ補間処理手段とＢ補間処理手段とＲ補間処理手段を備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。第１のＧ補間処理手段は、第１パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第１の差信号と、左右または上下方向に２画素ずれた２つのＲ信号との差である第２の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第３の差信号とに基づいて第１のＧ信号を求める。第２のＧ補間処理手段は、第４パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第４の差信号と、左右または上下方向に２画素ずれた２つのＢ信号との差である第５の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第６の差信号とに基づいて第２のＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、画素信号に基づいてＢ信号を求める。Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の画素信号に基づいてＲ信号を求める。
【０００６】
第１のＧ補間処理手段は例えば、第１の差信号の絶対値と第２の差信号の絶対値の和と第３の差信号の絶対値の和とに基づいて、第１のＧ信号を求める。また第１のＧ補間処理手段において、好ましくは、下記式によって表される第１の比較値Ｖ１と下記式によって表される第２の比較値Ｖ２との差を比較し、第１の比較値Ｖ１が第２の比較値Ｖ２よりも小さいとき、第１パターンに属する画像の各画素に対して左右に１画素ずれた２つのＧ信号の相加平均を第１のＧ信号として求め、第１の比較値Ｖ１が第２の比較値Ｖ２よりも小さくないとき、第１パターンに属する画像の各画素に対して上下に１画素ずれた２つのＧ信号の相加平均を第１のＧ信号として求める。

ただし、G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1)は第１パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、R(x-2,y),R(x+2,y),R(x,y-2),R(x,y+2)は第１パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＲ信号、R(x,y)は第１パターンの画素のＲ信号、ａ，ｂは係数である。
【０００７】
第２のＧ補間処理手段は例えば、第４の差信号の絶対値と第５の差信号の絶対値の和と第６の差信号の絶対値の和とに基づいて、第２のＧ信号を求める。また第２のＧ補間処理手段において、好ましくは、下記式によって表される第３の比較値Ｖ３と下記式によって表される第４の比較値Ｖ４との差を比較し、第３の比較値Ｖ３が第４の比較値Ｖ４よりも小さいとき、第４パターンに属する画像の各画素に対して左右に１画素ずれた２つのＧ信号の相加平均を第２のＧ信号として求め、第３の比較値Ｖ３が第４の比較値Ｖ４よりも小さくないとき、第４パターンに属する画像の各画素に対して上下に１画素ずれた２つのＧ信号の相加平均を第２のＧ信号として求める。

ただし、G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1)は第４パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、B(x-2,y),B(x+2,y),B(x,y-2),B(x,y+2)は第４パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＢ信号、B(x,y)は第４パターンの画素のＢ信号、ａ，ｂは係数である。
【０００８】
Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。Ｂ補間処理手段およびＲ補間処理手段において、隣接する画素は記第２および第３パターンに属する画像に含まれる。Ｂ補間処理手段およびＲ補間処理手段は、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。
【０００９】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂが類似画素の色差信号Ｃｂに等しいと仮定してＢ信号を求める。Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｒが類似画素の色差信号Ｃｒに等しいと仮定してＲ信号を求める。Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、Ｂ信号を求める。
【００１０】
Ｂ補間処理手段は例えば、下記式に従ってＢ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂはＢ補間処理手段により求められる第１パターンに属する画像の画素のＢ信号、ＹＧは修正輝度値である。
【００１１】
Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、Ｒ信号を求める。
【００１２】
Ｒ補間処理手段は例えば、下記式に従ってＲ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒはＲ補間処理手段により求められる第４パターンに属する画像の画素のＲ信号、ＹＧは修正輝度値である。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の一実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１４】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１５】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１６】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１７】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００１８】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２）＆＆！（ｙ％２）（１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００１９】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）
および（４）に従って抽出される。
（ｘ％２）＆＆！（ｙ％２）（２）
！（ｘ％２）＆＆（ｙ％２）（３）
（ｘ％２）＆＆（ｙ％２）（４）
【００２０】
図３〜図１０を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、第１および第２のＧ補間処理ルーチン（図４、５）と、Ｒ／Ｂ補間処理ルーチン（図６）と、Ｂ補間処理ルーチン（図８、９ ) と、Ｒ補間処理ルーチン（図１０）とが実行される。これらの補間処理ルーチンにおいて、補間によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２１】
図４は第１のＧ補間処理ルーチンのフローチャートである。第１のＧ補間処理ルーチンでは、第１パターンに属する画像に関する補間処理が行われる。
【００２２】
ステップ１０１では、第１の比較値Ｖ１と第２の比較値Ｖ２の差が比較される。
第１の比較値Ｖ１は（５）式によって、また第２の比較値Ｖ２は（６）式によって表される。

ただし、G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1)は第１パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、R(x-2,y),R(x+2,y),R(x,y-2),R(x,y+2)は第１パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＲ信号、R(x,y)は第１パターンの画素のＲ信号、ａ，ｂは係数である。
【００２３】
第１パターンに属する画像の各画素に関し、左右または上下に１画素ずれた２つのＧ信号の差（第１の差信号）の絶対値と、左右または上下方向に２画素ずれた２つのＲ信号との差（第２の差信号）の絶対値の和と、左右または上下方向に１画素ずれたＧ信号との差（第３の差信号）の絶対値の和とに基づいて第１のＧ信号ｇが求められる。係数a,bは、第1の差信号に対する、第2および第3の差信号の比率をあらわす。a,bの最適値は画像の相関の度合いに応じて変化するが、一般的な画像において経験的にa=1/2,b=1/2となる。
【００２４】
対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)である。第１の比較値Ｖ１は

である。
【００２５】
第１の差信号（例えば(G(1,2)-G(3,2))）と第２の差信号（例えば(R(0,2)-R(2,2))）はそれぞれ、対象画素に対して、Ｇ信号とＲ信号の輝度レベルが相対的に近い画素の方向（上下、左右）を選択するために用いられる。第３の差信号（例えば(G(1,2)-R(2,2))）は、対象画素に対して、色差の相関が強い画素の方向を選択するために用いられる。
【００２６】
ステップ１０１において、第１の比較値Ｖ１が第２の比較値Ｖ２よりも小さいと判定されたとき、ステップ１０２が実行される。すなわち、左右方向に位置する画素の輝度値の方が上下方向に位置する画素の輝度値よりも対象画素の輝度値に近いとき、各画素に対して左右に１画素ずれた２つのＧ信号の相加平均が第１のＧ信号ｇとして求められる。これに対し、ステップ１０１において第１の比較値Ｖ１が第２の比較値Ｖ２よりも小さくないと判定されたとき、すなわち上下方向に位置する画素の輝度値の方が左右方向に位置する画素の輝度値よりも対象画素の輝度値に近いとき、各画素に対して上下に１画素ずれた２つのＧ信号の相加平均が第１のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、第１のＧ補間処理ルーチンは終了する。
【００２７】
図５は第２のＧ補間処理ルーチンのフローチャートである。第２のＧ補間処理ルーチンでは、第４パターンに属する画像に関する補間処理が行われる。
【００２８】
ステップ２０１では、第３の比較値Ｖ３と第４の比較値Ｖ４の差が比較される。
第３の比較値Ｖ３は（７）式によって、また第４の比較値Ｖ４は（８）式によって表される。
Ｖ３＝|G(x-1,y)-G(x+1,y)|
+a×(|B(x-2,y)-B(x,y)|+|B(x+2,y)-B(x,y)|)
+b×(|G(x-1,y)-B(x,y)|+|G(x+1,y)-B(x,y)|) （７）
Ｖ４＝|G(x,y-1)-G(x,y+1)|
+a×(|B(x,y-2)-B(x,y)|+|B(x,y+2)-B(x,y)|)
+b×(|G(x,y-1)-B(x,y)|+|G(x,y+1)-B(x,y)|) （８）
ただし、G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1)は第４パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、B(x-2,y),B(x+2,y),B(x,y-2),B(x,y+2)は第４パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＢ信号、B(x,y)は第４パターンの画素のＢ信号、ａ，ｂは係数である。
【００２９】
第４パターンに属する画像の各画素に関し、左右または上下に１画素ずれた２つのＧ信号の差（第４の差信号）の絶対値と、左右または上下方向に２画素ずれた２つのＢ信号との差（第５の差信号）の絶対値の和と、左右または上下方向に１画素ずれたＧ信号との差（第６の差信号）の絶対値の和とに基づいて第２のＧ信号ｇが求められる。
【００３０】
係数a,bは、第1の差信号に対する、第2および第3の差信号の比率をあらわす。a,bの最適値は画像の相関の度合いに応じて変化するが、一般的な画像において経験的にa=1/2,b=1/2となる。
【００３１】
ステップ２０１において、第３の比較値Ｖ３が第４の比較値Ｖ４よりも小さいと判定されたとき、ステップ２０２が実行され、各画素に対して左右に１画素ずれた２つのＧ信号の相加平均が第２のＧ信号ｇとして求められる。これに対し、ステップ２０１において第３の比較値Ｖ３が第４の比較値Ｖ４よりも小さくないと判定されたとき、各画素に対して上下に１画素ずれた２つのＧ信号の相加平均が第２のＧ信号ｇとして求められる。ステップ２０２または２０３の実行により、第２のＧ補間処理ルーチンは終了する。
【００３２】
第１および第２のＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００３３】
図６はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００３４】
ステップ３０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ３０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ３０３が実行される。
【００３５】
ステップ３０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３６】
ステップ３０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３７】
ステップ３０２または３０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。第１および第２のＧ補間処理ルーチン（図４、５）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図７から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３８】
図８および図９は、第１パターンに属する画像の各画素に関してＢ信号を求めるＢ補間処理ルーチンのフローチャートである。
【００３９】
ステップ４０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ４０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ４０３において、パラメータｐが１に定められる。
【００４０】
ステップ４０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ４０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ４０６において、パラメータｑが１に定められる。
【００４１】
ステップ４０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ４０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ４０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００４２】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ４０７、４０８または４０９が実行される。このようにしてＢ補間処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００４３】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００４４】
ステップ４１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ４１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００４５】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（９）式、（１０）式および（１１）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （９）
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （１０）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （１１）
【００４６】
（９）式と（１０）式は従来公知である。修正輝度値ＹＧは、（１１）式から理解されるように対象画素のＧ信号と類似画素のＧ信号との比率を輝度値Ｙに乗じたものである。
【００４７】
ステップ４１２では、対象画素のＢ信号ｂが（１２）式に従って演算され、Ｂ補間処理ルーチンは終了する。
ｂ＝ＹＧ+1.772×Ｃｂ（１２）
なお（１２）式は、色差信号ＣｂをＣｂ＝（Ｂ−Ｙ）×0.5/(1-0.114)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００４８】
このように本実施形態では、対象画素の色差信号Ｃｂは類似画素の色差信号Ｃｂに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＢ信号を求めている。
【００４９】
ステップ４１０においてパラメータｓが−１ではないと判定されたとき、ステップ４１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ４１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００５０】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（９ａ）式、（１０ａ）式および（１１ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （９ａ）
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （１０ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （１１ａ）
【００５１】
次いでステップ４１２が実行され、対象画素のＢ信号が（１２）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００５２】
ステップ４１３においてパラメータｓが１ではないと判定されたとき、ステップ４１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ４１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００５３】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（９ｂ）式、（１０ｂ）式および（１１ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （９ｂ）
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （１０ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （１１ｂ）
【００５４】
次いで、ステップ４１１、４１４の場合と同様に、ステップ４１２が実行され、対象画素のＢ信号が（１２）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００５５】
ステップ４１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ４１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００５６】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（９ｃ）式、（１０ｃ）式および（１１ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （９ｃ）
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （１０ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （１１ｃ）
【００５７】
次いで、ステップ４１１、４１４、４１６の場合と同様に、ステップ４１２が実行され、対象画素のＢ信号が（１２）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００５８】
Ｂ補間処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。第１および第２のＧ補間処理ルーチン（図４、５）、Ｒ／Ｂ補間処理ルーチン（図６）およびＢ補間処理ルーチン（図８及び図９）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５９】
第４パターンの画像のＲ信号は、Ｒ補間処理ルーチンにより求められる。図１０はＲ補間処理ルーチンのフローチャートの後半部分を示している。なおＲ補間処理ルーチンの前半部分は図８に示すＢ補間処理ルーチンと同じであるので、図示を省略する。
【００６０】
ステップ５１０、５１３、５１５の処理内容はステップ４１０、４１２、４１５（図９）と同じである。ステップ５１１、５１２、５１４、５１６、５１７の処理内容はステップ４１１、４１２、４１４、４１６、４１７と基本的に同じであるが、Ｒ信号を求めるために、色差信号Ｃｒを用いている点が異なる。
【００６１】
ステップ５１１では輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（１２）式、（１３）式および（１４）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （１２）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （１３）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （１４）
【００６２】
ステップ５１２では、対象画素のＲ信号ｒが修正輝度値ＹＧと色差信号Ｃｒを用いて、（１５）式に従って演算される。
ｒ＝ＹＧ＋1.402×Ｃr （１５）
なお（１５）式は、色差信号ＣｒをＣｒ＝（Ｒ−Ｙ）×0.5/(1-0.299)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００６３】
ステップ５１４では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（１２ａ）式、（１３ａ）式および（１４ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （１２ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （１３ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （１４ａ）
【００６４】
ステップ５１６では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（１２ｂ）式、（１３ｂ）式および（１４ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （１２ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （１３ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （１４ｂ）
【００６５】
ステップ５１７では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（１２ｃ）式、（１３ｃ）式および（１４ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （１２ｃ）
Ｃｂ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （１３ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （１４ｃ）
【００６６】
Ｒ補間処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００６７】
このようにＲ補間処理ルーチンでは、Ｂ補間処理ルーチンと同様に、対象画素の色差信号Ｃｒは類似画素の色差信号Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＲ信号を求めている。
【００６８】
以上のように本実施形態では、特に第１および第２のＧ補間処理ルーチン（図４および図５）において、対象画素とその近傍に位置する複数の画素とに関し、Ｇ信号とＲ信号またはＢ信号の相関だけではなく、色差信号の相関も利用して対象画素の補間処理を行っている。したがって、補間処理において誤差が生じたとしても、対象画素と近傍の画素の間において色差信号の差異が小さくなるので、再生画像における色にじみを減少させることができる。
【００６９】
なお本実施形態では、Ｂ補間処理ルーチン（図８、９）およびＲ補間処理ルーチン（図１０）において、対象画素のＢ信号およびＲ信号を求めるために、類似画素の色差信号を対象画素の色差信号として置き換えているが、対象画素の周囲に位置する複数の画素のＢ信号およびＲ信号の相加平均を利用してもよい。
【００７０】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】第１のＧ補間処理ルーチンのフローチャートである。
【図５】第２のＧ補間処理ルーチンのフローチャートである。
【図６】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図７】第１および第２のＧ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図８】Ｂ補間処理ルーチンのフローチャートの前半部分である。
【図９】Ｂ補間処理ルーチンのフローチャートの後半部分である。
【図１０】Ｒ補間処理ルーチンのフローチャートの後半部分である。
【符号の説明】
１２撮像素子
１３カラーフィルタ

Claims

水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第１の差信号と、左右または上下方向に２画素ずれた２つのＲ信号との差である第２の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第３の差信号とに基づいて第１のＧ信号を求める第１のＧ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第４の差信号と、左右または上下方向に２画素ずれた２つのＢ信号との差である第５の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第６の差信号とに基づいて第２のＧ信号を求める第２のＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記画素信号に基づいてＢ信号を求めるＢ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の画素信号に基づいてＲ信号を求めるＲ補間処理手段とを備え、
前記第１のＧ補間処理手段において、下記式によって表される第１の比較値Ｖ１と下記式によって表される第２の比較値Ｖ２との差を比較し、前記第１の比較値Ｖ１が前記第２の比較値Ｖ２よりも小さいとき、前記第１パターンに属する画像の各画素に対して左右に１画素ずれた２つのＧ信号の相加平均を前記第１のＧ信号として求め、前記第１の比較値Ｖ１が前記第２の比較値Ｖ２よりも小さくないとき、前記第１パターンに属する画像の各画素に対して上下に１画素ずれた２つのＧ信号の相加平均を前記第１のＧ信号として求め、
かつ前記第２のＧ補間処理手段において、下記式によって表される第３の比較値Ｖ３と下記式によって表される第４の比較値Ｖ４との差を比較し、前記第３の比較値Ｖ３が前記第４の比較値Ｖ４よりも小さいとき、前記第４パターンに属する画像の各画素に対して左右に１画素ずれた２つのＧ信号の相加平均を前記第２のＧ信号として求め、前記第３の比較値Ｖ３が前記第４の比較値Ｖ４よりも小さくないとき、前記第４パターンに属する画像の各画素に対して上下に１画素ずれた２つのＧ信号の相加平均を前記第２のＧ信号として求めることを特徴とする画像補間装置。
Ｖ１＝ |G(x-1,y)-G(x+1,y)|
+a × (|R(x-2,y)-R(x,y)|+|R(x+2,y)-R(x,y)|)
+b × (|G(x-1,y)-R(x,y)|+|G(x+1,y)-R(x,y)|)
Ｖ２＝ |G(x,y-1)-G(x,y+1)|
+a × (|R(x,y-2)-R(x,y)|+|R(x,y+2)-R(x,y)|)
+b × (|G(x,y-1)-R(x,y)|+|G(x,y+1)-R(x,y)|)
Ｖ３＝ |G(x-1,y)-G(x+1,y)|
+a × (|B(x-2,y)-B(x,y)|+|B(x+2,y)-B(x,y)|)
+b × (|G(x-1,y)-B(x,y)|+|G(x+1,y)-B(x,y)|)
Ｖ４＝ |G(x,y-1)-G(x,y+1)|
+a × (|B(x,y-2)-B(x,y)|+|B(x,y+2)-B(x,y)|)
+b × (|G(x,y-1)-B(x,y)|+|G(x,y+1)-B(x,y)|)
ただし、前記第１および第２の比較値Ｖ１、Ｖ２において、 G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1) は前記第１パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、 R(x-2,y),R(x+2,y),R(x,y-2),R(x,y+2) は前記第１パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＲ信号、 R(x,y) は前記第１パターンの画素のＲ信号、ａ，ｂは係数であり、
前記第３および第４の比較値Ｖ３、Ｖ４において、 G(x-1,y),G(x+1,y),G(x,y-1),G(x,y+1) は前記第４パターンに属する画像の画素に対してそれぞれ左右上下に１画素ずれた画素のＧ信号、 B(x-2,y),B(x+2,y),B(x,y-2),B(x,y+2) は前記第４パターンに属する画像の画素に対してそれぞれ左右上下に２画素ずれた画素のＢ信号、 B(x,y) は前記第４パターンの画素のＢ信号、ａ，ｂは係数である。
前記Ｒ／Ｂ補間処理手段において、前記隣接する画素が前記第１および第４パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
前記Ｂ補間処理手段および前記Ｒ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
前記Ｂ補間処理手段およびＲ補間処理手段が、前記隣接する画素におけるＧ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
前記Ｂ補間処理手段が、前記第１パターンに属する画像の各画素に関し、色差信号Ｃｂが前記類似画素の色差信号Ｃｂに等しいと仮定して前記Ｂ信号を求めることを特徴とする請求項１に記載の画像補間装置。
前記Ｒ補間処理手段が、前記第４パターンに属する画像の各画素に関し、色差信号Ｃｒが前記類似画素の色差信号Ｃｒに等しいと仮定して前記Ｒ信号を求めることを特徴とする請求項１に記載の画像補間装置。
水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第１の差信号と、左右または上下方向に２画素ずれた２つのＲ信号との差である第２の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第３の差信号とに基づいて第１のＧ信号を求める第１のＧ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第４の差信号と、左右または上下方向に２画素ずれた２つのＢ信号との差である第５の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第６の差信号とに基づいて第２のＧ信号を求める第２のＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記画素信号に基づいてＢ信号を求めるＢ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の画素信号に基づいてＲ信号を求めるＲ補間処理手段とを備え、
前記Ｂ補間処理手段が、前記第１パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、前記Ｂ信号を求めることを特徴とする画像補間装置。
前記Ｂ補間処理手段が、下記式に従って前記Ｂ信号を求めることを特徴とする請求項７に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記Ｂ補間処理手段により求められる前記第１パターンに属する画像の画素のＢ信号、ＹＧは修正輝度値である。
水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第１の差信号と、左右または上下方向に２画素ずれた２つのＲ信号との差である第２の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第３の差信号とに基づいて第１のＧ信号を求める第１のＧ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、左右または上下方向に１画素ずれた２つのＧ信号の差である第４の差信号と、左右または上下方向に２画素ずれた２つのＢ信号との差である第５の差信号と、左右または上下方向に１画素ずれたＧ信号との差である第６の差信号とに基づいて第２のＧ信号を求める第２のＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記画素信号に基づいてＢ信号を求めるＢ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の画素信号に基づいてＲ信号を求めるＲ補間処理手段とを備え、
前記Ｒ補間処理手段が、前記第４パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、前記Ｒ信号を求めることを特徴とする画像補間装置。
前記Ｒ補間処理手段が、下記式に従って前記Ｒ信号を求めることを特徴とする請求項９に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記Ｒ補間処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、ＹＧは修正輝度値である。