JP4495355B2 - 画像補間装置 - Google Patents
画像補間装置 Download PDFInfo
- Publication number
- JP4495355B2 JP4495355B2 JP2001006428A JP2001006428A JP4495355B2 JP 4495355 B2 JP4495355 B2 JP 4495355B2 JP 2001006428 A JP2001006428 A JP 2001006428A JP 2001006428 A JP2001006428 A JP 2001006428A JP 4495355 B2 JP4495355 B2 JP 4495355B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image
- luminance value
- interpolation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る画像補間装置は、カラーフィルタとパターン設定部とＧ補間処理手段とＲ／Ｂ補間処理手段とＢ補間処理手段とＲ補間処理手段を備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。 撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂに基づいて、Ｂ信号を求める。Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｒに基づいて、Ｒ信号を求める。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。Ｂ補間処理手段およびＲ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
Ｂ補間処理手段およびＲ補間処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂが類似画素の色差信号Ｃｂに等しいと仮定してＢ信号を求めてもよい。同様にＲ補間処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｒが類似画素の色差信号Ｃｒに等しいと仮定してＲ信号を求めてもよい。
【０００９】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｂを用いて、Ｂ信号を求めてもよい。これにより、さらに色にじみを減少させることが可能になる。この場合、Ｂ補間処理手段は例えば下記式に従ってＢ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂはＢ補間処理手段により求められる第１パターンに属する画像の画素のＢ信号である。
【００１０】
Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｒを用いて、Ｒ信号を求めてもよい。この場合、Ｒ補間処理手段は例えば下記式に従ってＲ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒはＲ補間処理手段により求められる第４パターンに属する画像の画素のＲ信号である。
【００１１】
Ｂ補間処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、Ｒ補間処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１２】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｂを用いて、Ｂ信号を求めてもよい。この場合、Ｂ補間処理手段は例えば下記式に従ってＢ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂはＢ補間処理手段により求められる第１パターンに属する画像の画素のＢ信号である。
【００１３】
Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｒを用いて、Ｒ信号を求めてもよい。この場合、Ｒ補間処理手段は例えば下記式に従ってＲ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒはＲ補間処理手段により求められる第４パターンに属する画像の画素のＲ信号である。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１５】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１６】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１７】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１８】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００１９】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２０】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２１】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、Ｂ補間処理ルーチンと（図７、８）、Ｒ補間処理ルーチン（図９）とが実行される。これらの補間処理ルーチンにおいて、補間によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２２】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２３】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２４】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２５】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２６】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２７】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２８】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００２９】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３０】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３１】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３２】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるＢ補間処理ルーチンのフローチャートである。
【００３３】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３４】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３５】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３６】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにしてＢ補間処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３７】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３８】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００３９】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５）式、（６）式および（７）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （６）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （７）
【００４０】
（５）式と（６）式は従来公知である。修正輝度値ＹＧは、（７）式から理解されるように対象画素のＧ信号と類似画素のＧ信号との比率を輝度値Ｙに乗じたものである。
【００４１】
ステップ３１２では、対象画素のＢ信号ｂが（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
ｂ＝ＹＧ+1.772×Ｃｂ （８）
なお（８）式は、色差信号ＣｂをＣｂ＝（Ｂ−Ｙ）×0.5/(1-0.114)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００４２】
このように本実施形態では、対象画素の色差信号Ｃｂは類似画素の色差信号Ｃｂに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＢ信号を求めている。
【００４３】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００４４】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ａ）式、（６ａ）式および（７ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （６ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （７ａ）
【００４５】
次いでステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００４６】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００４７】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ｂ）式、（６ｂ）式および（７ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （６ｂ）
ＹＧ＝Ｙ(G(x,y)/G(x,y-1) （７ｂ）
【００４８】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００４９】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００５０】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ｃ）式、（６ｃ）式および（７ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （６ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （７ｃ）
【００５１】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００５２】
Ｂ補間処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）およびＢ補間処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５３】
第４パターンの画像のＲ信号は、Ｒ補間処理ルーチンにより求められる。図９はＲ補間処理ルーチンのフローチャートの後半部分を示している。なおＲ補間処理ルーチンの前半部分は図７に示すＢ補間処理ルーチンと同じであるので、図示を省略する。
【００５４】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１２、４１４、４１６、４１７の処理内容はステップ３１１、３１２、３１４、３１６、３１７と基本的に同じであるが、Ｒ信号を求めるために、色差信号Ｃｒを用いている点が異なる。
【００５５】
ステップ４１１では輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９）式、（１０）式および（１１）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （９）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （１０）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （１１）
【００５６】
ステップ４１２では、対象画素のＲ信号ｒが修正輝度値ＹＧと色差信号Ｃｒを用いて、（１２）式に従って演算される。
ｒ＝ＹＧ＋1.402×Ｃr （１２）
なお（１２）式は、色差信号ＣｒをＣｒ＝（Ｒ−Ｙ）×0.5/(1-0.299)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００５７】
ステップ４１４では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ａ）式、（１０ａ）式および（１１ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （９ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （１０ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （１１ａ）
【００５８】
ステップ４１６では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ｂ）式、（１０ｂ）式および（１１ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （９ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （１０ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （１１ｂ）
【００５９】
ステップ４１７では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ｃ）式、（１０ｃ）式および（１１ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （９ｃ）
Ｃｂ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （１０ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （１１ｃ）
【００６０】
Ｒ補間処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００６１】
このようにＲ補間処理ルーチンでは、Ｂ補間処理ルーチンと同様に、対象画素の色差信号Ｃｒは類似画素の色差信号Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＲ信号を求めている。
【００６２】
以上のように本実施形態では、特にＢ補間処理ルーチン（図７および図８）とＲ補間処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６３】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１パターンに属する画像の各画素に関してＢ信号を求めるＢ補間処理ルーチンの前半部分を示し、図１１は、第４パターンに属する画像の各画素に関してＲ信号を求めるＲ補間処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６４】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１３）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１３）
不等式（１３）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６５】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１４）
不等式（１４）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１４）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６６】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１５）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１５）
パラメータｐ，ｑがともに−１であり、かつ不等式（１５）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにしてＢ補間処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６８】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められ、対象画素のＢ信号が求められる。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１６）式に従って求められる。その他の式については、第１実施形態と同じである。
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))（１６）
ただし、G(x',y')は類似画素のＧ信号、R(x',y')は類似画素のＲ信号を示す。
【００６９】
Ｒ補間処理ルーチン（図１１）では、第４パターンの画像のＲ信号が求められる。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１７）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１７）
不等式（１７）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１７）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００７０】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１８）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１８）
不等式（１８）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１８）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７１】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１９）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１９）
パラメータｐ，ｑがともに−１であり、かつ不等式（１９）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１９）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７２】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにしてＲ補間処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７３】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＲ信号が求められる。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２０）式に従って求められる。
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))（２０）
ただし、G(x',y')は類似画素のＧ信号、B(x',y')は類似画素のＢ信号を示す。
【００７４】
以上のように本実施形態では、Ｂ補間処理ルーチン（図１０）とＲ補間処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７５】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】Ｂ補間処理ルーチンのフローチャートの前半部分である。
【図８】Ｂ補間処理ルーチンのフローチャートの後半部分である。
【図９】Ｒ補間処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態におけるＢ補間処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態におけるＲ補間処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る画像補間装置は、カラーフィルタとパターン設定部とＧ補間処理手段とＲ／Ｂ補間処理手段とＢ補間処理手段とＲ補間処理手段を備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。 撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂに基づいて、Ｂ信号を求める。Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｒに基づいて、Ｒ信号を求める。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。Ｂ補間処理手段およびＲ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
Ｂ補間処理手段およびＲ補間処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂが類似画素の色差信号Ｃｂに等しいと仮定してＢ信号を求めてもよい。同様にＲ補間処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｒが類似画素の色差信号Ｃｒに等しいと仮定してＲ信号を求めてもよい。
【０００９】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｂを用いて、Ｂ信号を求めてもよい。これにより、さらに色にじみを減少させることが可能になる。この場合、Ｂ補間処理手段は例えば下記式に従ってＢ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂはＢ補間処理手段により求められる第１パターンに属する画像の画素のＢ信号である。
【００１０】
Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｒを用いて、Ｒ信号を求めてもよい。この場合、Ｒ補間処理手段は例えば下記式に従ってＲ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒはＲ補間処理手段により求められる第４パターンに属する画像の画素のＲ信号である。
【００１１】
Ｂ補間処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、Ｒ補間処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１２】
Ｂ補間処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｂを用いて、Ｂ信号を求めてもよい。この場合、Ｂ補間処理手段は例えば下記式に従ってＢ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂはＢ補間処理手段により求められる第１パターンに属する画像の画素のＢ信号である。
【００１３】
Ｒ補間処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値ＹＧと色差信号Ｃｒを用いて、Ｒ信号を求めてもよい。この場合、Ｒ補間処理手段は例えば下記式に従ってＲ信号を求める。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒはＲ補間処理手段により求められる第４パターンに属する画像の画素のＲ信号である。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１５】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１６】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１７】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１８】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００１９】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２０】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２１】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、Ｂ補間処理ルーチンと（図７、８）、Ｒ補間処理ルーチン（図９）とが実行される。これらの補間処理ルーチンにおいて、補間によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２２】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２３】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２４】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２５】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２６】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２７】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２８】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００２９】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３０】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３１】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３２】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるＢ補間処理ルーチンのフローチャートである。
【００３３】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３４】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３５】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３６】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにしてＢ補間処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３７】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３８】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００３９】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５）式、（６）式および（７）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （６）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （７）
【００４０】
（５）式と（６）式は従来公知である。修正輝度値ＹＧは、（７）式から理解されるように対象画素のＧ信号と類似画素のＧ信号との比率を輝度値Ｙに乗じたものである。
【００４１】
ステップ３１２では、対象画素のＢ信号ｂが（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
ｂ＝ＹＧ+1.772×Ｃｂ （８）
なお（８）式は、色差信号ＣｂをＣｂ＝（Ｂ−Ｙ）×0.5/(1-0.114)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００４２】
このように本実施形態では、対象画素の色差信号Ｃｂは類似画素の色差信号Ｃｂに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＢ信号を求めている。
【００４３】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００４４】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ａ）式、（６ａ）式および（７ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （６ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （７ａ）
【００４５】
次いでステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００４６】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００４７】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ｂ）式、（６ｂ）式および（７ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （６ｂ）
ＹＧ＝Ｙ(G(x,y)/G(x,y-1) （７ｂ）
【００４８】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００４９】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められる。
【００５０】
輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧはそれぞれ（５ｃ）式、（６ｃ）式および（７ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （６ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （７ｃ）
【００５１】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＢ信号が（８）式に従って演算され、Ｂ補間処理ルーチンは終了する。
【００５２】
Ｂ補間処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）およびＢ補間処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５３】
第４パターンの画像のＲ信号は、Ｒ補間処理ルーチンにより求められる。図９はＲ補間処理ルーチンのフローチャートの後半部分を示している。なおＲ補間処理ルーチンの前半部分は図７に示すＢ補間処理ルーチンと同じであるので、図示を省略する。
【００５４】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１２、４１４、４１６、４１７の処理内容はステップ３１１、３１２、３１４、３１６、３１７と基本的に同じであるが、Ｒ信号を求めるために、色差信号Ｃｒを用いている点が異なる。
【００５５】
ステップ４１１では輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９）式、（１０）式および（１１）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （９）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （１０）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （１１）
【００５６】
ステップ４１２では、対象画素のＲ信号ｒが修正輝度値ＹＧと色差信号Ｃｒを用いて、（１２）式に従って演算される。
ｒ＝ＹＧ＋1.402×Ｃr （１２）
なお（１２）式は、色差信号ＣｒをＣｒ＝（Ｒ−Ｙ）×0.5/(1-0.299)と定義し、この定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００５７】
ステップ４１４では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ａ）式、（１０ａ）式および（１１ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （９ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （１０ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （１１ａ）
【００５８】
ステップ４１６では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ｂ）式、（１０ｂ）式および（１１ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （９ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （１０ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （１１ｂ）
【００５９】
ステップ４１７では、輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧはそれぞれ（９ｃ）式、（１０ｃ）式および（１１ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （９ｃ）
Ｃｂ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （１０ｃ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （１１ｃ）
【００６０】
Ｒ補間処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００６１】
このようにＲ補間処理ルーチンでは、Ｂ補間処理ルーチンと同様に、対象画素の色差信号Ｃｒは類似画素の色差信号Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＲ信号を求めている。
【００６２】
以上のように本実施形態では、特にＢ補間処理ルーチン（図７および図８）とＲ補間処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６３】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１パターンに属する画像の各画素に関してＢ信号を求めるＢ補間処理ルーチンの前半部分を示し、図１１は、第４パターンに属する画像の各画素に関してＲ信号を求めるＲ補間処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６４】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１３）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１３）
不等式（１３）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６５】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１４）
不等式（１４）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１４）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６６】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１５）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１５）
パラメータｐ，ｑがともに−１であり、かつ不等式（１５）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにしてＢ補間処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６８】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂおよび修正輝度値ＹＧが求められ、対象画素のＢ信号が求められる。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１６）式に従って求められる。その他の式については、第１実施形態と同じである。
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))（１６）
ただし、G(x',y')は類似画素のＧ信号、R(x',y')は類似画素のＲ信号を示す。
【００６９】
Ｒ補間処理ルーチン（図１１）では、第４パターンの画像のＲ信号が求められる。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１７）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１７）
不等式（１７）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１７）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００７０】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１８）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１８）
不等式（１８）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１８）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７１】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１９）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１９）
パラメータｐ，ｑがともに−１であり、かつ不等式（１９）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１９）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７２】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにしてＲ補間処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７３】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＲ信号が求められる。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２０）式に従って求められる。
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))（２０）
ただし、G(x',y')は類似画素のＧ信号、B(x',y')は類似画素のＢ信号を示す。
【００７４】
以上のように本実施形態では、Ｂ補間処理ルーチン（図１０）とＲ補間処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７５】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】Ｂ補間処理ルーチンのフローチャートの前半部分である。
【図８】Ｂ補間処理ルーチンのフローチャートの後半部分である。
【図９】Ｒ補間処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態におけるＢ補間処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態におけるＲ補間処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
Claims (17)
- 水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求めるＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の輝度値と色差信号Ｃｂに基づいて、Ｂ信号を求めるＢ補間処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の輝度値と色差信号Ｃｒに基づいて、Ｒ信号を求めるＲ補間処理手段と
を備えることを特徴とする画像補間装置。 - 前記Ｇ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ／Ｂ補間処理手段において、前記隣接する画素が前記第１および第４パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段および前記Ｒ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段およびＲ補間処理手段が、前記隣接する画素におけるＧ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段が、前記第１パターンに属する画像の各画素に関し、色差信号Ｃｂが前記類似画素の色差信号Ｃｂに等しいと仮定して前記Ｂ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ補間処理手段が、前記第４パターンに属する画像の各画素に関し、色差信号Ｃｒが前記類似画素の色差信号Ｃｒに等しいと仮定して前記Ｒ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段が、前記第１パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、前記Ｂ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段が、下記式に従って前記Ｂ信号を求めることを特徴とする請求項８に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記Ｂ補間処理手段により求められる前記第１パターンに属する画像の画素のＢ信号、ＹＧは修正輝度値である。 - 前記Ｒ補間処理手段が、前記第４パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、前記Ｒ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ補間処理手段が、下記式に従って前記Ｒ信号を求めることを特徴とする請求項１０に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記Ｒ補間処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、ＹＧは修正輝度値である。 - 前記Ｂ補間処理手段が、前記隣接する画素におけるＧ信号およびＲ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ補間処理手段が、前記隣接する画素におけるＧ信号およびＢ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段が、前記第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、前記Ｂ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｂ補間処理手段が、下記式に従って前記Ｂ信号を求めることを特徴とする請求項１４に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記Ｂ補間処理手段により求められる前記第１パターンに属する画像の画素のＢ信号、ＹＧは修正輝度値である。 - 前記Ｒ補間処理手段が、前記第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、前記Ｒ信号を求めることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ補間処理手段が、下記式に従って前記Ｒ信号を求めることを特徴とする請求項１６に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ＋1.402×Ｃｒ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記Ｒ補間処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、ＹＧは修正輝度値である。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006428A JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
| US10/043,127 US6900833B2 (en) | 2001-01-15 | 2002-01-14 | Image interpolating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006428A JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002218483A JP2002218483A (ja) | 2002-08-02 |
| JP2002218483A5 JP2002218483A5 (ja) | 2008-01-31 |
| JP4495355B2 true JP4495355B2 (ja) | 2010-07-07 |
Family
ID=18874318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001006428A Expired - Fee Related JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4495355B2 (ja) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2000278503A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | ベイヤ補間装置およびベイヤ補間方法ならびにベイヤ補間プログラムを記録した記録媒体 |
| JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| JP2002218484A (ja) * | 2001-01-18 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
| JP2002218482A (ja) * | 2001-01-15 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
| JP2002223451A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
| JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
-
2001
- 2001-01-15 JP JP2001006428A patent/JP4495355B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
| JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2000278503A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | ベイヤ補間装置およびベイヤ補間方法ならびにベイヤ補間プログラムを記録した記録媒体 |
| JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
| JP2002218482A (ja) * | 2001-01-15 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
| JP2002218484A (ja) * | 2001-01-18 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
| JP2002223451A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218483A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11244209B2 (en) | Image processing device, imaging device, and image processing method | |
| JP5016255B2 (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
| US20190098188A1 (en) | Image processing method and apparatus of terminal, and terminal | |
| JPH10200906A (ja) | 撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体 | |
| CN104756488A (zh) | 信号处理设备、信号处理方法和信号处理程序 | |
| JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
| JP4334150B2 (ja) | 画像補間装置 | |
| US7106341B2 (en) | Image interpolating device | |
| US6900833B2 (en) | Image interpolating device | |
| JPH06153087A (ja) | 画素欠陥補正方法 | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| JP5818568B2 (ja) | 画像処理装置及びその制御方法 | |
| JP5898428B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| JP4334152B2 (ja) | 画像補間装置 | |
| JP4334151B2 (ja) | 画像補間装置 | |
| JP4666786B2 (ja) | 画像補間装置 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
| JP2002232903A (ja) | 画像補間装置 | |
| JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| JP2009182733A (ja) | 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071212 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100409 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |