JP4334151B2 - 画像補間装置 - Google Patents
画像補間装置 Download PDFInfo
- Publication number
- JP4334151B2 JP4334151B2 JP2001010084A JP2001010084A JP4334151B2 JP 4334151 B2 JP4334151 B2 JP 4334151B2 JP 2001010084 A JP2001010084 A JP 2001010084A JP 2001010084 A JP2001010084 A JP 2001010084A JP 4334151 B2 JP4334151 B2 JP 4334151B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- interpolation
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000284 extract Substances 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Heads (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る画像補間装置は、カラーフィルタと撮像素子とパターン設定手段とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間／修正処理手段と第２の補間／修正処理手段とを備える。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素との間における輝度値の変化率に対応した第１の補正値と類似画素のＢ，Ｇ，Ｒ信号とに基づいて、Ｂ信号を求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＲ信号とを修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素との間における輝度値の変化率に対応した第２の補正値と類似画素のＲ，Ｇ，Ｂ信号とに基づいて、Ｒ信号を求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＢ信号とを修正する。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
第１の補間／修正処理手段および第２の補間／修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、類似画素のＢ，Ｇ，Ｒ信号にそれぞれ第１の補正値を加えることにより、Ｂ信号を求めるとともにＧ信号とＲ信号を修正する。
【０００９】
第１の補正値は例えば、第１パターンに属する画像の各画素に関し、類似画素との間におけるＧ信号の変化率に類似画素の輝度値を乗じて求められる。
【００１０】
第１の補間／修正処理手段は、例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',Y'))/G(x',y')
ｒ’＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第１の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められた第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１１】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、類似画素のＲ，Ｇ，Ｂ信号にそれぞれ第２の補正値を加えることにより、Ｒ信号を求めるとともにＧ信号とＢ信号を修正する。
【００１２】
第２の補正値は例えば、第４パターンに属する画像の各画素に関し、類似画素との間におけるＧ信号の変化率に類似画素の輝度値を乗じて求められる。
【００１３】
第２の補間／修正処理手段は、例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',y'))/G(x',y')
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第２の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められた第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１４】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、類似画素を抽出する。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、類似画素を抽出する。
【００１５】
第１の補正値は、第１パターンに属する画像の各画素に関し、その画素と類似画素におけるＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求められる。
【００１６】
第１の補間／修正処理手段は、下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正してもよい。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y')+0.299×(R(x,y)-R(x',y'))
/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+R(x',y)
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第１の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められた第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１７】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素と類似画素におけるＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求められる。
【００１８】
第２の補間／修正処理手段は、下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正してもよい。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.114×(B(x,y)-B(x',y'))
/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第２の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められた第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００２０】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００２１】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００２２】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００２３】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００２４】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２５】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２６】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間等によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２７】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２８】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２９】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００３０】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００３１】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００３２】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００３３】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００３４】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３５】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３６】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３７】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＲ信号とを修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３８】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３９】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００４０】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００４１】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００４２】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００４３】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙが求められ、また類似画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)と輝度値Ｙとを用いて補正値ＹＧが求められる。
【００４４】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５）式および（６）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
ＹＧ＝Ｙ×(G(x,y)-G(x-1,y))/G(x-1,y) （６）
【００４５】
（５）式は従来公知である。補正値ＹＧは、（６）式から理解されるように、対象画素と類似画素との間におけるＧ信号の変化率に類似画素の輝度値Ｙを乗じて求められる。
【００４６】
ステップ３１２では、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（９）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
ｒ’＝ＹＧ+R(x',y') （７）
ｇ’＝ＹＧ+G(x',y') （８）
ｂ＝ＹＧ+B(x',y') （９）
【００４７】
なおR(x',y'),G(x',y'),B(x',y')は、ステップ３１１の後ステップ３１２が実行されるときはR(x-1,y),G(x-1,y),B(x-1,y)であり、ステップ３１４の後ステップ３１２が実行されるときはR(x+1,y),G(x+1,y),B(x+1,y)であり、ステップ３１６の後ステップ３１２が実行されるときはR(x,y-1),G(x,y-1),B(x,y-1)であり、ステップ３１７の後ステップ３１２が実行されるときはR(x,y+1),G(x,y+1),B(x,y+1) である。
【００４８】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００４９】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ａ）式および（６ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
ＹＧ＝Ｙ×(G(x,y)-G(x+1,y))/G(x+1,y) （６ａ）
【００５０】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（９）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００５１】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００５２】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ｂ）式および（６ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
ＹＧ＝Ｙ×(G(x,y)-G(x,y-1))/G(x,y-1) （６ｂ）
【００５３】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って修正され、また対象画素のＢ信号が（９）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５４】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００５５】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ｃ）式および（６ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
ＹＧ＝Ｙ×(G(x,y)-G(x,y+1))/G(x,y+1) （６ｃ）
【００５６】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って修正され、また対象画素のＢ信号が（９）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５７】
このように第１の補間／修正処理ルーチンでは、類似画素のＲ，Ｇ，Ｂ信号に補正値ＹＧを加えることによって、対象画素のＢ信号を求めるとともに、それまでに求められているＧ信号とＲ信号を修正している。
【００５８】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５９】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＢ信号とが修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００６０】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１４、４１６、４１７の処理内容はステップ３１１、３１４、３１６、３１７と同じである。
【００６１】
ステップ４１２では、対象画素のＲ信号が（１０）式に従って演算され、補間されたＲ信号ｒが求められる。対象画素のＧ信号とＢ信号が（１１）式と（１２）式に従って演算され、修正されたＧ信号ｇ’と修正されたＢ信号ｂ’が求められる。
ｒ＝ＹＧ+R(x',y') （１０）
ｇ’＝ＹＧ+G(x',y') （１１）
ｂ’＝ＹＧ+B(x',y') （１２）
【００６２】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００６３】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、類似画素のＲ，Ｇ，Ｂ信号に補正値ＹＧを加えることによって、対象画素のＲ信号を求めるとともに、それまでに求められているＧ信号とＢ信号を修正している。
【００６４】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６５】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号と、ＣＣＤ１２により生成されたＲ信号とＢ信号が（７）、（８）、（１１）および（１２）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００６６】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６７】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１３）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１３）
不等式（１３）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６８】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１４）
不等式（１４）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１４）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６９】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１５）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１５）
パラメータｐ，ｑがともに−１であり、かつ不等式（１５）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７０】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７１】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号とＲ信号が修正される。なお補正値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１６）式に従って求められる。その他の式については、第１実施形態と同じである。
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.299×(R(x,y)-R(x',y')))
/(0.587×G(x',y')+0.299×R(x',y')) （１６）
ただし、G(x',y')は類似画素のＧ信号、R(x',y')は類似画素のＲ信号を示す。
【００７２】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１７）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１７）
不等式（１７）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１７）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００７３】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１８）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１８）
不等式（１８）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１８）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７４】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１９）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１９）
パラメータｐ，ｑがともに−１であり、かつ不等式（１９）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１９）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７５】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７６】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。なお補正値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２０）式に従って求められる。
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.114×(B(x,y)-B(x',y')))
/(0.587×G(x',y')+0.114×B(x',y')) （２０）
ただし、G(x',y')は類似画素のＧ信号、B(x',y')は類似画素のＢ信号を示す。
【００７７】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７８】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る画像補間装置は、カラーフィルタと撮像素子とパターン設定手段とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間／修正処理手段と第２の補間／修正処理手段とを備える。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素との間における輝度値の変化率に対応した第１の補正値と類似画素のＢ，Ｇ，Ｒ信号とに基づいて、Ｂ信号を求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＲ信号とを修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素との間における輝度値の変化率に対応した第２の補正値と類似画素のＲ，Ｇ，Ｂ信号とに基づいて、Ｒ信号を求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＢ信号とを修正する。
【０００６】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００７】
第１の補間／修正処理手段および第２の補間／修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００８】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、類似画素のＢ，Ｇ，Ｒ信号にそれぞれ第１の補正値を加えることにより、Ｂ信号を求めるとともにＧ信号とＲ信号を修正する。
【０００９】
第１の補正値は例えば、第１パターンに属する画像の各画素に関し、類似画素との間におけるＧ信号の変化率に類似画素の輝度値を乗じて求められる。
【００１０】
第１の補間／修正処理手段は、例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',Y'))/G(x',y')
ｒ’＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第１の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められた第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１１】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、類似画素のＲ，Ｇ，Ｂ信号にそれぞれ第２の補正値を加えることにより、Ｒ信号を求めるとともにＧ信号とＢ信号を修正する。
【００１２】
第２の補正値は例えば、第４パターンに属する画像の各画素に関し、類似画素との間におけるＧ信号の変化率に類似画素の輝度値を乗じて求められる。
【００１３】
第２の補間／修正処理手段は、例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',y'))/G(x',y')
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第２の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められた第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１４】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、類似画素を抽出する。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、類似画素を抽出する。
【００１５】
第１の補正値は、第１パターンに属する画像の各画素に関し、その画素と類似画素におけるＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求められる。
【００１６】
第１の補間／修正処理手段は、下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正してもよい。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y')+0.299×(R(x,y)-R(x',y'))
/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+R(x',y)
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第１の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められた第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１７】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素と類似画素におけるＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求められる。
【００１８】
第２の補間／修正処理手段は、下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正してもよい。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.114×(B(x,y)-B(x',y'))
/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは類似画素の輝度値、ＹＧは第２の補正値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められた第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００２０】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００２１】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００２２】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００２３】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００２４】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２５】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２６】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間等によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２７】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２８】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２９】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００３０】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００３１】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００３２】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００３３】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００３４】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３５】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３６】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３７】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＲ信号とを修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３８】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３９】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００４０】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００４１】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００４２】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００４３】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙが求められ、また類似画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)と輝度値Ｙとを用いて補正値ＹＧが求められる。
【００４４】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５）式および（６）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
ＹＧ＝Ｙ×(G(x,y)-G(x-1,y))/G(x-1,y) （６）
【００４５】
（５）式は従来公知である。補正値ＹＧは、（６）式から理解されるように、対象画素と類似画素との間におけるＧ信号の変化率に類似画素の輝度値Ｙを乗じて求められる。
【００４６】
ステップ３１２では、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（９）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
ｒ’＝ＹＧ+R(x',y') （７）
ｇ’＝ＹＧ+G(x',y') （８）
ｂ＝ＹＧ+B(x',y') （９）
【００４７】
なおR(x',y'),G(x',y'),B(x',y')は、ステップ３１１の後ステップ３１２が実行されるときはR(x-1,y),G(x-1,y),B(x-1,y)であり、ステップ３１４の後ステップ３１２が実行されるときはR(x+1,y),G(x+1,y),B(x+1,y)であり、ステップ３１６の後ステップ３１２が実行されるときはR(x,y-1),G(x,y-1),B(x,y-1)であり、ステップ３１７の後ステップ３１２が実行されるときはR(x,y+1),G(x,y+1),B(x,y+1) である。
【００４８】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００４９】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ａ）式および（６ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
ＹＧ＝Ｙ×(G(x,y)-G(x+1,y))/G(x+1,y) （６ａ）
【００５０】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（９）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００５１】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００５２】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ｂ）式および（６ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
ＹＧ＝Ｙ×(G(x,y)-G(x,y-1))/G(x,y-1) （６ｂ）
【００５３】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って修正され、また対象画素のＢ信号が（９）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５４】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められる。
【００５５】
輝度値Ｙおよび補正値ＹＧはそれぞれ（５ｃ）式および（６ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
ＹＧ＝Ｙ×(G(x,y)-G(x,y+1))/G(x,y+1) （６ｃ）
【００５６】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（７）式と（８）式に従って修正され、また対象画素のＢ信号が（９）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５７】
このように第１の補間／修正処理ルーチンでは、類似画素のＲ，Ｇ，Ｂ信号に補正値ＹＧを加えることによって、対象画素のＢ信号を求めるとともに、それまでに求められているＧ信号とＲ信号を修正している。
【００５８】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５９】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＢ信号とが修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００６０】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１４、４１６、４１７の処理内容はステップ３１１、３１４、３１６、３１７と同じである。
【００６１】
ステップ４１２では、対象画素のＲ信号が（１０）式に従って演算され、補間されたＲ信号ｒが求められる。対象画素のＧ信号とＢ信号が（１１）式と（１２）式に従って演算され、修正されたＧ信号ｇ’と修正されたＢ信号ｂ’が求められる。
ｒ＝ＹＧ+R(x',y') （１０）
ｇ’＝ＹＧ+G(x',y') （１１）
ｂ’＝ＹＧ+B(x',y') （１２）
【００６２】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００６３】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、類似画素のＲ，Ｇ，Ｂ信号に補正値ＹＧを加えることによって、対象画素のＲ信号を求めるとともに、それまでに求められているＧ信号とＢ信号を修正している。
【００６４】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６５】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号と、ＣＣＤ１２により生成されたＲ信号とＢ信号が（７）、（８）、（１１）および（１２）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００６６】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６７】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１３）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１３）
不等式（１３）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１３）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６８】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１４）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１４）
不等式（１４）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１４）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６９】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１５）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１５）
パラメータｐ，ｑがともに−１であり、かつ不等式（１５）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７０】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７１】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号とＲ信号が修正される。なお補正値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１６）式に従って求められる。その他の式については、第１実施形態と同じである。
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.299×(R(x,y)-R(x',y')))
/(0.587×G(x',y')+0.299×R(x',y')) （１６）
ただし、G(x',y')は類似画素のＧ信号、R(x',y')は類似画素のＲ信号を示す。
【００７２】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１７）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|<
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１７）
不等式（１７）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１７）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００７３】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１８）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|<
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （１８）
不等式（１８）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（１８）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７４】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１９）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|<
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （１９）
パラメータｐ，ｑがともに−１であり、かつ不等式（１９）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１９）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７５】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７６】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙおよび補正値ＹＧが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。なお補正値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２０）式に従って求められる。
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.114×(B(x,y)-B(x',y')))
/(0.587×G(x',y')+0.114×B(x',y')) （２０）
ただし、G(x',y')は類似画素のＧ信号、B(x',y')は類似画素のＢ信号を示す。
【００７７】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７８】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
Claims (16)
- 水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求めるＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素との間における輝度値の変化率に対応した第１の補正値と前記類似画素のＢ，Ｇ，Ｒ信号とに基づいて、Ｂ信号を求めるとともに、前記Ｇ補間処理手段により求められたＧ信号と前記撮像素子により生成されたＲ信号とを修正する第１の補間／修正処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素との間における輝度値の変化率に対応した第２の補正値と前記類似画素のＲ，Ｇ，Ｂ信号とに基づいて、Ｒ信号を求めるとともに、前記Ｇ補間処理手段により求められたＧ信号と前記撮像素子により生成されたＢ信号とを修正する第２の補間／修正処理手段とを備え、
前記第１の補間／修正処理手段が、前記第１パターンに属する画像の各画素に関し、前記類似画素のＢ，Ｇ，Ｒ信号にそれぞれ前記第１の補正値を加えることにより、前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする画像補間装置。 - 前記Ｇ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ／Ｂ補間処理手段において、前記隣接する画素が前記第１および第４パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および前記第２の補間／修正処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号の値を用いて、前記類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補正値が、前記第１パターンに属する画像の各画素に関し、前記類似画素との間におけるＧ信号の変化率に前記類似画素の輝度値を乗じて求められることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、下記式に従って前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項６に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',y'))/G(x',y')
ｒ’＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは前記類似画素の輝度値、ＹＧは前記第１の補正値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記第１の補間／修正処理手段により求められた前記第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。 - 前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、前記類似画素のＲ，Ｇ，Ｂ信号にそれぞれ前記第２の補正値を加えることにより、前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補正値が、前記第４パターンに属する画像の各画素に関し、前記類似画素との間におけるＧ信号の変化率に前記類似画素の輝度値を乗じて求められることを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、下記式に従って前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項９に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(G(x,y)-G(x',y'))/G(x',y')
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは前記類似画素の輝度値、ＹＧは前記第２の補正値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められた前記第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。 - 前記第１の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＲ信号の値を用いて、前記類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＢ信号の値を用いて、前記類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補正値が、前記第１パターンに属する画像の各画素に関し、その画素と前記類似画素におけるＧ信号およびＲ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求められることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、下記式に従って前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項１３に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y')+0.299×(R(x,y)-R(x',y'))/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ＝ＹＧ+B(x',y')
ただし、Ｙは前記類似画素の輝度値、ＹＧは前記第１の補正値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記第１の補間／修正処理手段により求められた前記第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。 - 前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、その画素と前記類似画素におけるＧ信号およびＢ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求められることを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、下記式に従って前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１５に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
ＹＧ＝Ｙ×(0.587×(G(x,y)-G(x',y'))+0.114×(B(x,y)-B(x',y'))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+R(x',y')
ｇ’＝ＹＧ+G(x',y')
ｂ’＝ＹＧ+B(x',y')
ただし、Ｙは前記類似画素の輝度値、ＹＧは前記第２の補正値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められた前記第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001010084A JP4334151B2 (ja) | 2001-01-18 | 2001-01-18 | 画像補間装置 |
| US10/043,318 US7106341B2 (en) | 2001-01-15 | 2002-01-14 | Image interpolating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001010084A JP4334151B2 (ja) | 2001-01-18 | 2001-01-18 | 画像補間装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218484A JP2002218484A (ja) | 2002-08-02 |
| JP4334151B2 true JP4334151B2 (ja) | 2009-09-30 |
Family
ID=18877464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001010084A Expired - Fee Related JP4334151B2 (ja) | 2001-01-15 | 2001-01-18 | 画像補間装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4334151B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4495355B2 (ja) * | 2001-01-15 | 2010-07-07 | Ｈｏｙａ株式会社 | 画像補間装置 |
-
2001
- 2001-01-18 JP JP2001010084A patent/JP4334151B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218484A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885403B2 (en) | Image processing device, imaging device, and image processing method | |
| US8446477B2 (en) | Imaging apparatus, aberration correcting method, and program | |
| JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
| TW201944773A (zh) | 圖像去馬賽克裝置及方法 | |
| CN103828345A (zh) | 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备 | |
| JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
| JP4334150B2 (ja) | 画像補間装置 | |
| US7106341B2 (en) | Image interpolating device | |
| JP6415094B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP4334151B2 (ja) | 画像補間装置 | |
| US6900833B2 (en) | Image interpolating device | |
| JP4334152B2 (ja) | 画像補間装置 | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP4666786B2 (ja) | 画像補間装置 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| JP5269954B2 (ja) | 撮像装置 | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
| US7916188B2 (en) | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD | |
| JP2002232903A (ja) | 画像補間装置 | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
| JP2010199849A (ja) | 画像処理装置、画像処理方法、撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061124 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |