JP5877931B2 - 画素補間装置およびその動作制御方法 - Google Patents

Description

この発明は，画素補間装置ならびにその動作制御方法およびその動作制御プログラムに関する。

縮小画像を生成するために，同色画素ごとに画素混合することがある。たとえば，ベイヤ配列の固体電子撮像素子を用いて得られたカラー画像データについて画素混合が行われる場合には，画素加算比率を調整して加算画素の重心を等間隔にするもの（特許文献１），画素加算前の増幅量を調整して加算画素の重心を等間隔とするもの（特許文献２）などがある。

特開2008-98971号公報 特開2006-261789号公報

しかしながら，特許文献１，２のいずれにおいても，高周波数の縦縞または横縞の被写体を撮像した場合には，被写体が白黒であるにもかかわらず，偽色が発生することがある。

この発明は，偽色の発生を未然に防止することを目的とする。

この発明による画素補間装置は，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得る同色画素混合手段，同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別する相関判別手段，ならびに相関判別手段による判別結果にもとづいて，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する補間手段を備えていることを特徴とする。

この発明は，画素補間装置に適した動作制御方法も提供している。すなわち，この方法は，同色画素混合手段が，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，相関判別手段が，同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別し，補間手段が，相関判別手段による判別結果にもとづいて，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するものである。

この発明は，画素補間装置の動作制御方法を実施するためのプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

この発明によると，第１の色の画素については少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する第２種（第１種とは異なる）第１の色の画素と，を分けて同色画素ごとに混合され，第２の色の画素および第３の色の画素については，同色画素ごとに混合処理が，画素混合パターンごとに行われる。画素混合において得られる複数種類の第１の色の混合画素ならびに第２の色の混合画素および第３の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかが判別される。判別結果にもとづいて，複数種類の第１の色の混合画素ならびに第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素が生成される。複数種類の第１の混合画素にもとづいてカラー画像に列方向または行方向のどちらに相関があるかが判別され，その判別結果にもとづいて補間画素が生成されるので，画素混合が行われる場合において高周波の被写体により発生する偽色を未然に防止できる。

補間手段は，相関判別手段により，カラー画像の列方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一行の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一行の第１の色の画素の影響を小さくし，相関判別手段により，カラー画像の行方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一列の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一列の第１の色の画素の影響を小さくして，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するようにしてもよい。

補間手段は，第２の色の混合画素と複数種類の第１の色の混合画素のうち相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第２の色についての差分データおよび第３の色の混合画素と複数種類の第１の色の混合画素のうち相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第３の色についての差分データを算出する差分データ算出手段を備えてもよい。この場合，複数種類の第１の色の混合画素の平均画素を第１の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第２の色についての差分データが加算された画素を第２の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第３の色についての差分データが加算された画素を第３の色の補間画素とするものとなろう。

第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一列上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一列上の第１の色の混合画素との差分の絶対値と，を加算して得られる第１の加算値と，第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一行上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一行上の第１の色の混合画素との差分の絶対値と，を加算して得られる第２の加算値と，のどちらが大きいかを判別する加算値判別手段をさらに備えてもよい。この場合，相関判別手段は，たとえば，加算値判断手段により，第２の加算値よりも第１の加算値が小さいと判別されたことに応じて列方向に相関があると判別し，第２の加算値よりも第１の加算値が大きいと判別されたことに応じて行方向に相関があると判別するものとなろう。

同色画素混合手段による第１の色の混合画素は，たとえば，２種類である。また，同色画素混合手段において得られる複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素の画素混合パターンにおける重心位置が同一であることが好ましい。

基本配列パターンは，たとえば，ベイヤ配列にもとづくものである。また，行方向および列方向の６×６の画素において，行方向および列方向において緑色またはマゼンタの色成分を有する第１の色の画素，赤色またはシアンの色成分を有する第２の色の画素および青色またはイエローの色成分を有する第３の色の画素が含まれており，第１の色の画素は，列方向，行方向および斜め方向において少なくとも一つは含まれており，かつ列方向，行方向および斜め方向において２つ連続している部分が少なくとも一つは含まれているものでもよい。

カラー画像は，たとえば，第２の色の画素と同一行および同一列に第１の色の画素が存在し，かつ第３の色の画素と同一列および同一行にも第１の色の画素が存在しているものである。

画素補間装置を備えた撮像装置を提供するようにしてもよい。

部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 ディジタル・カメラの電気的構成を示している。 部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 斜めの縞の部分カラー画像を示している。 部分カラー画像の一例である。 部分カラー画像の一例である。 Ｒ画素を示している。 Ｂ画素を示している。 Ｇ１画素を示している。 Ｇ２画素を示している。 パーソナル・コンピュータの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。

図１は，多数のフォトダイオードの受光面上にカラー・フィルタがベイヤ配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１である。

図１の部分カラー画像１は，行方向（行数が増加する方向）および列方向（列数が増加する方向）にいずれも６つの画素10から構成されている。奇数列奇数行には，受光面上に，赤色の光成分を透過する特性を有する赤色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた赤色画素（Ｒ画素，第２の色の画素）がある。偶数列偶数行には，受光面上に青色の光成分を透過する特性を有する青色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた青色画素（Ｂ画素，第３の色の画素）がある。偶数列奇数行および奇数行偶数列には，受光面上に緑色の光成分を透過する特性を有する緑色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた緑色画素（第１の色の画素）がある。この実施例では，奇数行においてＲ画素の間にある緑色画素をＧｒ画素（第１種の第１の色の画素）と呼び，偶数行においてＢ画素の間にある緑色画素をＧｂ画素（第２種の第１の色の画素）と呼ぶこととする。図１において，奇数行偶数列にＲ画素が配列され，偶数行奇数列にＢ画素が配列され，その他に緑色画素が配列されていてもよい。Ｂ画素と同一行にはＧｂ画素が存在し，同一列にはＧｒ画素が存在している。また，Ｒ画素と同一行にはＧｒ画素が存在し，同一列にはＧｂ画素が存在している。

図１では，ベイヤ配列にしたがった部分カラー画像１が表されているから，列方向および行方向の２画素×２画素の基本配列パターンにしたがって，画素10が繰り返されている。

また，この実施例では，列方向および行方向の３画素×３画素の画素混合ブロックＢｒ（画素混合パターン）が規定される。後述するように，この画素混合ブロックＢｒ内において，同色画素同士が混合させられてカラー画像が１／９に縮小させられる。但し，Ｇｒ画素とＧｂ画素とは同色画素であるが，画素混合においては区別され，Ｇｒ画素同士，Ｇｂ画素同士が画素混合させられる。また，画素混合ブロックＢｒは，３画素×３画素の大きさでなくともよいのはいうまでもない。

部分カラー画像１を構成する３画素×３画素の４つの画素混合ブロックＢｒで規定される画像部分のうち，左上，右上，左下および右下のそれぞれの画像部分を画像部分11，12，13および14とする。

図２から図５は，画像部分11の画素混合の様子を示している。

図２は，画像部分11を構成するＲ画素の画素混合である。図２においては，分りやすくするために，Ｒ画素以外の画素が省略されている。

画像部分11においては，四隅の画素10がＲ画素となっている。四隅の４つのＲ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＲ混合画素（第２の色の混合画素）となる。

図３は，画像部分11を構成するＧｒ画素の画素混合である。図３においては，分りやすくするために，Ｇｒ画素以外の画素の色を表わす符号が省略されている。

画像部分11においては，中央の画素10の上下がＧｒ画素となっている。これらの二つのＧｒ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｒ混合画素（第１の色の混合画素）となる。

図４は，画像部分11を構成するＧｂ画素の画素混合である。図４においては，分りやすくするために，Ｇｂ画素以外の画素の色を表わす符号が省略されている。

画像部分11においては，中央の画素の左右がＧｂ画素となっている。これらの二つのＧｂ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｂ混合画素（第１の色の混合画素）となる。

図５は，画像部分11を構成するＢ画素を示している。画像部分11には，中央の一つのＢ画素があるので，そのＢ画素そのものが縮小後のＢ混合画素（第３の色の混合画素）となる。このように，各色の画素である，緑色成分の画素，青色成分の画素および赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が画素混合ブロックＢｒにおいて同一の画素位置上となるように画素混合されている。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

図６から図９は，画像部分12の画素混合の様子を示している。これらにおいても図２から図５と同様に，画素混合される画素以外の画素は図示が省略されている。

図６は，画像部分12のＲ画素の画素混合である。中央の画素10の上下にＲ画素があるから，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。

図７は，画像部分12のＧｒ画素の画素混合である。四隅にＧｒ画素があるから，それらの４つのＧｒ画素が混合させられてＧｒ混合画素が生成される。

図８は，画像部分12のＧｂ画素である。中央にＧｂ画素があり，そのＧｂ画素がＧｂ混合画素とされる。

図９は，画像部分12のＢ画素である。中央の画素10の左右にＢ画素があるから，それらの二つのＢ画素が混合させられてＢ混合画素が生成される。

図10から図13は，画像部分13の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。

図10は，画像部分13のＲ画素の画素混合である。中央の画素10の左右にＲ画素があり，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。

図11は，画像部分13のＧｒ画素である。Ｇｒ画素は中央にあるので，そのＧｒ画素がＧｒ混合画素となる。

図12は，画像部分13のＧｂ画素の画素混合である。画像部分13の四隅のＧｂ画素が画素混合させられてＧｂ混合画素が生成される。

図13は，画像部分13のＢ画素の画素混合である。画像部分13の中央の画素の上下のＢ画素が画素混合させられてＢ混合画素が生成される。

図14から図17は，画像部分14の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。

図14は，画像部分14のＲ画素である。Ｒ画素は中央にあるので，そのＲ画素がＲ混合画素となる。

図15は，画像部分14のＧｒ画素である。Ｇｒ画素は，中央の画素10の左右にあるので，それらの二つのＧｒ画素が画素混合させられて，Ｇｒ混合画素となる。

図16は，画像部分14のＢ画素である。Ｂ画素は四隅にあるので，それらの４つのＢ画素が混合させられて，Ｂ混合画素となる。

図18は，横縞の部分カラー画像１を示している。

空間周波数が高い被写体の例としてこの例では，被写体が白黒の横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図18に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１には，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。

図18に示すような白黒の横縞の部分カラー画像１において，上述のように画素混合が行われると，次に述べるように偽色が発生してしまうことがある。

まず，白色のレベルを100，黒色のレベルを０とする。図２に示すように，画像部分11のＲ画素は白色を表わしているから，Ｒ混合画素のレベルは100となる。同様に，図３に示すように，Ｇｒ画素も白色を表わしているから，Ｇｒ混合画素のレベルも100となる。図４および図５に示すように，Ｇｂ画素およびＢ画素はそれぞれ黒色を示しているから，Ｇｂ混合画素およびＢ混合画素のレベルはいずれも０となる。ここで，Ｇｒ混合画素とＧｂ混合画素は同じカラー・フィルタの特性から得られたものであるから，混合すると，混合後のＧ画素のレベルは50となってしまい，画素混合後の縮小画像には偽色が発生してしまう。画像部分11以外の部分も同様である。

図19は，縦縞の部分カラー画像１を示している。

図18に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図19に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図18においても黒色であることがわかるようにハッチングが付されている。ハッチングが付されていない部分は白色である。

上述と同様に，白色のレベルを100，黒色のレベルを０とする。図２に示すように，画像部分11のＲ画素は白色を表わしているから，Ｒ混合画素のレベルは100となる。図３に示すように，Ｇｒ画素は黒色を表わしているから，Ｇｒ混合画素のレベルは０となる。図４に示すようにＧｂ画素は白色を表わしているから，Ｇｂ混合画素のレベルは100となる。図５に示すように，Ｂ画素は黒色を示しているから，Ｂ混合画素のレベルはいずれも０となる。Ｇｒ混合画素とＧｂ混合画素とが混合させられると，混合後のＧ画素のレベルは50となってしまい，画素混合後の縮小画像には偽色が発生してしまう。画像部分11以外の部分も同様である。

この実施例では，式１に示すように，画素混合により得られたＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素を用いて相関方向判別が行われる。

（｜Ｒ混合画素−Ｇｒ混合画素｜＋｜Ｂ混合画素−Ｇｂ混合画素｜）＜（｜Ｒ混合画素−Ｇｂ混合画素｜＋｜Ｂ混合画素−Ｇｒ混合画素｜）・・・式１

式１が成立すると，部分カラー画像１は，図18に示す横縞のように横方向（列方向）に相関があると判断される。式１が成立しなければ，部分カラー画像１は，図19に示す縦縞のように縦方向（行方向）に相関があると判断される。式１の不等号の左辺は，同一行の画素から生成される混合画素の差分値であり，式１の不等号の左辺は，同一列の画素から生成される混合画素の差分値であるため，式１が成立するということは，同一行の画素間のレベル差が少なく，横方向に相関があると考えられるからである。同様に，式１が成立しないということは，同一列の画素間のレベル差が少なく，縦方向に相関があると考えられるからである。

この実施例では，相関方向に応じて，混合画素が補正される。この補正のために，Ｒ画素差分値RsubおよびＢ画素差分値Bsubがそれぞれ算出される。方向判別の結果，横方向（列方向）に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式３および式４で表される。後述するように，横方向に相関がある場合には，Ｒ画素と同一行にあるＧｒ画素の影響およびＢ画素と同一行にあるＧｂ画素の影響がそれぞれ少なくなる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇｒ混合画素・・・式３
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇｂ混合画素・・・式４

方向判別の結果，縦方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式５および式６で表される。後述するように，縦方向（行方向）に相関がある場合には，Ｒ画素と同一列にあるＧｂ画素の影響およびＢ画素と同一列にあるＧｒ画素の影響がそれぞれ少なくなる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇｂ混合画素・・・式５
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇｒ混合画素・・・式６

上述のようにして得られた混合画素等から次のように補間画素が生成される。

Ｇ補間画素＝（Ｇｒ混合画素＋Ｇｂ混合画素）／２・・・式７
Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式８
Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式９

式７から式９にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞または縦縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。

たとえば，上述した図18に示すように，白黒の横縞の画像１について縮小および補間処理が行われると，画像部分11について，式１が成立するから，Ｒ画素差分値Rsubは式３からRsub＝100−100＝０，Ｂ画素差分値Bsubは式４からBsub＝０−０＝０となる。Ｇ補間画素は式７から，Ｇ補間画素＝（100＋０）／２＝50，Ｒ補間画素は式８から，Ｒ補間画素＝50＋０＝50，Ｂ補間画素は，式９から，Ｂ補間画素＝50＋０＝50となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分12，13および14についても同様である。

また，上述した図19に示すように，白黒の縦縞の画像１について縮小および補間処理が行われると，画像部分11について，式１が成立しないから，Ｒ画素差分値Rsubは式５から，Rsub＝100−100＝０，Ｂ画素差分値Bsubは式６から，Bsub＝０−０＝０となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分12，13および14についても同様である。

図20は，上述の縮小および補間処理を行うディジタル・カメラの電気的構成を示すブロック図である。

撮像素子20は，上述のベイヤ配列をもつものであり，上述したように部分カラー画像１を含むカラー画像を表わすカラー画像データ（ＲＡＷデータ）を出力する。撮像素子20から出力されたカラー画像データは画素補間装置21を構成する相関情報算出回路22に与えられる。相関情報算出回路22において，上述のように，画素混合が行われ，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素が生成される。これらの混合画素を利用して式１からカラー画像の相関方向を示す相関情報が算出される。

相関情報算出回路22からはＲ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素をそれぞれ表わすデータならびに相関情報を表わすデータが出力され，ＲＧＢ画素補間回路23に与えられる。ＲＧＢ画素補間回路23において，相関方向に応じて，式３および式４または式５および式６で表される画素差分値が算出され，かつ式７から式９にもとづいて補間画素が生成される。生成された補間画素を表すデータは，メモリ24を介して表示処理装置25に与えられる。表示処理装置25によって表示装置26が制御されることにより，補間処理が行われた縮小画像が表示されるようになる。表示装置26に表示される画像には偽色の発生が防止されているのはいうまでもない。なお，上記実施例では相関情報算出回路22において画素混合を行い，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素を生成するようにしたが，これに限られず，撮像素子20からカラー画像データを読み出す段階，または出力する段階で画素混合を行うようにしてもよい。これにより処理速度を向上することができる。

図21から図29は，他の実施例を示すものである。

図21は，図１に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ａである。

図21の部分カラー画像１Ａも行方向および列方向にいずれも６つの画素10Ａから構成されている。これらの画素10Ａについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧまたはＢの符号が付されている。

３画素×３画素の画素混合ブロックＢｒにおいては，中央および四隅にＧ画素がある。この実施例では，画素混合ブロックＢｒにおいて，中央のＧ画素Ｇと四隅のＧ画素Ｇが区別される。四隅のＧ画素がＧ１画素とされ，中央のＧ画素がＧ２画素とされる。画像部分１Ａの左上および右下の画素混合ブロックＢｒによって規定される画像部分31および34においては，中央のＧ２画素の上下にはＲ画素があり，中央のＧ２画素の左右にはＢ画素がある。これに対して，画像部分１Ａの右上および左下の画素混合ブロックＢｒによって規定される画像部分32および33においては，中央のＧ２画素の上下にはＢ画素があり，中央のＧ２画素の左右にはＲ画素がある。

カラー画像は，図21に示す部分カラー画像１Ａを基本配列パターンとして繰り返されることとなる。

また，部分カラー画像１Ａでは，水平方向（列方向）および垂直方向（行方向）においてＧ１画素またはＧ２画素，Ｒ画素およびＢ画素が少なくとも一つずつ存在し，部分カラー画像１Ａを繰り返し配列することでカラー画像のいずれの水平方向，垂直方向および斜め方向においてもＧ１画素またはＧ２画素が少なくとも一つは存在している。また，部分カラー画像１Ａにおいては，Ｇ１画素またはＧ２画素が水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，部分カラー画像１Ａにおいては，Ｇ１画素が水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。

たとえば，部分カラー画像１Ａでは，Ｇ１画素は，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されている。Ｇ２画素は，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列および第６ｍ＋５列に形成されている。同様に，Ｂ画素Ｂは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ存在している。Ｒ画素は，第６ｎ＋１行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。

上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。

図22から図25は，画像部分31の画素混合の様子を示している。画像部分34についても同様である。

図22は，Ｒ画素の画素混合である。分りやすくするために，Ｒ画素以外の画素が省略されている。画像部分31においては，中央の画素10Ａの上下の画素がＲ画素となっている。これらの二つのＲ画素が混合させられ，かつ平均化された画素が画像部分31の縮小後のＲ混合画素となる。

図23は，画像部分31を構成するＧ１画素の画素混合である。図23においても，Ｇ１画素以外の画素の色を表わす符号が省略されている。

画像部分31においては，四隅がＧ１画素となっている。これらの四つのＧ１画素が混合させられ，かつ平均化された画素が画像部分31の縮小後のＧ１混合画素となる。

図24は，画像部分31を構成するＧ２画素の画素混合である。図24においてもわかりやすくするためにＧ２画素以外の画素の色を表わす符号が省略されている。

画像部分31においては，中央の画素がＧ２画素となっている。このＧ２画素が画像部分31の縮小後のＧ２混合画素とされる。

図25は，画像部分31を構成するＢ画素を示している。Ｂ画素以外の画素の色の符号が省略されている。

中央の画素10Ａの左右にＢ画素がある。これらの２つのＢ画素が画素混合させられ，かつ平均化されることにより，縮小後のＢ混合画素となる。

図26および図27は，画像部分32の画素混合の様子を示している。画像部分33についても同様である。また，画像部分32および33におけるＧ１画素の配列およびＧ２画素の配列は画像部分31と同様であるので，Ｇ１画素の画素混合は，図23に示したものと同じとなり，Ｇ２画素の画素混合は図24に示したものと同じとなる。

図26は，Ｒ画素の画素混合である。中央の画素10Ａの左右にＲ画素があるから，それらの二つのＲ画素が混合させられてＲ混合画素が生成させられる。平均化されるのはいうまでもない。

図27は，Ｂ画素の画素混合である。中央の画素10Ａの上下にＢ画素があるから，それらの二つのＢ画素が混合させられてＢ混合画素が生成させられる。このように，各色の画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が，同一の画素位置となるように画素混合している。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

図28は，図18に対応するもので，横縞の部分カラー画像１Ａを示している。

図18に示すものと同様に，被写体が横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図28に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１Ａには，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。

図18を参照して説明したのと同様に，Ｇ１画素とＧ２画素とを区別しないで画素混合すると，偽色が発生してしまう。

図29は，縦縞の部分カラー画像１Ａを示している。

図28に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図29に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図29においても黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。

この実施例においても，上述したのと同様に，画像部分31および34の画素配列パターンの場合には，式10に示すように，画素混合で得られたＲ混合画素，Ｇ１混合画素，Ｇ２混合画素およびＢ混合画素を用いて相関方向判別が行われる。

（｜Ｒ混合画素−Ｇ１混合画素｜＋｜Ｂ混合画素−Ｇ２混合画素｜）＜（｜Ｒ混合画素−Ｇ２混合画素｜＋｜Ｂ混合画素−Ｇ１混合画素｜）・・・式10

式10が成立すると，画像部分31および34は，図28に示す横縞のように横方向（列方向）に相関があると判断される。式10が成立しなければ，画像部分31および34は，図29に示す縦縞のように縦方向（行方向）に相関があると判断される。

画像部分32および33の画素配列パターンの場合には，式10においてＲ混合画素とＢ混合画素とが逆となる式10Ａを用いて相関方向判別が行われる。

（｜Ｂ混合画素−Ｇ１混合画素｜＋｜Ｒ混合画素−Ｇ２混合画素｜）＜（｜Ｂ混合画素−Ｇ２混合画素｜＋｜Ｒ混合画素−Ｇ１混合画素｜）・・・式10Ａ

式10Ａが成立すると，画像部分32および33は図28に示す横縞のように横方向に相関があると判断され，式10Ａが成立しなければ，画像部分32および33は図29に示す縦縞のように縦方向に相関があると判断される。

このように，同一列上で混合されたＲ混合画素とＧ混合画素との差分絶対値と同一列上で混合されたＢ混合画素とＧ混合画素との差分絶対値との和と，同一行で混合されたＲ混合画素とＧ混合画素との差分絶対値と同一行で混合されたＢ混合画素とＧ混合画素との差分絶対値との和と，の比較にもとづいて列方向に相関があるか，行方向に相関があるか判断される。

上述したのと同様に，相関方向に応じて，混合画素が補正される。この補正のために，Ｒ画素差分値RsubおよびＢ画素差分値Bsubがそれぞれ算出される。方向判別の結果，横方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式11および式12で表される。後述するように，横方向に相関がある場合には，Ｒ画素と同一行にあるＧ１画素の影響およびＢ画素と同一行にあるＧ２画素の影響がそれぞれ少なくなる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇ１混合画素・・・式11
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇ２混合画素・・・式12

方向判別の結果，縦方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式13および式14で表される。後述するように，縦方向に相関がある場合には，Ｒ画素と同一列にあるＧ２画素の影響およびＢ画素と同一列にあるＧ１画素の影響がそれぞれ少なくなる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇ２混合画素・・・式13
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇ１混合画素・・・式14

上述のようにして得られた混合画素等から次のように補間画素が生成される。

Ｇ補間画素＝（Ｇ１混合画素＋Ｇ２混合画素）／２・・・式15
Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式16
Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式17

式15から式17にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞または縦縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。

たとえば，上述した図28に示すように，白黒の横縞の画像１について縮小および補間処理が行われると，画像部分31について，式10が成立するから，Ｒ画素差分値Rsubは式11からRsub＝100−100＝０，Ｂ画素差分値Bsubは式12からBsub＝０−０＝０となる。Ｇ補間画素は式15から，Ｇ補間画素＝（100＋０）／２＝50，Ｒ補間画素は式16から，Ｒ補間画素＝50＋０＝50，Ｂ補間画素は，式17から，Ｂ補間画素＝50＋０＝50となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。

他の画像部分32および33についても式10Ａにもとづく方向判別，Ｒ画素差分値およびＢ画素差分値の算出，ならびにＧ補間画素，Ｒ補間画素およびＢ補間画素の算出が行われることにより偽色の発生が未然に防止される。

また，上述した図29に示すように，白黒の縦縞の画像１Ａについて縮小および補間処理が行われると，画像部分31について，式10が成立しないから，Ｒ画素差分値Rsubは式13から，Rsub＝100−100＝０，Ｂ画素差分値Bsubは式14から，Bsub＝０−０＝０となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分34についても同様である。

図30から図38は，他の実施例を示すものである。

図30は，図１，図21に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ａである。

図30に示す部分カラー画像１Ｂも行方向および列方向のいずれも６つの画素10Ｂから構成されている。これらの画素10Ｂについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧまたはＢの符号が付されている。

３画素×３画素の画素混合ブロックＢｒのいずれの画像部分41から44においても，中央および中央の上下左右にＧ画素がある。中央の左上および右下には，Ｒ画素があり，中央の右上および左下には，Ｂ画素がある。この実施例では，中央のＧ画素，中央のＧ画素の上下のＧ画素および中央のＧ画素の左右のＧ画素が区別される。中央のＧ画素の上下のＧ画素がＧ１画素とされ，中央のＧ画素の左右のＧ画素がＧ２画素とされ，中央のＧ画素がＧ３画素とされる。

カラー画像は，画像部分41を基本配列パターンとして繰り返されることとなる。

上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。

図31から図35は，画像部分41の画素混合の様子を示している。他の画像部分42から44についても同様である。

図31は，Ｒ画素の画素混合である。分りやすくするために，Ｒ画素以外の画素が省略されている。画像部分41においては，中央の画素10Ｂの左上および右下の画素がＲ画素となっている。これらの二つのＲ画素が混合させられ，かつ平均化された画素が画像部分41の縮小後のＲ混合画素となる。

図32は，画像部分41を構成するＧ１画素の画素混合である。図32においても，Ｇ１画素以外の画素の色を表わす符号が省略されている。

画像部分41においては，中央の画素10Ｂの上下がＧ１画素となっている。これらの２つのＧ１画素が混合させられ，かつ平均化された画素が画像部分41の縮小後のＧ１混合画素となる。

図33は，画像部分41を構成するＧ２画素の画素混合である。図33においてもわかりやすくするためにＧ２画素以外の画素の色を表わす符号が省略されている。

画像部分41においては，中央の画素10Ｂの左右がＧ２画素となっている。これらのＧ２画素が混合させられ，かつ平均化されることにより画像部分41の縮小後のＧ２混合画素とされる。

図34は，画像部分41を構成するＢ画素を示している。Ｂ画素以外の画素の色の符号が省略されている。

中央の画素10Ｂの右上および左下にＢ画素がある。これらの２つのＢ画素が画素混合させられ，かつ平均化されることにより，縮小後のＢ混合画素となる。

図35は，画像部分41を構成するＧ３画素を示している。画像部分41の中央にあるＧ３画素がＧ３混合画素となる。このように，各色の画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が，同一の画素位置上となるように画素混合している。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。

図36は，図18，図28に対応するもので，横縞の部分カラー画像１Ｂを示している。

図18等に示すものと同様に，被写体が横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図36に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１Ｂには，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。

図18等を参照して説明したのと同様に，Ｇ１画素，Ｇ２画素およびＧ３画素を区別しないで画素混合すると，偽色が発生してしまう。

図37は，縦縞の部分カラー画像１Ｂを示している。

図36に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図37に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図37においても黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。

図38は，斜めの縞の部分カラー画像１Ｂを示している。

図37，図38に示したものと同様に，被写体が白黒の斜めの縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図38に示すように，斜めの白色の線と黒色の線とが交互に現れる。図38においても，黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。

図36に示すように，横縞の場合には，Ｒ画素またはＢ画素とＧ１画素との間に相関がある。また，図37に示すように，縦縞の場合には，Ｒ画素またはＢ画素とＧ２画素との間に相関がある。さらに，図38に示すように，斜めの縞の場合には，Ｒ画素またはＢ画素とＧ３画素との間に相関がある。したがって，Ｒ画素またはＢ画素とＧ１画素との差分の絶対値を第１の絶対値，Ｒ画素またはＢ画素とＧ２画素の差分の絶対値を第２の絶対値，Ｒ画素またはＢ画素とＧ３画素との差分の絶対値を第３の絶対値とした場合，もっとも小さな絶対値を与えるものの方向に画像部分41の相関があると考えられる。第１の絶対値，第２の絶対値または第３の絶対値がもっとも小さかった場合には，横方向の相関，縦方向の相関または斜め方向の相関があると考えられる。

相関方向が横方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式18および式19となる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇ１混合画素・・・式18
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇ１混合画素・・・式19

相関方向が縦方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式20および式21となる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇ２混合画素・・・式20
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇ２混合画素・・・式21

相関方向が斜め方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式22および式23となる。

Ｒ画素差分値Rsub＝Ｒ混合画素−Ｇ３混合画素・・・式22
Ｂ画素差分値Bsub＝Ｂ混合画素−Ｇ３混合画素・・・式23

上述のようにして得られた混合画素等から，補間画素が生成される。Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，相関方向に対応したものが利用されるのはいうまでもない。

Ｇ補間画素＝（Ｇ１混合画素＋Ｇ２混合画素＋Ｇ３混合画素）／３・・・式24
Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式25
Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式26

この実施例においても上述した実施例と同様に，式24から式26にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞，縦縞または斜めの縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。

図39から図44は，さらに他の実施例を示すものである。

図39は，図１，図21，図30に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ｃである。

図39に示す部分カラー画像１Ｃは，行方向および列方向のいずれも３つの画素10Ｃから構成されている。これらの画素10Ｃについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧおよびＢの符号が付されている。

第３ｎ＋１行第３ｎ＋２列および第３ｎ＋２行第３ｎ＋３列にＲ画素が配置されている。第３ｎ＋２行第３ｎ＋１列および第３ｎ＋３行第３ｎ＋２列にＢ画素が配置されている。その他の箇所にＧ画素が配置されている。このような基本配列パターンが繰り返されることにより，カラー画像が構成される。

上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。

図40は，図39に示す部分カラー画像１Ｃが行方向および列方向に繰り返されることにより構成されている部分カラー画像１Ｄの一例である。

図40においては，第６ｎ＋３行第６ｎ＋３列にはＧ１画素（第１種の第１の色の画素）が配置され，第６ｎ＋４行第６ｎ＋４列にはＧ２画素（第２種の第１の色の画素）が配置されている。図40において空白の部分には，図39に示すように，Ｇ画素が配置されている。図40においては，図39に示すＧ画素のうち，所定のＧ画素についてＧ１画素およびＧ２画素と規定されていることとなる。Ｇ１画素の同一行にはＢ画素のみが存在しＲ画素は存在しない。Ｇ１画素の同一列にはＲ画素のみが存在しＢ画素は存在しない。Ｇ２画素の同一行にはＲ画素のみが存在しＢ画素は存在しない。Ｇ２画素の同一列にはＢ画素のみが存在しＲ画素は存在しない。

さらに，画素混合ブロックＢｒは，第６ｎ＋２行から第６ｎ＋５行および第６ｎ＋２列から第６ｎ＋５列で規定される水平方向および垂直方向のいずれも４画素ずつの合計16画素から構成されている。

図41から図44は，画素混合ブロックＢｒを構成するＲ画素，Ｂ画素，Ｇ１画素およびＧ２画素をそれぞれ別々に表わしている。

図41は，画素混合ブロックＢｒの画像部分を構成するＲ画素を示している。図41においても，Ｒ画素以外の画素の色を表わす符号が省略されている。複数のＲ画素同士が混合させられ，かつ平均化された画素が画素混合ブロックＢｒの画像部分の縮小後のＲ混合画素となる。

図42は，画素混合ブロックＢｒの画像部分を構成するＢ画素を示している。図42においてもわかりやすくするためにＢ画素以外の画素の色を表わす符号が省略されている。複数のＢ画素同士が混合させられ，かつ平均化された画素が画素混合ブロックＢｒの縮小後のＢ混合画素となる。

図43は，画素混合ブロックＢｒの画像部分を構成するＧ１画素を示している。Ｇ１画素以外の画素の色の符号が省略されている。Ｇ１画素は，画素混合ブロックＢｒに一つなので，そのＧ１画素がＧ１混合画素となる。

図44は，画素混合ブロックＢｒの画像部分を構成するＧ２画素を示している。Ｇ２画素以外の画素の色の符号が省略されている。Ｇ２画素も，画素混合ブロックＢｒに一つなので，そのＧ２画素がＧ２混合画素となる。

この実施例においても，上述したように，画素混合ブロックＢｒごとの画素混合で得られるＲ混合画素，Ｂ混合画素，Ｇ１混合画素およびＧ２混合画素を用いて相関方向判別が行われる。この相関方向判別は，上述した式10Ａを利用することができる。

式10Ａが成立すれば，画素混合ブロックＢｒの画像部分は横方向に相関があると判断される。式10Ａが成立しなければ，画素混合ブロックＢｒの画像部分は縦方向に相関があると判断される。

横方向に相関があると判断されると，上述したＲ画素差分値Rsubは式13から算出され，Ｂ画素差分値Bsubは式14から算出される。縦方向に相関があると判断されると，Ｒ画素差分値Rsubは式11から算出され，Ｂ画素差分値Bsubは式12から算出される。

Ｇ補間画素は，画素混合ブロックＢｒに含まれている８つのＧ画素（Ｇ１画素，Ｇ２画素を含み，上述のように図40等に示す画素混合ブロックＢｒの空白の部分で示されるＧ画素を含む）の平均値として式27から得られる。もっとも，式15からＧ補間画素を算出するようにしてもよい。

Ｇ補間画素＝ΣＧ／８・・・式27

Ｒ補間画素およびＢ補間画素は，それぞれ上述した式16および式17から得られる。

この実施例においても上述したのと同様に，偽色を発生させることなく，縮小および補間処理が実現できることとなる。図40から明らかなように，画素混合ブロックＢｒ同士は接していず，隣接する画素混合ブロックＢｒ同士は２画素分離れている。上述のように縮小が行われる場合，画素混合ブロックＢｒの間にある画素は無視される。このために，上述の縮小により，列方向および行方向にそれぞれ１／６に縮小（面積比で１／36に縮小）されることとなる。

このように，この発明の実施例では，基本配列パターンを水平及び垂直方向に繰り返すカラー画像において，少なくとも同一行にＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が存在するＧ１画素（第１種の第１の色の画素）と，同一列にＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が存在するＧ２画素であってＧ１画素とは異なるＧ２画素（第２種の第１の色の画素）とが存在するように画素混合ブロックＢｒ（画素混合パターン）が設定されている。このことは，基本配列パターンを水平および垂直方向に繰り返すカラー画像において，少なくともＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が同一行にのみ存在するＧ画素（第１種の第１の色の画素）と，Ｒ画素（第２の色の画素）またはＢ画素（第３の色の画素）が同一列にのみ存在するＧ２画素と，が存在するように画素混合ブロックＢｒ（画素混合パターン）が設定されているということもできる。

この発明の実施例では，このように設定された画素混合ブロックＢｒ内で，少なくとも第１種の第１の色の画素（たとえば，Ｇ１画素），第２種の第１の色の画素（たとえば，Ｇ２画素），第２の色の画素（たとえば，Ｒ画素）および第３の色の画素（たとえば，Ｂ画素）同士で画素混合が行われる。

さらに，画素混合によって得られた複数種類の第１の色の混合画素および第２の色の混合画素ならびに第３の色の混合画素を用いて，カラー画像に列方向または行方向のどちらに相関があるかが判別される。具体的には，第２の色の画素（Ｒ画素）と同一行に存在する第１の色の画素（Ｇ１画素またはＧ２画素）の混合画素と第２の色の混合画素および第３の色の混合画素との相関関係である第１の相関関係と，第２の色の画素（Ｒ画素）と同一列に存在する第１の色の画素（Ｇ２画素またはＧ１画素）の混合画素と第２の色の混合画素および第３の色の画素（Ｂ画素）と同一列に存在する第１の色の画素（Ｇ１画素またはＧ２画素）の混合画素との相関関係である第２の相関関係とが比較され，カラー画像に列方向または業方向のどちらに相関があるか判別が行われる。

この発明の実施例では，上記判別の結果にもとづいて，複数種類の第１の色（Ｇ１，Ｇ２）の混合画素，第２の色（Ｒ）の混合画素および第３の色（Ｂ）の混合画素を用いて画素混合パターンごとに第１の色（Ｇ）の補間画素，第２の色（Ｒ）の補間画素および第３の色（Ｂ）の補間画素が生成される。これにより，空間周波数の高い被写体像が入力された場合においても画素混合によって縮小画像が得られた場合に偽色の発生が未然に抑えられる。

また，上記実施例では，光電変換素子のフォトダイオードの受光面上に各色フィルタが形成されることでカラー画像が得られる説明したが，これに限られない。有機物質などを用いた光電変換素子を採用し，フォトダイオードにおいて入射光のうち特定の色成分について光電変換する撮像素子からカラー画像が得られるようにしてもよい。

図45および図46は，他の実施例を示すものである。

図45は，パーソナル・コンピュータの電気的構成を示すブロック図である。

パーソナル・コンピュータの全体の動作は，ＣＰＵ70によって統括される。

ＣＰＵ70には，通信装置71，メモリ72，キーボードなどの入力装置73および表示装置74が接続されている。また，パーソナル・コンピュータには，ハードディスク78およびハードディスク78にアクセスするハードディスク・ドライブ77ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ75も含まれている。

上述した処理を行うプログラムが格納されているCD-ROM76がCD-ROMドライブ75に装填され，CD-ROM76からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM76に格納されていなくともネットワークを介して送信されたプログラムを通信装置71において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。

図46は，図45に示すパーソナル・コンピュータの処理手順を示すフローチャートである。

上述したように撮像素子によって撮像されたカラー画像データがハードディスク78に記録されており，そのハードディスク78からカラー画像データが読み取られる（ステップ81）。読み取られたカラー画像データについて，画素混合ブロックＢｒごとに次の処理が行われる。

上述のように同色画素ごとに画素混合される（ステップ82）。もっとも，上述のように，Ｇｒ画素，Ｇｂ画素，Ｇ１画素，Ｇ２画素，Ｇ３画素については，それぞれの画素ごとに，混入しないように画素混合されるのはいうまでもない。

つづいて，上述のように，相関方向を表わす相関情報が算出される（ステップ87）。上述のように，式１等にもとづいて，相関方向を表す相関情報が算出されることとなる。

相関情報にもとづいて，どの方向に相関があるかが判断される（ステップ84）。列方向（横方向）に相関がある場合には，上述したように，横方向に対応したＲ画素差分値RsubおよびＢ画素差分値Bsubが算出される（ステップ85）。行方向（縦方向）に相関がある場合には，縦方向に対応したＲ画素差分値RsubおよびＢ画素差分値Bsubが算出される（ステップ86）。

算出されたＲ画素差分値RsubおよびＢ画素差分値Bsubを利用して，上述のように，補間画素が生成される（ステップ87）。

以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。

この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。

図47は，本発明の撮影装置の一実施形態であるスマートフォン91の外観を示すものである。図47に示すスマートフォン91は，平板状の筐体92を有し，筐体92の一方の面に表示部としての表示パネル111と，入力部としての操作パネル112とが一体となった表示入力部110を備えている。また，係る筐体92は，マイクロフォン122と，スピーカ121，操作部130と，カメラ部131とを備えている。なお，筐体92の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。

図48は，図47に示すスマートフォン91の構成を示すブロック図である。図48に示すように，スマートフォンの主たる構成要素として，無線通信部100と，表示入力部110と，通話部120と，操作部130と，カメラ部131と，記憶部140と，外部入出力部150と，ＧＰＳ(Global Positioning System)受信部160と，モーションセンサ部170と，電源部180と，主制御部190とを備える。また，スマートフォン91の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部100は，主制御部190の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部110は，主制御部190の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル111と，操作パネル112とを備える。

表示パネル111は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル112は，表示パネル111の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部190に出力する。次いで，主制御部190は，受信した検出信号に基づいて，表示パネル111上の操作位置（座標）を検出する。

図47に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン131の表示パネル111と操作パネル112とは一体となって表示入力部110を構成しているが，操作パネル112が表示パネル111を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル112は，表示パネル111外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル112は，表示パネル111に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル111に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル111の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル112が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体92の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル112で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部120は，スピーカ121やマイクロフォン122を備え，マイクロフォン122を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部190に出力したり，無線通信部100あるいは外部入出力部150により受信された音声データを復号してスピーカ121から出力するものである。また，図21に示すように，例えば，スピーカ121を表示入力部110が設けられた面と同じ面に搭載し，マイクロフォン122を筐体92の側面に搭載することができる。

操作部130は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図21に示すように，操作部130は，スマートフォン91の筐体92の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部140は，主制御部190の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部140は，スマートフォン内蔵の内部記憶部141と着脱自在な外部メモリスロットを有する外部記憶部142により構成される。なお，記憶部140を構成するそれぞれの内部記憶部141と外部記憶部142は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部150は，スマートフォン91に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン91に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部160は，主制御部190の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン91の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部160は，無線通信部100や外部入出力部150（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部170は，例えば，３軸の加速度センサなどを備え，主制御部190の指示にしたがって，スマートフォン91の物理的な動きを検出する。スマートフォン91の物理的な動きを検出することにより，スマートフォン91の動く方向や加速度が検出される。係る検出結果は，主制御部190に出力されるものである。

電源部180は，主制御部190の指示にしたがって，スマートフォン91の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部190は，マイクロプロセッサを備え，記憶部140が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン91の各部を統括して制御するものである。また，主制御部190は，無線通信部100を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部140が記憶するアプリケーションソフトウェアにしたがって主制御部190が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部150を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部170は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部110に表示する等の画像処理機能を備える。画像処理機能とは，主制御部190が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部100に表示する機能のことをいう。

更に，主制御部190は，表示パネル111に対する表示制御と，操作部130，操作パネル132を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により，主制御部190は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル111の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部190は，操作部130を通じたユーザ操作を検出したり，操作パネル112を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部190は，操作パネル112に対する操作位置が，表示パネル111に重なる重畳部分（表示領域）か，それ以外の表示パネル111に重ならない外縁部分（非表示領域）かを判定し，操作パネル112の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御部190は，操作パネル112に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部131は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部131は，主制御部190の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部140に記録したり，入出力部150や無線通信部100を通じて出力することができる。図21に示すにスマートフォン91において，カメラ部131は表示入力部110と同じ面に搭載されているが，カメラ部131の搭載位置はこれに限らず，表示入力部110の背面に搭載されてもよいし，あるいは，複数のカメラ部131が搭載されてもよい。なお，複数のカメラ部131が搭載されている場合には，撮影に供するカメラ部131を切り替えて単独にて撮影したり，あるいは，複数のカメラ部131を同時に使用して撮影することもできる。

また，カメラ部131はスマートフォン91の各種機能に利用することができる。例えば，表示パネル111にカメラ部131で取得した画像を表示することや，操作パネル112の操作入力のひとつとして，カメラ部131の画像を利用することができる。また，ＧＰＳ受信部160が位置を検出する際に，カメラ部131からの画像を参照して位置を検出することもできる。更には，カメラ部131からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン91のカメラ部131の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部131からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部160により取得した位置情報，マイクロフォン122により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部170により取得した姿勢情報等などを付加して記録部140に記録したり，入出力部150や無線通信部100を通じて出力することもできる。

上述の実施例では，画素混合ブロックＢｒにおける混合画素の重心位置は同一となっている。

20 撮像素子
21 画素補間装置
22 相関情報算出回路
23 ＲＧＢ画素補間回路
Ｂｒ 画素混合ブロック

Claims (12)

1. 第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて画素混合ブロック内において同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに上記画素混合ブロック内において行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得る同色画素混合手段，
   上記同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別する相関判別手段，ならびに
   上記相関判別手段による判別結果にもとづいて，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する補間手段，
   を備えた画素補間装置。
2. 上記補間手段は，
   上記相関判別手段により，カラー画像の列方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一行の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一行の第１の色の画素の影響を小さくし，
   上記相関判別手段により，カラー画像の行方向に相関がある場合には，第２の色の画素については第２の色の画素と同一列の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一列の第１の色の画素の影響を小さくして，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するものである，
   請求項１に記載の画素補間装置。
3. 上記補間手段は，
   第２の色の混合画素と複数種類の第１の色の混合画素のうち上記相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第２の色についての差分データおよび第３の色の混合画素と複数種類の第１の色の混合画素のうち上記相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第３の色についての差分データを算出する差分データ算出手段を備え，
   複数種類の第１の色の混合画素の平均画素を第１の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第２の色についての差分データが加算された画素を第２の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第３の色についての差分データが加算された画素を第３の色の補間画素とするものである，
   請求項１または２に記載の画素補間装置。
4. 第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一列上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一列上の第１の色の混合画素との差分の絶対値と，を加算して得られる第１の加算値と，第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一行上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一行上の第１の色の混合画素との差分の絶対値と，を加算して得られる第２の加算値と，のどちらが大きいかを判別する加算値判別手段をさらに備え，
   上記相関判別手段は，
   上記加算値判別手段により，第２の加算値よりも第１の加算値が小さいと判別されたことに応じて行方向に相関があると判別し，第２の加算値よりも第１の加算値が大きいと判別されたことに応じて列方向に相関があると判別するものである，
   請求項１から３のうち，いずれか一項に記載の画素補間装置。
5. 上記同色画素混合手段による第１の色の混合画素は２種類である，
   請求項１から４のうち，いずれか一項に記載の画素補間装置。
6. 上記同色画素混合手段において得られる複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素の画素混合パターンにおける重心位置が同一である，
   請求項１から５のうち，いずれか一項に記載の画素補間装置。
7. 基本配列パターンはベイヤ配列にもとづくものである，
   請求項１から６のうち，いずれか一項に記載の画素補間装置。
8. 行方向および列方向の６×６の画素において，行方向および列方向において緑色またはマゼンタの色成分を有する第１の色の画素，赤色またはシアンの色成分を有する第２の色の画素および青色またはイエローの色成分を有する第３の色の画素が含まれており，第１の色の画素は，列方向，行方向および斜め方向において少なくとも一つは含まれており，かつ列方向，行方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている，
   請求項１から６のうち，いずれか一項に記載の画素補間装置。
9. 上記カラー画像は，
   第２の色の画素と同一行および同一列に第１の色の画素が存在し，かつ第３の色の画素と同一列および同一行にも第１の色の画素が存在しているものである，
   請求項１から８のうち，いずれか一項に記載の画素補間装置。
10. 請求項１から９のうち，いずれか一項に記載の画素補間装置を備えた撮像装置。
11. 同色画素混合手段が，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて画素混合ブロック内において同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに上記画素混合ブロック内において行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，
    相関判別手段が，上記同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別し，
    補間手段が，上記相関判別手段による判別結果にもとづいて，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する，
    画素補間装置の動作制御方法。
12. 画素補間装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて画素混合ブロック内において同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに上記画素混合ブロック内において行わせ，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，
    得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別させ，
    相関の判別結果にもとづいて，得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成させるように画素補間装置のコンピュータを制御するプログラム。
    

Images