JP2000506702A - 単一センサカラーカメラ - Google Patents

Abstract

(57)【要約】 画像センサ、電子スチールカメラ、およびそれらに関連する方法が、画像処理に関して開示される。この方法は、色彩をサブサンプリングする方法で画像をサンプリングし、次いで、色彩をサブサンプリングした画素の値を処理することによって、シーンのフルカラー画像を構成するステップを包含する。本発明は、画素のジオメトリを、ストライプ状のカラーフィルタアレイおよび二重解像度再現の状況において、シャープネスを２つの直交するサンプリング方向で平衡させることを可能にする最適化をさらに包含する。

Description

【発明の詳細な説明】 単一センサカラーカメラ 発明の背景 本発明は、一般に、画像データをサンプリングおよび補間する装置および方法 に関し、特に、カラーサブサンプリングされた画像データを感知し、その後、画 像データの総量の選択を可能にしながら、無色サブサンプリングされた画像デー タを補間する、２つの直交するサンプリング方向のそれぞれにおいて、カラーフ リンジ（color fringing）を効果的に減少させ、詳細を保持し、シャープネスの バランスを実質的に維持する装置および方法に関する。 スチール画素を記録する電子撮像カメラは、当該技術分野で周知である。この ようなカメラは、アナログまたはディジタルフォーマットで、単一の磁気ディス クまたはテープに複数のスチール画像を記録し得る。次いで、これらのスチール 画像は、陰極線管（ＣＲＴ）などの出力装置上で再生される。このようなカメラ は、さらにプリンターと共に周知の様式で用いられ、記録された画像のハードコ ピーを提供する。 このような電子画像スチールカメラでは、電荷結合装置（ＣＣＤ）などの二次 元画像感知アレイが頻繁に用いられる。ＣＣＤは、入射シーン光を所定時間にわ たって統合し、画像感知アレイに入射したシーン光強度に対応する電子情報信号 を提供する。このようなアレイは、通常、所定数の分離した画像感知素子または 画素を有する。各画像感知素子は、入射照明に応答し、入射照明の強度に対応す る電子情報信号を提供する。 カラー画像を記録するためには、入射照明はフィルタリングされ、異なる画像 感知素子は、異なる着色照明を受け取る。フィルタは、画像感知アレイの面にわ たって、赤、緑および青（ＲＧＢ）ストライプの繰り返しパターンなどの周知の パターンで配置されている。あるいは、個々の画像感知素子または画素は、当該 技術分野で周知のように、２×２チェッカー盤における赤、緑、青および緑フィ ルタの繰り返しパターンでフィルタリングされ得る。 ＲＧＢストライプカラーフィルタアレイセンサにおいて、１つの赤画素から次 の赤画素までの距離は、ストライプの方向に直交する方向に３つの画素であり、 １つの赤画素から次の赤画素までの距離は、ストライプの方向に沿った方向に１ つの画素である。従って、赤におけるサンプリング周波数は、ストライプの方向 に直交する方向にカラーフィルタアレイを有さない同じセンサの単色サンプリン グ周波数の３分の１であり、ストライプの方向に沿った方向における単色サンプ リング周波数と等しい。これはまた、緑および青信号にも当てはまる。 連続した空間信号は、すべての色において同等にアンチエイリアシングのため にプレフィルタリングされなければならず、ストライプに直交する方向において は、同じセンサを用いる単色システムに対して必要とされるよりもさらにプレフ ィルタリングされなければならないが、ストライプの方向に沿った方向では、単 色の場合の制約に従った様式でプレフィルタリングされ得る。 異方性に光学信号をプレフィルタリングするために、いくつかの方向のそれぞ れにおいて異なるぼやけ特性の性質を有する光学素子が光学路に挿入され得るこ とは当該技術分野において周知である。水晶プレートなどの複屈折材料は、当該 技術分野では、この目的でうまく使用されている。なぜなら、これらの材料は、 プレートの厚さに関連するスポット間の距離および偏光の正常な方向と異常な方 向との間の屈折率の差によって、１つの方向に最小のぼやけおよび直交する方向 に２スポットぼやけを示すからである。２スポットぼやけの性質を用いて、連続 した空間光信号は分割され、半分は、予想可能な距離だけ１方向にシフトされ、 元の光信号の他の半分と重ねられる。このように、１シーンにおける単一のスポ ットの画像は、既知の距離だけ分離した２つのスポットを含む。 ３色ストライプフィルタアレイの場合、水晶の厚さは、重畳画像のシフトの距 離が、カラートライアド（triad）の距離の半分になるように設定される。この ように、画像は複製され、１．５画素だけシフトされ、トライアド周波数におけ る連続した光学信号においては、すべての周波数成分（frequency content）を 効果的に相殺し、トライアド周波数付近の光学信号においては、周波数成分を減 衰し、トライアド周波数から離れた信号においては、周波数成分を実質的に送信 する。これによって、特に不快なカラーサブサンプリングアーチファクトの確率 および大きさ、即ち、カラーサブサンプリングによってエイリアシングされるト ライアド周波数付近の周波数におけるシーンの画像における周期的な明るさ変動 が、低周波数色変調として減少する。上記の１次元光学アンチエイリアシングプ レフィルタリングは、カラーストリップの方向に直交する方向に電子スチールカ メラの周波数応答を必然的に減少させ、その結果、システムのシャープネスは、 その方向に減少する。 従来のＣＣＤの画素は正方形状である。正方形画素を有するＣＣＤの３色スト ライプカラーフィルタアレイおよび２スポット光学アンチエイリアシングフィル タの場合、ストライプ方向および直交方向における周波数応答は、バランスがと れていない。さらに、各画像感知素子は、１つの照明色しか検出することができ ないため、その画素感知素子によって検出されない他の色に関する色情報は、挿 入（fill in）されなければならない。欠けている色情報の挿入は、一般に、各 色に対して検出された画像データを補間し、各画像感知素子についてすべての色 のカラー値を決定することによって成し遂げられる。 ストライプカラーフィルタによる２スポットアンチエイリアシングは、周期的 な明るさ変動からのカラーエイリアシングを最小限にするが、鮮明なエッジなど のシーンにおける周期的な明るさ構造からのカラーフリンジアーチファクトを最 小限にはしない。従来のタイプの補間は、鮮明なエッジ付近に不快なカラーフリ ンジアーチファクトを有する画像を提供し得る。この問題を解決する従来の解決 法は、単色および周期的なカラーエイリアシングを緩和するために必要な量を越 えてサンプリングする前に画像をぼやけさせることによって、画像のシャープネ スを犠牲にしてカラーフリンジを防止することである。さらに、欠けた色を補間 する従来の方法では、各画素におけるシーンの詳細は、各画素位置における各色 のなんらかの重みづけ、即ち、単一の元のカラーサンプルおよび２つの補間され たカラーサンプルから再構築される。補間のプロセスは、隣接プロセスであるの で、補間されたカラー値は、補間元の画素からの空間情報を有する。これは、実 質的には、再構築された画像の詳細に写される（carried into）ぼやけ作用であ る。 本明細書でそれぞれ参考のために援用した、１９８７年５月５日付けで発行さ れ、同一譲受人に譲渡された特許第４、６６３、６５５号、１９８８年９月２７ 日付けで発行され、同一譲受人に譲渡された特許第４、７７４、５６５号、およ び１９８８年２月８日付けで発行され、同一譲受人に譲渡された特許第４、７２ ４、３９５号（すべてのＷｉｌｌｉａｍ Ｔ．Ｆｒｅｅｍａｎの特許）には、シ ーンにおける鮮明なエッジの遷移に起因するカラーフリンジアーチファクトをさ らなる光学アンチエイリアシングプレフィルタリングを必要とせずに除去する改 良された技術が記載されている。欠けた色を補間するためのこの改良された技術 の効果は、サンプリング画素の色に関係なく、各画素位置における元のカラー画 素からそのままシーンを再生する際の画像詳細を提供することである。欠けた色 を補間することによって、さらにぼやけがでることはない。 欠けた色を補間するための改良された技術では、電子スチールカメラの周波数 応答は、サンプリング画素の色に関係なく、システムの素子の配列によって示さ れ得る。電子スチールカメラの周波数応答を光学素子の配列によって示す能力お よびカラーサブサンプリングアーチファクトを防止および抑制する能力で、ＣＣ Ｄを製造し、カラーアーチファクトが減少し、ストライプ方向および直交方向に おいてバランスのとれた改良されたシャープネスを有する画像を再生する電子ス チールカメラをそのＣＣＤから製造することが所望される。 要旨 画像センサ、電子スチールカメラ、およびカラーアーチファクトが減少し、３ 色の複数の画像信号によって示される処理画像を形成するための、画像センサお よび電子スチールカメラに関連した画像処理方法を提供する方法が開示される。 この方法は、電子スチールカメラにおいて有用であり、カラーサブサンプリング 様式でシーンの画像をサンプリングする工程と、カラーサブサンプリングされた 画素値を処理することによってシーンの改良されたフルカラー画像を構築する工 程とを包含する。本発明は、ストライプカラーフィルタアレイおよび二重解像度 再構築に関連して、２つの直交サンプリング方向のそれぞれにおいてバランスの とれたシャープネスを得るために画素の配列を最適化することを含む。 例えば、従来のＣＣＤは、色をフィルタリングするためにＣＣＤ上に重ねられ たカラーストライプで構成され、それによって、個々の画素を１つの色のみに関 連させていた。これらの個々の画素はカラー面に分割されるので、カラーＲＧＢ ストライプがＣＣＤで用いられる場合、各個別の色に関連する画素は、赤色面、 緑色面、および青色面に分割され得る。 これらの色が分離されると、前の色が以前にあった場所に空間ができる。即ち 、赤色面では、以前は緑および青が存在していなければならなかった画素位置に 空間が残される。従って、次の工程は、分離工程によって空間が残された画像信 号位置に対応するカラー面のそれぞれに補間画像信号を挿入することである。こ れで、画像の各カラー位置にトリプレット（triplet）が形成される。以前、単 一の画素位置は、１つの色（例えば、赤）に関する情報しが含んでいないが、現 在、補間データでは、各画素位置は、関連するＲＧＢ情報を有する。 次に、各画素位置において、ＲＧＢトリプレット内の１つのチャネルと第２の チャネル、および第１のチャネルと第３のチャネルとの差を示す２つの差信号が 形成される。ＲＧＢを用いる上記の例において、これらの差信号は、赤、緑、ま たは青の任意の組合せであり得る。但し、これらの３色から、２つの異なる差信 号が形成されなければならない。好ましい実施態様において、Ｒ−ＧおよびＢ− Ｇが用いられる。次に、差信号は、カラーアーチファクトを実質的に減少または 除去するメジアンフィルタを用いてフィルタリングされる。 次に、画像は、元の画像信号およびフィルタリングされた差信号から再構築さ れ、詳細を実質的に保存し、カラーアーチファクトを減少した処理画像を形成す る。このように線形補間されたＲＧＢトリプレットから形成される改良されたＲ ＧＢトリプレットは、元の信号カラー画素と同一の画素配列を有する。長方形の 画素配列の場合、正方形のラスタ上に画像を形成する表示装置と共に用いるには 、正方形の画素を製造するなんらかの方法が用いられなければならない。 アスペクト比が２（すなわち、高さが幅の２倍）の長方形画素の場合には、本 発明は、表示用正方形画素の製造が容易であるデュアル解像度モードを提供する 。一つの解像度モードでは、本来の単一カラー長方形画素の半分の数の正方形画 素ＲＧＢトリプレットが形成されるように、隣接する画素対は、各カラー面内の 長方形画素の長軸に対して垂直の方向に平均化される。一方、第２の解像度モー ド では、本来の単一カラー長方形画素の２倍の数の正方形画素ＲＧＢトリプレット が形成されるように、新しいＲＧＢトリプレットが、長方形画素の長軸に平行な 方向に補間によって挿入される。高さが幅の２倍以外のアスペクト比の長方形画 素の場合には、多重解像度モードは、もっと複雑なダウンサンプリングおよびア ップサンプリング方法によりサポートされ得る。 改良されたカラー再構成法は、カラーに関係なく本来の画素によって感知され る急激な明るさの転移を、再構成された欠カラー画素値に注入することによって 、画像の詳細を保存する。この特性により、カラーサブサンプリングに関連する ぼやけが、電子静止カメラの光素子のジオメトリに関連するぼやけ、および長方 形画素から正方形画素を形成することに関連するぼやけへと縮小する。本発明で は、画素ジオメトリは、他の光素子の関連するぼやけ関数が与えられる場合には 各サンプリング方向のシャープネスの均衡化、ならびにシステムの周波数応答の 分析および人間の視覚系の周波数応答特性を考慮に入れるメリット値によるシャ ープネスの数量化による画像処理に対して最適化される。 別の局面では、本発明は、上述の装置による方法を提供する。本発明の上述の および他の局面は、図面においておよび以下の記述において明らかである。 図面の簡単な説明 本発明の様々な特徴は、添付の図面と共に読むことによって以下の記述により さらに十分に理解され得る。図面において、 図１Ａおよび図１Ｂはそれぞれ、ＣＣＤに見られる画素位置および１つの代表 的な例を示す。 図２Ａおよび図２Ｂはそれぞれ、線形補間が行われた後の図１Ａの画素位置お よび図１Ｂを示す。 図３は、メジアンフィルタリング中の図１Ｂおよび図２Ｂの代表的な例を示す 。 図４は、図３の例にメジアンフィルタリングを行った結果を示す。 図５は、図４の画素の再構成を示す。 図６Ａ、図６Ｂ、および図６Ｃはそれぞれ、カラー差信号のメジアンフィルタ リング後に再構成された画素値、長方形画素の長軸に対して垂直の方向に平均化 された後の画素値、および長方形画素の長軸に沿った補間後の画素値を示す。 図７は、人間の視覚系の周波数応答の特性を示す。 図８は、電子静止カメラの光素子の周波数応答の特性を示す。 図９は、長方形画素から正方形画素を形成することに関連する画像処理の周波 数応答の特性を示す。 図１０は、シャープネスメリット値と画素ジオメトリとの関係の代表的な例を 示す。 詳細な説明 本発明は、例えばビデオカメラなどの広範囲の撮像装置内で有用であり、いく つかの異なる形態で具現化され得るが、電子静止カメラに関連して用いられると 有利である。これが本好適な実施形態を構成し、このように記述されるが、本実 施形態は例示的なものであり、本発明を制約するものではないと見なされるべき である。 前述のように、従来の電子撮像カメラは、二次元配列に配置された所定数の個 別の画像感知素子すなわち画素を含む画像感知配列を用いることによってカラー 画像を記録するものであり、画像感知素子は入射照明に応答して、入射照明の強 度に対応する電子情報信号を提供する。このような画像感知配列は、フレーム転 送タイプのＣＣＤを含み得る。画像感知配列にわたって既知のパターンで配置さ れた様々な異なる画像感知素子群が着色照射に対してそれぞれ異なる波長を受け 取るように画像感知配列に入射する照明をフィルタリングすることによって、単 一の二次元ＣＣＤ配列を用いてカラー画像を感知することはよく知られている。 従って、照明の各カラーは、各画像感知素子群によってサンプリングされ、その 後補間されて他の画像感知素子群に対応するカラー値を提供する。従って、フル カラー画像は、様々な異なる画像感知素子すなわち画素群間で概算または補間さ れ、これにより各画像感知素子すなわち画素に対してすべてのカラーが充填され る。従来のタイプの補間では、画像に、鋭角エッジ近くのカラーフリンジなどの 好ましくないエイリアシング人工産物が生じる。従来の補間方法を用いて対象物 の画像を再構成するとき記録されるサンプルの鋭角エッジがどのようにカラーフ リンジを生成するかについての例を以下により詳細に述べる。 前述のように、典型的なＣＣＤ配置は上部にカラーフィルタストライプを含み 、個々の画素ストライプが単一のカラーに対する光強度を測定する。図１Ａは、 カラーストライプを用いる典型的なＣＣＤ配置を示し、個々の画素は赤色、緑色 、および青色を表すＲ、Ｇ、またはＢによって示される。各色に関連する数字表 示、すなわちＲ₁、Ｇ₁、およびＢ₁をまとめて１つのトリプレットと呼ぶ。 本発明を例示するために、各ステップに対して１つの例を示す。この例は、先 鋭な白−黒転移などの先鋭なコントラストを有する画像である。この例は図１Ｂ から始まる。図１Ｂでは、画像の白−黒転移に対して光強度レベルが図式的に示 される。図１Ｂにおいて、実線は、サンプリング前のシーンの本来の連続画像で のエッジ転移を表し、丸印は本来の赤サンプルを、三角印は本来の緑サンプルを 、そして四角印は本来の青サンプルを表す。同図から、本来の連続画像では転移 中の降下は実質的に垂直であることが分かり得る。これは先鋭な転移を示す。降 下における傾斜は、もっと緩慢でシャープネスの低い転移を示し得る。 図２Ａは再び図１Ａの画素の画素レイアウトを示すが、ここでは画素は補間ス テップを経ている。本好適な実施形態では、これは線形補間である。これについ ては後により詳しく述べる。ここでは、大文字は本来の生データを表し、小文字 は補間データを表す。従って、Ｒ₁とＲ₂との間に補間されたカラーは、ｒ₁’お よびｒ₁”として表される。線形補間を用いると、ｒ₁’はＲ₁の強度の２／３を 含み、Ｒ₂の強度の１／３を含む。同様に、ｒ₁”はＲ₁の強度の１／３を含み、 Ｒ₂の強度の２／３を含む。赤、緑、および青に対して全体にわたって値を線形 補間することによって、カラーは３つのカラー面に分割され得、この結果、以前 は各位置に対して１つのカラーの生データしか存在していなかった個々の画素位 置に対してトリプレットが存在する。 この例について続けると、図２Ｂは、図１Ｂに示した白−黒転移に線形補間を 行うステップを示す。図１Ｂに示したように、線は線形補間の経路を示し、丸印 、三角印、および四角印はそれぞれ本来の赤、緑、および青サンプルを表し、× は補間された値を表す。図２Ｂは、補間によって以前に画像内に見られた先鋭な 転移が補間によって如何にぼやける傾向にあるかを示す。ここで、鎖線は赤、点 線 は緑、および実線は青を表す。線の傾斜はシャープネスがより低い転移、従って 画像がぼやけることを示す。図２Ｂはまた、補間が如何にカラーフリンジ人工産 物を生成する傾向にあるかを示す。本来の白−黒転移では、赤、緑、および青の 強度は同じ空間位置で転移したが、図２Ｂから分かり得るように、補間後の赤信 号は、緑の前に転移を開始し、緑は青の前に転移を開始する。図２Ｂで表される データから再構成される画像は、顕著な白−シアン−紫−青−黒のカラーフリン ジを示し得る。 次のステップは、各位置で２つの異なる信号を生成することである。シーン内 の白−黒転移でのカラーフリンジ人工産物、これに続くカラー面内の補間は、カ ラー差信号の突然の立ち上がり、これに続く対応する突然の立ち下がりとして、 または突然の立ち下がり、これに続く突然の立ち上がりとして現れ得る。１つの カラーから異なるカラーへの変化を表すのは、好ましくないカラーフリンジを特 徴付けるカラー間の差のこの急激な増加および減少であり、単にカラー間の差の 突然の上昇のみではない。従って、実際のシーンにこのようなカラースパイク(c olor spike)が生成されることはありそうもなく、選択された補間法の結果とし てこのようなカラースパイクが生成されることは望ましくない。 図３は上記のカラースパイクを示す。本好適な実施形態では、赤の強度から緑 の強度を差し引き、また青の強度から緑の強度を差し引くことによって、すなわ ち、Ｒ−ＧおよびＢ−Ｇによって差信号が得られる。差信号を決定するカラーの 実際の選択は幾分かは任意であることは当業者であれば理解され得る。選択後に 一貫性を維持することが最も重要である。従って、本発明を損なうことなく他の カラー差信号が選択され得る。図３（ｉ）は、図２Ｂに示す信号に対してＲ−Ｇ の差信号の結果を図式的に示す。図３（ｉｉｉ）はＢ−Ｇを図式的に示す。 現在では様々な方法を用いてカラー収差を除去することができる。本好適な実 施形態では、前述し本明細書において参考として援用されているメジアンフィル タのようなメジアンフィルタが用いられる。簡潔に述べれば、メジアンフィルタ は、図３（ｉｉ）に示すような一連の画素をとり、フィルタ領域の中心の画素値 をその領域内のすべての画素の中間値に置き換える。様々な画素数が用いられ得 るが、本好適な実施形態では、メジアンフィルタは９個の画素を用い、これら９ 個の画素の中間値を返す。従って、フィルタが信号にわたって水平方向に働くと き、スパイクがフィルタ長の半分より長くなければ、信号内のスパイクは実質的 に除去されることが分かり得る。 図４に、メジアンフィルタを差分信号に対して通過させた結果を示す。図４(i )は図３(i)に示すＲ−Ｇ差分信号に対応し、図４(ii)は図３(iii)に示すＢ−Ｇ 差分信号に対応する。これらの信号をここではそれぞれ（Ｒ−Ｇ）’および（Ｂ −Ｇ）’と呼びことができる。差分は平坦になっており、色遷移前、色遷移中、 および色遷移後において、再構築された色はお互いに対して実質的に一定に維持 されている。この例として再度図１Ｂを参照する。 図５に次のステップを示す。このステップにおいて、元の原ＲＧＢデータおよ びフィタリングされた（Ｒ−Ｇ）’および（Ｂ−Ｇ）’から画素が再構築される 。以下の関係式を用いて色を復元する： R＠R=R R＠G=G+(R-G)' R＠B=B-(B-G')+(R-G)' G＠R=R-(R-G)' G＠G=G G＠B=B-(B-G)' B＠R=R-(R-G)'+(B-G)' B＠G=G+(B-G)' B＠B=B これらの関係式は、元のサンプル値を保存し、かつ全画素においてその元の色 に関わらず細部を抽出する特性を示している。細部抽出特性は、色差分信号にお ける急なスパイクを除去し（局所的な同色状態を実質的に起こす）、元のサンプ ル画素値がエッジ遷移に応じて変化するような鋭いエッジ遷移の領域においては 、再構築される失われた色の値は元の値に従うようになる。この特性により、細 部情報は３つ全てのチャネルに注入される。 図５は再構築を示しており、色間の遷移を示す対角線（シャープネスの逸失お よびカラーフリンジ（color fringing）を表す）のかわりに、遷移ポイントにお いて赤を示す丸印と、緑を示す三角印と、青を示す四角印とが実質的に同じ位置 に位置しており、シャープネスが保持されカラーフリンジが回避されている。大 部分の市販ＣＲＴおよび大部分の市販プリンタ上において得られた画像を表示す るために、正方画素を次に得なければならない。多くのＣＣＤそして特に好適な 実施態様のＣＣＤは、アスペクト比２：１の矩形の画素を有するため、この問題 を解決する１つの方法は、２つの隣接する画素、例えばＲ１およびｒ1’を平均 することにより、１個の正方画素をその位置に形成することである。図６Ａに、 元のサンプル色値およびメジアンフィルタリングされた色差分信号からの再構築 後の、アスペクト比２：１の矩形の画素を有するＲＧＢストライプ状センサから 得られた画素値を示す。 図６Ｂは、隣接する値を平均した後の正方グリッド上の画素値を示す。これは 例えば100万個の画素を有する画像解像度を必要とし50万個の３色画素を有する ユーザであれば表示することが可能な画像を、作成する。好適な実施態様におい て、正方画素を作成する別法をオプションとして用いる。すなわち、水平方向に 平均するかわりに、図６Ｃに示すように画素を垂直に補間する。 図６Ｃ(i)において、ＲＧＢデータの元のラインを示し、図６Ｃ(iii)において ＲＧＢデータの第２のラインを示す。この２つが、ＲＧＢデータの補間されたラ インを表す図６Ｃ(ii)によって分離されている。これらのライン間の補間は最隣 接補間（nearest neighbor interpolation）のような単純なものであってもよい 。これは要するに、前のラインを複製することによって新しいラインを作成する ものである。好適な方法としては、線形補間、複立方たたみ込み補間（bi-cubic convolution interpolation）、またはフーリエ変換、ＤＣＴ変換、ウェーブレ ット変換などの周波数空間補間が含まれる。 図６Ｃ(ii)に示す補間されたラインは、追加的に表示に供し得る画素を作成す る。従って、上記の100万個の画素の例においては、200万個数の３色画素が利用 可能になる。すなわち、色再構築された画像が1600×600×３であれば（「３」 は３色平面を表す）、補間により1600×1200×３個の画素が利用可能になる。 従来技術の正方画素から始まり正方画素に終わる方法とは対照的に、本発明の 方法は、それ自体正方画素が得られるものではない。画素寸法は実際には変更さ れていない。本方法が成立するのは、出力装置は装置に入力されてくる画素の寸 法を実際には知らず、電子信号に従って表示を行っているだけだからである。従 って、矩形画素は、矩形画素間の遷移部分となる色情報を有する補間ラインによ って隔てられた状態、あるいは平均によって実効的に正方形に形成された状態で 表示される。これにより、本来発生したであろう歪みが除去され、正方画素寸法 を有する状態をシミュレートする。 図７は、通常の印刷物観察距離における、人間の視覚系の相対周波数応答の特 性を示している。この特性は、視覚弦（visual subtense）の１度毎における、 様々な周波数のサイクルの周期的な明格子（periodic lightness gratings）に 対する被験者の応答の心理視覚的（psychovisual）研究から得られたものである 。電子スチールカメラにおけるセンサの画素寸法の最適化のための使用のために 、通常の12インチの印刷物観察距離を考慮し、周波数をサイクル／ミリメートル として表している。人間の視覚系の相対周波数応答の、サイクル／視覚弦（visu al subtense）の１度単位で表した特性は、以下の式で与えられる： 観察距離Ｄ（インチ）が与えられたときのサイクル／視覚弦の１度単位とサイ クル／ミリメートルの関係は、以下の式で与えられる： 一般に、電子スチールカメラでキャプチャされた光景の画像の空間的再生には 、拡大が含まれるということが言える。センサは概して、ＣＲＴディスプレイや 電子スチールカメラでキャプチャされた画像の印刷物(prlnt renderings)に比較 してずっと小さい。実効シャープネス値(sharpness figure of merit)の計算の ためのそのようなシステム（人間の視覚系の応答を含む）の要素の周波数応答の 特性は、名目的な拡大係数を必然的に包含する。 図８は、代表的な拡大係数として「１０」を想定した場合の、代表的なレンズ 、画素、およびアンチエイリアシングフィルタの、印刷参照(print referred)サ イクル／ミリメートル単位による周波数応答を示している。代表的な周波数応答 は以下の式で与えられる： 上式においてＬ(f)は、拡大Ｍおよび固有ぼけ距離(characterstic blur distanc e)ｂのときの、センサ平面におけるサイクル／ミリメートル単位でのレンズ周波 数応答ｆである。Ｐ(f)は、Ｍおよびセンサ画素幅ｐのときの画素応答である。 ＡＡ(f)はＭかつセンサ平面における２点分離距離ａａのときの、アンチエイリ アシング応答である。図８における代表例において、Ｍ＝１０、ｂ＝0.01ｍｍ、 ｐ＝0.006ｍｍ，ａａ＝0.009ｍｍである。 好適な実施態様においてセンサは、アスペクト比２：１（高さ：幅）の矩形画 素および、画素の主軸に沿って方向付けられたストライプ状のカラーフィルタを 有するように製造される。色アーチファクトを減少させる一方で最大かつバラン スのとれたシャープネスのために最適化されたこの設計により、便利なデュアル 解像度モードが可能になる。前述のように、正方形のラスタを有する装置におけ る表示に適した画素値を形成するためのプロセスは、矩形画素の主軸に垂直な方 向（以下水平方向と呼ぶ）において画素値の数を２分の１に減少させることか、 または、矩形画素の主軸方向（以下垂直方向と呼ぶ）に沿った方向において画素 値の数を２倍に増やすことを包含する。当業者であればたたみ込み系の方法およ び周波数系の方法を含む多くの再サンプリング方法が存在することを理解するで あろう。しかし説明のために、ペア水平隣接平均、およびペア垂直線形補間を例 として挙げる。また当業者であれば、本発明の趣旨から逸脱することなく２：１ 以外のアスペクト比、および２または１／２以外の対応する再サンプリング係数 を用い得ることを理解するであろう。 図９は、水平平均および垂直補間における周波数応答を示しており、代表的な 寸法として、水平平均についてはＭ＝１０およびｐ＝0.006ｍｍを想定し、垂直 補間についてはｐ＝0.012ｍｍを想定している。代表的な周波数応答は以下の式 によって与えられる： 上式において、水平平均周波数応答Ａｖ(f)は、0.5面積にスケール化した、セン サ平面において１画素離れた２つのデルタ関数のフーリエ変換である。これは、 ペア平均プロセスの周波数応答のモデルとなっている。固定アップサンプリング 係数＝２についての線形補間のモデルは、原点を中心とする単位デルタ関数の変 換値の半分（データのラインは１ラインおきに未変更であるため）プラス、セン サ平面において１画素離れた一対のスケール化デルタ関数の変換値の半分（各補 間されたラインは隣接ラインの等しい部分から形成されるため）によって与えら れる。Ｉ(f)はこの代表的な補間における対応する周波数応答である。 電子スチールカメラの構成要素の周波数応答を分析することにより、要素の応 答を周波数単位でカスケードすることによる、システムの特性の便利な性質を得 ることが可能になる。すなわち、単一の周波数における最終的なシステム応答は 、要素の応答を同じ周波数における他の要素の応答と各々積算することによって 与えられる。このプロセスを問題とする各周波数について繰り返す。 シャープネスを評価するために、人間の視覚系の特性を考察する。画像ングシ ステムの周波数応答におけるシャープネス実効値は、当該分野において周知であ る。例えば、ＣＭＴ尖鋭度(acutance)、ＡＭＴ尖鋭度、およびＳＱＦに関して広 範な文献が発表されている。図１０の代表例において用いられる実効シャープネ ス値を以下に示す：Ｒ(f)は最終的なシステム応答であり、ｆの単位はサイクル／ミリメートルであ る。実効値の積分の限界は、図７に示す最大視覚感度の範囲にわたる。 図１０は、両解像度の場合における水平および垂直方向におけるシャープネス Ｓと画素寸法との関係を示す。図１０において、２点アンチエイリアシングを有 するＲＧＢストライプ状のカラーフィルタ、メジアンフィルタ色復元およびデュ アル解像度能力を備えた好適な実施態様において、水平方向および垂直方向のシ ャープネスが最も矩形画素に近くバランスしていることがわかる。さらに、２： １よりもわずかに大きなアスペクト比における水平平均の場合、および２：１よ りもわずかに小さいアスペクト比における垂直補間の場合においてバランスが取 れていることがわかる。好適な実施態様において、センサ画素のアスペクト比は ２：１であることにより、各解像度モードにおいてバランスが実質的に達成され るようにする。 本発明は、その趣旨あるいは本質的特徴から逸脱することなく、他の特定の形 態において実施することが可能である。上記実施態様は従って、あらゆる意味に おいて例示的なものであって限定的なものではないと考えられるべきであり、発 明の範囲は上記説明ではなく付属の請求項によって示されているのであり、請求 項の意味および等価範囲に存する全ての変更は従ってその範疇に包含されること が意図されている。

Claims (1)

1. 【特許請求の範囲】 排他的な所有権または特権を請求する本発明の実施形態は、以下の通りに規定 される。 １．画素の二次元的なマトリクスを備えた単一の画像検出器を有する画像捕捉装 置によって捉えられた画像を処理して、色彩が減損したアーチファクトを有する 処理された画像を形成する方法であって、 単一の色彩測定が各画素に知らされるように、色彩をサブサンプリングする方 法で画像をサンプリングするステップと、 色彩をサブサンプリングした画素の値を処理し、画素位置のそれぞれにおいて 複数の色彩値を生成することによって、シーンのフルカラー画像を構成するステ ップと を包含する、方法。 ２．前記フルカラー画像を構成するステップが、色彩とは無関係に前記各画素に よって感知された急激な明度変化を導入し、欠けた色彩画素値を再現するステッ プを包含する、請求項１に記載の方法。 ３．前記画素が実質的に矩形のジオメトリを有し、前記複数の色彩値のそれぞれ に関する補間画素の少なくとも１本の線を、前記画素の一対の線の間に補間する ステップをさらに包含する、請求項１に記載の方法。 ４．前記補間ステップが出力装置用の実質的に正方形の画素を形成する、請求項 ３に記載の方法。 ５．前記補間ステップが前記画像捕捉装置において高解像度モードを規定する、 請求項３に記載の方法。 ６．前記画素が実質的に矩形のジオメトリを有し、前記複数の色彩値のそれぞれ に関する隣接する画素を平均化するステップをさらに包含する、請求項１に記載 の方法。 ７．前記平均化ステップが出力装置用の実質的に正方形の画素を形成する、請求 項６に記載の方法。 ８．前記平均化ステップが前記画像捕捉装置において低解像度モードを規定する 、請求項６に記載の方法。 ９．対象を撮影する電子スチールカメラであって、センサの作動によって該カメ ラが対象の画像を電子的に捉えるように、該カメラ内部に対象に光学的に整合し て配置されたセンサを有し、該センサが、シャープネスを２つの直交するサンプ リング方向で平衡させるように最適化された画素の二次元的なマトリクスを有す る、電子スチールカメラ。 １０．前記画素のそれぞれが実質的に矩形のジオメトリを有する、請求項９に記 載の電子スチールカメラ。 １１．前記実質的に矩形のジオメトリが約２：１の縦横比を有する、請求項１０ に記載の電子スチールカメラ。 １２．前記画素の二次元的なマトリクスが、実質的に平行な垂直方向の列に方向 づけられ、該実質的に平行な垂直方向の列がカラーフィルタに対してオーバレイ されており、該カラーフィルタおよび前記電子スチールカメラのその他の光学的 要素が関連するぼやけ機能を有する、請求項９に記載の電子スチールカメラ。 １３．前記センサ内の前記画素のジオメトリが、前記ぼやけ機能を与えられた各 サンプリング方向において平衡したシャープネス用に最適化される、請求項１２ に記載の電子スチールカメラ。 １４．前記画素のジオメトリが、前記電子スチールカメラの周波数応答の分析と 、人間の視覚系の周波数応答特性を考慮する実効値によるシャープネスの量子化 とによって、さらに最適化される、請求項１３に記載の電子スチールカメラ。 １５．非正方形画素のラスタを、正方形画素を有する表示部上に結像する方法で あって、 該非正方形画素のラスタを計算し、それにより該非正方形画素の連続的な列を 生成するステップと、 該非正方形画素の間に変化を起こす色彩情報を搬送する、該非正方形画素の連 続的な列のそれぞれの間に補間線を補間するステップと、 該非正方形画素の連続的な列のそれぞれの間に該補間線を挿入して、改変した ラスタを発生させるステップと、 該改変したラスタを該表示部に伝達するステップと を包含する、方法。 １６．前記ラスタを計算するステップが、前記各非正方形画素によって感知され た急激な明度変化を導入し、欠けた色彩画素値を再現するステップを包含する、 請求項１５に記載の方法。 １７．前記非正方形画素が実質的に矩形のジオメトリを有する、請求項１５に記 載の方法。