JP2017016103A - 適応性オートフォーカスシステム - Google Patents

Abstract

【課題】本発明は、オートフォーカスセンサとして単一の２次元（２Ｄ）イメージセンサを用いる位相検出オートフォーカスシステムに関する。
【解決手段】これによって、オートフォーカス収集区域の画素の適応的な選択、種々のシーン及び照明条件に対する収集区域の動的な最適化並びに相互相関での２Ｄ位相信号の使用による較正のような複数の新規の機能を可能にする。このようなどの画素を用いるかを選択する際の自由は、ユーザに提供される焦点についての同等の自由をもたらし、焦点を条件及びシーンに従って作成、移動及び調整することができる。
【選択図】図３

Description

本発明は、特に、デジタルスチルカメラで用いられる光学的なオートフォーカスシステム及び関連の方法並びにシステムを操作するコンピュータプログラムに関する。

図１Ａは、撮影レンズからの光束の対の焦点をマイクロレンズによってそれぞれ合わせる複数の線形センサ対を有する専用のセンサを有する位相検出オートフォーカス（ＰＤ ＡＦ）システム５を含む通常の一眼レフ（ＳＬＲ）カメラを示す。図１Ｂは、複数の個別の線形センサ（水平黒線及び垂直黒線）を有するそのようなオートフォーカスセンサチップの画像である。各光束は、典型的には複数のセンサをカバーし、各センサ対は、いわゆる焦点が合わせられ、そのような焦点の各々は、レンズ及び典型的にはイメージファインダに示されるような画像のフレームの特定の位置に対応する。数年の間に、広範囲に亘る種々の構造のオートフォーカスを向上させるために用いる交差型及び傾斜型のような更に向上したセンサ及びオートフォーカスポイントが、標準的なカメラに追加された。また、米国特許第６，２９７，９０９号のようにエリアセンサの光束を拡大することによって精度を向上させることが示唆されている。

最近の位相検出ＡＦシステムは、複数の欠点に悩まされている。

光学素子及びセンサは、正確な結果を取得するために高精度を要求し、かつ、製造工程中に適切に設置及び整列される必要がある。僅かな変位が生じたとしてもオートフォーカスがオフになる。カメラ製造業者は、検査及び品質保証プロセス中に個別のカメラに対してオートフォーカスの較正を行うことができる高精度の較正システムを有する。正確な較正が行われたときでさえも、精度は、温度変化によって低下する。

低照度時において、センサからの読出しの際の信号対雑音比は小さくなり、位相信号間の比較が困難かつ低速になる。

交差型のオートフォーカスポイントは、水平構造及び垂直構造の正確なオートフォーカスを提供する。しかしながら、例えば４５°に向いた構造は、交差する垂直ラインセンサ及び水平ラインセンサの両方においてスミアアウトされ、その結果、精度が低下する。一部のカメラは、傾斜構造に対する特殊なオートフォーカスポイントを有するが、フレームの各領域が一つのオートフォーカスポイントのみによってカバーされているので、焦点を合わす特定の構造がこの構造の形状及び向きに適切なオートフォーカスポイントに重ならないことがある。

近年、撮像センサを位相検出ＡＦとコントラスト検出ＡＦの両方に用いることができるように組み込まれた位相検出画素を有するセンサが、特に、キャノンによって導入された。例えば、国際公開第２０１０／１０１０９６号参照。これらは、典型的には、デュアルピクセルＣＭＯＳ ＡＦ又はハイブリッドＣＭＯＳ ＡＦと称され、ライブビュー及びビデオモード中にオートフォーカスを向上させるために一部のＤＳＬＲカメラで用いられている。そのようなＳＤＬＲカメラは、他のモードで用いられるミラーの下に配置された個別の位相検出ＡＦモジュールも有する。

最近の約６年の間に、いわゆるコンパクトシステムカメラＣＳＣ（又はミラーレスカメラ若しくは電子ファインダー交換式レンズ（ＥＶＩＬ））が導入された。これらはミラーを有しないので、これらは、通常の個別の位相検出ＡＦモジュールを用いることができない。更に向上したＣＳＣは、位相検出ＡＦを行うためにデュアルピクセルＣＭＯＳ ＡＦ又はハイブリッドＣＭＯＳ ＡＦシステムを用いる。

デュアルピクセル又はハイブリッドＡＦシステムを有するＤＳＬＲ又はＣＳＣカメラは、ＤＳＬＲカメラの個別の位相検出ＡＦモジュールの代わりのものを提供せず、個別の位相検出ＡＦシステムを向上させる必要がある。

したがって、向上したオートフォーカスシステムは有利であり、特に、更に正確、柔軟性がある及び／又は信頼性があるオートフォーカスシステムは有利である。

本発明の他の目的は、従来のオートフォーカスセンサに代わるオートフォーカスセンサを提供することである。特に、上述した従来の問題を正確にかつ信頼性をもって解決する方法及び位相検出オートフォーカスシステムを提供することが本発明の目的として見てもよい。

したがって、上述した目的及び複数の他の目的は、第１の態様において、位相検出オートフォーカスシステムによりカメラの撮影レンズに対するフォーカス測定信号を生成する方法であって、撮影レンズからの少なくとも一つの対の光束の焦点をオートフォーカスセンサの照明領域の対応する対に合わせることと、フォーカス測定信号を生成するために照明領域から値を読み出すとともに照明領域の画素の値の間の相関分析を行うことと、を備え、オートフォーカスセンサは、カメラの撮影センサから分離した単一の高解像度各画素に関連の２次元ＣＭＯＳイメージセンサであり、イメージセンサは、光感応画素の連続的な２次元アレイを備え、各画素は、各画素に関連した光不感応記憶素子を有する方法を提供することによって発明の第１の態様において取得することを意図する。

第２の態様において、発明は、カメラの撮影レンズの焦点を検出する位相検出オートフォーカスシステムであって、少なくとも一つの対の光束の焦点をカメラの撮影センサから分離した単一の高解像度の２次元ＣＭＯＳイメージセンサの照明領域の対応する対に合わせる光学素子を備え、イメージセンサは、光感応画素の連続的な２次元アレイを備え、各画素は、各画素に関連した光不感応記憶素子を有する位相検出オートフォーカスシステムを提供する。

以下、複数の他の態様並びに好適な及び／又は任意的な特徴、要素、例及び実現を説明する。説明及び特許請求の範囲で用いられる用語及び概念を、解釈に導くために更に詳しく説明する。一実施の形態又は態様に関連して説明する特徴及び要素を、当業者の能力の範囲内で適用できるとともに正当に適合できる場合には他の実施の形態又は態様に組み合わせても適合してもよい。例えば、位相検出オートフォーカスシステムに関連して適用される構造的な特徴及び機能的な特徴を、正当な適合によりフォーカス測定信号を生成する方法に関連する特徴として用いてもよく、逆の場合も同じである。また、発明者によって実現される発明の基本的な機構の説明は、説明のために提示され、発明を推測するための事後的な分析に用いられるべきではない。

発明によれば、単一の連続する２Ｄアレイの画素を有する単一の２Ｄイメージセンサは、オートフォーカスセンサを構成する。これは、位相検出オートフォーカスで用いられる全ての光束からの焦点が同一の単一のセンサに合せられることを意味する。この新規であるとともに進歩性のある特徴は、少なくとも二つの個別のセンサが用いられるとともに各対の二つの光束の焦点をそれぞれ個別のセンサに合せることができる全ての従来の位相検出オートフォーカスシステムと大きく異なる。発明による単一の２Ｄイメージセンサの使用は、複数のラインセンサ又は二つのエリアセンサを含むシステムと比べると、
− 画素ごとの解像度に関する費用便益
− センサ間の取得の同期がないことに関する簡単化
− 更に小さいオートフォーカスユニットを提供する光学素子及びセンサの最小化された物理的寸法、
− 更に少ない電力消費
− １フレームのみを取得及び記憶すればよいために単一のデータを記録すること
− 更に少ない物理的なセンサのために更に簡単になる電子機器
のような複数の利点を提供する。

２Ｄイメージセンサは、好適には、高解像度センサであり、この文脈において、高解像度センサは、最少の画素を有する方向の少なくとも５００画素、例えば、好適には、最少の画素を有する方向の少なくとも８００又は１０００画素の解像度を意味する。好適な解像度すなわち画素数は、後に詳細に説明する多数の要因に依存する。また、センサは、好適には、ＣＭＯＳイメージセンサ又は他のタイプの能動画素センサである。

領域の画素の値の間の相関分析において、選択した画素の値は、時々従来の文献において位相信号と称される画素位置の関数としての画素値の曲線を生成するために用いられる。この曲線は、両方の領域のラインに対して生成され、曲線は、同一形状の特徴を識別するとともにこれらの相関位置を決定するために相関される。相関位置は、物体が焦点の前の位置と焦点の後ろの位置のいずれに存在するかを識別する。相関処理は、従来のオートフォーカスセンサのリニアセンサの対からの信号の比較と同様であってもよい。

この説明において、「画素」は、イメージセンサの光感応素子を示す。しかしながら、二つ以上の画素のサブセットを単一の画素として取り扱うために、しばしば、二つ以上の画素のサブセットが結合又は併合されるとともに値が加算及び正規化される。したがって、説明を通じて画素を言及するとき、単一の画素又は結合した画素のサブセットを意味する。したがって、異なるセットの画素を相関分析のために選択する全ての実施の形態において、各画素が二つ以上の隣接する画素を備える画素のサブセットであり、隣接する画素の値が相関分析で用いるために結合されるのが好ましい。また、そのような画素サブセットの画素は、所定の方向に沿って存在してもよく、そのサブセットの画素を有する異なるセットは、異なる方向に沿って存在する。さらに、画素サブセットが照明領域の間の方向に平行な方向に存在する又は「並ぶ」のが好ましい。これらの形態を、図７及び図８に関連して後に例示する。

単一の２Ｄイメージセンサをオートフォーカスセンサとして用いるとき、同一のイメージセンサの異なる領域からの位相信号が相関される。画素値の順次の読出しによって、異なる時間に記録される二つの位相信号が生じる。焦点が合わされた物体が移動する場合、この時間差によって、同一のシーンを表さない位相信号が生じ、フォーカス測定信号が不正確になる。したがって、各画素に関連した光不感応記憶素子は、値をすぐに読み出す必要なく全ての画素値を同時に記憶することができるように各画素値を局所的に記憶することができる。

画素に関連した光不感応記憶素子は、例えば、各画素に関連したフローティングディフュージョン及びトランジスタを含むことができ、これによって、各画素のフォトダイオードからの蓄積電荷（例えば、画素値）を転送及び格納することができる電荷蓄積を行う。これによって、全体のフレームを同一の瞬時に取得し、その後に順次に読み出すことができる。これらの記憶素子は、好適にはオンチップであり、これは、イメージセンサのフォトダイオード及び内部電子回路を保持するチップ（典型的にはＣＭＯＳ）に記憶素子が集積されることを意味する。

フォーカス測定信号は、二つの領域、特に、識別される形状又はパターンの相対位置からの選択した画素の相関によって生じた信号である。フォーカス測定信号は、物体が焦点を合わされているか、焦点の前の位置にあるか又は焦点の後ろの位置にあるかについての情報を含む。フォーカス測定信号を、例えば、レンズモータを制御するとともに焦点状態の情報をファインダーにおいて提供するのに用いることができる。

撮影レンズからの光は、複数のミラー、セパレータレンズを含むレンズ及びマスクを介してオートフォーカスセンサに導かれる。マスクは焦点外の光照射野に配置されるので、マスクは、照明領域を形成するためにオートフォーカスセンサに焦点が合わされる光束を作り出すよう所定の領域からの光のみが通過するようにレンズからの光を調和させる。換言すれば、照明領域は、光束の焦点内に存在する２Ｄイメージセンサの領域である。好適な実施の形態において、照明領域は、領域の一つ以上の形状に対する最密充填のパターンで配置され、又は、領域が異なる形状及び／又は寸法を有する場合、領域は、最適充填で配置される。代替的には、所定の形状の領域の寸法は、最密充填がセンサの画素の最大数をカバーするように調整される。例えば、照明領域が円形であるとともにセンサ又は領域の寸法に応じて六方充填（最密充填）又は四方充填（最適充填）で配置されるのが好ましい。他の例において、領域が六角形であるとともにハニカムパターンで充填されるのが好ましい。更に別の例において、領域がセンサ全体のほとんどをカバーできるような寸法及び縦横比を有する矩形であるのが好ましい。

従来のオートフォーカスセンサにおいて、典型的には各焦点に一つの線形センサのみが存在し、典型的な従来の線形センサは、約５０画素の長さである。本発明において、全体的な焦点がイメージセンサの連続的な２Ｄ画素アレイに合わされ、この照明領域の寸法は、４００×４００画素程度である。

第２の態様において、位相検出オートフォーカスシステムは、好適には、照明画素領域からの値をセンサから読み出す手段と、フォーカス測定信号を生成するために照明領域の画素の値の間の相関分析を行う評価ユニットと、を更に備える。

値を読み出す手段は、イメージセンサの全ての画素を読み出してもよい、又は、センサのタイプが許容する場合には、照明領域の画素のような選択した画素のみを指定するとともに読み出してもよい。

評価ユニットを、ソフトウェア、ハードウェア又はその組合せによって実現してもよい。ソフトウェアの実現は、メモリに記憶されるとともにカメラのＣＰＵによって実行されるアプリケーションであってもよい。ソフトウェアの実現は、バグを修正する又は新たなシステム要求を満たすためにソフトウェアを容易に更新することができるとともに新たな機能を追加することができるという利点を有する。ハードウェアの実現を、ＡＳＩＣ又はＦＰＧＡのような集積回路でコード化されるアルゴリズムとしてもよい。ハードウェアの実現は、分析を迅速に行うことができるという利点を有し、その結果、ユーザは、オートフォーカスシステムの不必要な遅延を体験しない。

従来のオートフォーカスシステムにおいて、撮影レンズからの光束の各焦点に存在する一つ以上の固定された個別の、典型的には、１次元センサが存在する。光をこれらの個別のセンサの画素の位置でしか取り出すことができない。

本発明において、オートフォーカスセンサは、連続的な２Ｄアレイの画素を有し、それは、センサ上の全ての光束の焦点（すなわち、全ての照明領域）が画素によって完全にカバーされていることを意味する。これは、好適な実施の形態において、相関分析で用いられる画素が照明領域から動的に及び／又は適応的に選択されるという利点を提供する。同様に、オートフォーカスシステムの評価ユニットは、相関分析で用いられる照明領域から画素を動的に及び／又は適応的に選択することができる。

これに関して、「動的に」は、「オンザフライで」実行すること又は事前にではなく（焦点を見つける）処理を実行する間に行う決定に基づいて実行することを意味する。また、これに関して、「適応的に」は、変形又は変更による特定の目的又は新たな要求若しくは条件に適切になることを意味する。例えば、較正を行わせるアセンブリ又はイベントの後のデフォルトとしてどの画素を用いるかを選択することによってオートフォーカスシステムを較正することは、画素の適応的な選択である。

従来のオートフォーカスシステムにおいて、焦点を形成するマイクロレンズが製造中に正確に整列されない場合又は衝撃若しくは大きい温度変動のために後にずれる場合、（一つ以上の）個別のセンサは、焦点に最適に存在せず、場合によっては、部分的に又は完全に焦点の外に存在する。これによって、オートフォーカスが不完全に実行される又は全く実行されない。

本発明において、照明領域の外側のセンサの領域も画素によって完全にカバーされるので、マイクロレンズのずれを、使用する画素の適応的な選択によって補償することができる。したがって、別の好適な実施の形態において、相関分析は、ターゲットを位相検出オートフォーカスシステムの視野に配置するステップ、位相検出オートフォーカスシステムとは異なる手段によりターゲットに焦点を合わせるステップ及び照明領域におけるターゲットの描写の間の変位を決定するステップを備える較正を更に備える。

後に更に詳細に説明するように、照明領域の間の方向に直交する方向の決定された変位の成分を決定し、相関分析で用いられる画素のセットを、この直交方向のこの成分に等しい変位を有するように選択するのが好ましい。

これは、カメラの任意の機械的な調整なく較正を自動的に行うことができるので有利である。別の利点は、較正をカメラそれ自体によって製造後にいつでも行うことができることである。

固定された個別の線形センサの代わりに２Ｄイメージセンサを用いることは、オートフォーカス収集区域の最適な対及び形状を動的に選択できるようにすることによりオートフォーカスシステムを動的に最適化する大きな自由を与える。オートフォーカス収集区域は、相関分析で用いられる画素のセット又は画素のサブセットである。用語「収集区域」及び「画素のセット」は、ほとんど同じ意味で用いられる。画素を、任意の方向、例えば、水平、垂直、斜め、場合によっては曲線及び領域の方向でイメージセンサ全体から選択することができ、したがって、固定されず、状況又は必要性及び画素が存在する照明領域の位置に従って指定することができる。

他の好適な実施の形態において、画素の選択は、第１のセットの画素を選択するとともに相関分析を行うことと、相関が不十分である場合には第２のセットの画素を選択するとともに相関分析を行うことと、を備える。これを、十分な相関結果の画素のセットが見つかるまで繰り返してもよい。

不十分な相関は、曲線の間の最適な整合（位置の関数としての画素値）が顕著な最大値を生じない相関である。そのような不十分な相関は、異なる状況の結果となることがある。画素の値が、曲線の間の変位を決定するのに用いることができる任意の顕著な構造又は変化を含まない場合、結果的に得られる相関は不十分又は無限になる。このような構造又は変化の欠如は、物体が光束の間の方向に垂直な方向において顕著な構造又は変化を有しないために生じることがある。

オートフォーカスシステムが物体の構造を識別しないので、オートフォーカスシステムは、領域からの複数対のオートフォーカス収集区域からの相関を取得し、最適な決定に到達するために相関結果を比較することができる。一つのオプションは、フォーカス測定信号を生成するために用いられる複数対の区域（例えば、隣接するライン又は傾斜と異なるライン）に重みを割り当てることである。したがって、代替的な実施の形態において、画素の選択は、領域の異なるセットの画素の値の間の相関分析を行うことと、相関を記録することと、フォーカス測定信号の生成に用いられる一つ以上のセットの画素を選択することと、を備える。

このようにして、複数のオートフォーカス収集区域を評価及び使用することができる。オートフォーカス収集区域を、例えば、シーンの傾斜した構造の良好な焦点検出のために、例えば、４５°に方向を定めることができ、交差パターンのオートフォーカス収集区域を、水平区域又は垂直区域に対して同時に＋４５°及び−４５°で確立することができる。

画素の動的な選択は、他の新規の機能を提供し、この場合、方法は、好適には、光条件に適合するために照明領域の各々の中の隣接する画素を結合することによって有効画素サイズを増大することと、領域の結合した画素の値の間の相関分析を行うことと、を備える。低照度の状況で更にロバストなオートフォーカスを行うための更に良好な信号対雑音比を取得するために、光条件に応じて、高解像度２Ｄセンサからの画素を併合することができるので、オートフォーカス画素サイズのこのような動的な変化は有利である。

オートフォーカスセンサとしての２Ｄイメージセンサの使用は、位相検出オートフォーカスのための全く新しいアプローチも提供する。他の実施の形態において、相関は、照明領域と各領域内の位置の間の変位の両方に存在するイメージパターンを決定する２次元相関である。

この場合、オートフォーカス収集区域は、２次元すなわち画素のエリアであり、位相検出は、標準的なＡＦ位相検出の１次元信号ではなく２次元の信号相関を用いる。２Ｄ収集区域を用いることは、線形的な収集区域よりも優れた複数の利点を提供する。任意の線形的なオートフォーカスは、関連のオートフォーカスポイントセンサに存在するあらゆる特徴の小片を確かめる。小片がほとんど変化することなく所定の方向に向く場合、相関は一般的には不十分となる。焦点が合わされた構造は、その向きに関係なく線形的な収集区域との良好な相関を可能にする任意の方向的な構造を有しないので、２Ｄ収集区域は有利である。２Ｄ相関において、二つの小さい画像セクションの間の相関がある全ての方向が同時に考慮される。これによって、更に高い精度を有する更にロバストなＡＤシステムとなる。

２Ｄ収集区域は、異なる寸法及び形状を有することがある。しかしながら、収集区域が有する縦横比が小さくなる（更に長くなる側／更に短くなる側）に従って、物体の任意の構造が有用な相関を可能にする方法で表される機会が多くなる。したがって、２Ｄ収集区域は、好適には、１０より小さい、例えば、好適には、５，４又は３より小さい縦横比を有する。好適な実施の形態において、２Ｄ収集区域は、２より小さい縦横比を有する。

本発明による方法及びシステムを、添付図面に関連して更に詳細に説明する。図面は、本発明を実現する一つの方法を示し、添付した特許請求の範囲の範囲内にある他のあり得る実施の形態を制限するものと解釈すべきでない。

従来用いられるＤＳＬＲカメラのオートフォーカスシステムを示し、本発明によるオートフォーカスシステムがＤＳＬＲカメラで用いられる場合の実施の形態も示す。 従来のＤＳＬＲカメラの典型的なオートフォーカスセンサチップの画像である。 本発明のオートフォーカスシステムの実施の形態の光路及び光学素子を示す。 光感応画素の２次元アレイ及び二つの照明領域を有する２次元イメージセンサを示す。 感応画素の２次元アレイ及び八つの照明領域を有する２次元イメージセンサを示す。 各照明領域の収集区域の適応的な選択によりオートフォーカスシステムを較正する実施の形態を示す。 図５に示す較正による評価ユニットの動作の概略を示す線形的なシステムチャートである。 収集区域の動的な選択の実施の形態で用いられる照明領域及び異なるセットの画素を有するイメージセンサの部分を示す。 収集区域の動的な選択の実施の形態で用いられる照明領域及び異なるセットの画素を有するイメージセンサの部分を示す。 図７及び図８に示す収集区域の動的な選択の実施の形態による評価ユニットの動作の概略を示す線形的なシステムチャートである。 有効画素サイズの動的な選択の実施の形態で用いられる照明領域及び異なるセットの画素を有するイメージセンサの部分を示す。 有効画素サイズの動的な選択の実施の形態で用いられる照明領域及び異なるセットの画素を有するイメージセンサの部分を示す。 照明領域の間の２次元相関分析の実施の形態を示す。

図１Ａに示すような一眼レフ（ＳＬＲ）カメラの通常の位相検出オートフォーカスシステムは、撮影レンズ１の焦点面の後ろに配置されたオートフォーカス検出ユニット５を用いる。主鏡３は、光学式ファインダーのプリズム２に物体の像を導き、オートフォーカス光束が通過してオートフォーカスミラー４に達することができるようにするために半透明区域も有し、オートフォーカスミラー４は、光束をオートフォーカス検出ユニット５に導く。オートフォーカスミラーの後ろにカメライメージセンサ６が存在する。

図２は、対物面７から発明のオートフォーカスシステム８の実施の形態までの光路及び光学素子を示す。本実施の形態において、オートフォーカス検出システム８は、焦点外の面に配置されたＡＦ開口プレート１２によって光束が分離される前に、ＡＦ視野絞りマスク９、ＩＲフィルタ１０及びリレーレンズ１１を含む。各光束は、マイクロレンズ１３によりオートフォーカスセンサ１４に焦点が合わせられる。ここでは、光学素子及びレイアウトの目的は、撮影レンズの反対側から生じる光束の対の生成及び焦点合わせを行うことである。オートフォーカスシステム８を、図１Ａに示すようにＤＳＬＲカメラで用いることができ、この場合、それはオートフォーカス検出ユニット５に取って代わる。オートフォーカスセンサ１４を除いて、素子及びレイアウトは、そのような従来のオートフォーカスシステムのものと同様にすることができる。見て分かるように、オートフォーカスセンサ１４は、撮像センサ６から分離している。そのような光束の焦点を生成するための異なる素子を用いる異なるレイアウトを考慮してもよく、本発明で用いることができる。

マイクロレンズ１３によって形成されるオートフォーカスセンサ１４の焦点は、オートフォーカスセンサの前に見ることができる図３に示すような照明領域１５となる。オートフォーカスセンサ１４は、光感応画素の連続的な２Ｄアレイ１６を有する高解像度２Ｄイメージセンサである。好適な解像度は、
−良好な相関分析を取得するために要求される位相信号のサンプリングレート（高い解像度は、多くのサンプル、したがって、位相信号の多くの詳細を意味する）
−センサ全体の照明領域の画素の読出しに要求される時間（高い解像度は、多くの画素値及び長い読出し及び記憶時間を意味する）
−イメージセンサの寸法、カメラハウジング内の限られたスペースの存在（高い解像度はしばしば大きいセンサを意味する）
−イメージセンサの価格（高い解像度はしばしば高価であることを意味する）
のような複数の要因の間のバランスとなる。

将来の開発はこれらの要因の重み付けを変更するかもしれないが、現段階では、イメージセンサは、１，０００×１，０００画素程度の解像度を有する（１メガピクセルセンサ）。一例として、イメージセンサを、オンセミコンダクターからのＩＢＵＳ５−１３００の１．３メガピクセル（１２８０×１０２４）ＣＭＯＳ能動画素センサとしてもよい。このセンサは、各画素に関連した所望のオンチップ光感応記憶素子であり、２Ｄセンサのフレーム全体を瞬時に取得することができる。

発明の最も簡単な実現において、オートフォーカスシステムを、図２のレンズ１の二つの水平方向に離間した焦点が合わされた光束に対応するセンサ１４の二つの照明領域１５のみを有する図２及び図３に示すような設計とすることができる。レンズからの水平方向に離間した光束のみを用いることによって、照明領域も水平方向に離間し、システムは、主に、撮影するシーンの垂直パターン又は構造に焦点を合わせることができる。単一の１次元相関分析を用いるとき、領域の収集区域１８及び１９は、区域が存在する領域の間の方向に平行に向けられる。しかしながら、後に説明するように、同一の向きを有する種々の方向の収集区域を設計することもできる。従来のオートフォーカスシステムに関して、各収集区域対は、ファインダーの焦点に対応する。しかしながら、センサ、したがって、焦点が従来のシステムにおいて固定されているのに対して、本発明ではそうではない。図２の収集区域１８及び１９は、三つの焦点に対応する二つの３区域対の例である。しかしながら、収集区域を動的に選択することができるので、焦点も動的に選択することができ、所望の数の焦点を形成することができ、センサの解像度は限度を設定する。

図４に示す実施の形態は、１０個の照明領域１５すなわち五つの対ａ／ａ’，ｂ／ｂ’，ｃ／ｃ’，ｄ／ｄ’，ｅ／ｅ’を有する。ここでは、オートフォーカスシステムの光学装置及び素子は、５対のマイクロレンズ１３及び対応するＡＦ開口プレート１２を含む。本実施の形態において、照明領域は六角形であり、ハニカム最密充填で充填される。円形領域比べると、イメージセンサの更に多くの画素が用いられ、センサの画素ごとの効率の要求を減少させる。

これは、少数で大きい照明領域の代わりに多数の小さい照明領域を有する例示的な形態である。上述したように、線形的な収集区域を領域対の間の方向に平行に向ける必要があるので、この形態は、視野に亘って分布した垂直、水平及び＋／−４５°の焦点を生じる。上述したように、多数の追加の収集区域を所望に応じて各領域対で選択することができる。収集区域としてどの画素を用いるかを選択する際のこのような自由は、ユーザに提供される焦点についての同等の自由をもたらす。したがって、好適な実施の形態において、焦点を動的に変更することができ、かつ、条件及びシーンに従って形成、移動及び調整することができる。

発明によれば、各領域の選択した画素の値を、画素位置の関数としての画素値の曲線の対（位相信号）を生成するために用いる。これらの曲線は、同一形状の特徴を識別するとともにこれらの相対位置を決定するために相関される。一例として、位置（ｘ）軸に沿って未知のシフトだけ異なる二つのそのような曲線ｆ及びｇを考察する。ｆと同一になるためにｇをどの程度ｘ軸に沿ってシフトする必要があるかを見つけるために相互相関を用いることができる。相互相関式は、ｇ関数をｘ軸に沿って十分にスライドし、各位置の積の積分を計算する。関数が整合するとき、（ｆ＊ｇ）の値は最大にされる。曲線が顕著な特徴を欠いている場合、この最大値は、他のシフトにおける他の最大値と比べると非常に顕著でないことがある。これを不十分な相関と称する。相互相関分析を、曲線の初期シフト（すなわち、センサの変位）、曲線が最も整合する類似度の尺度及び他のシフトにおける他の最大値に対する最も整合したときの最大値の程度を生成するために行うことができる。

以下、相関分析で用いられる画素の適応的な選択を利用する較正を、図５及び図６に関連して説明する。１００％の完全な光学系、すなわち、完全な光学素子及びこれらの完全な整列を用いた場合にのみ、二つの水平方向の照明領域の位置が完全に水平になる。現実的には、これは、大抵の場合そうでない。通常の固定された位置の線形センサの代わりに２Ｄイメージセンサを用いる本発明によって、光学素子の所定の交差及び整列がある場合でも完全に互いに整合した二つのオートフォーカス収集区域を選択することができる。

較正ターゲットを、好適には、平坦な白色の背景においてカメラの視野の中心に保持することができ、かつ、カメラレンズの距離及び焦点状態の正確な知識又は撮像センサによるコントラストフォーカスのような２次的な焦点システムにより較正ターゲットに焦点を合わせることができる。オートフォーカスセンサ１４の画像を図５に示し、この場合、較正ターゲット（ここでは×）を１６及び１７として両方の照明領域に示す。不完全な素子及び調整のために、照明領域、したがって、×が変位する。変位は、領域の間の方向に平行な方向、ここでは、水平なｘ方向及びそれに直交する方向、ここでは、垂直なｙ方向の両方に存在しうる。ここでは、領域の間の方向に直交する変位のみを議論し、それは、変位がｙである図５に示す状況である。

照明領域の収集区域に対応するデフォルトはそれぞれライン１８及び１９である。ずれにより、ライン１９は較正ターゲット１７の中心に重なり合わず、曲線間の相関分析は、不十分な相関及び不正確な焦点調整信号を与える。

一実施の形態において、オートフォーカスシステムを較正するために以下のステップを実行する。
１．主領域の描写１６が左の照明領域の中心に存在するようにターゲットの位置を調整し、この中心に交差する画素のライン１８を左の領域のデフォルト収集領域として設定する。
２．右の照明領域のターゲット描写１７の位置を決定し、ライン１８からのオフセット（ｙ）を記録する。

このオフセット又は変位は、較正に必要とされる値であり、較正変位と称され、典型的には、領域の間の方向に平行な成分及び領域の間の方向に垂直な成分に分けられる。較正変位を、変位の垂直成分により領域の間の方向に垂直に配置された画素のセットとしてデフォルト収集区域を設定するのに用いることができる。また、収集区域を動的に指定するとき、相関分析に用いられる領域からの画素のセットを、この成分により垂直に配置する必要がある。図５に示す状況において、これは、右の領域のデフォルト収集区域としてライン１８からｙだけ離間した画素のライン２０を設定することを意味する。

領域の間の方向に平行な較正変位も必要とされる。しかしながら、１次元の場合の収集セットがこの方向に向けられ、しばしば照明領域のほとんど又は全体に延在するので、用いる画素の選択に影響が及ぼされず、位相測定信号を生成するときに相関結果に定数が加算されるだけである。

これらのステップを、図６の線形システムチャート２１にも示す。このチャートは、本実施の形態による評価ユニットの動作の概略を表す。

代替的な実施の形態において、較正を、以下のように実行することができる。
１．センサの両方の照明領域の位置を焦点の強度プロファイルを識別することにより識別する。典型的には、概略位置のみを決定する。
２．照明領域内の複数の異なるセットの画素の間の相関分析を行う。図５において、これは、左領域と右領域の両方の複数の水平方向のラインの画素を選択し、全ての左右対の間の相関分析を行うことを意味する。
３．最も良い相関を有するセットの対を識別する。ここでは、対１８−２０が対１８−１９より良い相関を有する。ライン１９は、左領域の４行上のラインと良好な相関を有する。ターゲット描写は、両方の領域の中心から離れて存在する。
４．識別された対の間の較正変位、ここではｙを決定する。

上述したように、較正変位を、（ステップ１で決定される）領域の中心に存在又は近接するとともにフォーカス測定信号を生成するときに用いられるデフォルトとして較正変位の垂直成分、ここでは、（ステップ４で決定される）ｙを有する収集区域の対を選択するのに用いることができる。代替的に、垂直成分を収集区域の選択の際に常に用いることができ、その結果、領域の区域は、それに応じて変位する。

領域の位置及び形状を高精度で決定することができる場合、ステップ１において、これは、その中心及びその（垂直及び水平）相対変位を決定するのに十分であり、収集区域のデフォルト対を、これらの中心が直接交差するように選択することができる。しかしながら、焦点プロファイルは、典型的には、較正ターゲットを用いる相関分析を用いたときと同様に正確に変位を決定するために十分に規定されない。

この手順が更に多くの計算−領域位置を決定するための画像全体の読出し及び多数の相関分析の実行及び記録−を伴うのに対し、いつでも誰でも実行することができる十分に自動化されたオートフォーカス較正手順を可能にする。ユーザは、単に標準的なターゲットをカメラの前に配置し、較正を開始する。更に向上したアルゴリズムによって、この較正を、標準化された較正ターゲットを用いる代わりに正確な相関に導く顕著な特徴を有する任意の物体を用いて実行することができる。例えば、白色の背景に約２０×２０ｃｍのブラックＸを描写するとともにそれをカメラの約１ｍ前に配置する命令を行うことができる。

上述した十分に自動化された較正手順の代替において、較正変位を、相関分析以外の他の分析（１Ｄ又は２Ｄ）により両方の領域の較正ターゲットの位置を決定することによって決定してもよい。

上記実施の形態において、簡単なケースの較正−一つのみの焦点及び垂直変位のみ−を説明した。当業者の能力の範囲内でこれが他の状況まで及ぶことが考えられる。

固定された個別の線形センサを有する通常のオートフォーカスセンサ設計において、照明領域を良好にカバーするために幾分大きい画素が用いられ、したがって、できるだけ多くの光を用いる。高解像度２Ｄイメージセンサを用いる本発明において、照明領域は、小さい画素の複数の列及び行をカバーする。これによって、複数の新たな機能が可能になり、オートフォーカス位相信号の抽出を、種々のシーン及び光条件に対して動的に最適化することができる。

上述したように、レンズの水平に変位した光束を用いることによって、主に、シーンの垂直パターン又は構造に焦点を合わせることができ、垂直に変位した光束に対しても同じである。しかしながら、時々、焦点内に顕著な垂直又は水平構造が存在せず、顕著な傾斜構造が存在することがある。発明の実施の形態は、方向に関係なく焦点の最も顕著な構造を見つけて利用する画素の動的な選択を用いるオートフォーカス手順を提供する。これを、水平変位した光束を用いる図７及び図８並びに本実施の形態による評価ユニットの動作の概略を表すステップを説明する線形システムチャートである図９に関連して説明する。

イメージセンサ又は少なくとも照明領域の画素が読み出され、位相信号が、種々の方向に沿った画素の異なるセットから生成される。図７は、画素の水平ライン２２を示し、各画素は、十分な光を収集するために組み合わされた三つの垂直方向に並べられた画素のサブセットである。長手方向において、小さい画素が高解像度を提供するが、大きい信号対雑音比を有するようにするために、画素は、典型的には横方向で併合され、これによって、位相信号のサンプリングレートに悪影響が及ぼされない。図８は、＋４５°の斜め方向に向けられた画素のライン２３を示す。レンズからの光束が水平方向に変位しているので、ライン２３の画素は、値が併合される−４５°方向に沿って向けられた７画素のセットからなり、水平方向に「並べられた」＋４５°に向いたラインの側部に対応する。したがって、この収集区域は、＋４５°の方向を「見る」が、水平方向に離間した領域の間の方向に平行に向いたままである。種々の方向に沿ったセットからの位相信号が相関され、最も強い関連を持つ対が選択される。選択した対の相関を行うことによって、フォーカス測定信号が生成され、それに応じてレンズが移動する。選択した対からの信号の間の変位がなくなるような焦点が達成されるまで手順を繰り返す。

代替的な実施の形態において、相関分析を、種々の方向のセットの値の間で行い、結果的に得られる相関を記録し、フォーカス測定信号を生成するのに使用するために一つ以上のセットを選択する。二つ以上のセットを選択する場合、これらを、例えば、相関の記録に応じて異なるように重み付けしてもよい。

他の代替的な実施の形態において、相関を、相関分析を第１の方向に沿ったセットの対の値の間で最初に行う。最も整合した相関の最大値が（予め決定された要求に従って）顕著でない場合、相関は不十分であり、第２の方向に沿ったセットの他の対を選択し、相関分析を行う。これは、十分な相関を有する対を見つけるまで所定の数の方向に沿って繰り返される。

幾分長い焦点合わせ時間が許される十分な光又は光条件では、２Ｄイメージセンサからの高解像度画素は、大きい画素を有する通常のセンサよりも正確なオートフォーカス位相信号を与えることができ、これによって、焦点合わせの精度が更に高くなる。光の少ない条件において、更に多くの光を収集する更に大きなデジタル的に生成される画素を生成するために画素を組み合わせることができ、これによって、更に雑音の少ない位相信号を与え、更にロバストなオートフォーカスを行う。そのような十分に大きい、したがって、更に優れた光感応画素を、オートフォーカスセンサの露出時間を更に短くする必要があるためにオートフォーカス速度を更に迅速にする必要がある場合に用いることもできる。

以下、有効画素サイズの動的な選択を利用するオートフォーカス手順を、図１０及び図１１に関連して説明する。ここで、有効画素サイズを、各照明領域内の隣接する画素を結合するとともに結合した画素の値の間の相関分析を行うことによって増大することができる。

オートフォーカスセンサの画素がオートフォーカス収集区域の範囲を横切るように結合される場合、位相信号は、長手方向において高解像度を維持したままにすることができ、オートフォーカスシステムの十分な精度を保持する。これを、有効画素サイズの９倍の画素のライン２５を生成するために画素を行の上下の画素に結合した図１０に示す。更に大きい光感応性が要求される場合、画素を長手方向で結合することもでき、これは、オートフォーカスのロバストネスを保持するが、最高精度を欠いている。これを、有効画素サイズの１８倍となるように２×９画素ブロックのライン２６を形成するために画素を更に結合する図１１に示す。

オートフォーカスセンサとしての２Ｄイメージセンサの使用は、線形センサに基づくシステムの制約の多くを克服する位相検出オートフォーカス処理に対する全く新しいアプローチも提供する。以下、２Ｄ相関分析を利用するオートフォーカス手順を、図１２に関連して説明する。

照明領域は、画像２７及び２８、すなわち、２方向の位置の関数としての画素値の２次元信号である。フォーカス測定信号を、照明領域の対のこれらの２次元信号の変位ｘを決定することによって計算することができる。２Ｄ信号の間の２Ｄ相互相関を、フォーカス測定信号を生成するために用いることができる二つの２Ｄ信号の間の水平方向の変位ｘを決定するために用いることができる。１Ｄ相互相関に関して、２Ｄ相互相関の最大値は、二つの２Ｄ信号の最適な整合の位置を表す。

２Ｄ相互相関を領域の間の方向において実行するだけでよいので、一般的な２Ｄ相互相関の簡単な１変数バージョンを用いることができ、それは、一連の連続的な１次元相互相関に対応する。２Ｄ位相信号のそのような２Ｄ相関分析は、更に安定したオートフォーカスを行うことができる。

発明を、ハードウェア、ソフトウェア、ファームウェア又はその任意の組合せによって実現することができる。発明又はその特徴の一部を、一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサで実行するソフトウェアとして実現することもできる。

発明の実施の形態の個別の要素を、カメラ内の単一ユニット、複数ユニット又は個別の機能ユニットの一部として任意の適切な方法で物理的、機能的及び論理的に実現してもよい。

本発明を特定の実施の形態に関連して説明したが、提示した例に制限するものと解釈すべきでない。異なる請求項で言及した個別の特徴を、可能な場合には有利に組み合わせてもよく、異なる請求項のこれらの特徴の言及は、特徴の組合せが可能でないこと及び有利でないことを除外しない。

Claims (10)

1. 位相検出オートフォーカスシステムによりカメラの撮影レンズに対するフォーカス測定信号を生成する方法であって、前記撮影レンズからの少なくとも一つの対の光束の焦点をオートフォーカスセンサの照明領域の対応する対に合わせることと、フォーカス測定信号を生成するために前記照明領域から値を読み出すとともに前記照明領域の画素の値の間の相関分析を行うことと、を備え、前記オートフォーカスセンサは、前記カメラの撮影センサから分離した単一の高解像度の２次元ＣＭＯＳイメージセンサであり、前記イメージセンサは、光感応画素の連続的な２次元アレイを備え、各画素は、各画素に関連したオンチップの光不感応記憶素子を有する方法。
2. 前記相関分析で用いられる画素を、前記照明領域から動的に及び／又は適応的に選択する請求項１に記載の方法。
3. 前記相関分析は、ターゲットを前記位相検出オートフォーカスシステムの視野に配置するステップ、前記位相検出オートフォーカスシステムとは異なる手段により前記ターゲットに焦点を合わせるステップ及び前記照明領域における前記ターゲットの描写の間の変位を決定するステップを備える較正を備える請求項１又は２に記載の方法。
4. 前記照明領域の間の方向に垂直な方向の前記決定された変位の成分を決定し、前記相関分析で用いられる画素のセットを、前記垂直な方向の前記成分に等しい変位を有するように選択する請求項３に記載の方法。
5. 前記画素の選択は、第１のセットの画素を選択するとともに前記相関分析を行うことと、相関が不十分である場合には第２のセットの画素を選択するとともに前記相関分析を行うことと、を備える請求項２に記載の方法。
6. 前記画素の選択は、前記領域の異なるセットの画素の値の間の相関分析を行うことと、相関を記録することと、前記フォーカス測定信号の生成に用いられる一つ以上のセットの画素を選択することと、を備える請求項２に記載の方法。
7. 光条件に適合するために前記照明領域の各々の中の隣接する画素を結合することによって有効画素サイズを増大することと、前記領域の結合した画素の値の間の相関分析を行うことと、を更に備える請求項１〜６のいずれか一項に記載の方法。
8. 相関は、前記照明領域と各領域内の位置の間の変位の両方に存在するイメージパターンを決定する２次元相関である請求項１〜７のいずれか一項に記載の方法。
9. カメラの撮影レンズの焦点を検出する位相検出オートフォーカスシステムであって、少なくとも一つの対の光束の焦点を前記カメラの撮影センサから分離した単一の高解像度の２次元ＣＭＯＳイメージセンサの照明領域の対応する対に合わせる光学素子を備え、前記イメージセンサは、光感応画素の連続的な２次元アレイを備え、各画素は、各画素に関連したオンチップ光不感応記憶素子を有する位相検出オートフォーカスシステム。
10. 前記照明画素領域からの値を前記センサから読み出す手段と、フォーカス測定信号を生成するために前記照明領域の画素の値の間の相関分析を行うとともに前記相関分析で用いるために画素を前記照明領域から動的に及び／又は適応的に選択する評価ユニットと、を更に備える請求項９に記載の位相検出オートフォーカスシステム。