JP7459074B2 - イメージングセンサ - Google Patents

Description

概要
イメージング３Ｄ飛行時間型センサ（ＴＯＦセンサ）は、３次元空間における物体および人間を検出するために特に適している。この能力は、基本原理から結果的に得られる。センサのそれぞれの画素において、センサの検出領域内に存在する物体までの距離は、光パルスの通過時間（飛行時間またはtime of flight（ｔｏｆ）とも呼ばれる）に基づいて特定される。したがって、センサは、センサのそれぞれの画素（ピクセルとも呼ばれる）ごとに、それぞれの画素と、これらの画素上に結像される物体表面区分との間の距離に相当する距離値が含まれたデータセットを反映するセンサ出力信号を供給する。これにより、センサは、３次元画像を供給し、この３次元画像を、対応する処理アルゴリズムを用いて分析することができる。例えば、所定の空間区域の内部に物体が存在するかどうかに関して、センサ出力信号を分析することが公知である。特定の用途では、１つまたは複数のイメージング３Ｄ飛行時間型センサを用いて、人間と機械部品とが、例えば機械の動作範囲内において危険なほど接近しているかどうかを検出することができる。

特定の用途事例では、とりわけ人間と機械との間、機械と機械との間、または機械と空間との間の相互作用において、検出が、特に高信頼性に実施されること、すなわち確実（安全）に実施されることが必要である。

安全性の程度は、安全完全性の水準（ＳＩＬ－safety integrity level）における種々の基準に分類される：

従来技術
（排他的ではないが）好ましくは、近赤外範囲内の電磁ビームを送出するための少なくとも１つの光送信器と、複数のビーム受信器の配列から構成されている撮像素子とを有する３Ｄ－ＴＯＦセンサが公知である。個々のビーム受信器は、撮像素子の、ひいては３Ｄ－ＴＯＦセンサのそれぞれ１つのピクセル（画素）に対応する。

典型的に、ビーム受信器は、２つのグループ（ビーム受信器Ａ、ビーム受信器Ｂ）に分割されており、マトリクスとして配置されている。

それぞれのビーム受信器は、受光素子（例えば、フォトダイオードまたはフォトゲート）と、少なくとも１つのメモリ容量とを有する。

ＴＯＦセンサの一般的な動作方式は、以下のとおりである：

時点ｔ０において、送信器がアクティブ化され、この送信器は、短い期間ｔｉ（例えば、３０ｎｓ）の間、ｔｉに対応する光パルス持続時間で光パルスを送出する。それと同時に、同じく短いアクティブ化期間ｔＡ（例えば、同じく３０ｎｓ）の間、ビーム受信器Ａがアクティブ化される。光パルスは、物体において反射され、飛行時間ｔｏｆの分だけオフセットされて、ビーム受信器Ａによって記録される。アクティブ化期間ｔＡの間に、反射された光パルスのエネルギによって電荷、すなわち光電子が受光素子内に放出される。光パルスの記録から結果的に生じる電荷量（放出された光電子の数に相当）は、メモリ容量（Ａ１）上に保存される。受信器Ａは、反射された光パルスのうちの、時間差ｔＡ－ｔｏｆに対応する部分のみを受信することができる。なぜなら、反射された光パルスは、アクティブ化期間の開始に対して飛行時間ｔｏｆの分だけ遅延して受光素子に当たるからであり、したがって、アクティブ化期間と、反射された光パルスの持続時間とは、重複期間の間、部分的にのみ時間的に重複する。重複期間は、光パルスの通過時間または飛行時間に反比例する（図１を参照のこと）。それに応じて、放出される光電子の数も、光パルスの通過時間または飛行時間に少なくともほぼ反比例する。

時間遅延Δ＝ｔ０＋ｔＡ（この例では再び３０ｎｓ）を伴って、すなわち、第１のアクティブ化期間ｔＡの終了の直後に続いて、ビーム受信器Ｂがアクティブ化される。ビーム受信器Ｂは、第２のアクティブ化期間ｔＢ（この例でも３０ｎｓ）の間、アクティブである。この受信器も、反射された光パルスのうちの、時間差Δ＝ｔｏｆ＋ｔｉ－ｔＡ（ｔｉ＝ｔＡの場合には、ｔｏｆである）に対応する部分であって、ひいては、この時間差（光パルスの通過時間または飛行時間）に比例して対応する部分のみを記録する。対応する電荷量は、メモリ容量Ｂ１上に保存される。

反射された信号は、反射された物体の反射率および距離によっては非常に弱くなる可能性があるので、増幅機構を設けることが必要である。このことは、上述した測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がメモリ容量上に蓄積されることによって達成される。

次いで、以下のようにして距離を計算することができる：
Ｅ１＝Ｐ（Ｒ）＊ｋｒｅｆ＊（Ｔ－ｔｏｆ）
Ｅ２＝Ｐ（Ｒ）＊ｋｒｅｆ＊（ｔｏｆ＋Ｔ－Ｔ）＝Ｐ（Ｒ）＊ｋｒｅｆ＊ｔｏｆ
なお、
Ｅ１；Ｅ２は、受信器ＡおよびＢに関する１回の走査当たりのエネルギであり、
Ｔ＝ｔＡ＝ｔＢ＝ｔｉは、最大距離が４．５ｍ（一義性範囲）である場合における最大飛行時間＝３０ｎｓであり、
ｋｒｅｆは、ターゲットの反射係数であり、
ｔｏｆは、パルスの飛行時間であり、
Ｐ（Ｒ）は、ｋｒｅｆ＝１の場合における反射されたパルス出力である。

電荷量は、１回の走査プロセス当たりのそれぞれのエネルギ値に比例する。

単純化すると、２００回の蓄積に関して以下のように記述することができる：

なお、
Ａ；Ｂは、メモリ容量ＡまたはＢ内に蓄積された電荷量であり、
ｐは、比例係数であり、この比例係数の具体的な特性は、この比例係数を考慮するためには重要ではない。

正規化（両方の容量内に蓄積された電荷量の合計による除算）により、反射率に依存しない正規化された電荷量Ｑ１およびＱ２を形成することができる。
Ｑ１＝Ａ／（Ａ＋Ｂ） （商形成による反射率への依存性の排除）
Ｑ２＝Ｂ／（Ａ＋Ｂ）
それぞれの容量に関する正規化された電荷量から、飛行時間に関するそれぞれ１つの値を形成することができる：
ｔｏｆ１＝（１－Ｑ１）・Ｔ
ｔｏｆ２＝Ｑ２・Ｔ

誤差のない理想的なケースでは、このようにして特定された両方の飛行時間ｔｏｆ１とｔｏｆ２とが同じになり、すなわちｔｏｆ１＝ｔｏｆ２になる。平均値を形成することにより、場合によって生じる測定誤差を軽減することができる：
ｔｏｆ＝１／２（ｔｏｆ１＋ｔｏｆ２） （平均値）

センサと、反射する物体との間の測定距離は、以下の結果になる：
Ｓ＝１／２（ｃ＊ｔｏｆ） なお、ｃは、光速である。

上述した構造の拡張された変形例は、それぞれの受信器が、２つのメモリ容量を有することにある（受信器ＡがＡａおよびＡｂを有し；受信器ＢがＢａおよびＢｂを有する）。この特性から、拡張された機能オプションが得られる。

第１のオプション：
受信器Ａと受信器Ｂとは、同一に動作される。メモリ容量ＡａとＡｂとは、オフセットされてスイッチングされ、Ａｂは、（上述したように）Ｂの機能を引き受ける。

２つの光受信器の代わりに、それぞれ２つのメモリ容量

を有するただ１つの光受信器のみが使用される。このような配置の利点は、適切に構成した場合、受信器の密度が増加する（解像度が良好になる）ことにあり得る。

第２のオプション：
信号の４相走査のために、追加的なメモリ容量が使用される。図１では、２つの積分期間を有する信号走査が説明されているが（２相）、ここでは、信号を４回走査することができ、この場合、走査点は、それぞれ信号の周期の１／４だけオフセットされる（図２を参照のこと）。変形例では、周期期間Ｔを有する周期的なパルスシーケンスを送出信号として使用することもできる。

反射された信号の、飛行時間ｔｏｆに起因する位相シフトφに関しては、容量内に蓄積された電荷量Ａａ、Ａｂ、Ｂａ、およびＢｂから、以下のように計算可能である。
φ＝ｔａｎ^－１（Ａａ－Ａｂ）／（Ｂａ－Ｂｂ）
厳密に言えば、位相角度の計算は、正弦波信号にのみ当てはまる。

続いて、位相シフトφからセンサと反射する物体との間の距離Ｓを計算することができる：
Ｓ＝（φ＊Ｔ）／２π
Ｔは、この場合、周期信号の周期である。

第２のオプションに関して示されている関係は、周期信号として正弦波の形態が選択された場合にも当てはまる。

どの手法が目的に適っているかは、ＴＯＦセンサの具体的な用途およびシステム設計に大きく依存している。

図１のもとで説明されている手法は、通常、非常に小さいデューティ比（例えば、２５Ｗより大きいパルス出力；１：１０００）での非常に強力なパルスを用いて使用されるが、図２に示されているパルスシーケンスは、１Ｗ～４Ｗのパルス出力で１：１の出力のデューティ比を用いて使用される。同じことが、光源の正弦波変調のためのピーク出力の選択にも当てはまる。目の安全性を遵守することにより、使用する出力の制限に注意すべきである。

アクティブピクセルセンサ（ＡＰＳ）の使用
それぞれの画素ごとに１つのアクティブピクセルセンサ（ＡＰＳ）を設けることが公知である。アクティブピクセルセンサは、典型的に１つのフォトダイオードと、複数の（電界効果）トランジスタとを有する。フォトダイオードに当たる光は、フォトダイオードのバリア層に電荷を放出し、これにより、入射した光子の結果としてダイオードの両端の（逆）電圧が降下する。アクティブピクセルセンサは、以下のように動作される。すなわち、アクティブ化期間の開始時に、フォトダイオードの両端の電圧がリセットトランジスタによって、定義された初期値にセットされる。アクティブ化期間の間、フォトダイオードのバリア層の容量は、入射して反射された光パルスによって引き起こされる光電流によって放電される。フォトダイオードの両端の電圧は、反射された光パルスの強度と、光パルスのうちの、アクティブピクセルセンサのアクティブ化期間に属する部分の持続時間とに比例して降下する。アクティブ化期間の終了時に、フォトダイオードの両端で降下した電圧の電圧値が読み出され、アナログの後処理に供給されるか、または即座にアナログ－デジタル変換器（ＡＤＣ）に供給される。このためにそれぞれの画素は、増幅器トランジスタを有し、この増幅器トランジスタは、選択トランジスタによって１つの行の全ての画素のための共通の読み出し線路へと、大抵は列ごとにスイッチングされる。アクティブピクセルセンサは、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）技術で実装可能である。フォトダイオードのバリア層内の電荷は、例えば熱プロセスによっても放出される可能性があるので、典型的に、本来の光信号に重畳する信号ノイズが生じる。

相関デュアルサンプリング（ＣＤＳ）
上記の信号ノイズを軽減するために、フォトダイオードの両端の電圧を、アクティブ化期間の終了時に一度測定するだけでなく、全逆電圧（暗電圧）を回復するためにフォトダイオードをリセットした後に続いてもう一度測定して、ノイズ信号成分を少なくとも部分的に補償することができる基準信号を取得することが公知である。

このような相関デュアルサンプリングを実現するセンサは、それぞれのピクセルごとに、本明細書ではＣＤＳステージと呼ばれる対応する回路を有する。ＣＤＳステージは、例えば演算増幅器を用いて実装可能である。

ピクセルの構造
画像センサのピクセルは、以下の構成要素、
・アクティブピクセルセンサ（本明細書ではＡＰＳセルとも呼ばれる）
・ＡＰＳセルに関連付けられたＣＤＳステージ、および
・ピクセルを読み出すためのサンプルアンドホールドステージ（Ｓ＆Ｈ）
を有することができる。

本発明
本発明の目標は、危険な故障が非常に発生しにくく、好ましくは１１００年に１回未満の確率でしか発生し得ないように、上述したＴＯＦセンサの構造を構成することである（ＩＳＯ １３８４９－１によるＳＩＬ３またはカテゴリ４，ＰＬ ｅ）。

本発明によれば、上記の目標を達成するために、少なくとも２つの信号経路（チャネルＡおよびＢ）に分割されたピクセル構造を有する少なくとも１つのピクセルマトリクスを有する３Ｄ－ＴＯＦセンサであって、信号経路は、ピクセル配置に応じて、両方のチャネルに対して信号伝搬時間が同一になるようにルーティングされており（Ｈツリー）、それぞれの信号経路は、独自の独立した(eigenen unabhaengigen)アナログ信号出力（信号Ａおよび信号Ｂ）を有し、３Ｄ－ＴＯＦセンサは、少なくとも２つの光送信器グループをさらに有し、そのうちのそれぞれの送信器グループが、少なくとも１つの送信器を含む、３Ｄ－ＴＯＦセンサが提案される。

好ましくは、送信器は、光の赤外線スペクトル範囲内で動作するように、赤外光で出力するように構成されている。

好ましくは、ピクセルマトリクスのそれぞれの信号経路のために、制御するための独自のロジック（信号経路Ａのロジックおよび信号経路Ｂのロジック）が設けられている。この場合、それぞれの信号経路のロジックは、好ましくは、チャネルデータを相互に交換することにより、両方のチャネルの信号値を処理することによって振幅および距離値を特定するように構成されている。

本発明の第１の変形例によれば、第１のチャネルのピクセル（ピクセルＡ）の感光面と、第２のチャネルのピクセル（ピクセルＢ）の感光面とは、両方のピクセルが常に同じ光量を受信するように光学的に接続されている。

第１のチャネルのピクセル（ピクセルＡ）の感光面と、第２のチャネルのピクセル（ピクセルＢ）の感光面とは、拡散器によって接続可能であり、拡散器は、それぞれチャネルＡからのピクセル（ピクセルＡ）の感光面と、チャネルＢからのピクセル（ピクセルＢ）の感光面とにわたって光量を均等に分配する。この方法は、本明細書では光学的ビニングと呼ばれる。この場合、それぞれ１つのピクセルＡを含むピクセルグループの信号経路と、それぞれ１つのピクセルＢを含むピクセルグループの信号経路とは、互いに電気的には接続されていない。用途事例では、チャネルＡおよびチャネルＢにおけるピクセルを並列にアドレス指定することにより、ピクセルマトリクスを読み出すことができる。したがって、ピクセルマトリクスの出力部には、常に同時に、信号Ａ１および信号Ｂ１の信号値、信号Ａ２および信号Ｂ２の信号値、・・・信号Ａｎおよび信号Ｂｎの信号値が存在することとなる。

好ましくは、比較器ステージが設けられており、比較器ステージは、ピクセルマトリクスの複数の出力部に並列に存在する信号値同士を互いに比較するように構成されている。この場合、比較器のデジタル化された出力値は、好ましくはロジックＡまたはＢのうちの少なくとも一方において規定値と比較される。２つの信号値が大きな差を有しており、ひいては、例えば差に関する比較器比較値を上回った場合には、ロジックが、好ましくは失敗信号を形成し、３Ｄ－ＴＯＦセンサのピクセルの読み出しプロセスが中止される。

好ましくは、アナログ－デジタル変換器（ＡＤＣ）が設けられており、アナログ－デジタル変換器（ＡＤＣ）は、チャネルＡまたはチャネルＢに対応付けられており、それぞれのチャネルにおけるアナログ信号値ＡおよびＢをデジタル化し、それぞれチャネルＡのロジックまたはチャネルＢのロジックに供給するように構成されている。続いて、デジタル化されたチャネル値同士を比較することができる。このためにチャネルデータは、好ましくは相互に交換される。計算された差分値が比較値を上回った場合には、ロジックが、好ましくは失敗信号を形成し、読み出しプロセスが中止される。

好ましくは、３Ｄ－ＴＯＦセンサは、追加的な特別な信号処理ステップを実施するように構成されており、より詳細には、信号値Ａと信号値Ｂとを追加的な特別な信号処理ステップにおいて比較することによって光受信器の機能可能性をチェックするように構成されている。（少なくとも１つの送信器グループの）送信器の開始によってピクセルＡとピクセルＢとが同時にアクティブ化され、より正確には、それぞれのピクセルのメモリ容量がアクティブ化される。アクティブ化期間は、２相モードの場合には、光パルス持続時間の長さの２倍に相当し、４相モードの場合には、ちょうど光パルス持続時間の長さに相当する。この信号ステップによれば、光学的にビニングされたピクセルを有するピクセルマトリクスの出力部において、両方のチャネルＡおよびＢの出力部における信号値がそれぞれ同じになることが期待される。信号値が同じである（比較器しきい値を下回っている）ということは、ピクセルが機能可能であることを示唆している。

好ましくは、３Ｄ－ＴＯＦセンサは、送信器グループの機能可能性がチェックされるさらなる追加的な信号処理ステップを実施するように構成されている。（１つの送信器グループのみの）送信器の開始によってピクセルＡまたはピクセルＢのいずれかがアクティブ化され、より正確には、それぞれのピクセルの対応するメモリ容量がアクティブ化される。アクティブ化期間は、画像サイクルと比較してそれぞれ２倍のアクティブ化持続時間で実施される。アクティブ化期間の持続時間は、２相モードの場合には、光パルス持続時間の２倍に相当し、４相モードの場合には、ちょうど光パルス持続時間に相当する。このさらなる追加的な信号ステップの結果として、光学的にビニングされたピクセルを有するピクセルマトリクスの出力部において、両方のチャネルＡおよびＢの出力部における信号値がそれぞれ異なることが期待される。

アナログピクセルマトリクスの出力部における信号値が異なっているということは、それぞれの送信器グループが光パルスを送出し、機能可能であることを示唆している。

一方の送信器グループが証明されると、他方の送信器グループにも同じ方法を実施することができる。好ましい方法は、２つの画像サイクルの間で送信器グループをその時々で交代することである。

好ましくは、３Ｄ－ＴＯＦセンサは、画像サイクルの開始が、第１の送信器グループのチェック（請求項１０）によって実施され、次いで、光受信器のチェック（請求項９）が実施され、その後、本来の画像処理が続くように構成されている。画像サイクルが完了すると、次の（すなわち、少なくとも第２の）送信器グループによる次の画像サイクルが開始する。この送信器グループの交代は、必要に応じて任意に継続される。

１つの変形例によれば、３Ｄ－ＴＯＦセンサは、複数の送信器グループを、少なくとも２つのそれぞれ異なる波長範囲（場合によっては重複可能）で動作させることにより、第１の送信器グループをチェックする信号ステップ（請求項１０）を省略するように構成可能であり、ピクセルマトリクスは、対応する光学フィルタにより、それぞれの光学フィルタが２つの波長範囲のうちの一方のみを通過させることによって、ピクセルＡおよびピクセルＢが２つのそれぞれ異なる波長範囲のうちの一方に規定されるように構成されている。特に好ましい解決策は、第１の送信器グループおよびチャネルＡのピクセルのために８５０ｎｍの波長を使用し、第２の送信器グループおよびチャネルＢのピクセルのために９４０ｎｍの波長を使用することである。ここで、請求項７記載の信号ステップが実施される場合には、第１の送信器グループと第２の送信器グループとが同時にアクティブ化される。チャネルＡのピクセルは、第１の波長範囲（８５０ｎｍ）内の反射された光パルスを受信し、チャネルＢのピクセルは、第２の波長範囲（９４０ｎｍ）内の反射された光パルスを受信する。チャネルＡおよびＢの出力部において、それぞれ隣同士にアドレス指定されたピクセルに対して同じ大きさの信号値が存在する場合、または信号値が所定の比率で存在する場合には、このことは、２つのチャネルのアドレス指定された光受信器と、２つの送信器グループとの両方が機能可能であることの証拠である。

好ましくは、この場合にも、両方の波長に応じて上述した光学フィルタリングの信号値の一致を改善するために、光学的ビニングを補足的に実施することもできる。

好ましくは、それぞれ異なる波長に対してそれぞれ異なる量子効率が補償されるように、すなわち、３Ｄ－ＴＯＦセンサが無傷である場合にはチャネルＡおよびＢの出力部において同じ大きさの信号値が存在するように、チャネルＡおよびチャネルＢの光受信器の面積を、選択された波長に応じて適合させることにより、３Ｄ－ＴＯＦセンサを改善することができる。

好ましくは、それぞれの信号経路は、独自のプロセッサを有し、プロセッサは、チャネルのロジックの信号経路に接続されている。さらに好ましくは、プロセッサは、それぞれの他方のチャネルの入力部に接続されている。したがって、それぞれのプロセッサに、それぞれのロジックによって特定された計算された振幅および距離値が送信される。

それぞれのチャネルロジックのロジック演算は、好ましくは、それぞれのプロセッサが他方のプロセッサから完全に独立して少なくとも１つのチェック値（乱数）を計算することによってチェックされる。典型的に、２相モードの場合には１つのチェック値が計算され、４相モードの場合には２つのチェック値が計算される。それぞれのチェック値は、プロセッサによって同じチャネルのロジックに伝送される。ロジックは、伝送されたチェック値と、他方のチャネルのチェック値とを用いて、少なくとも１つの出力値、有利には２つの出力値を計算する。出力値を計算するためには、振幅および距離値を計算するための演算と同じ演算が使用される。出力値は、それぞれのチャネルのプロセッサに伝送される。プロセッサは、期待される出力値をプロセッサ自身の側で計算し、自身のチャネルのロジックから受信した出力値をプロセッサ自身が計算した出力値と照合し、偏差が発生している場合には失敗信号を出力する。

特に好ましい実施形態では、２つのプロセッサのうちの一方は、安全性指向のプロセッサである。安全性指向のプロセッサは、少なくとも、２つの独立したリアクションレスのコンピューティングコアを有し、１つの出力に対して２つの入力（１ｏｏ２－one out of two）を処理する。好ましくは、このアーキテクチャは、画像演算を安全な画像処理プロセスと安全でない画像処理プロセスに分割するために使用される。安全なプロセスは、もっぱら、３Ｄ－ＴＯＦセンサの定義された視野内において期待された標準位置からの個々の画素の偏差が発生するかどうかのみを検査する（３Ｄ点群の変形）。このような偏差が発生した場合には、警報信号が出力される。

安全でないプロセッサ上では、点群の変形の本来の原因を突きとめることを目的として、複雑な画像処理が実施される（例えば、人間、手、頭の動きの認識など）。

本発明の第２の変形例によれば、好ましくは以下の点で秀でている３Ｄ－ＴＯＦセンサが提案される：

３Ｄ－ＴＯＦセンサは、ピクセルマトリクスを有する撮像素子を有し、
ピクセルマトリクスは、少なくとも２つの別個の独立したブロックを有し、少なくとも２つの別個の信号経路においてデータを伝送し、かつ／または
撮像素子のピクセルマトリクスのピクセルは、少なくとも、感光性の受信器と、電荷担体を保存するためのメモリセルとを有し、かつ／または
信号経路は、少なくとも、アナログ－デジタル変換器（ＡＤＣ）と、プログラマブルロジックと、メモリセルと、これらに接続されたプロセッサとから構成されており、かつ／または
撮像素子は、少なくとも、全てのブロックのための１つのグローバルシャッターを有し、グローバルシャッターは、プログラマブルロジックの制御信号によってトリガ可能であり、１００ｎｓ未満の最小シャッター時間を設定可能であり、かつ／または
信号経路は、互いに独立して、かつ互いにリアクションレスに接続されており、かつ／または
信号経路は、ロジックまたはプロセッサのデータを相互に交換可能となるように接続されており、かつ／または
撮像素子のそれぞれのブロックには、当該ブロックにおいて物体側の同じ像が結像されるように、独自の結像光学系が対応付けられている。光学系同士の間の距離は、視差が解像不可能となるほど短く選択され、かつ／または
それぞれのブロックには、少なくとも１つの照明源が対応付けられており、照明源は、ロジックによってグローバルシャッターと同期される。

好ましくは、撮像素子は、それぞれのブロックが、対応する信号経路のロジックによって制御することができる別個のグローバルシャッターを有することを特徴とする。

好ましくは、撮像素子は、複数のブロックのグローバルシャッターがただ１つの信号経路のただ１つのロジック信号のみに依存していて、それぞれのグローバルシャッターの依存性が、設定可能な遅延時間（レジスタ値）によって設定されていることを特徴とする。

代替的または追加的に、撮像素子は、さらに好ましくは、
それぞれのブロックに、１つの光学フィルタ、または複数の光学フィルタからなるシステムを介して狭い光学スペクトル範囲が対応付けられ、かつ／または
複数の光学フィルタからなるシステムは、撮像素子上に直接的に設けられたフィルタと、光学系の結像システム内の少なくとも１つのさらなるフィルタとによって形成され、かつ／または
撮像素子の複数のブロック上に設けられたエッジフィルタとしての光学フィルタは、ブロック同士の厳密なスペクトル分離を保証し、その一方で、光学的な結像システム内のフィルタは、バンドフィルタとして構成されていて、複数のブロックのスペクトル範囲を含み、かつ／または
複数のブロックのそれぞれのスペクトル範囲にはそれぞれ１つの照明源が対応付けられており、この照明源は、対応するブロックの光学フィルタの透過範囲にちょうど対応する波長で光を放射する
ことを特徴とする。

このことは、前述した形式の撮像素子を用いて２Ｄ画像データを確実に撮影するための、以下の方法ステップを有する方法に相当する：
第１の処理ステップでは、グローバルシャッターが、事前に決定された露光時間でトリガされる。その結果、両方のブロック上では、それぞれのピクセルのメモリ内に、物体結像に相当するそれぞれ１つの電荷画像が存在することとなる。
第２の処理ステップでは、第１のブロックの画像データが第１のブロックの処理ライン（読み出しブロック１）に伝送され、画像データが第２のブロックの処理ライン（読み出しブロック２）に伝送される、等々である。このステップの結果、これらのブロックには、今や、デジタル形式の画像データが存在することとなる。

以下、本発明を、図面を参照しながら実施例に基づいてより詳細に説明する。

送出された光パルス（emitted pulse）の通過時間の測定に基づくＴＯＦ原理による距離測定を示す図である。 反射された光パルスの４相走査を用いた、図１と同様の通過時間の測定を示す図である。 ２つの並列な経路と、これらの経路間の相互比較とを用いた、本発明によるＴＯＦセンサの基本構造を示す図である。 図３に示されている基本構造を、３Ｄ－ＴＯＦセンサのピクセルレベルでどのようにして実装することができるかを示す図である。 ａ～ｃは、１つのピクセルマトリクスの複数のピクセルをどのようにして２つのチャネル（チャネルＡおよびチャネルＢ）に分割することができるかの複数の異なる変形例を示す図である。 ａ，ｂは、光学的ビニングをどのようにして実装することができるかを示す断面図である。 図５ａのピクセルマトリクスを例にして、ペアごとに評価されるべきチャネルＡおよびＢのピクセルを、光学的ビニングによってどのようにして光学的に並列に接続することができるかを示す図である。 反射された光パルスの同時走査を示す図である。 図８に示されている原理に従って図６および図７のピクセルマトリクスを走査するための回路図である。 光パルスを出力するための照明も二重に構成されていて、交互に使用されるそれぞれ２つの送信器を有する２つの送信器グループを有し得ることを示す図である。 図８に示されているピクセルＡおよびＢの同時走査の代わりに、ピクセルのうちの１つ、すなわちピクセルＡまたはピクセルＢのみが走査され、このようにして、アクティブ化された送信器グループの光量に対する尺度が得られることを示す図である。 ａ，ｂは、ピクセルマトリクスのそれぞれのピクセルＡおよびピクセルＢが、それぞれ異なる波長またはそれぞれ異なる波長範囲に対して感受性を有し得ることを示す図である。 ピクセルの量子効率がそれぞれの波長ごとにそれぞれ異なるべきである場合に、ピクセル面積の拡大によって量子効率の低下を補償することにより同等の水準を有する出力信号を取得するために、図１２ａまたは図１２ｂの１つのピクセルマトリクスにおける複数のピクセルがそれぞれ異なる大きさの面積を有し得ることを示す図である。 それぞれ２つの波長範囲内で動作するチャネルＡおよびＢをチェックするためのさらなる比較器を有するロジック回路を示す図である。 チャネルＡおよびＢの信号を評価するための２つの同一のプロセッサＡおよびＢの代わりに、２つのそれぞれ異なるプロセッサを使用することができ、そのうちの一方が安全性指向のプロセッサであることを示す図である。 画像センサの原理構造を示す図であり、ここでは、ＣＤＳステージの演算増幅器が、回路の拡張により、ピクセルＡの信号値とピクセルＢの信号値とをアナログピクセルレベルで比較するための比較器としても機能する。 読み出しサイクルを示す図である。 第１のスイッチング状態における、図１６の画像センサのＣＤＳステージを示す図である。 第２のスイッチング状態における、図１６の画像センサのＣＤＳステージを示す図である。 第３のスイッチング状態における、図１６の画像センサのＣＤＳステージを示す図である。 ピクセルをブロックごとに読み出すために使用される複数の並列な読み出しチャネルを有する、高解像度の撮像素子を示す図である。 それぞれ異なる波長範囲に対して感受性を有する２つのピクセルブロックＡおよびＢを有する撮像素子を示す図である。 ピクセルマトリクスの機能のチェックを、ピクセルレベルと同様にブロックレベルでも実施することができることを示す図である（図８と比較のこと）。 ２つのブロックＡおよびＢに分割されたピクセルマトリクスを読み出すための画像処理回路を示す図である。 追加的な光チャネルが設けられている、図２２と同様の撮像素子を示す図である。 ただ１つのグローバルシャッターのみを有する撮像素子による、反射された光パルスの直列の走査を示す図である。

本発明の出発点は、ＥＮ ＩＳＯ １３８４９（機械安全性）に記載されるような一般的な装置である。これによれば、少なくとも２つの信号経路を有するシステムを構成して、両方の並列な信号経路を相互比較することによって完全性を達成可能にすることにより、ＳＩＬ３（カテゴリ４；ＰＬ ｅ）を達成することができる（図３を参照のこと）。

図３に示されている３Ｄ－ＴＯＦセンサ１０の原理構造によれば、３Ｄ－ＴＯＦセンサ１０は、ピクセルによって形成可能な２つの入力ユニット１２Ａおよび１２Ｂを有する（図４と比較のこと）。入力ユニットによって生成された出力信号、すなわち例えば、ピクセルの出力信号は、それぞれロジック１４Ａおよび１４Ｂに供給され、これらのロジック１４Ａおよび１４Ｂは、入力ユニット１２Ａおよび１２Ｂの出力信号を評価する。ロジック１４Ａと１４Ｂとは、相互比較の目的で互いに接続されている。相互比較の枠内において、とりわけ、ロジック１４Ａと１４Ｂとがそれぞれ同じ出力信号を供給しているかどうかがチェックされる。相互比較の結果が肯定的であった場合には、入力ユニット１２Ａおよび１２Ｂによって検出されて、ロジック１４Ａおよび１４Ｂによって処理された信号が、それぞれの出力ユニット１６Ａおよび１６Ｂに出力される。

したがって、図３および図４の３Ｄ－ＴＯＦセンサは、２つの並列な信号経路を有し、そのうちの一方は、入力ユニット１２Ａ、処理ロジック１４Ａ、および出力ユニット１６Ａによって形成され、そのうちの第２の信号経路は、入力ユニット１２Ｂ、処理ロジック１４Ｂ、および出力ユニット１６Ｂによって形成される。したがって、第１の信号経路は、チャネルＡを形成し、第２の信号経路は、チャネルＢを形成する。ここで、この並列システムを３Ｄ－ＴＯＦセンサに適用することが提案される。

したがって、以下では「信号経路」および「チャネル」という用語を同義語として使用する。

本発明の第１の変形例
本発明の第１の変形例の枠内では、少なくとも２つのピクセル（ピクセルＡおよびＢ）を用いた上記の原理は、信号経路ＡとＢとの比較を伴う連続的な並列処理が達成されるように適用される。信号の比較は、信号処理のそれぞれ異なるレベルで実施される（図４を参照のこと）。

全てのピクセルＡおよびＢは、それぞれ同じ行、列の形態のマトリクスとして、またはチェス盤として配置される。

信号経路は、チャネルＡおよびチャネルＢに従って一貫して分離されて構成されている。このことは、シリコン内に組み込まれた受信器マトリクスがもっぱらアナログに構成されるか、またはアナログおよびデジタルに構成されるかに関係なく、アナログ信号経路およびデジタル信号経路の両方に当てはまる（図５を参照のこと）。

すなわち、２つの実装オプションが存在し、つまり、アナログ回路部品のみをシリコン内に組み込み、ＦＰＧＡ上の外部ロジックを使用するか、または全てのコンポーネントをシリコンまたは他の半導体材料内に完全に組み込むか、の２つの実装オプションが存在する。

光学的ビニング／受信器機能のチェック
複数のピクセルを回路レベルで組み合わせることは、技術的に公知である。この方法は、
・解像度を下げるため、
・画像速度を上げるため、または
・感度を改善して、ノイズを低減するため
に使用される。

新たな試みとして、ピクセルＡとＢとが同一の光出力（画像）を受信することを保証するために、光学的ビニングが導入される。

光学的ビニングは、ピクセルＡおよびＢを覆うように均質化拡散器を配置することによって達成可能である。この配置は、ピクセルＡおよびＢのうちのそれぞれ関係する感光面（光受信器）のみが光学的に接続されるように実施可能である。しかしながら、ピクセルの幾何形状全体を覆うように拡散器を敷設することも可能である。さらなる変形例は、ＣＭＯＳイメージセンサの開口率（fill factor）を高めるために既に頻繁に使用されているようなマイクロ光学系の使用によって得られる。その場合、マイクロ光学系は、拡散器を覆うように配置される。

本発明の第１の変形例のさらなる実施例では、拡散器とマイクロ光学系とを、マイクロ光学に基づいて１つの要素内に実装することもできる。

ピクセルＡおよびＢのマトリクス配置に基づいて、それぞれＡ１とＢ１、Ａ２とＢ２・・・ＡｎとＢｎとが互いに光学的に接続され、ただし、信号の通過時間を同一に維持するためにＡ１およびＢ１、Ａ２およびＢ２、またはＡｎおよびＢｎのアナログ信号経路が、長さに関してそれぞれ同一に構成されていることが前提である。この要件は、それぞれの光学的にビニングされたピクセルのスイッチングトランジスタのデジタル制御信号にも当てはまる（図６および図７を参照のこと）。

並列化された光受信器の機能可能性は、追加的な信号ステップによってチェックされる。この信号ステップの目的は、チャネルＡとＢとが同一の信号値を供給するかどうかをチェックすることである。これらの信号値は、ノイズレベル（ゼロ信号）を格段に上回っている必要がある。

このことは、反射された光パルスを同時に走査することによって達成される。走査時間は、２相モードの場合には、光パルス持続時間の長さの２倍に相当し（図８を参照のこと）、４相モードの場合には、ちょうど光パルス持続時間の長さに相当する。この場合にも、ピクセルＡおよびピクセルＢの両方のメモリに十分な電荷量が蓄積されるまで、反射された光パルスの送信および走査のサイクルを、好ましくは複数回、繰り返すべきである。

図９には、回路図が示されている。光学的にビニングされたピクセル（Ａ１およびＢ２）のメモリは、積分フェーズの終了後に同時に選択され、アナログマトリクスの出力に適用される。ピクセルＡ１およびＢ１の電荷量の１回目の比較は、アナログ信号経路において（例えば、比較器の使用によって）実施される。ＡとＢとの間の電圧差が、事前に定義されたしきい値を下回っているかどうかがチェックされる。このサイクルは、ピクセル内に存在するメモリの数（２相または４相）に応じて、１つのピクセルにつき１回または２回、実行可能である。メモリａおよびｂの回路技術的な並列化を実現することも可能である。

さらに、信号値は、アナログ－デジタル変換器（ＡＤＣ ＡおよびＡＤＣ Ｂ；図９を参照のこと）においてデジタル化されて、２回目の比較が実施される。演算は、後続するロジックによって、かつ／またはそれぞれのロジックＡまたはＢに後続するプロセッサＡまたはＢによっても実施可能である。ロジックＡおよびロジックＢは、実装の形態という点で、プロセッサＡおよびプロセッサＢとは異なる。ロジックは、回路レベルでロジック演算を実現する回路であり、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）の形態で設けることができる。これに対して、プロセッサの機能方式は、シーケンスプログラミングによって（例えば、ファームウェアの形態で）指定されている。プロセッサは、例えば、デジタルシグナルプロセッサ（ＤＳＰ）であり得る。

アナログ領域またはデジタル領域において定義された差分値を上回ると、ロジックブロックにおいて失敗信号がトリガされ、撮像が停止される。この失敗信号は、信号経路を介してプロセッサインターフェース（出力部）に直接的に伝送される。

その後、安全な制御に関連するプロセッサ出力により、機械を安全停止へと導くことができる（図９を参照のこと）。

照明源の二重構成／送信器の機能可能性のチェック
信号経路が二重に構成されるのと同様に、光学的にビニングされたピクセルを用いた３Ｄ－ＴＯＦセンサの照明も、少なくとも二重に構成される。少なくとも２つの送信器グループが、交互に使用される（図１０を参照のこと）。

１つの送信器グループは、少なくとも１つの送信器から構成されている。図１０には、送信器グループの二重構成が示されており、それぞれ２つの送信器によって表されている。送信器１および３と、送信器２および４とが、それぞれ並列かつ交互に動作される。送信器として、ＬＥＤまたはレーザーダイオード（例えば、ＶＣＳＥＬ）を使用することができる（図１０を参照のこと）。

送信器機能をチェックするための延長されたサイクル
光学的ビニングと、追加的な信号ステップとにより、光受信器と、信号処理パイプラインとが同じ信号値を供給しているかどうかをチェックすることができる。信号値の同等性は、差分値によって判定可能であり、この差分値は、規定可能なしきい値を下回っていることが求められる。

このステップでは、送信器の機能可能性に関して判断することはできない。送信器の機能可能性に関する情報は、さらなる追加的な処理ステップによって提供可能である。

図８に図示されている、ピクセルＡおよびピクセルＢの反射された光パルスの同時走査の代わりに、ただ１つのピクセル、すなわちＡまたはＢのいずれかのみが走査される場合には、比較器ステージ（アナログ）またはデジタルのロジック部分での差分値決定の際に、アクティブ化された送信器グループからの光量に対する尺度を提供する、しきい値を上回る信号が生じる（図１１を参照のこと）。

画像サイクルの実行中、信号経路を監視するために、本来の画像生成に先行して図８および図１１による信号ステップが行われる。

送信器グループ１と送信器グループ２とは、サイクル中に交互にアクティブ化される。

送信器の波長の分割による、送信器機能の代替的なチェックメカニズム
信号ルーティングの一貫した並列性の特に有利な実施形態は、送信器グループがそれぞれ異なる波長で送信し、その一方で、ピクセルＡおよびピクセルＢが、それぞれ異なる波長に対してそれぞれ選択的に反応できるようにすることによって達成可能である（図１２ａおよび図１２ｂを参照のこと）。

この方法の利点は、図１１に関連して説明した信号ステップを、第１の送信器グループおよび第２の送信器グループに対して繰り返し実施する必要がなく、このステップを同時に実施することが可能となることにある。なぜなら、両方の送信器グループを同時にアクティブ化することができ、波長選択性によって受信器を選択的に識別することができるからである。

次いで、光学的ビニングが、波長選択的に実施される。すなわち、１つの典型的な実施形態は、８５０ｎｍの中心波長と、第２の受信器グループのためには９４０ｎｍの中心波長とを有する、狭帯域フィルタおよび均質化機能の利用であり得る。

１つの特別な実施形態では、複数の光受信器の感光面を、それぞれ異なる波長のそれぞれ異なる量子効率同士が均衡されるように構成することができる（シリコン内では、９４０ｎｍの場合の量子効率は、８５０ｎｍの場合と比較して約３０％低下する）。低い量子感度を有する受信器の感光面を比較的大きくすることによって、欠点を補償することができる（図１３を参照のこと）。

図１２は、波長選択による解決策の種々の配置を示す。図１２ａでは、それぞれＡおよびＢが、両方の波長で動作する。ＡおよびＢの機能性は、それぞれの波長ごとにチェックされる。その結果、さらなる比較器を利用することができる。どのような波長が使用されるかに応じて、ロジックＡまたはロジックＢのいずれかが、比較器信号を処理する（図１４）。

図１２ｂのフィルタ配置が使用され、チェックステップにおいて２つのそれぞれ異なる波長を有する送信器グループが同時にアクティブ化される場合には、送信器チェックと受信器チェックとを同時に実施することができる。チャネルＡとＢとの間での比較器出力部における差分信号が、定義されたしきい値よりも小さいことにより、両方の送信器グループと、両方のチャネルの光受信器とが機能可能であると結論付けることができる。

ロジックＡおよびＢの機能
ロジックＡは、チャネルＡの光受信器のための制御信号、すなわち例えば、信号経路Ａのための図１８～図２０に示されているＣＤＳステージのスイッチを制御するための制御信号を供給する。ロジックＢは、チャネルＢの光受信器のための制御信号、すなわち例えば、信号経路Ｂのための図１８～図２０に示されているＣＤＳステージのスイッチを制御するための制御信号を供給する。これらのロジックの同期化により、読み出しプロセスにおいてそれぞれ正しいピクセルペアがアドレス指定される。信号値の有効性は、比較器信号によって判定される。

さらなる処理ステップでは、これらのチャネルのデジタルの差分信号が、それぞれのロジックにおいて別個に計算される。このために、それぞれのロジックは、デジタル化されたチャネルデータを、これらが有効であると見なされる限りにおいて交換し合う。ピクセルＡおよびＢのデジタル化された差分信号がしきい値を上回ると、対応するプロセッサに失敗信号が伝達される。

両方のロジックは、信号振幅値および距離値を互いに独立して計算する。ロジックＡの計算された値は、プロセッサＡに伝送され、ロジックＢの値は、プロセッサＢに伝送される。計算された値はさらに、それぞれ相互に送信される。次いで、それぞれのプロセッサは、振幅値および距離値の比較を実施する。比較の結果、偏差が判明した場合には、対応するプロセッサが失敗信号を送信する。

ロジックの機能テスト
画像サイクルの間に、プロセッサは、上流に配置されているロジックにデジタルの入力値（乱数）を送信する。ロジックは、この乱数を各自の処理パイプラインに導入し、この乱数に基づいて出力値を計算し、この出力値は、それぞれのプロセッサのプロセッサルーチンにより、その正しさに関してチェックされる。処理プロセスは、ロジック間での入力値の交換を含む。すなわち、それぞれのロジックのチェックプロセスは、チャネルＡの入力値およびチャネルＢの入力値を用いて計算を行う。

計算関数は、距離値および振幅値を求めるための演算に相当する。プロセッサでの比較の結果、エラーが判明した場合には、それぞれのプロセッサを介して失敗信号が出力される。

プロセッサＡおよびＢの機能
第１の実施形態では、両方のプロセッサが、それぞれ同一の演算を実行する。それぞれのプロセッサは、独自のメモリと、独自のインターフェースとを有する。

出力ＯＵＴ ＡおよびＯＵＴ Ｂは、下流に配置されたレベル（例えば、安全性指向の制御）で処理される。

複雑な画像処理演算のため、例えば人間の動きを分析するためにとりわけ有利である第２の実施形態では、一方のプロセッサ（例えば、チャネルＡ）のために、安全性指向のプロセッサが使用される。

安全性指向のプロセッサは、自身の内部に、並列化されたリアクションレスのアーキテクチャを有する。このようなプロセッサは、既知であり（例えば、ＨＩＣｏｒｅ１－https://www.hima.com/en/products-services/hicore-1/）、例えば、いわゆる１ｏｏ２構造（one out of two）を有する。この場合、処理プロセスは、安全なプロセスと、安全でないプロセスとに分割される。

分割について、以下の例に基づいて説明することとする。

作業空間を監視する場合には、安全性領域への手の侵入を阻止すること、または安全性領域に手が侵入するとすぐに機械を停止することが重要である。

手の認識は、特定の複雑な画像処理演算（計算時間）を必要とするので、ある特定の領域が３次元の安全性ゾーンとして定義されるように、プロセスが分割される。その結果、安全性指向のプロセッサは、ＦＯＶ（field of view：視野）内の定義された安全性ゾーン内の点群の位置のみをコントロールする。点群が偏差（変形）していれば、失敗信号がもたらされることとなろう。点群の位置の監視は、比較的簡単な演算である。

他方のプロセッサ上では、どのような物体が安全性ゾーンに侵入したかが調査される。対応する演算は、複雑であり、最新の高級言語を使用して実装される。手の場合には、ここから、例えば操作員への指示が結論される（図１５を参照のこと）。

さらに、ピクセルＡの信号値とピクセルＢの信号値とをアナログピクセルレベルで比較するための比較器としても回路を拡張することにより、ＣＤＳステージの演算増幅器を実装することが可能である。

図１６は、対応する画像センサの原理構造を示す。以下の図１８～図２０には、種々異なるスイッチング状態におけるＣＤＳステージがより詳細に示されている。

ここでは、１つのピクセルが、例えばＡＰＳセルと、ＣＤＳステージと、サンプルアンドホールドステージ（図面ではＳ＆Ｈが付されている）とから構成される。

ＣＤＳステージは、一方では、所要の多重露光のための蓄積器として使用されると同時に、ＡＰＳセルのフォトダイオードのリセットに起因するノイズ成分を抑制するための、かつ背景光を分離するためのステージとしても使用される。

ここで、新たな試みとして、既に説明したシーケンスによる隣接ピクセルとの相互比較がＣＤＳステージに導入される。

図１７は、読み出しサイクルを示す。

機能方式は、ＣＤＳステージの機能を用いて良好に説明可能である。

フェーズ１：
ピクセルＡでは、スイッチＳ１ａ，Ｓ３ａが閉成されており、スイッチＳ２ａ，Ｓ４ａ，およびＳ５ａが開成されている。

ピクセルＢでは、スイッチＳ１ｂ，Ｓ３ｂが閉成されており、スイッチＳ２ｂ，Ｓ４ｂ，およびＳ５ｂが開成されている。

次の比率が得られる：
ピクセルＡでは：
Ｑ’１ａ＝Ｃ１ａ（Ｖａ－Ｖｒｅｆ）； Ｑ’２ａ＝Ｃ２ａ（Ｖｒｅｆ－Ｖｏｕｔａ（ｎ））
ピクセルＢでは：
Ｑ’１ｂ＝Ｃ１ｂ（Ｖｂ－Ｖｒｅｆ）； Ｑ’２ｂ＝Ｃ２ｂ（Ｖｒｅｆ－Ｖｏｕｔｂ（ｎ））

図１８は、ＣＤＳステージの第１のスイッチング状態におけるピクセルＡおよびピクセルＢを示しており、ＣＤＳステージは、フェーズ１においてこの第１のスイッチング状態を取る。

フェーズ２：
ピクセルＡでは、スイッチＳ２ａ，Ｓ４ａが閉成されており、スイッチＳ１ａ，Ｓ３ａ，およびＳ５ａが開成されている。

ピクセルＢでは、スイッチＳ２ｂ，Ｓ４ｂが閉成されており、スイッチＳ１ｂ，Ｓ３ｂ，およびＳ５ｂが開成されている。

ピクセルＡでは：
Ｑ’’１ａ＝Ｃ１ａ（Ｖｂ－Ｖｒｅｆ）； Ｑ’’２ａ＝Ｃ２ａ（Ｖｒｅｆ－Ｖｏｕｔａ（ｎ＋１））
ピクセルＢでは：
Ｑ’’１ｂ＝Ｃ１ｂ（Ｖａ－Ｖｒｅｆ）； Ｑ’’２ｂ＝Ｃ２ｂ（Ｖｒｅｆ－Ｖｏｕｔｂ（ｎ＋１））

その場合、キルヒホッフの電流則によって以下のように記述可能である：
ピクセルＡでは：
Ｑ’１ａ＋Ｑ’２ａ＝Ｑ’’１ａ＋Ｑ’’２ａ

この方程式に電荷の関係を代入すると、対応する変換後に、以下の結果が得られる：
Ｖｏｕｔａ（ｎ＋１）＝Ｃ１ａ（Ｖｂ－Ｖａ）＋Ｃ２ａＶｏｕｔ（ｎ）

これと同等にして、ピクセルＢの出力部における比率が得られる：
Ｖｏｕｔｂ（ｎ＋１）＝Ｃ１ｂ（Ｖａ－Ｖｂ）＋Ｃ２ｂＶｏｕｔ（ｎ）

コンデンサＣ２ａまたはＣ２ｂの十分な出力電圧を達成するために、フェーズ１およびフェーズ２が複数回（Ｎ回）繰り返される。

図１９は、ＣＤＳステージの第２のスイッチング状態におけるピクセルＡおよびピクセルＢを示しており、ＣＤＳステージは、フェーズ２においてこの第２のスイッチング状態を取る。

フェーズ３－チェックフェーズ
全てのスイッチが開成されており、スイッチＳａ５およびＳｂ５のみが閉成されている。このフェーズでは、演算増幅器は、両方のピクセルにおける比較器として機能する。

結果として生じるコンデンサＣａ２およびＣｂ２の電圧が、それぞれ基準電圧と比較される。

図２０は、ＣＤＳステージの第３のスイッチング状態におけるピクセルＡおよびピクセルＢを示しており、ＣＤＳステージは、フェーズ３においてこの第３のスイッチング状態を取る。

容量Ｃａ２の両端には、複数回蓄積された電圧差Ｖｂ－Ｖａが存在している。

容量Ｃｂ２の両端には、複数回蓄積された電圧差Ｖａ－Ｖｂが存在している。

次に、以下の３つのケースを比較する。

１．Ｎ×Ｖｏｕｔａ（ｎ＋１）＝Ｎ×Ｖｏｕｔｂ（ｎ＋１） －これは、ピクセルＡとピクセルＢとが同じ値を供給する理想的なケースである。この理想的なケースは、現実の構成要素の物理的特性に起因して理論的な性質を有するに過ぎない。

２．Ｎ×Ｖｏｕｔａ（ｎ＋１）≒Ｎ×Ｖｏｕｔｂ（ｎ＋１） －ピクセルＡおよびピクセルＢの出力部における値は、ほぼ同じである。一方の値は、他方の値よりも若干高いか、または若干低いかのいずれかである。この場合には、両方のピクセルを、機能可能であると見なすことができる。

比較器の両方の出力線路上に、ロジック０が出現する。

３．Ｎ×Ｖｏｕｔａ（ｎ＋１）≠Ｎ×Ｖｏｕｔｂ（ｎ＋１） －ピクセルＡの出力値は、ピクセルＢの出力値よりも格段に大きいか、または格段に小さいかのいずれかである。１つのピクセルを、欠陥があると見なすべきである。

このケースでは、Ｖｂ＞＞Ｖａであれば、ピクセルＡの出力部にロジック１が存在するであろう。

Ｖｂ＜＜Ｖａであれば、ピクセルＢの出力部にロジック１が存在するであろう。

比較の後、ＣＤＳステージがリセットされ、新たなサイクルを開始することができる。

それぞれのＣＤＳステージのスイッチは、対応する信号経路に対応付けられたロジックＡまたはＢによって制御される。

追加的な動作方式：
差分形成Ｖｂ－ＶａおよびＶａ－Ｖｂの導入は、４相モードにおいても非常に有利に使用可能である。この場合には、位相シフトφを以下のように計算することにより、さらに上の方で説明したように、個々の値を読み出すことなく差分形成を利用して位相角度を計算することができる：
φ＝ｔａｎ^－１（Ａａ－Ａｂ）／（Ｂａ－Ｂｂ）

前提条件は、２つのさらなるピクセルを利用することである。したがって、４ピクセルのグループまたは２ピクセルのグループにより、ただし合計４つのメモリセルを用いて、完全な４相のアーキテクチャが得られる。

本発明の第２の変形例
本発明の第２の変形例によれば、撮像素子（イメージャ）が、例えば、好ましくは複数の並列の読み出しチャネルを有する高解像度のＣＭＯＳ技術によって構成される（図２１を参照のこと）。このアーキテクチャの目的は、高解像度にもかかわらず高フレームレートを達成することである。読み出しチャネルは、通常、撮像素子マトリクスの複数の行または複数の列を組み合わせる。このような組み合わせは、以下ではブロックまたはイメージャブロックと呼ばれる（図２２を参照のこと）。

図２２は、詳細には以下のものを示す：
１－撮像素子、
２－感光面、
４－スペクトルフィルタＡを有するイメージャブロックＡ、
５－スペクトルフィルタＢを有するイメージャブロックＢ、
７－イメージャブロックＡのための読み出しチャネル、
８－イメージャブロックＢのための読み出しチャネル。

本発明の第２の変形例は、このように画像フィールドを複数の読み出しブロックに分割することを利用している。

以下では、本発明のさらなる変形例を、第１の実施例に基づいてより詳細に説明する。

好ましくは非常に高解像度の、例えば１２８０×１０２４ピクセルを有する画像フィールドが、作成された読み出しチャネルに従って複数のブロックに分割される。それぞれの読み出しブロックは、別個にトリガ可能な１つのグローバルシャッターによって動作する。

それぞれのブロックにはさらに、独自の結像光学系が対応付けられる。光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのブロック上において、物体側の同じ結像が形成される。

光学系および撮像素子のこの配置は、図４の並列化された読み出しおよび画像処理回路において使用される。

深部画像の計算：
本実施例は、２チャネル構造に基づく。撮像素子（イメージャ）は、ブロックＡとブロックＢとに分割されている。本実施例では、それぞれのブロックは、６４０×１０２４画素を有する。ブロックＡおよびブロックＢのためのデジタルの読み出しチャネルは、対応するロジックＡおよびＢにルーティングされている。これらのロジックブロックが既に、集積回路の一部を含んでいるか、または外部のロジック回路、例えばＦＰＧＡを含んでいるかは、重要ではない。

ロジックＡおよびＢは、それぞれのグローバルシャッター信号を制御し、それに応じて照明ＬＡおよびＬＢも制御する。照明源は、同期して動作される。両方の照明源は、持続時間ｔｉ＝ｔＡの間、時点ｔ０でのブロックＡのグローバルシャッター信号によって同時にトリガされる。光パルスは、ターゲットにおいて反射され、飛行時間ｔｏｆの分だけオフセットされて、ブロックＡの全ての受信器Ａによって記録される。光パルスの記録から結果的に生じる電荷量（光電子）は、それぞれの受信器に所属するメモリ容量（Ａ１）上に保存される。ブロックＡの受信器Ａは、反射された光パルスのうちの、時間差ｔＡ－ｔｏｆに比例して対応する部分のみを受信することができる。

ブロックＢの受信器のグローバルシャッターは、時間遅延ｔ０＋ｔＡを伴ってアクティブ化される。受信器Ｂは、時間ｔＢ（この例では、ｔＡ＝ｔＢ）の間、アクティブである。この受信器も、反射された光パルスのうちの、時間差ｔｏｆ＋ｔｉ－ｔＡ（ｔｉ＝ｔＡの場合には、ｔｏｆである）に比例して対応する部分のみを記録する。対応する電荷量は、ブロックＢのそれぞれの受信器に所属するメモリ容量Ｂ１上に保存される。

反射された信号は、ターゲットの反射率および距離によっては非常に弱くなる可能性があるので、増幅機構を設けることが必要である。このことは、上述した測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がそれぞれ所属するメモリ容量上に蓄積されることによって達成される。このプロセスを、例えば１００回繰り返すことができる。

その結果、ブロックＡのメモリ容量Ａ１には、ｔ０～ｔＡの期間にわたる画像が存在し、その一方で、メモリ容量Ｂ１には、ｔＡ～ｔＢの期間にわたる画像が存在することとなる。

これら両方の画像は、それぞれの読み出しチャネルを介してそれぞれのロジックに伝達される。続いて、これらのロジックは、画像情報を相互に交換し、上記の規則に従ってピクセルごとにそれぞれ別個に深部画像を計算する：
Ｑ１＝Ａ／（Ａ＋Ｂ） （商形成による反射率への依存性の排除）
Ｑ２＝Ｂ／（Ａ＋Ｂ）
ｔｏｆ１＝（１－Ｑ１）＊Ｔ
ｔｏｆ２＝Ｑ２＊Ｔ
ｔｏｆ＝１／２（ｔｏｆ１＋ｔｏｆ２） （平均値）
Ｓ＝１／２（ｃ＊ｔｏｆ）

この計算規則は、ピクセルが、常に受信器マトリクス内での各自の位置に応じて計算されるように適用される。すなわち、選択された配置に応じて、Ａ０，０とＢ０，０；Ａ０，１とＢ０，１；・・・Ａｍ，ｎとＢｍ，ｎである：

計算の最後には、両方のロジックが、それぞれ１つの距離画像を含む。両方の距離画像は、一回だけ決定することができる温度依存性のキャリブレーション係数を除いて、同一であることが求められる。

深部画像の比較による機能のチェック：
さらなる演算では、両方の深部画像ＡおよびＢの同一性が、ピクセルごとの比較によってチェックされる。この比較は、両方のロジック上で、または下流に接続されたプロセッサ上で実施可能である。

定義された期待される比較値から相違していてもよいピクセルペアの数のしきい値を、比較のために定義することができる。しきい値は、ピクセルペアが同じ値を供給しているかどうかと、何を等しいまたは等しくないと見なすべきかとを定義する。さらに、等しくないペアの数を、判定パラメータとして利用することができる。

少なくとも１つのプロセッサ上において定義されたしきい値を上回ると、プロセッサのうちの少なくとも一方が、出力部において失敗信号を生成する。

深部画像ＡとＢとの比較は、既に複数の比較関数を合計している。これらの比較関数には、ピクセル感度、ゲート関数（積分／蓄積）、読み出し、ＡＤＣ、およびロジック演算が含まれる。

ピクセルマトリクスの完全な機能可能性の有効性は、振幅画像のピクセルごとの比較によっても達成可能である。

２Ｄ振幅画像内のピクセルマトリクスの機能のチェック：
ピクセルレベルでの場合（さらに上の方および図８ならびに図９を参照のこと）と同様に、２Ｄ振幅画像内のピクセルマトリクスの機能のチェックも、ブロックレベルで実施可能である（図２３および図２４を参照のこと）。このことは、ブロックＡおよびブロックＢの両方において反射された光パルスを同時に走査することによって達成される。この場合にも、ブロックＡおよびブロックＢの両方のピクセルのメモリに十分な電荷量が蓄積されるまで、反射された光パルスの送信および走査のサイクルを複数回繰り返すべきである。

蓄積サイクルの完了後、ブロックＡおよびＢの画像が読み出され、両方のロジック上でピクセルごとに比較される。比較値は、ロジックと、下流に接続されたプロセッサとの両方において評価可能である。

ピクセル同士を等しいまたは等しくないと見なす必要があるかどうかを判定するしきい値を、比較のために定義することができる。さらに、失敗信号が生成される前に、定義された差異の分だけ互いに相違していてもよい（等しくない）ピクセルペアの数を定義することができる。少なくとも１つのチャネル上において定義されたしきい値を上回ると、プロセッサのうちの少なくとも一方が、出力部において失敗信号を生成する。

照明源のチェック：
上述したチェックサイクルは、照明源をチェックするためにも同様に適している。本実施例では、合計４つの照明源が使用される。本実施例では、チャネルＡまたはチャネルＢのロジックによってそれぞれ２つが制御される。

ここで、それぞれのチェックサイクルにおいてチャネルＡの照明源またはチャネルＢの照明源のいずれかを使用することにより、照明源をチェックすることができる。

相互比較による受信器信号値の比較とは異なり、照明源の比較は、それぞれのチャネルでの直列での比較によって実施される。

チェックは、本実施形態では以下のように実施される：
１．チャネルＡの照明源の深部撮像と比較して２倍の長さ（例えば、６０ｎｓ）で、光パルスを開始する。
２．光パルスの２倍の長さ（例えば、１２０ｎｓ）で、ブロックＡおよびＢの両方におけるグローバルシャッターを同時に開始する。
３．ブロックＡの画像（画像Ａ０）と、ブロックＢの画像（画像Ｂ０）とをそれぞれのチャネルのロジックブロックに保存する。
４．チャネルＢの照明源の深部撮像と比較して２倍の長さ（例えば、６０ｎｓ）で、光パルスを開始する。
５．光パルスの２倍の長さ（例えば、１２０ｎｓ）で、ブロックＡおよびＢの両方におけるグローバルシャッターを同時に開始する。
６．ブロックＡの画像（画像Ａ１）と、ブロックＢの画像（画像Ｂ１）とをそれぞれのチャネルのロジックブロックに保存する。
７．ＬＡ光源を用いた露光時におけるＡサブマトリクスからのそれぞれのピクセル値Ａ（ｉ，ｊ）およびＢサブマトリクスからのそれぞれのピクセルＢ（ｉ，ｊ）を、ＬＢ光源を用いた露光からの対応する値と比較する。最大の差分値が定義される。この値を上回っている場合には欠陥が生じており、失敗信号をトリガすることができる。所定数のピクセルペアにおいて差分値を上回った場合にのみ失敗信号をトリガすることも考えられる。比較値は、ロジックと、下流に接続されたプロセッサとの両方において評価可能である。

本発明を、第２の実施例に基づいて説明する。

第１の実施例のように、好ましくは非常に高解像度の、例えば１２８０×１０２４画素を有する画像フィールドが、作成された読み出しチャネルに従って複数のブロックに分割される。第１の実施例とは異なり、それぞれの読み出しブロックが再び細分化される。すなわち、それぞれの読み出しブロックは、別個にトリガ可能な２つのグローバルシャッターによって動作する。

それぞれのサブブロック（Ａａ，Ａｂ，Ｂａ，Ｂｂ）にはさらに、独自の結像光学系が対応付けられる。ここでは４つである光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのサブブロック上において、物体側の同じ結像が形成される。

光学系およびイメージャのこの配置は、図２４の並列化された読み出しおよび画像処理回路において使用される。

深部画像の計算：
本実施例は、引き続き、２チャネル構造に基づく。ただし、今や、撮像素子（イメージャ）は、ブロックＡａおよびＡｂとブロックＢａおよびＢｂとに分割されている。本実施例では、それぞれのブロックは、６４０×５１２画素を有する。ブロックＡおよびブロックＢのためのデジタルの読み出しチャネルは、対応するロジックＡおよびＢにルーティングされている。

ロジックＡおよびＢは、それぞれのグローバルシャッター信号を制御し、それに応じて照明ＬＡおよびＬＢも制御する。照明源は、同期して動作される。

第１の実施例では、２つの積分期間を有する信号走査が説明されているが（２相）、ここでは、信号が４回走査され、この場合、走査点は、それぞれ信号の周期の１／４だけオフセットされる。

長さ３０ｎｓの光パルスを用いた実施例に関して、ここから、以下のように説明可能な走査シーケンスがもたらされるであろう：サブブロックＡａに対して０～３０ｎｓ、サブブロックＢａに対して３０ｎｓ～６０ｎｓ、サブブロックＡｂに対して６０ｎｓ～９０ｎｓ、およびサブブロックＢｂに対して９０ｎｓ～１２０ｎｓ（図２も参照のこと）。

示されている関係は、周期信号として正弦波の形態が選択された場合にも当てはまる。

反射された信号は、ターゲットの反射率および距離によっては非常に弱くなる可能性があるので、既に上述した増幅機構を設けることが必要である。このことは、測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がサブブロック内のピクセルのそれぞれ所属するメモリ容量上に蓄積されることによって達成される。このプロセスを、例えば１００回繰り返すことができる。

その結果、サブブロックのピクセルのメモリ容量には、それぞれ４分の１周期ごとにそれぞれ１つの画像が存在することとなる。ここから位相、ひいては１ピクセル当たりの距離Ｓを、以下の規則に従って計算することができる：
φ＝ｔａｎ＾（－１） ［（Ｂａ－Ｂｂ）／（Ａａ－Ａｂ）］
Ｓ＝（φ＊Ｔ）／（２π）
Ｔは、この場合、周期信号の周期である。

厳密に言えば、位相角度の計算は、正弦波信号にのみ当てはまる。矩形波信号の場合には、距離特性曲線の線形性を高めるために対応する補正を使用すべきである。とりわけＴ／２での走査により、４相走査の場合における距離特性曲線の線形性を改善することが可能となる。

第１の実施例において記載されたチェックプロセスが、同様にして実施される。

以下では、図２６に示されている第３の実施例について説明する。

先行する例とは異なり、ピクセルマトリクス全体のためにただ１つのグローバルシャッターのみが利用される。先行する実施例では、深部画像の位相のために２つのグローバルシャッターが利用された（図１、図８、図１１、および図２３を参照のこと）ので、２つの位相画像を同時に（並列に）撮影することが可能であったが、図２６に示されている実施例は、ただ１つのグローバルシャッターのみを有する撮像素子を基礎としている。この場合には、図２６に示されているように、２つの位相画像を次々に（直列に）撮影しなければならない。その他の点では、第１の実施例と同じ光学構造を設けることができる。ピクセルマトリクスは、両方の読み出しチャネルに沿って２つのブロックＡとＢに分割される。それぞれのブロックには、独自の結像光学系が対応付けられる。両方の光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのブロック上において、物体側の同じ結像が形成される。

第１の実施例とは異なり、それぞれのブロックは、追加的に１つの光学フィルタ、または複数のフィルタからなるシステムを含む。フィルタまたはフィルタシステムは、それぞれのブロックの透過波長を、それぞれ対応する光源の光源波長に一致する狭いスペクトル帯域に制限する（図２５を参照のこと）。

図２５の実施例は、追加的な光チャネル３と、追加的な読み出しチャネル６とを有するという点で、図２２の実施例とは異なっている。図２５は、詳細には以下のものを示す：
１－撮像素子、
２－感光面、
３－追加的な光チャネル、
４－スペクトルフィルタＡを有するイメージャブロックＡ、
５－スペクトルフィルタＢを有するイメージャブロックＢ、
６－追加的な読み出しチャネル、
７－イメージャブロックＡのための読み出しチャネル、
８－イメージャブロックＢのための読み出しチャネル。

図示された全ての実施例について当てはまるように、それぞれの３Ｄ－ＴＯＦセンサは、複数の送信器グループを、少なくとも２つのそれぞれ異なる波長範囲（場合によっては重複可能）で動作させることにより、第１の送信器グループをチェックする信号ステップを省略するように構成可能であり、ピクセルマトリクスは、対応する光学フィルタにより、それぞれの光学フィルタが２つの波長範囲のうちの一方のみを通過させることによって、ピクセルＡおよびピクセルＢ（またはブロックＡおよびブロックＢ）が２つのそれぞれ異なる波長範囲のうちの一方に規定されるように構成されている。特に好ましい解決策は、第１の送信器グループおよびチャネルＡのピクセルのために８５０ｎｍの波長を使用し、第２の送信器グループおよびチャネルＢのピクセルのために９４０ｎｍの波長を使用することである。

Claims (11)

1. チャネルＡおよびチャネルＢを含む少なくとも２つのチャネルに分割されたピクセル構造を有する少なくとも１つのピクセルマトリクスを有する３Ｄ－ＴＯＦセンサであって、
   前記チャネルＡはピクセルＡおよび信号経路Ａを有し、前記チャネルＢはピクセルＢおよび信号経路Ｂを有し、
   前記信号経路ＡおよびＢは、ピクセル配置に応じて、前記信号経路ＡおよびＢの両方に対して信号伝搬時間が同一になるようにルーティングされており、
   それぞれのチャネルは、独自の独立したアナログ信号出力を有し、前記チャネルＡの前記アナログ信号出力は信号値Ａであり、前記チャネルＢの前記アナログ信号出力は信号値Ｂであり、
   前記３Ｄ－ＴＯＦセンサは、少なくとも２つの光送信器グループをさらに有し、そのうちのそれぞれの光送信器グループが、少なくとも１つの送信器を含み、
   前記３Ｄ－ＴＯＦセンサは、比較器ステージを有し、前記比較器ステージは、前記ピクセルマトリクスの複数の出力部に並列に存在する前記信号値ＡおよびＢを互いに比較して、前記信号値ＡとＢとの間の差分を示す出力値を形成するように構成され、
   前記出力値を規定値と比較し、
   前記信号値ＡとＢとの間の前記差分が前記規定値を上回った場合には、失敗信号を形成し、前記３Ｄ－ＴＯＦセンサのピクセルの読み出しプロセスを中止する、
   ３Ｄ－ＴＯＦセンサ。
2. 前記送信器は、赤外線スペクトル範囲内で動作する、請求項１記載の３Ｄ－ＴＯＦセンサ。
3. 前記ピクセルマトリクスのそれぞれのチャネルのために、対応する前記チャネルのピクセルから到来する信号値を制御および処理するための独自のロジックが設けられている、請求項１または２記載の３Ｄ－ＴＯＦセンサ。
4. それぞれのチャネルの前記ロジックは、前記信号値を相互に交換することにより、前記信号値Ａおよび前記信号値Ｂを処理することによって振幅および距離値を特定するように構成されている、請求項３記載の３Ｄ－ＴＯＦセンサ。
5. 前記ピクセルＡの感光面と、前記ピクセルＢの感光面とは、前記ピクセルのペアの両方が同じ光量を受信するように、ペアで光学的に接続されている、請求項１または２記載の３Ｄ－ＴＯＦセンサ。
6. 前記ピクセルＡの感光面と、前記ピクセルＢの感光面とは、拡散器によってペアで接続されており、
   前記拡散器は、ピクセルペアのそれぞれ前記ピクセルＡの前記感光面と前記ピクセルＢの前記感光面とにわたって光量を均等に分配する、
   請求項３記載の３Ｄ－ＴＯＦセンサ。
7. 前記３Ｄ－ＴＯＦセンサは、２つのアナログ－デジタル変換器を有し、
   前記２つのアナログ－デジタル変換器は、それぞれの前記チャネルＡまたは前記チャネルＢにおける前記アナログ信号出力をデジタル化するように構成されており、それぞれ前記チャネルＡの前記ロジックまたは前記チャネルＢの前記ロジックに接続されている、
   請求項３記載の３Ｄ－ＴＯＦセンサ。
8. 前記３Ｄ－ＴＯＦセンサは、前記送信器の開始によって前記ピクセルＡと前記ピクセルＢとを同時にアクティブ化することにより、前記信号値Ａと前記信号値Ｂとを追加的な特別な信号処理ステップにおいて比較することによって光受信器の機能可能性をチェックするように構成されている、請求項１から７までのいずれか１項記載の３Ｄ－ＴＯＦセンサ。
9. 前記３Ｄ－ＴＯＦセンサは、１つの送信器グループのみの前記送信器の開始によって前記ピクセルＡまたは前記ピクセルＢのいずれかをアクティブ化することにより、さらなる追加的な信号ステップによって前記送信器の機能可能性をチェックするように構成されている、請求項１から８までのいずれか１項記載の３Ｄ－ＴＯＦセンサ。
10. それぞれの前記チャネルは、プロセッサを有し、
    前記プロセッサは、前記チャネルの前記ロジックに接続されており、
    それぞれのプロセッサに、それぞれの前記ロジックによって送信された計算された振幅および距離値が送信される、
    請求項３記載の３Ｄ－ＴＯＦセンサ。
11. ２つの前記プロセッサのうちの一方は、安全性指向のプロセッサであり、
    前記安全性指向のプロセッサは、少なくとも、２つの独立したリアクションレスのコンピューティングコアを有し、１つの出力に対して２つの入力を処理する、
    請求項１０記載の３Ｄ－ＴＯＦセンサ。

Images