JP6367827B2 - 距離センサ・カメラからのデータをノイズ除去する方法および装置 - Google Patents

Description

本出願は、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラ・システムに関し、そして、特に、ＴＯＦカメラ・システムからの距離画像の中の雑音の低減に関する。

ＴＯＦ（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）カメラは、変調光信号のパルスを放射し、次に、戻り波面において時間差を測定することによって、対象物への距離または範囲を感知することができる。

ＴＯＦカメラは、発光ダイオード（ＬＥＤ）の列などの光源を備えることができる。それによって、連続的に変調された高調光信号を放射することができる。光源からの対象物の距離または範囲は、放射された光の光子と反射された光の光子との間の位相のシフト（または、時間差）を測定することによって決定することができる。反射された光子は、電荷結合素子（ＣＣＤ）などの手段によりカメラで感知することができる。

放射された光子と反射された光子との間でのフェーズ・シフト（または位相遅延）は、直接、測定されない。その代わりに、ＴＯＦカメラ・システムは、ピクセル構造を採用することができ、それによって、受信された光信号と電気的参照源との間の相関関係が、位相遅延の基準を決定するために、調べられる。

結果の距離（または範囲）マップは、対象への距離を距離マップ画像の内のピクセルの相対的な強度として表すことができる。

しかしながら、距離マップ画像は、それが、電荷結合素子の熱雑音の結果としてのランダム・ノイズであっても、あるいは、観測対象物までの距離の測定におけるシステム的誤差の結果としての雑音であっても、雑音の影響で、駄目になることがあり得る。特に、ＴＯＦカメラ・システムの操作パフォーマンスは、カメラの動作モードから生じる内部要因、および、感知されたシーンおよび感知された環境の特性に起因する外部要因によって影響され得る。

例えば、ＴＯＦカメラ・システム能力を制限することができる内部要因は、内部雑音および解像度などの使用されるセンサの物理的制限を含むことができる。ＴＯＦカメラ・システム能力を制限することができる他の内部要因は、放射された信号のパワー、および、反射された信号サンプルを形成するための積分時間を含むことができる。

ＴＯＦカメラ・システムのパフォーマンスを制限することができる外部要因は、感知された対象物の上への照射光の入射角、感知された対象物の色および材料の光反射性、ＴＯＦカメラ・システムの感知範囲、そして、多重反射によって形成されている戻り光信号を含むことができる。

これらの要因は、ＴｏＦカメラ・システムの距離（あるいは、範囲測定および効率）の精度に深刻に衝撃を与えることがあり得る。特に、低電力ＴＯＦシステム・デバイスに対して、雑音の影響は、距離感知能力を制限することがあり得る。

以下の実施形態は、上記の問題に対処することを狙ったものである。

本出願の態様にしたがって、ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイの少なくとも１つのピクセル・センサで受信された反射光信号との間での位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射される、ステップと、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに、結合するステップと、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、を含む方法が提供される。この方法は、前記少なくとも１つのピクセル・センサに対する前記位相差をフィルタ処理することによって前記少なくとも１つのピクセル・センサに対する前記位相差をノイズ除去するステップであって、前記位相差の該ノイズ除去は前記振幅おおび位相差の結合の前に起こることがあり得る、ステップと、前記少なくとも１つのピクセル・センサの振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記振幅をノイズ除去するステップであって、前記振幅の該ノイズ除去は前記振幅おおび位相差の結合の前に起こることがあり得る、ステップと、のうちの少なくとも１つを更に含むことができる。

このフィルタリングは、非局所的空間変換フィルタを用いたフィルタ処理を更に含むことができる。

この非局所的空間変換フィルタは、非局所的平均フィルタであることがあり得る。

この方法は、更に、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算するステップとによって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するステップを含むことができる。

この結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータであることができる。

このＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づくことができる。

本出願の更なる態様にしたがって、ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイの少なくとも１つのピクセル・センサで受信された反射光信号との間での位相差を決定し、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射され、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定し、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合し、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する結合信号パラメータをノイズ除去するように構成される装置が提供される。この装置は、さらに、前記少なくとも１つのピクセル・センサに対する位相差をフィルタ処理し、前記少なくとも１つのピクセル・センサに対する位相差をノイズ除去することであって、この装置は、前記振幅おおび位相差の結合の前に前記重要な位相差をノイズ除去するように構成することができる、ことと、前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する振幅をノイズ除去することであって、この装置は、前記振幅おおび位相差の結合の前に前記振幅をノイズ除去するように構成することができる、こととのうちの少なくとも１つを行うように構成されることができる。

このフィルタリングは、非局所的空間変換タイプ・フィルタを用いたフィルタ処理を備えることができる。

前記非局所的空間変換タイプ・フィルタは、非局所的平均フィルタであることがあり得る。

装置は、さらに、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定することと、前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算することとによって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するように構成されることができる。

この結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータであることができる。

このＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づくことができる。

本出願の別の態様にしたがって、少なくとも１つのプロセッサと、そして１つ以上のプログラムのためのコンピュータ・コードを含む少なくとも１つのメモリとを備える装置が提供される。この少なくとも１つのメモリおよび前記コンピュータ・コードは、この装置に、この少なくとも１つプロセッサで、少なくとも、ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサの アレイの 少なくとも１つのピクセル・センサで受信された反射光信号との間での 位相差を決定させ、ここで、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射され、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定させ、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合させ、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する結合信号パラメータをノイズ除去させるように構成される。

前記少なくとも１つのプロセッサで構成された前記少なくとも１つのメモリおよび前記コンピュータ・コードは、前記少なくとも１つのピクセル・センサに対する前記位相差をフィルタ処理することによって前記少なくとも１つのピクセル・センサに対する位相差をノイズ除去すること、ここで、前記少なくとも１つのメモリおよび前記コンピュータ・コードは、また、前記少なくとも１つのプロセッサを用いて、前記振幅おおび位相差の結合の前に前記重要な位相差をノイズ除去するように構成することができる、および、前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する振幅をノイズ除去することのうちの少なくとも１つを行うように構成されることができる。ここで、前記少なくとも１つのメモリおよび前記コンピュータ・コードは、また、前記少なくとも１つのプロセッサを用いて、前記振幅おおび位相差の結合の前に前記振幅をノイズ除去するように構成することができる。

このフィルタリングは、非局所的空間変換タイプ・フィルタを用いたフィルタ処理を備えることができる。

この非局所的空間変換フィルタは、非局所的平均フィルタであることがあり得る。

前記少なくとも１つのプロセッサで構成された前記少なくとも１つのメモリおよび前記コンピュータ・コードは、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定することと、前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算することとによって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するようにさらに構成されることができる。この結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータであることができる。

このＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づくことができる。

本出願の別の態様にしたがって、プロセッサにより実行されるとき、ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイのうちの少なくとも１つのピクセル・センサで受信された反射光信号との間での位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射される、ステップと、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに結合するステップと、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、を実現する、コンピュータ・プログラム・コードが提供される。前記コンピュータ・プログラム・コードは、前記プロセッサで実行されるとき、前記少なくとも１つのピクセル・センサに対する前記位相差をフィルタ処理することによって前記少なくとも１つのピクセル・センサに対する前記位相差をノイズ除去するステップであって、前記位相差の該ノイズ除去は前記振幅おおび位相差の結合の前に起こることがあり得る、ステップと、前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記振幅をノイズ除去するステップであって、前記振幅の該ノイズ除去は前記振幅おおび位相差の結合の前に起こることがあり得る、ステップと、のうちの少なくとも１つをさらに実現することができる。

前記コンピュータ・プログラム・コードは、前記プロセッサで実行されるとき、フィルタ処理を実現し、コンピュータ・プログラム・コードは、非局所的空間変換フィルタを用いたフィルタ処理をさらに実現することができる。

前記コンピュータ・プログラム・コードは、前記プロセッサで実行されるとき、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算するステップとによって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算することをさらに実現することができる。

この結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータであることができる。

このＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づくことができる。

本願発明のより良い理解のために、次に、例示のために、添付の図面を参照する。ここで、
図１は、いくつかの実施形態を使用するために適切な装置を図式的に示す。 図２は、いくつかの実施形態を使用するために適切なＴＯＦカメラ・システムを図式的に示す。 図３は、図２のＴＯＦカメラ・システムの動作を説明するフローチャートを図式的に示す。 図４は、図２のＴＯＦカメラ・システムの信号パラメータに対する複素パラメータ表現を図式的に示す。

以下では、より詳細に、距離（または範囲）マップのノイズ除去を有するＴＯＦカメラ・システムを記述する。これに関して、最初に、例示的な電子デバイスまたは装置１０の概略ブロック図を示す図１を参照する。これは、本出願の実施形態にしたがって、ＴＯＦカメラ・システムを組み込むことができる。

装置１０は、例えば、無線通信システムのモバイル端末またはユーザ装置であることができる。他の実施形態において、装置１０は、ビデオカメラ、音声レコーダなどのオーディオ・ビデオ・デバイス、または、ｍｐ３レコーダ／プレーヤなどのオーディオ・プレーヤ、（ｍｐ４レコーダ／プレーヤとして知られる）メディア・レコーダ、あるいは、音声信号の処理のための適切な任意のコンピュータであることができる。

他の実施形態において、装置１０は、たとえば、より大きなコンピュータシステムのサブ・コンポーネントであることができる。それによって、この装置１０は、他の電子部品またはコンピュータシステムとともに動作するように配置することができる。そのような実施形態において、装置１０は、ＴＯＦカメラ・モジュールをコントロールし、インタフェースし、そして、また、ＴＯＦカメラ・モジュールからの情報を処理する機能を有する特定用途向け集積回路（ＡＳＩＣ）として配置することができる。

いくつかの実施形態において、装置１０は、パソコンまたはラップトップなどの一般的なコンピュータに集積されるように構成することができる個々のモジュールとして配置することができる。

装置１０は、いくつかの実施形態において、ＴＯＦカメラ・システムまたはモジュール１１を含むことができる。これは、プロセッサ２１に結合することができる。プロセッサ２１は、種々のプログラム・コードを実行するように構成することができる。インプリメントされたプログラム・コードは、いくつかの実施形態において、ＴＯＦカメラ・モジュール１１からの深度マップ画像を処理するためのコードを備えることができる。特に、インプリメントされたプログラム・コードは、処理された距離画像における雑音除去を容易にすることができる。

いくつかの実施形態において、前記装置は、メモリ２２を更に備える。いくつかの実施形態において、このプロセッサは、メモリ２２に結合している。このメモリは、任意の適切なストレージ手段であることができる。いくつかの実施形態において、メモリ２２は、プロセッサ２１の上でインプリメント可能なプログラム・コードを格納するためのプログラム・コード・セクション２３を備える。更にまた、いくつかの実施形態において、このメモリ２２は、たとえば、ＴＯＦカメラ・モジュール１１から読み出されたデータなどのデータを格納するための格納データ・セクション２４を更に含むことができる。このデータは、以下に記述するが、距離マップ画像を続いて処理するためのものである。プログラム・コード・セクション２３の中に格納されたインプリメントされたプログラム・コード、および、格納データ・セクション２４の内に格納されたデータは、メモリ・プロセッサ・カップリングを介して、必要なときはいつでも、プロセッサ２１により、読み出すことができる。

いくつかのさらに示的実施形態において、装置１０は、ユーザ・インタフェース１５を含むことができる。ユーザ・インタフェース１５は、いくつかの実施形態において、プロセッサ２１に結合することができるいくつかの実施形態において、このプロセッサは、ユーザ・インタフェースの動作をコントロールし、そして、ユーザ・インタフェース１５からの入力を受信することができる。いくつかの実施形態において、ユーザ・インタフェース１５は、ユーザが、たとえばキーパッドによって、電子デバイスまたは装置１０へコマンドを入力する、および／または、たとえば、ディスプレイを介して装置１０から情報を得るのを可能にすることができる。このディスプレイは、ユーザ・インタフェース１５の部分である。ユーザ・インタフェース１５は、いくつかの実施形態において、情報を装置１０に入力するのを可能にし、さらに、装置１０のユーザに情報を示すことの両方が可能なタッチ・スクリーンまたは感触インタフェースを備えることができる。

ユーザ・インタフェース１５の部分であるディスプレイは、同様に深度マップ画像を表示するために使用することができ、そして液晶ディスプレイ（ＬＣＤ）または、発光ダイオード（ＬＥＤ）ディスプレイ、または、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または、プラズマ・スクリーンでありえる。更にまた、ユーザ・インタフェース１５は、また、例えば、マウス、トラックボール、カーソル方向キーなどのポインティング・デバイス、または、ディスプレイの上で表示される小さなカーソル画像の位置をコントロールするための、そしてディスプレイの上に表示されたグラフィック要素に結びついたコマンドを発行するための、運動センサを備えることもできる。

いくつかの実施形態において、この装置は、トランシーバ１３を更に含み、そのような実施形態において、このトランシーバは、プロセッサに結合し、そして、たとえば、無線通信ネットワークを介して他の装置または電子デバイスとの通信を可能にするように構成されることができる。トランシーバ１３あるいは、適切な任意のトランシーバ、または、送信器や受信器手段は、いくつかの実施形態において、有線、または、ワイヤード・カップリングを介して他の電子デバイスまたは装置と通信するために、構成されることができる。

トランシーバ１３は、任意適切な既知の通信プロトコルにより更なるデバイスと通信することができる。たとえば、いくつかの実施形態において、トランシーバ１３またはトランシーバ手段は、適切なＵＭＴＳ（ＵＭＴＳ）プロトコル、たとえばＩＥＥＥ ８０２．Ｘなどの無線ローカル・エリア・ネットワーク（ＷＬＡＮ）プロトコル、ブルートゥースなど、適切な短距離ラジオ周波数通信プロトコル、または、赤外線データ通信経路（ＩＲＤＡ）を使うことができる。

装置１０の構造は、補うことができ、そして、多様に変化することは、再度、理解すべきことである。

図２および図４に記載された図式的構成、および、図３に描かれたフローチャートは、図１に示される装置でインプリメントされたように例示的に示されるＴＯＦカメラ・システムの動作の一部だけを表していることが認識される。

図２は、いくつかの実施形態にしたがって、ＴＯＦカメラ・モジュール１１のいくつかのコンポーネントを図式的に示す。

いくつかの実施形態において、ＴＯＦカメラ・モジュール１１は、フォトニック・ミキサ・デバイス（ＰＭＤ：Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）カメラ・モジュールであることができる。そのような実施形態において、調光の円錐を放射するように配置されることができる光送信器２０１であることができる。それによって、距離発見のためにシーンを照射する。実施形態において、光送信器は、近赤外線（ＮＩＲ）スペクトル領域における波長で動作するように構成される発光ダイオード（ＬＥＤ）のアレイから形成することができる。各々のＬＥＤは、ＬＥＤからの光の放射を補助するために、それぞれの光学部品と結合することができる。

光送信器から放射された光は、変調器２０３からの電気基準信号によって振幅変調することができる。

反射光信号は、受信光学部品２０５で受信することができ、そして、ＰＭＤセンサ・アレイ２０７に向けられる。ＰＭＤセンサ・アレイ２０７は、ピクセル・センサ要素のアレイを含むことができ、それによって、各々のピクセル・センサ要素は、導電性であり、受光に対して透明な２つの感光性フォトゲートの形であることができる。各々のピクセル・センサは、ピクセル読出し回路を介して電気信号を読み出すことを可能にするために、読出しダイオードを更に含むことができる。

ＰＭＤセンサ・アレイ２０７の機能は、電気基準信号でピクセル・センサごとに受信光信号を相関させることができる。そして、相関関係の結果を（各々のピクセル・センサの読出し回路を介して）アナログ・デジタル変換器２０９に送ることができる。各々のピクセル・センサの中の相関関係をとることを可能にするために、ＰＭＤセンサ・アレイ２０７は、また、電気基準信号をオシレータ２０５から受信するために配置することができる。実施形態においては、ＰＭＤセンサの内で相互相関関数機能を実行するために使用される電気基準信号は、光送信器２０１でＬＥＤアレイを変調するのに用いられる当初の基準信号の位相変形であることができる。

ＴＯＦシステムは、対象物への範囲を決定するために、信号伝搬の時間の原則を利用することが認識されるべきである。ＰＭＤタイプＴＯＦシステムに対して、この原則は、連続波変調を使うことにより明らかにされることができる。それによって、送信され受信された光信号間の位相遅延は、ＴＯＦに対応し、そして、それゆえに、対象物への距離に対応する。

送信された光信号が、特定の周波数で連続的に振幅変調されるとき、受信された反射光信号は、同じ周波数を持つが、しかし、異なる位相および振幅を有することができる。送信された光信号と受信された光信号との間の位相における違い、または位相遅延は、対象物までの距離を決定するために使うことができる。この距離は、

の式によって表すことができる。ここで、Ｄは対象物までの距離であり、φは受信され送信された光信号の間で決定された位相遅延であり、ｃ_ｓは光速であり、そして、ｆは、変調周波数である。実施形態においては、変調周波数ｆは、２０ＭＨｚのオーダーであることができる。

反射された受信信号の位相と振幅は、反射された受信信号を、変調器２０３からの当初の変調信号（電気基準信号）と相互相関させることによって決定することができ、上述のように、相互相関は、ＰＭＤセンサ・アレイ２０７の中のピクセル・センサごとに実行することができる。

実施形態において、相互相関関数は、送信された光信号と受信された反射光信号との間の位相差（または遅延）の計算を可能にするために、いくつかの予め選ばれた位相位置で実行することができる。

実施形態の最初のグループにおいては、受信された反射光信号ｓ（ｔ）と変調信号ｇ（ｔ）との間の相互相関関数Ｃ（τ）は、たとえば、τ_０＝０°、τ_１＝９０°、τ_２＝１８０°、τ_３＝２７０°の４つの異なる位相遅延に対して計算することができる。

他の例示的実施形態は、相互相関関数Ｃ（τ）を決定するために一般的なアプローチを採用することができることが理解されるべきである。この一般的なアプローチは、 ４つより大きいいくつかの異なる位相位置に対して相互相関関数Ｃ（τ）を計算することができる。

受信された反射光信号ｓ（ｔ）と変調信号ｇ（ｔ）との間の相互相関関数Ｃ（τ）は、

で表すことができる。

いくつかの実施形態において、受信された反射光信号ｓ（ｔ）は、

の形で表すことができる。そして、変調信号は、

の形で表すことができる。ここで、Ａは、変調振幅を意味し、そして、φは、受信した反射信号の位相を意味する。

いくつかの実施形態において、τ_０＝０°、τ_１＝９０°、τ_２＝１８０°、τ_３＝２７０°の４つの異なる位相遅延に対する相互相関信号は、

に単純化できる。ここで、Ｋは、変調オフセットである。

相互相関関数Ｃ（τ）は、ＰＭＤにより、いくつかの異なる等しく間隔をあけた位相位置τに決定されていることがありえることが理解されるべきである。すなわち、τ＝τ_０、τ_１、．．．τ_Ｎ−１。実施形態の１つのグループにおいては、相互相関関数Ｃ（τ）は、τ_０＝０°、τ_１＝９０°、τ_２＝１８０°、τ_３＝２７０°の位相位置に対して計算することができる。

ＰＭＤデバイスからの出力、言い換えると、ピクセル・センサごとの相互相関関数Ｃ（τ）は、次に、アナログ・デジタル変換器２０９に向けることができる。

アナログ・デジタル（Ａ／Ｄ）コンバータ２０９は、各々の相互相関関数信号を、信号の更なる処理を可能にするために、アナログ信号からデジタル信号に変換することができる。（Ａ／Ｄ）コンバータ２０９は、ピクセル単位ベースにおける各々の位相位置τに対して、相互相関関数信号を変換することができることが認識されるべきである。

アナログ・デジタル変換器２０９からデジタル出力は、次に、信号パラメータ決定器２１１にパスすることができる。

信号パラメータ決定器２１１は、ピクセル・ベースで、ピクセルの上の照射されたシーンの距離（または範囲）マップを形成するために要求されたパラメータを決定することができる。

信号パラメータ決定器２１１で決定されたパラメータは、変調された信号ｇ（ｔ）と反射された受信信号ｓ（ｔ）との間の位相遅延φ、反射された受信信号振幅Ａ、および、変調オフセットＫであることができる。

実施形態において、位相差φは、

の式を用いて決定することができる。

受信された反射光信号の振幅Ａは、

から決定することができる。

変調オフセットＫは、

から決定することができる。

Ｎは、相互相関関数機能が決定される位相位置を意味し、Ｃ_ｎは、位相位置τ_ｎごとの相互相関関数を意味することを、上記の式において認識すべきである。第１の実施形態のグループにおいて、Ｎは、τ_０＝０°、τ_１＝９０°、τ_２＝１８０°、τ_３＝２７０°の異なる位相位置の説明のために、４であると決定される。この特定の実施形態に対して、位相差φは、

の式を用いて決定することができる。

受信された反射光信号の振幅Ａは、

から決定することができる。

変調オフセットＫは、方程式（８）の場合のように決定することができる。

つまり、実施形態においてＴＯＦカメラ・システムによって送信された光信号と、ＴＯＦカメラ・システムの画像センサにおけるピクセルのアレイのピクセル光センサにより受信された反射光信号との間の位相差を決定する手段が存在し得る。ここで、ピクセル光センサによって受信された反射光信号は、送信された光信号によって照射された対象物から反射される。更にまた、実施形態は、また、ピクセル光センサによって受信された反射光信号の振幅を決定するための手段を備えることもできる。

上記のパラメータは、ピクセルごとに順番に決定することができることを更に認識すべきである。

ここで、信号パラメータ・マップの用語は、マップ画像のすべてのピクセルに対するパラメータφ、ＡおよびＫを集合的に意味するために使用することができることを理解すべきである。

信号パラメータ決定器２１１の出力、言い換えると、信号パラメータ・マップは、ノイズ除去プロセッサ２１３の入力に接続することができる。

ノイズ除去プロセッサ２１３は、信号パラメータ・マップのパラメータをノイズ除去するためのフィルタ処理フレームワークを提供するために配置することができる。言い換えると、フィルタ処理フレームワークは、各々のピクセルと結びついたパラメーφ、ＡおよびＫのノイズ除去を備える。

図３を参照すると、少なくとも部分的には、本願発明の実施形態にしたがって、信号パラメータ決定器２１１およびノイズ除去プロセッサ２１３の動作のいくらかを表すフローチャートが示される。

したがって、図３において、ピクセルごとに相互相関関数Ｃ（τ）からの信号パラメータ（φ、ＡおよびＫ）を決定する処理ステップ３０１が表される。

実施形態ノイズ除去においては、信号パラメータφ、ＡおよびＫのノイズ除去は、非局所的空間変換フィルタ処理を用いた技術を採用することにより実行することができる。そのようなアプローチの本質は、近傍のピクセルのウィンドウの中でフィルタ処理されるべきピクセルを中心におくことである。ピクセルのウィンドウは、また、当該技術分野において、パッチとして知られており、また、フィルタ処理されるピクセルを含んでいるパッチは、参照パッチとして知られていることに留意すべきである。この画像は、次に、フィルタ処理されるピクセル（言い換えると、参照パッチ）を含んでいるパッチに非常に似ている他のパッチに対してスキャンされる。ピクセルのノイズ除去は、次に、そのパッチが参照パッチと同様のものであると考えられる画像の内のすべてのピクセル値にわたる平均ピクセル値を決定することによって実行されることができる。

実施形態においては、参照パッチと画像の範囲内の更なるパッチとの類似性は、ユークリッドのベースの距離測定基準を利用することによって定量化することができる。

非局所的空間変換フィルタ処理は、ピクセル単位ベースの上の各々のピクセルの信号パラメータの上で実行することができる。

実施形態の最初のグループにおいては、非局所的平均フィルタ処理として知られている非局所的空間変換フィルタ処理の形式は、各々のピクセルに結びついた信号パラメータをフィルタ処理するために使用することができる。

非局所的平均フィルタ処理は、

により、表されることができる。ここで、Ｎ_ｎは、フィルタ正規化子であり、Ｇ_ａは、ガウシアン・カーネルであり、Ωは、画像が探索された範囲を意味し、ｕは、位置のピクセルに付けられた値を意味し、ｘは、フィルタ処理されたピクセルのインデックスであり、また、参照パッチのセンター・ピクセルであり、ｙは、更なるパッチ（参照パッチと類似していることがありえるパッチ）のセンターにおけるピクセルのインデックスであり、ｈは、雑音分散＊との関係で調整されるフィルタ・パラメータでありえる。（０）は、中心の畳込み演算子を意味することができ、そして、（＋．）は、対応するパッチの中心ピクセルのまわりのピクセル・インデックスを意味することができる。

実施形態の最初のグループにおいては、信号パラメータφとＡとは、ノイズ除去された信号パラメータφ_ＤおよびＡ_Ｄを生成するために、上記の非局所的平均フィルタを用いて各々個別にフィルタ処理されることができる。パラメータφ_ＤおよびＡ_Ｄのノイズ除去は、ピクセル位置ごとに順番に実行することができる。

つまり、上記の非局所的平均フィルタは、各々の信号パラメータφおよびＡに、順番に適用することができる。ここで、上記の方程式の中の変数ｕは、パラメータφまたはＡのいずれかを表すことができる。

非局所的平均フィルタＮＬ（ｘ）からの出力は、ピクセル位置ｘに対するノイズ除去されたパラメータφ_ＤおよびＡ_Ｄであることが理解されるべきである。つまり、非局所的平均フィルタＮＬ（ｘ）からの出力は、入力変数ｕがピクセル位置ｘでの位相差信号パラメータφを表すとき、ノイズ除去された位相遅延信号パラメータφ_Ｄである、そして、出力非局所的平均フィルタＮＬ（ｘ）からの出力は、入力変数ｕが振幅信号パラメータＡを表わすとき、ノイズ除去された振幅パラメータＡ_Ｄである。

いくつかの実施形態において、個々のノイズ除去されたパラメータφ_ＤとＡ_Ｄを生成するために、信号パラメータφとＡとを上記の非局所的平均フィルタで個々に処理するステップは、オプションのプレ・フィルタ処理ステップとして見ることができる。

言い換えれば、信号パラメータφとＡとを個々に処理するステップは、動作のいくつかのモードにおいて、実行することができない。上記のプレ・フィルタ処理するステップを実行するという決定は、ノイズ除去プロセッサ２１３の動作のモードとして構成することができる。

したがって、図３は、決定ステップ３０３としてノイズ除去プロセッサの動作モードに上記のプレ・フィルタ処理するステップを含むオプションを表す。

上記のプレ・フィルタ処理するステップは、その表面が低い光反射率を持つような対象物、または、光信号によって小さな入射角で照射されている対象物の影響、または、戻り光信号において複数パス反射の影響を減らすという長所を有することができる。

前記の影響は、位相遅延φのラッピングという結果になることがありえ、それによって、入射光の波長の制限の近くに範囲を持つ対象物は、次の波形期間にラップされた反射光の位相遅延の結果になることがあり得る。このラッピング効果は、雑音が、位相遅延φの値に対する影響を有するとき、位相遅延φがラッピング境界の近くであるときに起こり得る。

個別ベースで、信号パラメータＡおよびφをノイズ除去することによって、プレ・フィルタリングは、以降のノイズ除去しているフィルタ・ステージの動作の間に、探索されたパッチに対する類似ウェイト信頼性を改善する効果を有する。

他の実施形態において、ノイズ除去フィルタＮＬ（ｘ）によるプレ・フィルタ処理は、振幅信号パラメータＡだけ、または位相遅れ信号パラメータφのいずれかの上で実行されることができる。これは、各々の信号パラメータに順番に個々にノイズ除去フィルタを適用することと比較したときに、プレ・フィルタ処理ステージの計算の複雑性を減らす効果を有する。

実施形態の上記のグループの１つの変形において、ノイズ除去フィルタＮＬ（ｘ）は、ノイズ除去された振幅信号パラメータＡ_Ｄを与えるために、振幅信号パラメータＡだけに適用することができる。これは、実施形態において、最終的な距離マップにおけるノイズ除去およびエッジ保存を改善する利点を有する。しかしながら、上にリストしたような構造的アーチファクトによる影響は、まだ保持されることがあり得る。

実施形態の上記のグループの別の変形において、ノイズ除去フィルタＮＬ（ｘ）は、位相遅れ信号パラメータφに単独で適用することができる。これには、上にリストしたものなどのアーチファクトを抑える利点を有することができる。しかしながら、エッジ保存は、最終的な距離画像の中でそれほど顕著ではない。

言い換えれば、実施形態は、ピクセル光センサによって受信された反射光信号と送信された光信号との間の位相差をノイズ除去するための手段であって、この位相差のノイズ除去はプレ・フィルタリング・ステップである、手段、および、ピクセル光センサによって受信される反射光信号の振幅をノイズ除去するための手段であって、この位相差のノイズ除去もまたプレ・フィルタリング・ステップである、手段のうちの少なくとも１つを備えることができる。

各々のピクセルの、各々の信号パラメータφおよびＡに対して、ステップ・ノイズ除去を実行するステップは、図３の処理ステップ３０５として示される。

各ピクセルに対して受信された反射光信号の位相差φおよび振幅Ａは、単一の結合パラメータに結合することができる。

いくつかの実施形態において、ピクセル・センサごとに受信された反射光信号の位相差φおよび振幅Ａは、単一の複素パラメータＺに結合することができる。各ピクセルに対する複素信号パラメータは、

として表すことができる。ここで、ｊは、虚数単位である。それによって、上記のプレ・フィルタ処理ステップ３０５が展開される動作モードにおいて、複素信号パラメータは、

として表すことができることが理解されるべきである。

図４に関して、４つのピクセルを備える複素信号パラメータ・マップのグラフィック表現が示される。

図４を参照すると、グラフ４０１は、信号パラメータ・マップに対する振幅Ａを表す。そして、グラフ４０３は、同じ信号パラメータ・マップに対する位相差φを表す。

再度、図４を参照すると、グラフ４０５は、信号パラメータ・マップに対する、ピクセル位置ごとの複素信号パラメータＺを表す。グラフ４０５から、ピクセル位置ごとの複素信号パラメータは、受信した反射信号の振幅Ａと位相差φの両方に関する情報を運ぶベクトルであることを見ることができる。

言い換えれば、実施形態は、各々のピクセル光センサに対する振幅と位相差を各々のピクセル光センサに対する結合信号パラメータに結合するための手段を含むことができる。

ピクセルごとに複素信号パラメータを決定するステップは、図３において、処理ステップ３０７として示される。

実施形態において、ノイズ除去フィルタは、信号パラメータ・マップの内のピクセルの各々に対する複素信号Ｚに適用することができる。

実施形態の最初のグループにおいては、各ピクセルに対する複素信号パラメータＺは、上記の非局所的平均フィルタを適用することにより、ノイズ除去することができる。言い換えれば、上記の非局所的平均フィルタは、複素信号パラメータＺに関して修正することができる。この非局所的手段フィルタは、

のようにＺに関して表されることができる。

上記非局所的平均フィルタから出力ＮＬ_{ｃｍｐｌｘ}（ｘ）は、ピクセル位置ｘにおけるノイズ除去された複素信号パラメータＺ_ＤｅＮであることができる。

言い換えれば、実施形態は、結合パラメータをフィルタ処理することによって、ピクセル光センサに対する結合信号パラメータをノイズ除去するための手段を含むことができる。

いくつかの実施形態において、この結合信号パラメータは、ピクセル光センサに対する振幅および位相差を結合することから形成される複素信号パラメータであることができる。

各ピクセルに対する複素信号パラメータをノイズ除去するステップは、図３において、処理ステップ３０９として示される。

各々のピクセル位置ｘに対して、ノイズ除去された信号パラメータＡ_ＤｅＮおよびφ_ＤｅＮは、ノイズ除去された複素信号パラメータＺ_ＤｅＮから得ることができる。言い換えれば、ノイズ除去された振幅ＡＮおよび位相差φＮは、Ａ_ＤｅＮ＝｜Ｚ_ＤｅＮ｜、および、φ_ＤｅＮ＝ａｒｇ（Ｚ_ＤｅＮ）から得ることができる。

ノイズ除去された複素信号パラメータＺ_ＤｅＮから各々のピクセル位置ｘに対するノイズ除去された信号パラメータＡ_ＤｅＮおよびφ_ＤｅＮを得るステップは、図３において、処理ステップ３１１として示される。

いくつかの実施形態において、処理ステップ３０３ー３１１は、数回繰り返すことができる。そのような実施形態において、各々のピクセル位置ｘに対するノイズ除去された信号パラメータＡ_ＤｅＮおよびφ_ＤｅＮは、処理ステップ３０５の更なる繰返しへの入力を形成することができる。それによって、信号パラメータＡ_ＤｅＮおよびφ_ＤｅＮは、次に、上記の非局所的平均フィルタＮＬ（ｘ）に個々に適用することができる。

信号パラメータＡ_ＤｅＮとφ_ＤｅＮが非局所的平均フィルタＮＬ（ｘ）への入力を形成する場合に、このノイズ除去された信号パラメータは、さらに、Ａ_Ｄ２およびφ_Ｄ２と表記することができる。ここで、「２」は、２または更なる繰返しを意味する。

前の通り、非局所的平均フィルタ、ＮＬ（ｘ）フィルタの出力、すなわち、各々の位相位置ｘに対して、個々にノイズ除去された振幅と位相差信号パラメータＡ_Ｄ２およびφ_Ｄ２は、次に、単一の結合パラメータに結合することができる。実施形態の最初のグループにおいて、単一の結合パラメータは、単一の複素パラメータＺ_２であり得る。

単一の複素パラメータＺ_２は、次に、非局所的平均フィルタＮＬ_{ｃｍｐｌｘ}（ｘ）の複素修正フォームの入力を形成することができる。

非局所的平均フィルタＮＬ_{ｃｍｐｌｘ}（ｘ）の複素修正フォームの出力は、次に、ピクセル位置ｘに対するさらにノイズ除去された複素パラメータＺ_ＤｅＮ２であることができる。

ノイズ除去された振幅Ａ_ＤｅＮ２および位相差φ_ＤｅＮ２は、さらに、方程式Ａ_ＤｅＮ２＝｜Ｚ_ＤｅＮ２｜、および、φ_ＤｅＮ２＝ａｒｇ（Ｚ_ＤｅＮ２）を適用することにより、得ることができる。

言い換えれば、実施形態は、ノイズ除去された結合信号パラメータからピクセル光センサに対するノイズ除去された位相差を決定する手段を備えることができる。

処理ステップ３０３ー３１１を繰り返すべきかどうかを決定するステップは、図３において、決定ステップ３１３として示される。

図３を参照すると、処理ステップ３１３において、処理ステップ３０３ー３１１の更なる繰返しがなければならないことを決定した場合には、リターン分岐３１３ａが取られ、そして、プロセスは、新しい繰返しを始めるためにループ・バックする。

実施形態においては、非局所的空間変換フィルタのパラメータは、処理ループごとに調節することができる。たとえば、第１の実施形態のグループにおいて、非局所的平均フィルタにおけるフィルタ・パラメータｈは、処理ループの各々の繰返しに適していることがありえる。

処理ループの更なる繰返しのために非局所的空間変換フィルタ・パラメータを調節するステップは、図３にリターン分岐３１３ａにおいて処理ステップ３１５として表される。

実施形態において、ループ・バック分岐３１３ａは、決定分岐３０３に戻ることを認識すべきである。したがって、プレ・フィルタ処理ステップ３０５を含むべきかどうかの決定は、処理ループの各々の繰返しと考えられる。

処理ステップ３１３において、さらなる繰返しはないことを決定した場合には、決定分岐３１３ｂがとられ、そして、ノイズ除去プロセッサ２１１は、次に、ピクセル位置ごとの照射された対象物への距離値Ｄを決定することができる。

実施形態において、距離値Ｄは、処理ステップ３１１によって提供されたように、ノイズ除去された位相差信号パラメータφ_ＤｅＮをとり、そして、その値を方程式（１）に適用することによって、決定することができる。

距離値Ｄは、マップ内の各々のピクセル位置に対する位相遅延にしたがって、ピクセル単位ベースで決定することができる。

言い換えれば、実施形態は、ピクセル光センサに対して計算されたノイズ除去された位相遅延を使用してピクセル光センサに対する対象物への距離範囲を計算する手段を備えることができる。

ピクセルごとに照射された対象物への距離値Ｄを決定するステップは、図３において、処理ステップ３１７として示される。

以下に、ノイズ除去信号パラメータ・データに対する上記の反復アプローチに可能な擬似コード・インプリメンテーションを示す。

ＴＯＦカメラ・システム１１からの出力は、ＰＭＤセンサ・アレイ２０７の内のピクセルの各々に対する距離値Ｄであることができる。

各ピクセルに対する距離値Ｄは、次に、更なる処理のために、プロセッサ１１にパスすることができる。

いくつかの実施形態において、ピクセル位置ごとの距離値Ｄは、ＵＩ１５における距離または距離マップ画像として示すことができる。

上記の実施形態において、ノイズ除去のプロセスは、非局所的平均フィルタに関して記述されたことを認識すべきである。しかしながら、他の例示的実施形態は、ガウシアン平滑化、バイ（マルチ）ラテラル・フィルタリング、ウェーブレット縮退、スライディング・ローカル変換フィルタリング（例えば、スライディングＤＣＴ）、およびブロック・マッチング３Ｄ共同変換領域フィルタ処理ＢＭ３Ｄなどの、ノイズ除去する他の形式を使用することができる。

さらに、他の例示的実施形態は、レーダー、ソナー、および、光検出・測距（ＬＩＤＡＲ）などの他のＴＯＦカメラ・システムを採用することができる。さらにまた、他の例示的実施形態は、異なる距離計測システムを採用することができる。ここで、測定データは、構造化ライト・ベース・システム（ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｂａｓｅｄ ｓｙｓｔｅｍ）、ステレオ構造に基づくシステム（ｓｙｓｔｅｍｓ ｂａｓｅｄ ｏｎ ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｓｔｅｒｅｏ）、および、サーモグラフ・カメラなど、複素領域で解釈することができる。

上記の例が、装置１０の中で動作している本願発明の実施形態を記述するけれども、先に述べたように本願発明は、ＴＯＦカメラ・システムをサポートしている任意のコンピュータまたは電子機器の部品としてインプリメントすることができることが認識される。

一般に、本願発明の種々の実施形態は、ハードウェア、または特殊目的回路、ソフトウェア、論理または、それらの任意の組合せでインプリメントすることができる。例えば、いくつかの態様は、ハードウェアでインプリメントすることができる。一方、他の態様は、コントローラ、マイクロ・プロセッサまたは、他のコンピューティング・デバイスで実行することができるファームウェアまたはソフトウェアでインプリメントすることができる。しかしながら、本願発明が、それらに制限されるものではない。本願発明の種々の態様が、ブロック図、フローチャートとして、または、いくつかの絵画的表現を使用して図示され、記述されることができるが、これらのブロック、装置、システム、技術、または、ここに記述される方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路または論理、汎用ハードウェアまたはコントローラまたは、他のコンピューティング・デバイス、または、それらのいくつかの組合せにおいて、インプリメントすることができることがよく理解されるべきである。

したがって、少なくともいくつかの実施形態は、少なくとも１つのプロセッサと、そしてコンピュータ・プログラム・コードを含む少なくとも１つのメモリとを備える装置であることができる。前記少なくとも１つのメモリと、前記プログラム・コードとは、前記少なくとも１つのプロセッサにより、該装置に、少なくとも、ＴＯＦカメラ・システムによって送信された光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイのうちの少なくとも１つのピクセル・センサで受信された反射光信号との間の位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射される、ステップと、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに結合するステップと、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、を実行させるように構成され、

本願発明の実施形態は、プロセッサ・エンティティなどのモバイル・デバイスのデータ・プロセッサで実行可能なコンピュータ・ソフトウェアによって、または、ハードウェアで、または、ソフトウェアとハードウェアとの組合せによって、インプリメントすることができる。また、これに関して、図の論理フローの任意のブロックは、プログラム・ステップ、または、相互接続した論理回路、ブロックおよび、機能、または、プログラム・ステップおよび論理回路、ブロックおよび機能の組合せを表すことができることに留意する。

したがって、エンコーダの少なくいくつかの実施形態は、その上にコンピュータ・プログラムを格納した非一時的なコンピュータ読取り可能記憶媒体であることができる。これは、コンピューティング装置で実行されたときに、コンピューティング装置に、ＴＯＦカメラ・システムによって送信された光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイの少なくとも１つのピクセル・センサで受信された反射光信号との間の位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該伝送された光信号により照射される対象物から反射される、ステップと、前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに結合するステップと、前記少なくとも１つのピクセル・センサに対する前記結合パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、を含む方法を実行させる。

このメモリは、ローカルな技術的環境に適切な任意のものであり得、そして半導体ベース・メモリ・デバイス、磁気メモリ・デバイスおよびシステム、光メモリ・デバイスおよびシステム、固定メモリおよび取り外し可能メモリ、言い換えると、固定コンピュータ読取り可能媒体などのいかなる適切なデータ記憶装置技術を使用してもインプリメントすることができる。データ・プロセッサは、ローカルな技術的環境に適切な任意のものであり得、そして汎用コンピュータ、特殊目的コンピュータ、マイクロ・プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ゲートレベル回路、および、マルチコア・プロセッサ・アーキテクチャに基づくプロセッサのうちの１つ以上を含むことができる。これらは、非限定的な例としてあげたものである。

本願発明の実施形態は、集積回路モジュールなどの種々のコンポーネントで実施することができる。集積回路のデザインは、概して高度に自動化されたプロセスである。複雑で強力なソフトウェア・ツールを、論理レベル設計を、すぐに、半導体基板の上でエッチングして、形成できる半導体回線設計に変換するために利用できる。

カリフォルニア州マウンテンビューのシノプシス社（Ｓｙｎｏｐｓｙｓ，Ｉｎｃ．）および、カリフォルニア州サンノゼのケイデンス・デザイン社（Ｃａｄｅｎｃｅ Ｄｅｓｉｇｎ）によって、提供されるようなプログラムは、事前に格納したデザイン・モジュールのライブラリと並んで、デザインの確立したルールを使用して半導体チップ上で、自動的に導体を配線し、コンポーネントを配置する。一旦、半導体回路の設計が完了すると、設計結果は、標準化電子フォーマット（例えば、Ｏｐｕｓ、ＧＤＳＩＩ、その他）で、製造のために半導体製造工場すなわち「ファブ」に送ることができる。

本出願において使用されるように、「回路（ｃｉｒｃｕｉｔｒｙ）」という用語は、（ａ）ハードウェアのみの回路インプリメンテーション（例えば、アナログおよび／またはデジタル回路だけのインプリメンテーション）、そして（ｂ）（ｉ）プロセッサの組合せ、または、（ｉｉ）プロセッサ／ソフトウェア（デジタル信号プロセッサを含む）の部分、ソフトウェア、および、例えば携帯電話またはサーバなどの装置に種々の機能を実行させるために一緒に動作するメモリなどの、回路とソフトウェア（および／またはファームウェア）との組合せ、そして（ｃ）たとえソフトウェアまたはファームウェアが物理的に存在しないとしても作動のために、ソフトウェアまたはファームウェアを要求するマイクロ・プロセッサ、または、マイクロ・プロセッサの部分などの回路、のすべてを指す。

この「回路（ｃｉｒｃｕｉｔｒｙ）」の定義は、すべての請求項を含む本願におけるこの用語のすべての使用に適用される。さらなる例として、本願にて用いられているように、「回路（ｃｉｒｃｕｉｔｒｙ）」の用語は、また、単にプロセッサ（または、マルチプロセッサ）またはプロセッサの部分、および、その（あるいは、それらの）付随するソフトウェアやファームウェアの、インプリメンテーションをカバーする。「回路」という用語は、また、たとえば、および、特定の請求項要素の適用できるならば、ベースバンド集積回路、または、モバイル電話に対する応用プロセッサ集積回路、または、サーバの同様の集積回路、携帯電話ネットワーク・デバイス、または、他のネットワーク・デバイスをカバーする。

前述の説明は、例示的なものとして提供したものであり、非限定的な例であって、本願発明の例示的な実施形態の完全で有益な説明である。しかしながら、種々の修正と改作は、添付の図面と特許請求項範囲とともに読まれるとき、前述の説明の観点から、当業者にとって明らかなもととなる。しかしながら、本願発明の教示のそのような、また、類似した修正は、添付の請求項において定められる本願発明の範囲に依然として入るものである。

Claims (18)

1. ＴＯＦカメラ・システムによって伝送された光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイのうちの少なくとも１つのピクセル・センサで受信された反射光信号との間の位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該ＴＯＦカメラ・システムによって伝送された光信号により照射される対象物から反射される、ステップと、
   前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、
   前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに、結合するステップと、
   前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、
   を含む方法であって、
   該方法は、
   前記少なくとも１つのピクセル・センサに対する前記位相差をフィルタ処理することによって前記少なくとも１つのピクセル・センサに対する前記位相差をノイズ除去するステップと、
   前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記振幅をノイズ除去するステップと、
   のうちの少なくとも１つを含む、前記結合するステップの前に実行されるプレ・フィルタ処理ステップをさらに含む方法。
2. 前記フィルタ処理は、非局所的空間変換フィルタを用いたフィルタ処理を更に含む、請求項１に記載の方法。
3. 前記非局所的空間変換フィルタは、非局所的平均フィルタである、請求項２に記載の方法。
4. 前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定することと、
   前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算することと、
   によって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するステップをさらに含む、請求項１ないし３のいずれか１項に記載の方法。
5. 前記結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータである、請求項１ないし４のいずれか１項に記載の方法。
6. 前記ＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づく、請求項１ないし５のいずれか１項に記載の方法。
7. ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイのうちの少なくとも１つのピクセル・センサで受信された反射光信号との間での位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該ＴＯＦカメラ・システムによって伝送された光信号により照射される対象物から反射される、ステップと、
   前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、
   前記少なくとも１つのピクセル・センサに対する結合信号パラメータに前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合するステップと、
   前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する結合信号パラメータをノイズ除去するステップと、
   を実行するように構成される装置であって、
   該装置は、
   前記少なくとも１つのピクセル・センサに対する位相差をフィルタ処理し、前記少なくとも１つのピクセル・センサに対する位相差をノイズ除去するステップと、
   前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する振幅をノイズ除去するステップと、
   のうちの少なくとも１つを行うように構成された、前記結合するステップの前に実行されるプレ・フィルタ処理ステップを行うようにさらに構成される、装置。
8. フィルタ処理は、非局所的空間変換タイプ・フィルタを用いたフィルタ処理を含む、請求項７に記載の装置。
9. 前記非局所的空間変換タイプ・フィルタは、非局所的平均フィルタである、請求項８に記載の装置。
10. 前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定するように、
    および、
    前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算するように構成されることによって、前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するように
    さらに構成される請求項７ないし９のいずれか１項に記載の装置。
11. 前記結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータである、請求項７ないし１０のいずれか１項に記載の装置。
12. 前記ＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づく、請求項７ないし１１のいずれか１項に記載の装置。
13. プロセッサにより実行されたとき、ＴＯＦカメラ・システム（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ ｓｙｓｔｅｍ）によって伝送される光信号と、該ＴＯＦカメラ・システムのイメージ・センサにおけるピクセル・センサのアレイのうちの少なくとも１つのピクセル・センサで受信された反射光信号との間での位相差を決定するステップであって、前記少なくとも１つのピクセル・センサにより受信された該反射光信号は、該ＴＯＦカメラ・システムによって伝送された光信号により照射される対象物から反射される、ステップと、
    前記少なくとも１つのピクセル・センサにより受信された前記反射光信号の振幅を決定するステップと、
    前記少なくとも１つのピクセル・センサに対する前記振幅および前記位相差を、前記少なくとも１つのピクセル・センサに対する結合信号パラメータに結合するステップと、
    前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記結合信号パラメータをノイズ除去するステップと、
    を実現するコンピュータ・プログラム・コードであって、
    前記コンピュータ・プログラム・コードは、前記プロセッサにより実行されたときに、
    前記少なくとも１つのピクセル・センサに対する前記位相差をフィルタ処理することによって前記少なくとも１つのピクセル・センサに対する前記位相差をノイズ除去するステップと、
    前記少なくとも１つのピクセル・センサに対する前記振幅をフィルタ処理することによって、前記少なくとも１つのピクセル・センサに対する前記振幅をノイズ除去するステップと、
    のうちの少なくとも１つを含む、前記結合するステップの前に実行されるプレ・フィルタ処理ステップを更に実現する、コンピュータ・プログラム・コード。
14. 前記コンピュータ・プログラム・コードは、前記プロセッサにより実行されたときに、フィルタ処理を実現し、前記コンピュータ・プログラム・コードは、非局所的空間変換フィルタを用いたフィルタ処理を更に実現する、請求項１３に記載のコンピュータ・プログラム・コード。
15. 前記非局所的空間変換フィルタは、非局所的平均フィルタである、請求項１４に記載のコンピュータ・プログラム・コード。
16. 前記コンピュータ・プログラム・コードは、前記プロセッサで実行されるとき、
    前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を決定することと、
    前記少なくとも１つのピクセル・センサに対する前記ノイズ除去された位相差を使用して、前記少なくとも１つのピクセル・センサに対する対象物への距離範囲を計算することと、によって、
    前記少なくとも１つのピクセル・センサに対するノイズ除去された結合信号パラメータから対象物への距離範囲を計算するステップを更に実現する、請求項１３ないし１５のいずれか１項に記載のコンピュータ・プログラム・コード。
17. 前記結合信号パラメータは、前記少なくとも１つのピクセル・センサに対する前記振幅および位相差を結合することから形成される複素信号パラメータである、請求項１３ないし１６のいずれか１項に記載のコンピュータ・プログラム・コード。
18. 前記ＴＯＦカメラ・システムの前記イメージ・センサは、少なくとも部分的にはフォトニック・ミキサ・デバイスに基づく、請求項１３ないし１７のいずれか１項に記載のコンピュータ・プログラム・コード。

Images