JP2017083243A - 距離センサ及びそれを備えたシステム - Google Patents

Abstract

【課題】背景光が強い状況下での距離の測定精度の低下を抑制できる距離センサを提供する。
【解決手段】距離センサは、光源部と、受光部と、制御部とを備える。光源部は、対象物に繰り返し光を出射する。受光部は、光源部による光の出射に同期して光を受光する。制御部は、光源部及び受光部の動作を制御して、受光部から受光した光の受光量（Ｑ１，Ｑ２，Ｑ３）を読み出す毎に、受光量に基づき対象物までの距離を示す距離情報を生成する。制御部は、受光量の大きさに応じて、光源部による出射及び受光部による受光のそれぞれの周期を変化させる。制御部は、受光部からの受光量の読み出しを所定回数繰り返す毎に、所定回数分の受光量に基づく距離情報を生成する。所定回数は、制御部が変化させた周期に対応する回数である。
【選択図】図４

Description

本発明は、対象物までの距離を測定する距離センサ及び距離センサを備えたシステムに関する。

対象物までの距離を測定する距離センサに、対象物を含む物体に光を照射して反射光の伝播期間に基づき距離を測定するＴＯＦ（Time-Of-Flight）方式を用いる距離センサがある。ＴＯＦ方式の距離センサにおいて、外部からの背景光は、反射光に基づく距離測定の障害となる。特許文献１は、ＴＯＦ方式の距離測定において、背景光の影響を除去することが考慮された距離センサを開示している。

特許文献１の距離センサは、画素回路毎に３つの電荷蓄積のノード（容量）を備え、その内の２つは、パルス変調で照射した光に対する反射光の遅れによって電荷配分の比率が変わるように、受光のタイミングを設定する。残りの１つは、常にパルス変調光がＯＦＦになっているタイミングに設定することで、背景光のみの受光量を蓄積するようにする。これを用いて、反射光の遅れの情報を含む信号から背景光による成分を差し引くことにより、背景光の影響を除去している。

特許第４２３５７２９号公報

特許文献１では、画素回路の３つの容量を用いて背景光と反射光の受光量を蓄積した後で、所定の信号処理において背景光による成分を差し引いている。しかし、太陽光などの強い背景光によって蓄積される受光量が大きくなると、背景光による成分を差し引いても、蓄積した受光量の平方根に比例する統計ノイズである光ショットノイズの影響が残る。このため、従来技術の距離センサでは、背景光が強い状況下で距離の測定精度が低下するという問題があった。

本発明は、対象物までの距離を示す距離情報において、背景光が強い状況下での距離の測定精度の低下を抑制する距離センサ及び距離センサを備えたシステムを提供することを目的とする。

本発明の一態様に係る距離センサは、光源部と、受光部と、制御部とを備える。光源部は、対象物に繰り返し光を出射する。受光部は、光源部による光の出射に同期して光を受光する。制御部は、光源部及び受光部の動作を制御して、受光部から受光した光の受光量を読み出す毎に、受光量に基づき対象物までの距離を示す距離情報を生成する。制御部は、受光量の大きさに応じて、光源部による出射及び受光部による受光のそれぞれの周期を変化させる。制御部は、受光部からの受光量の読み出しを所定回数繰り返す毎に、所定回数分の受光量に基づく距離情報を生成する。所定回数は、制御部が変化させた周期に対応する回数である。

本発明の一態様に係るシステムは、距離センサと、処理装置とを備える。処理装置は、距離センサから距離情報を取得し、所定の処理を実行する。距離センサの制御部は、受光量の大きさに応じて、光源部による出射及び受光部による受光のそれぞれの周期を変化させる。処理装置は、距離センサから所定回数、距離情報を取得する毎に、所定回数分の距離情報を平均化する平均化処理部を備える。所定回数は、制御部が変化させた周期に対応する回数である。

本発明に係る距離センサ及びシステムによると、光源部及び受光部の動作の周期を変化させながら、変化させた周期に対応する所定回数分の受光量に基づく距離情報を生成することで、背景光が強い状況下で距離の測定精度の低下を抑制することができる。

本発明の実施形態１に係る距離センサの構成を示すブロック図 距離センサにおける受光部の画素回路の構成例を示す模式図 距離センサにおけるパルス光の出射と受光の動作タイミングを示すタイミングチャート 距離センサにおける距離の計算方法を説明するための模式図 距離センサによる距離画像の生成動作を説明するための図 背景光の変動に応じた距離センサの動作を説明するための図 実施の形態１における距離画像の生成処理を示すフローチャート 距離画像の生成処理において用いるデータテーブルを示す図 距離画像の平均化処理を説明するための表 実施形態２に係るユーザインタフェースシステムの構成を示すブロック図 実施の形態２における距離画像の生成処理を示すフローチャート コントローラによる距離画像に基づく処理を示すフローチャート

以下、添付の図面を参照して本発明に係る距離センサ及びそれを備えたシステムについて説明する。

各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施形態２以降では実施形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。

（実施形態１）
１．構成
実施形態１に係る距離センサの構成について、図１を参照して説明する。図１は、実施形態１に係る距離センサの構成を示すブロック図である。

本実施形態に係る距離センサ１は、図１に示すように、光源部２と、受光部３と、ＴＯＦ信号処理部４とを備える。距離センサ１は、間接ＴＯＦ方式などの測定方式において距離を測定するセンサモジュールである。距離センサ１は、光源部２から光を出射し、対象物５からの反射光を受光部３で受光して、ＴＯＦ信号処理部４において対象物５までの距離を示す距離画像を生成する。間接ＴＯＦ方式は、反射光の受光を時分割で複数回行い、得られた複数の受光量を比較することによって対象物までの距離を測定する方式である。

距離センサ１は、対象物５として例えばユーザの手や指までの距離を示す距離画像を生成する。距離センサ１は、例えば、モバイル端末などの情報端末装置に搭載される。距離センサ１は、搭載された情報端末装置の動作を制御するコントローラ６ととともに、情報端末装置におけるユーザインタフェースシステムを構成する。ユーザインタフェースシステムにおいて、コントローラ６は、距離センサ１からの距離画像に基づき、ユーザの手や指の動きによるジェスチャー操作などのユーザの操作を検出する。このような検出を可能にするために、距離センサ１は、例えば距離２０００ｍｍ以内の検出レンジにおいて２０ｍｍ以下等の精度を有する距離画像をコントローラ６に出力する。距離センサ１が搭載される情報端末装置は、スマートフォンやタブレット端末、携帯電話などのモバイル端末であってもよいし、眼鏡型や時計型などのウェアラブル端末、ノート型ＰＣ、デジタルカメラ、携帯型ゲーム機などであってもよい。

光源部２は、例えばＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード）などの光源や、光源を駆動する駆動回路を備える。光源部２の光源は、例えば７５０ｎｍ以上１５００ｎｍ以下の波長帯を有する光を発光する。光源部２は、タイミング発生部４１からのタイミング信号に基づき、光源から光をパルス変調して出射する。以下、光源部２がパルス変調で出射する光を「パルス光」という。

受光部３は、例えばＣＭＯＳ（相補型金属酸化物半導体）イメージセンサ回路で構成される。受光部３は、マトリクス状に配置された複数の画素回路３０を備える。複数の画素回路３０は、７５０ｎｍ以上１５００ｎｍ以下等の波長帯を含む光を受光する受光面を有し、それぞれ受光量を蓄積する。受光部３における画素回路３０の構成については後述する。また、受光部３は、特に図示しないが、タイミング発生部４１からのタイミング信号に基づき画素回路３０を駆動する画素駆動回路や、画素回路３０に蓄積された受光量のアナログ値をデジタル値にＡ／Ｄ（アナログ／デジタル）変換するＡ／Ｄ変換器等を備える。

ＴＯＦ信号処理部４は、ＴＯＦ方式において距離画像を生成するための種々の信号処理を行う回路を含み、制御部４０と、タイミング発生部４１と、距離画像出力部４３と、記憶部４４とを含む。ＴＯＦ信号処理部４は、例えばＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成される。ＴＯＦ信号処理部４は、ＣＰＵやＭＰＵで構成されてもよい。

ＴＯＦ信号処理部４において、制御部４０は、ロジック回路などで構成され、ＴＯＦ信号処理部４に含まれる各種の回路を制御する。制御部４０は、距離演算部４２と、平均化処理部４５とを備える。

タイミング発生部４１は、発振回路などを備え、所定の周期を有するタイミング信号を発生する。タイミング発生部４１は、光源部２によるパルス光の発光を制御するためのパルス発光制御信号として、発生したタイミング信号を光源部２に供給する。また、タイミング発生部４１は、発生したタイミング信号を受光部３にも供給し、光源部２によるパルス光の出射と受光部３による受光とを同期制御する。距離センサ１におけるパルス光の出射と受光の動作タイミングについては、後述する。なお、タイミング発生部４１を受光部３に統合し、受光部３から光源部２によるパルス光の出射を制御してもよい。

距離演算部４２は、四則演算等が可能な演算回路で構成される。距離演算部４２は、受光部３による反射光の検出結果に基づいて、受光した反射光の伝播期間に基づく距離を演算する。距離の計算方法については後述する。距離演算部４２は、距離の演算を画素毎に行い、例えば演算した画素毎の距離を示す距離データを記憶部４４に記録する。距離演算部４２によって全画素分の距離データが演算されることにより、距離画像が生成される。距離演算部４２は、距離情報として距離画像を生成する距離情報生成部の一例である。

距離画像出力部４３は、外部機器に情報を出力するインタフェース回路で構成される。距離画像出力部４３は、距離演算部４２において生成された距離画像をコントローラ６等の外部機器に出力する。距離画像出力部４３は、記憶部４４に記録された全画素分の距離データを出力してもよいし、距離演算部４２が演算した距離データを随時、出力してもよい。

記憶部４４は、距離センサ１の機能を実現するためのデータやパラメータなど各種の情報を記憶する記憶媒体である。記憶部４４は、例えばフラッシュメモリで構成される。記憶部４４は、例えば１フレームの距離画像を生成するための各種パラメータと、距離画像を平均化するフレーム数とを関連付けたテーブルを記録する（図８参照）。

平均化処理部４５は、例えば演算回路を備えて構成される。平均化処理部４５は、例えば所定フレームの距離画像を示す画像データを記憶部４４に記録し、記録した複数フレームの距離画像を平均化する演算処理を行う。距離画像の平均化の詳細については後述する。

情報端末装置におけるコントローラ６は、例えばＣＰＵやＭＰＵで構成される。コントローラ６は、例えばフラッシュメモリやＲＯＭで構成される内部メモリなどを備え、内部メモリに記録された所定のプログラムを実行することによって各種の機能を実現する。コントローラ６は、例えば、コントローラ６が搭載された装置の表示制御などを行う。また、コントローラ６は、距離センサ１からの距離画像に基づき手などの対象物５を検知し、コントローラ６が搭載されたモバイル機器などの情報端末装置に対するユーザの操作を判断する。コントローラ６は、距離センサ１によって生成される距離画像に基づいて、所定の処理を実行する処理装置の一例である。

１−１．画素回路の構成
次に、受光部３における画素回路３０の構成について、図２を参照して説明する。図２（ａ）は、半導体チップ上に積層された画素回路３０を示す模式図である。図２（ｂ）は、図２（ａ）の等価回路を示す回路図である。

画素回路３０は、図２（ａ）に示すように、フォトダイオードＰＤと、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３とを備える。画素回路３０では、ｐ型半導体基板において、フォトダイオードＰＤが埋め込み式で設けられ、フォトダイオードＰＤの周囲に３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３が設けられている。さらに、フォトダイオードＰＤが設けられた領域からフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３に渡って、それぞれトランジスタＭ１，Ｍ２，Ｍ３が形成されている。

本実施形態では、受光部３において電荷振り分け方式を採用している。受光部３では、画素駆動回路（図示しない）が、タイミング発生部４１（図１参照）からのタイミング信号に基づいて、画素回路３０に含まれる種々のＭＯＳトランジスタを駆動する信号（例えば第１〜第３ゲート信号Ｓｇ１〜Ｓｇ３，リセット信号Ｓｒ１〜Ｓｒ３，選択信号Ｓｓ）を生成する。

３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３では、図２（ｂ）に示すように、それぞれキャパシタ（電荷蓄積部）Ｃ１，Ｃ２，Ｃ３が形成される。３つのキャパシタＣ１，Ｃ２，Ｃ３は、それぞれトランジスタＭ１，Ｍ２，Ｍ３を介してフォトダイオードＰＤに接続されている。トランジスタＭ１，Ｍ２，Ｍ３は、それぞれのゲートに入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のＯＮ／ＯＦＦによって開閉制御される。第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は、タイミング信号に基づきトランジスタＭ１，Ｍ２，Ｍ３のゲートを開閉し、フォトダイオードＰＤに蓄積された電荷を順次、キャパシタＣ１，Ｃ２，Ｃ３に振り分ける信号である。

フォトダイオードＰＤは、所定の波長帯の光を受光して光電変換する。画素回路３０においてフォトダイオード以外の部分は遮光されている。光電変換によって生じた電荷は、トランジスタＭ１，Ｍ２，Ｍ３のうちで開状態に制御されたトランジスタを介して、３つのキャパシタＣ１，Ｃ２，Ｃ３のうちのいずれかのキャパシタに蓄積される。このように、キャパシタＣ１，Ｃ２，Ｃ３は、フォトダイオードＰＤの受光量に相当する電荷を蓄積する。受光部３は、画素回路３０毎のキャパシタＣ１，Ｃ２，Ｃ３に電荷を蓄積することによって受光量を取得する。

画素回路３０のキャパシタＣ１，Ｃ２，Ｃ３において取得された受光量は、選択信号Ｓｓによって当該画素回路３０が選択されたときに、アナログ信号線から読み出される。選択信号Ｓｓは、複数の画素回路３０から、受光量を読み出す対象の画素回路３０を選択する信号である。また、キャパシタＣ１，Ｃ２，Ｃ３は、リセット信号Ｓｒ１，Ｓｒ２，Ｓｒ３によって参照電圧ＶＲが印加されることにより、蓄積した電荷を放出してリセットされる。

２．動作
次に、本実施形態に係る距離センサ１の動作について説明する。

２−１．距離の計算方法
まず、距離センサ１による対象物までの距離の計算方法について、図３，４を参照して説明する。図３は、距離センサ１におけるパルス光の出射と受光の動作タイミングを示すタイミングチャートである。図３（ａ）は、パルス発光制御信号の供給タイミングを示す。図３（ｂ）は、対象物から距離センサ１に到達する反射光の到達タイミングを示す。図３（ｃ），（ｄ），（ｅ）は、それぞれ画素回路３０に入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３の出力タイミングを示す。図４は、距離センサ１による距離の計算方法を説明するための模式図である。

図３（ａ）に示すパルス発光制御信号は、タイミング発生部４１から光源部２に供給される（図１参照）。光源部２は、パルス発光制御信号に基づき、所定の期間Ｔｐをパルス幅とするパルス光を、時刻ｔ１から出射する。期間Ｔｐは、例えば１０ｎｓ（ナノ秒）以上２０ｎｓ以下であり、例えば１３ｎｓである。パルス光は、対象物に照射されることにより、対象物で反射して、反射光を生じる。対象物からの反射光は、距離センサ１までの距離に応じてパルス光の出射時から遅延して、距離センサ１に到達する。

図３（ｂ）に示す対象物からの反射光は、パルス光の出射からの遅延期間がＴｄであり、時刻ｔ１から期間Ｔｄ後の時刻ｔ２に、距離センサ１に到達している。反射光の波形は、パルス光と同じ期間Ｔｐのパルス幅を有する。なお、本実施形態では、期間Ｔｄは期間Ｔｐ未満であることを想定している。

本実施形態の受光部３では、以下の様に、図３（ｃ）〜（ｅ）に示すように、第１〜第３ゲート信号Ｓｇ１〜Ｓｇ３に基づき、パルス光の出射の停止期間中に背景光などの外光を受光するとともに、パルス光の出射に同期して対象物からの反射光を時分割して受光する。

具体的には、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は、パルス発光制御信号に同期して順次、受光面上の画素回路３０に生成される。画素回路３０においては、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３に基づき、フォトダイオードＰＤで受光量に応じて生成された電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積される（図２（ｂ）参照）。なお、受光量に相当する電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積されていない期間においてフォトダイオードＰＤで生じる電荷は、図示しないドレインゲートを通じて外部に排出されるようになっている。

図３（ｃ）に示す第１ゲート信号Ｓｇ１はパルス光の出射前で、かつ期間Ｔｐの間、ＯＮされる。第１ゲート信号Ｓｇ１がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ１に蓄積される。図４（ａ）に、キャパシタＣ１に蓄積される第１ゲート信号Ｓｇ１に基づく受光量Ｑ１を示す。受光量Ｑ１は、パルス光の反射光が生じていない状態において取得される外光の受光量である。受光量Ｑ１は、背景光などのパルス光とは無関係の外光の影響を確認するために取得される。

図３（ｄ）に示す第２ゲート信号Ｓｇ２はパルス光の出射を開始した時刻ｔ１から停止する時刻ｔ３までの間、ＯＮされる。第２ゲート信号Ｓｇ２がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ２に蓄積される。図４（ｂ）に、キャパシタＣ２に蓄積される第２ゲート信号Ｓｇ２に基づく受光量Ｑ２を示す。受光量Ｑ２には、パルス光の出射開始の時刻ｔ１から期間Ｔｐ以内に到達する反射光に由来する反射光成分が含まれる。また、受光量Ｑ２には、背景光などの外光成分も含まれる（図４参照）。

図３（ｅ）に示す第３ゲート信号Ｓｇ３はパルス光の出射停止後の時刻ｔ３から期間Ｔｐの間、ＯＮされる。第３ゲート信号Ｓｇ３がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ３に蓄積される。図４（ｃ）に、キャパシタＣ３に蓄積される第３ゲート信号Ｓｇ３に基づく受光量Ｑ３を示す。受光量Ｑ３には、パルス光の出射を停止した時刻ｔ３から遅延期間Ｔｄ後の時刻ｔ４まで続けて到来する反射光に由来する反射光成分が含まれる。このように、反射光の受光量全体が時分割され、遅延期間Ｔｄに応じて、受光量Ｑ２，Ｑ３の反射光成分として振り分けられる。なお、反射光の遅延期間Ｔｄは期間Ｔｐ未満であることを想定しており、反射光の到来が終了する時刻ｔ４は、キャパシタＣ３の充電期間Ｔｐの範囲内にある。また、受光量Ｑ３には、受光量Ｑ２と同様に、外光成分も含まれる。なお、パルス光を出射する期間の長さと、各ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３がＯＮの期間の長さとは、同じ長さでなくてもよい。

以上のように、距離センサ１では、受光部３がパルス光の出射期間の開始から所定時間の間に光を受光して、キャパシタＣ２，Ｃ３（第１電荷蓄積部）において受光量Ｑ２，Ｑ３に応じた電荷を蓄積する。また、パルス光の出射の停止期間中に光を受光して、キャパシタＣ１（第２電荷蓄積部）において受光量Ｑ１に応じた電荷を蓄積する。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷を検出することで、受光量Ｑ１，Ｑ２，Ｑ３を取得することができる。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷に相当する受光量Ｑ１，Ｑ２，Ｑ３によると、対象物からの反射光の遅延期間Ｔｄと期間Ｔｐの比は、図４（ｄ）に示すように、反射光の受光量全体のうちの受光量Ｑ３に振り分けられた割合（以下、「振り分け比率」という。）に対応している。このため、遅延期間Ｔｄは、受光量Ｑ２，Ｑ３の配分、すなわち振り分け比率に基づいて求めることができる。

ここで、受光量Ｑ２，Ｑ３には、図４（ｂ），（ｃ）に示すように、反射光成分だけでなく外光成分も含まれている。受光量Ｑ２，Ｑ３は外光のみの受光量Ｑ１と同じ長さの期間Ｔｐで取得されているので、受光量Ｑ２，Ｑ３に含まれる外光成分は、受光量Ｑ１と同程度であると考えられる。このため、本実施形態では、受光量Ｑ２，Ｑ３から適宜、受光量Ｑ１を減算することにより、外光成分を除いた反射光成分の受光量を算出する。受光量Ｑ１は受光量Ｑ２，Ｑ３を取得する直前に取得されるため、受光量Ｑ１により受光量Ｑ２，Ｑ３における外光成分を精度良く取り除くことができる。

遅延期間Ｔｄは、パルス光が対象物に到達してから、反射光として距離センサ１に戻ってくるまでにかかる時間である。つまり、対象物と距離センサ１との間の距離を光速ｃで往復した際にかかる時間である。よって、対象物までの距離をＬとすると、Ｔｄ＝２Ｌ／ｃが成り立つため、次式に基づき、対象物までの距離Ｌを計算することができる。
Ｌ＝（ｃ／２）×Ｔｐ×｛（Ｑ３−Ｑ１）／（Ｑ２＋Ｑ３−２×Ｑ１）｝ （１）

本実施形態に係る距離センサ１では、距離演算部４２が、上式（１）の原理に基づく所定の演算を行い、受光量の振り分け比率に基づく距離を計算する。距離演算部４２の演算式は、例えば、特定の環境下において予め行われる種々の信号タイミングやパラメータの設定（キャリブレーション）によって規定される。

２−２．距離画像の生成動作
本実施形態に係る距離画像の生成動作について、図５を参照して説明する。図５（ａ）は、１フレームの距離画像を生成する動作を説明するための図である。図５（ｂ），（ｃ），（ｄ）は、図５（ａ）の積算期間中の第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のタイミングチャートを示す。図５（ｅ）は、図５（ａ）の積算期間中のドレインゲートのタイミングチャートを示す。なお、ドレインゲートとは、フォトダイオードＰＤから電荷を排出するためのゲートである。

本実施形態に係る距離センサ１は、上述したパルス光の出射及びその反射光の受光の一連の動作を繰り返し行い、受光量を読み出す毎に順次、距離画像を生成する。図５（ａ）に示すように、距離画像を１回（１フレーム）、生成するためには、積算期間と、読出し期間とがかかる。積算期間は、上記のパルス光の出射及び受光の動作が所定回数、繰り返されることで、受光部３が受光量を積算する期間である。読出し期間は、積算期間に続いて制御部４０が、受光部３から積算された受光量を読み出す期間である。以下、フレーム数は、１回の積算期間及び読出し期間に基づき生成される距離画像の数をいうこととする。

積算期間は、パルス光を出射する回数分の受光期間を含む。受光期間は、画素回路３０において受光を行う期間であり、１回の受光期間中に、図５（ｂ），（ｃ），（ｄ）に示すように、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３が順次ＯＮされる（図３参照）。図５（ｅ）に示すように、ドレインゲートは、積算期間における受光期間外である非受光期間において開状態となり、フォトダイオードＰＤで光電変換された電荷を排出する。積算期間において、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３に基づき、繰り返し電荷を電荷蓄積部Ｃ１，Ｃ２，Ｃ３に蓄積することにより、受光量Ｑ１，Ｑ２，Ｑ３（図４参照）が積算される。以下、積算期間において受光量Ｑ１，Ｑ２，Ｑ３をそれぞれ積算する回数を、「積算回数」という。積算回数は、例えば３００回〜３万回である。

積算期間後の読出し期間において、ＴＯＦ信号処理部４の制御部４０は、受光部３のＡ／Ｄ変換器から、各画素回路３０で積算された受光量Ｑ１，Ｑ２，Ｑ３のデジタル値を読み出す。制御部４０において、距離演算部４２は、画素回路３０毎の受光量Ｑ１，Ｑ２，Ｑ３のデジタル値に基づき、式（１）に基づく演算を行う。受光量Ｑ１，Ｑ２，Ｑ３の積算により、測定される距離の統計的な精度が高まり、高精度で距離を算出することができる。

距離演算部４２が１つの画素に対して上記の演算を行うことにより、その画素の距離を示す距離データが取得される。ＴＯＦ信号処理部４は、全画素分の距離データを取得することにより、１フレームの距離画像を生成する。

本実施形態に係る距離センサ１は、例えばモバイル機器に搭載されてユーザのジェスチャーなどによる操作を検出するために、所定の時間間隔に１回ずつ、繰り返し距離画像を出力する。時間間隔は、例えば１／６０秒以上１／３０秒以下であり、ここでは１／３０秒とする。距離センサ１には、１／３０秒以内の周期で距離画像を出力することとともに、消費電力の低減が望まれる。さらに、モバイル機器を屋内外に持ち出して使用することが想定され、屋外の太陽光などの背景光に対する対策が重要となる。以下、本実施形態の距離画像の生成動作による背景光対策について説明する。

２−２−１．背景光対策について
本実施形態における背景光対策について、図６を用いて説明する。図６は、背景光の変動に応じた距離センサ１の動作を説明するための図である。図６（ａ），（ｂ）は、通常時（背景光が比較的弱いとき）に距離画像を生成する場合における光源部２及び受光部３の動作を示す。図６（ｃ），（ｄ）は、通常時から背景光が増大した場合における光源部２及び受光部３の動作を示す。

屋外では、太陽光などの強い背景光が、距離画像における距離の測定の障害となる。本実施形態では、距離画像の生成時に背景光の強さをモニタし、背景光の受光量の大きさに応じて、新たに距離画像を生成する際のパラメータ設定を変更する。

まず、通常時には、図６（ａ），（ｂ）に示すように、消費電力等の観点から、光源部２によるパルス発光の周期及びそれと同期した受光部３の受光の周期（以下、「パルス周期」という。）を、１０００ｎｓなどの大きい値に設定しておく。また、読出し期間は一例として、４．４８ｍｓ（ミリ秒）に設定される。

背景光が強い状況下では、背景光の受光量Ｑ１（図４参照）が、反射光を含んだ受光量Ｑ２，Ｑ３から外光成分（Ｑ１）を除いた信号量Ｑｓ（＝（Ｑ２−Ｑ１），（Ｑ３−Ｑ１））よりも大きくなる。受光部３の１フレームの受光動作（図４参照）において蓄積される背景光の受光量Ｑ１が、信号量Ｑｓよりも格段に大きい場合、受光動作時に生じるショットノイズは、近似的に（Ｑ１）^１／２に比例し、Ｓ／Ｎ比はＱｓ／（Ｑ１）^１／２に比例することとなる。このため、ショットノイズの影響を低減するためには、１フレーム当たりに受光部３に蓄積される背景光の受光量Ｑ１の増加を抑制しながら、信号量Ｑｓを増やす必要がある。単に１フレーム中の受光期間を延ばして総受光量を増やしたとしても、ノイズ成分（（Ｑ１）^１／２）ばかり増える上に、電荷蓄積部Ｃ１〜Ｃ３の飽和が生じることもあり、距離の測定精度を却って悪化させてしまう。

そこで、本実施形態に係る距離センサ１では、強い背景光を検出すると、図６（ｃ），（ｄ）に示すように、パルス周期を短縮した上で、連続する複数フレームの距離画像を平均化する。これにより、フレーム平均後に出力される距離画像に複数フレーム分の信号量Ｑｓが反映され、距離の統計的な測定精度を向上すること（即ち、ショットノイズによる距離精度悪化の抑制）が可能となる。

ここで、単に連続する複数フレームの距離画像を平均化すると、距離画像を出力する時間間隔が、平均化した複数フレーム分、倍増し、対象物までの距離の動的な測定精度が低下し得る。これに対して、本実施形態ではフレーム平均を行う際にパルス周期を短縮することで、（平均前の）フレームレートを上げる。これにより、フレーム平均で複数のフレーム期間をまとめても、例えば１／３０秒などの所定期間内に１回ずつ、フレーム平均後の距離画像を出力でき、距離の動的な測定精度を維持できる。

また、本実施形態では、パルス周期を短縮する際にパルス幅（及び受光期間）を変えずに、出射停止期間（及び非受光期間）を短縮する。これにより、パルス周期を短縮しながら１フレーム当たりの受光量を維持することができ、ノイズ成分（Ｑ１）^１／２を増やすことなく、パルス周期の短縮前と同量の信号量Ｑｓを各フレームで得ることができる。このため、本実施形態に係る距離センサ１では、距離の動的な測定精度を維持しながらショットノイズの影響を低減することができる。以上の背景光対策がなされる距離画像の生成処理について、以下、説明する。

２−２−２．距離画像の生成処理
本実施形態に係る距離センサ１の距離画像の生成処理について、図６〜９を参照して説明する。図７は、本実施形態における距離画像の生成処理を示すフローチャートである。図８は、距離画像の生成処理において用いるデータテーブルの例を示す。図９は、距離画像の平均化処理（フレーム平均）を説明するための表を示す。

本フローチャートによる処理は、ＴＯＦ信号処理部４の制御部４０によって実行される。

まず、制御部４０は、タイミング発生部４１を制御して、予め設定されたパルス周期で、繰り返しパルス光を出射するとともに受光量Ｑ１，Ｑ２，Ｑ３（図４，５参照）を積算しながら受光するように、光源部２と受光部３とをオンオフ制御する（Ｓ１）。本実施形態において、パルス周期等の設定は、データテーブルＤ１に基づき行われる。

データテーブルＤ１は、図８に示すように、モード番号と、パルス周期と、（平均前）フレームレートと、フレーム当たりのデューティ比と、平均化フレーム数と、一出力中のパルス発光回数とを管理する。モード番号は、パルス周期を段階的に短縮するために設けられたモードの管理番号である。フレームレートは、受光量を１回、読み出す毎に生成される距離画像の単位時間当たりのフレーム数である。フレーム当たりのデューティ比は、（平均前の）１フレームの期間に対する、１フレーム中に光源部２０が発光する期間の比である。平均化フレーム数は、距離画像の平均化を行う場合に、平均化処理の対象として取得される距離画像のフレーム数である。一出力中のパルス発光回数は、平均化済みで１回出力される距離画像に用いられた受光量の受光時に、パルス光が発光した回数である。

図８では、一例として４段階のモードを規定している。以下、モード番号「ｎ」（ｎ＝１〜４）のモードを、「モードｎ」という。図６（ａ），（ｂ）に示す状態はモード１の動作を示し、図６（ｃ），（ｄ）に示す状態はモード２の動作を示している。例えば、モード１は通常時の動作モードであり、パルス周期が「１０００ｎｓ」に設定され、パルス発光回数が「２８０００回」に設定されている。このため、モード１に設定中のステップＳ１では、光源部２によるパルス発光が１０００ｎｓに１回ずつ、２８０００回繰り返される。

図７に戻り、制御部４０は、受光部３から、設定中のモードによるオンオフ制御によって受光した受光量Ｑ１，Ｑ２，Ｑ３のデジタル値を読み出す（Ｓ２）。

制御部４０は、読み出した受光量のデジタル値に基づき、距離演算部４２において式（１）に基づく距離の演算を行い、距離画像を生成する（Ｓ３）。

次に、制御部４０は、設定中のモードの平均化フレーム数に基づき、生成した距離画像の平均化を行うか否かを判断する（Ｓ４）。ステップＳ４の判断処理において、制御部４０は、平均化フレーム数が「１」の場合には「Ｎｏ」に進み、「１」以外の場合に「Ｙｅｓ」に進む。この判断処理は、距離画像のフレームレートを考慮したものである。例えば、フレームレートが「３０．８ｆｐｓ」のモード１において、複数フレームの距離画像を平均化すると、平均化した距離画像を出力するまでに１／３０秒以上の期間を費やしてしまう。このため、モード１では、距離画像の平均化を行わないと判断され（Ｓ４でＮｏ）、ステップＳ５に進む。距離画像の平均化を行う場合については後述する。

制御部４０は、距離画像出力部４３からコントローラ６等の外部機器に、距離画像を出力する（Ｓ５）。

本実施形態では、一例として、ステップＳ１のパルス幅は１３ｎｓで、ステップＳ２の受光量の読出し期間は４．４８ｍｓとしている。このため、モード１において、ステップＳ１で光源部２及び受光部３をオンオフ制御してからステップＳ５で距離画像が出力されるまでのフレームレートは、「３０．８ｆｐｓ」となる（図８参照）。また、フレーム当たりのデューティ比は、光源部２０が発光しない期間に受光量の読出し期間が含まれ、「１．１２％」となる。

次に、制御部４０は、ステップＳ２において読み出した受光量に基づき、背景光の受光量を検出する（Ｓ８）。本実施形態では、制御部４０は、各画素回路３０の電荷蓄積部Ｃ１において積算された受光量Ｑ１を用いて背景光の受光量の大きさを判断し、全ての画素回路３０の受光量Ｑ１の内の最大値を、背景光の検出値として使用する。

次に、制御部４０は、背景光の検出値が、設定中のモード番号「ｎ」に対応したしきい値ＬＡ−ｎを越えたか否かを判断する（Ｓ９）。しきい値ＬＡ−ｎは、受光量の増大により、モードｎではショットノイズの対策が不十分になり得ることを示すしきい値である。本実施形態において、しきい値ＬＡ−ｎは、モード番号「ｎ」の増加に応じて大きくなるように設定される。例えば、しきい値ＬＡ−１は電荷蓄積部Ｃ１の最大蓄積量の７０％、しきい値ＬＡ−２は電荷蓄積部Ｃ１の最大蓄積量の９０％に設定される。

背景光の検出値がしきい値ＬＡ−ｎを超えた場合、いずれかの画素回路３０の受光量がしきい値ＬＡ−ｎを越えており、受光部３の受光動作における光ショットノイズが増大している。そこで、制御部４０は、背景光の検出値がしきい値ＬＡ−ｎを越えたと判断した場合（Ｓ９でＹｅｓ）、パルス周期短縮処理を行う（Ｓ１０）。

パルス周期短縮処理は、背景光の増大に応じて、次の制御周期で生成される距離画像のパルス周期を短縮するとともに、距離画像の平均化の設定を行う処理である。本実施形態において、パルス周期短縮処理は、図８に示すデータテーブルＤ１において、設定中のモードを１段階大きいモードに移行することにより行われる。例えば、図６（ａ），（ｂ）に示すモード１での処理を行っている場合において検出値がしきい値ＬＡ−１を超えたとき（Ｓ９でＹｅｓ）、制御部４０は、データテーブルＤ１を参照してモード１からモード２に移行し（Ｓ１０）、モード２の状態でステップＳ１以降の処理を再度行う（図６（ｃ），（ｄ）参照）。

データテーブルＤ１において、モード番号「２」以上の各モードは、背景光が強い状況下でパルス周期を変化させるとともにフレーム平均を行うことが設定された、背景光対策用の動作モードである。データテーブルＤ１のモード２には、平均化フレーム数「２」が設定されている。このため、モード２の状態では、ステップＳ４で「Ｙｅｓ」に進み、距離画像の平均化が行われる。

距離画像の平均化を行う場合（ステップＳ４でＹｅｓ）、制御部４０は、生成した距離画像のフレーム数がデータテーブルＤ１の平均化フレーム数に到達したか否かを判断する（Ｓ６）。制御部４０は、生成した距離画像のフレーム数が平均化フレーム数に到達するまで、ステップＳ１以降の処理を繰り返し行い（Ｓ６でＮｏ）、生成した距離画像を記憶部４４に記録する。

生成した距離画像のフレーム数が平均化フレーム数に到達した場合（Ｓ６でＹｅｓ）、制御部４０は、平均化処理部４５において平均化フレーム数分の距離画像の平均化を実行する（Ｓ７）。

図９に示す表は、距離画像の平均化の前後の距離データの一例を示す。距離画像の平均化は、図９に示すように、距離画像の各画素（ｘ１，ｙ１）、（ｘ２，ｙ２）、…において、平均化フレーム数分の距離データの平均値を演算することによって行われる。平均化処理部４５による距離データの平均値の演算は、実際の距離の単位で行われてもよいし、ビット数単位で行われてもよい。演算した平均値を平均化した距離画像の距離データをすることにより、フレーム毎の距離データのばらつきが平坦化され、距離の測定精度が向上する。

図８に示すモード２の状態では、平均化フレーム数が「２」に設定されているため、図９に示すように２フレーム分の距離画像が平均化され（Ｓ７）、平均化した距離画像が出力される（Ｓ５）。ここで、モード１のパルス周期「１０００ｎｓ」からモード２のパルス周期が「４３０ｎｓ」に短縮されたため、モード２の（平均前の）フレームレートは、モード１のフレームレート「３０．８ｆｐｓ」よりも大きい「６０．５ｆｐｓ」になっている。このため、２フレームの距離画像を生成する期間をまとめても、１／３０秒以内に距離画像の平均化処理を完了することができる。

また、上記の平均化処理により、モード２で出力される距離画像は、積算された受光量を２回読み出す毎に、読み出し２回分の受光量に基づいて生成されることとなる。読み出し２回分の受光量にはモード１のパルス発光回数「２８０００回」の２倍のパルス発光回数「５８０００回」の分の信号量が含まれているため、信号量を増やしてショットノイズの影響を低減することができる。

パルス周期短縮処理では、背景光の検出値が増大する毎に、データテーブルＤ１のモード数が順次、上がり、パルス周期を縮めながら平均化フレーム数を増やす。これにより、各モードにおいて、それぞれの平均化フレーム数に応じた平均化処理を行いながら、１／３０秒以内に１回ずつ距離画像を出力することができる。

図７に戻り、制御部４０は、モードｎにおいて背景光の検出値がしきい値ＬＡ−ｎを越えていないと判断した場合（Ｓ９でＮｏ）、背景光の検出値がしきい値ＬＢ−ｎを下回ったか否かを判断する（Ｓ１１）。しきい値ＬＢ−ｎは、受光量の減少によりモードｎを解除してもショットノイズの対策が可能であることを示すしきい値であり、しきい値ＬＡ−ｎよりも小さい値である。例えば、しきい値ＬＢ−１は電荷蓄積部Ｃ１の最大蓄積量の６５％、しきい値ＬＢ−２は電荷蓄積部Ｃ１の最大蓄積量の８５％に設定される。

背景光の検出値がしきい値ＬＢ−ｎを下回った場合には、全ての画素回路３０の受光量がしきい値ＬＢ−ｎを下回っており、積算回数の設定を戻しても電荷蓄積部Ｃ１，Ｃ２，Ｃ３の飽和は生じない。このため、制御部４０は、背景光の検出値がしきい値ＬＢ−ｎを下回ったと判断した場合（Ｓ１１でＹｅｓ）、パルス周期延長処理を行う（Ｓ１１）。

パルス周期延長処理は、背景光の減少に応じて、次の制御周期で生成される距離画像のパルス周期を延長し、平均化フレーム数を減らす処理である。本実施形態において、パルス周期延長処理は、図８に示すデータテーブルＤ１で設定中のモードを１段階小さいモードに移行することにより行われる。これにより、背景光が一度強くなった後に弱まった場合などに、必要最小限の消費電力で距離センサ１を動作させることができる。

また、制御部４０は、背景光の検出値がしきい値ＬＢ−ｎを下回っていないと判断した場合（Ｓ１１でＮｏ）、設定中のモードの状態で、ステップＳ１以降の処理を繰り返し行う。

以上の処理によると、背景光が強い状況下ではデータテーブルＤ１のモードにおいてパルス周期を段階的に短縮するとともに、距離画像の平均化フレーム数を増やす。このため、背景光が強い状況下において、ショットノイズの影響を低減するとともに１／３０秒以内に１回の頻度で距離画像を出力できる。出力される各距離画像は、平均化フレーム数分読み出した受光量に基づき生成されており、その受光量には平均化フレーム数分のパルス発光回数（図８参照）に応じた信号量が含まれているため、ショットノイズの影響が低減されている。このため、背景光が強い状況下において、動的な距離の測定精度を維持しながらショットノイズによる距離画像の精度低下を抑制することができる。

また、以上の説明では、背景光の受光量の検出（ステップＳ８）を、ステップＳ５の距離画像の出力後に行ったが、ステップＳ８以降の処理を行うタイミングはステップＳ５の後に限らない。ステップＳ８〜Ｓ１２の処理は、ステップＳ５よりも前に行ってもよく、例えばステップＳ２の受光量の読み出し後に行ってもよい。

また、以上の説明では、ステップＳ１０，Ｓ１２の処理において、図１０に示すデータテーブルＤ１のモードを一段階ずつ変更したが、これに限らず、例えば背景光の検出値に応じて変更するモード数を演算し、１フレームで複数段階のモードを変更してもよい。

また、以上の処理では、ステップＳ１０，１２のパルス周期短縮処理及びパルス周期延長処理においてデータテーブルＤ１を参照したが、データテーブルＤ１を用いる代わりに、演算によって設定するパルス周期を算出してもよい。

３．まとめ
以上のように、本実施形態に係る距離センサ１は、光源部２と、受光部３と、制御部４０とを備える。光源部２は、対象物５に繰り返しパルス光を出射する。受光部３は、パルス光の出射に同期して光を受光する。制御部４０は、光源部２及び受光部３の動作を制御して、受光部３から受光した光の受光量Ｑ１〜Ｑ３を読み出す毎に、受光量Ｑ１〜Ｑ３に基づき対象物までの距離を示す距離情報である距離画像を生成する。制御部４０は、受光量Ｑ１の大きさに応じて、光源部２による出射及び受光部３による受光のそれぞれの周期であるパルス周期を変化させる。制御部４０は、受光部３からの受光量Ｑ１〜の読み出しを設定中の平均化フレーム数分、繰り返す毎に、平均化フレーム数分の受光量に基づく距離画像を生成する。平均化フレーム数は、制御部４０が変化させたパルス周期に対応する回数である。

距離センサ１によると、受光部３が受光した受光量の大きさに応じてパルス周期を変化させながら、距離画像が、パルス周期に対応した平均化フレーム数分の受光量に基づき、生成される。このため、背景光が強い状況下で増大するショットノイズの影響を低減するように平均化フレーム数分の受光量を用いながら、パルス周期を変化させて動的な測定精度も維持し、距離の測定精度の低下を抑制することができる。

また、距離センサ１において、制御部４０は、受光量Ｑ１の大きさが大きくなるにつれて段階的にパルス周期を短縮してもよい。この場合、平均化フレーム数は、パルス周期の短縮に応じて増加する。これにより、平均化フレーム数が増加したときに、背景光が強くなるほど、パルス周期を短縮しつつ平均化フレーム数が増加し、距離の動的な測定精度の低下を抑制しながら統計的な測定精度低下を抑制できる。

また、距離センサ１において、制御部４０は、パルス周期を変化させながら、１周期当たりに光源部が光を出射する時間幅（パルス幅）を変化させない。これにより、パルス周期を変化させても、１フレーム当たりに読み出される受光量の総量が変わらず、距離の統計的な測定精度の低下がより抑制される。

また、距離センサ１において、制御部４０は、平均化フレーム数分の受光量Ｑ１〜Ｑ３における各受光量に基づく距離画像を平均化する平均化処理部４５を備えてもよい。距離センサ１は、平均化フレーム数分の受光量のうちの初めの受光量の受光の開始から平均化処理部４５が距離画像を平均化するまでの期間が所定期間内になるように、パルス周期を変化させてもよい。これにより、所定期間内に１回ずつ、平均化処理部４５が平均化した距離画像が得られ、動的にも統計的にも距離の測定精度の低下をより良く抑制することができる。

また、距離センサ１において、上記の所定期間は、１／６０秒以上１／３０秒以下であってもよい。これにより、例えばユーザのジェスチャーなどに追従可能な動画の距離画像を出力することができる。

また、距離センサ１は、パルス周期と、平均化フレーム数とを関連付けたデータテーブルＤ１を記憶する記憶部４４をさらに備えてもよい。この場合、制御部４０は、受光量Ｑ１の大きさに応じて、データテーブルＤ１を参照してパルス周期を変化させる。これにより、データテーブルＤ１に基づきパルス周期と距離画像を平均化するフレーム数とを設定する制御が容易に行える。

また、距離センサ１において、受光部３は、パルス光の出射の開始から所定時間の間に時分割して光を受光し、時分割された受光量Ｑ２，Ｑ３に相当する電荷をそれぞれ蓄積する複数の第１電荷蓄積部Ｃ２，Ｃ３を備えてもよい。これにより、時分割された受光量Ｑ２，Ｑ３を用いて距離の算出を行うことができる。

また、距離センサ１において、受光部３は、パルス光の出射の停止期間中に光を受光し、パルス光の出射の停止期間中に受光した受光量Ｑ１に相当する電荷を蓄積する第２電荷蓄積部Ｃ１を備えてもよい。これにより、パルス光の反射光を含まない背景光のみの受光量Ｑ１を取得することができる。

（実施形態２）
実施形態１では、距離センサ１において距離画像の平均化処理を行った。実施形態２では、距離センサから距離画像を取得するコントローラにおいて、距離画像の平均化処理を行う。以下、本実施形態に係る距離センサ及びコントローラを備えたシステムについて説明する。

図１０は、本発明の実施形態２に係るユーザインタフェースシステムの構成を示すブロック図である。実施形態１では距離センサ１の制御部４０が平均化処理部４５を備えたが（図１参照）、本実施形態では、距離センサ１Ａの制御部４０Ａではなくコントローラ６Ａが、平均化処理部６１を備える。

コントローラ６Ａは、例えば実施形態１のデータテーブルＤ１と同様に、距離センサ１Ａに設定されるモードと、平均化フレーム数とを関連付けた情報を内部メモリに記憶している。コントローラ６Ａの平均化処理部６１は、上記の情報に基づき、距離センサ１Ａから取得される複数フレームの距離画像のフレーム平均を行う。平均化処理部６１の機能は、例えばコントローラ６Ａ上で実行されるプログラムによって実現される。

図１１は、本実施形態における距離センサ１Ａによる距離画像の生成処理を示すフローチャートである。距離センサ１Ａは、実施形態１の図７と同様に、背景光の強さに応じてパルス周期を変化させるパルス周期短縮処理及びパルス周期延長処理（ステップＳ９〜Ｓ１２）を行う。一方、実施形態１では図７のステップＳ４〜Ｓ７で距離画像の平均化処理を行ったが、本実施形態ではこれに代えて、各フレームの距離画像を逐次、コントローラ６Ａに出力する（ステップＳ５Ａ）。

また、ステップＳ５Ａにおいて、距離センサ１Ａは、距離画像とともに、設定中のモード（図８参照）を示すモード情報をコントローラ６Ａに出力する。モード情報は、例えばデータテーブルＤ１におけるモード番号を示す情報である。

図１２は、コントローラ６Ａによる距離画像に基づく処理を示すフローチャートである。まず、コントローラ６Ａは、所定の周期（例えば１／３０秒）で、距離センサ１Ａから距離画像及びモード情報を取得したか否か検知する（Ｓ２１）。

コントローラ６Ａは、距離センサ１から距離画像及びモード情報を取得すると（Ｓ２１でＹｅｓ）、取得したモード情報に基づき、距離画像を平均化するか否か判断する（Ｓ２３）。

コントローラ６Ａは、距離画像の平均化を行う場合（ステップＳ２３でＹｅｓ）、距離センサ１Ａから取得した距離画像のフレーム数がモード情報に基づく平均化フレーム数に到達したか否かを判断する（Ｓ２４）。コントローラ６Ａは、取得した距離画像のフレーム数が平均化フレーム数に到達するまで、ステップＳ２１以降の処理を繰り返し行い（Ｓ２４でＮｏ）、取得した距離画像を内部メモリに記録する。

コントローラ６Ａは、距離センサ１Ａから取得した距離画像のフレーム数が平均化フレーム数に到達した場合（Ｓ２４でＹｅｓ）、平均化処理部６１において距離画像の平均化を実行する（Ｓ２５）。ステップＳ２５の処理は、図７のステップ７の処理と同様に行われる。

次に、コントローラ６Ａは、平均化した距離画像に基づいて、ジェスチャーなどのユーザの操作を検知する（Ｓ２６）。ステップＳ２６の処理において、コントローラ６Ａは、例えば距離画像に映る物体までの距離や動きの検知処理を行う。また、コントローラ６Ａは、距離画像に映る物体の三次元的な形状を検知するための画像処理を行ってもよい。コントローラ６は、距離画像に基づく検知結果を用いて、例えば搭載された装置の表示制御などを行う。

コントローラ６Ａは、以上の処理を繰り返し実行する。

以上の処理によると、背景光が強い状況下では、距離センサ１Ａが、パルス周期を短縮しながら距離画像を逐次、コントローラ６に出力し、コントローラ６Ａは、距離センサ１Ａからの複数フレームの距離画像を平均化する。これにより、コントローラ６Ａは、例えば１／３０秒に１回などの頻度でショットノイズの影響が低減された距離画像を得て、ユーザの操作の検出等を行うことができる。

以上のように、本実施形態に係るユーザインタフェースシステムは、距離センサ１Ａと、コントローラ６Ａとを備える。コントローラ６Ａは、距離センサ１Ａから距離画像を取得し、所定の処理を実行する。距離センサ１Ａの制御部４０Ａは、受光量Ｑ１の大きさに応じて、パルス周期を変化させる。コントローラ６Ａは、距離センサ１Ａから設定中の平均化フレーム数、距離画像を取得する毎に、平均化フレーム数分の距離画像を平均化する平均化処理部６１を備える。平均化フレーム数は、制御部４０が変化させたパルス周期に対応する回数である。

本システムによると、背景光が強い状況下で、距離センサ１Ａがパルス周期を変化させながら逐次、出力する距離画像が、コントローラ６Ａにおいて平均化フレーム数ずつ平均化され、距離の測定精度の低下を抑制することができる。

以上の説明では、図１１のステップＳ５Ａで１フレームの距離画像とともにモード情報が距離センサ１Ａからコントローラ６Ａに出力されたが、距離センサ１Ａからのモード情報は、フレーム毎に出力されなくてもよい。例えば、モード情報は、距離センサ１Ａにおいてモードの変更があったときに、コントローラ６Ａに出力されてもよい。

また、平均化フレーム数の設定は、コントローラ６Ａにおいて行われてもよい。例えば、コントローラ６Ａが距離センサ１Ａから距離画像を取得する毎にフレームレートを測定し、測定結果に基づいて平均化フレーム数を設定してもよい。

（他の実施形態）
上記の各実施形態では、距離センサ１，１Ａの制御部４０が距離画像の生成処理（図７，１１）のステップＳ９において背景光の検出値がしきい値ＬＡ−ｎを越えたと判断した場合にパルス周期短縮処理を行った。しかし、パルス周期短縮処理を実行するタイミングはこれに限らず、例えば、制御部４０が、所定の複数フレームにおいて連続して背景光の検出値がしきい値ＬＡ−ｎを越えたと判断した場合にパルス周期短縮処理を実行してもよい。また、パルス周期延長処理の実行タイミングについても上記と同様に、制御部４０が、所定の複数フレームにおいて連続して背景光の検出値がしきい値ＬＢ―ｎを下回ったと判断した場合に、パルス周期延長処理を実行してもよい。

上記の各実施形態では、背景光のモニタとして、外光専用の電荷蓄積部Ｃ１において積算された受光量Ｑ１を用いたが、受光量Ｑ１に代えて、電荷蓄積部Ｃ２，Ｃ３において積算された受光量Ｑ２，Ｑ３を用いてもよい。例えば、フレーム毎に受光量Ｑ２，Ｑ３のうちのより大きい受光量を用いて、反射光成分も含んで積算された受光量のモニタを行ってもよい。フレーム毎に積算された受光量Ｑ１，Ｑ２，Ｑ３の大きさに応じて次のフレームのパルス周期を変化させてもよい。なお、受光量Ｑ１を用いて背景光のみをモニタする場合、例えば対象物までの距離の変化などによる受光量の増減などとは区別することができ、背景光が強い時専用のモード設定を行う場合などに有効である。

また、上記の各実施形態では、受光部３の全ての画素回路３０における受光量の最大値を検出値として抽出したが、受光量のモニタ方法はこれに限らず、例えば、全ての画素回路３０のうちの一部の画素回路３０における受光量の最大値を検出値として使用してもよい。また、受光量の最大値を抽出することに代えて、複数の値をサンプリングして、それぞれしきい値ＬＡ−ｎ，ＬＢ−ｎと比較してもよい。例えば、しきい値ＬＢ−ｎとの比較において、全ての画素回路３０のうちの所定数の受光量の大きさがしきい値ＬＢ−ｎを下回ったときにパルス周期を延ばすようにしてもよい。

また、上記の各実施形態では、画素回路３０は外光専用の電荷蓄積部Ｃ１を備えたが、距離センサにおける画素回路はこれに限らず、外光専用の電荷蓄積部Ｃ１を省略してもよい。この場合、画素回路からの読出しにおいて、反射光を含む受光量と外光の受光量とを異なるフレームで取得し、２フレームの読み出しで１フレームの距離画像を生成するようにしてもよい。例えば、連続する２つのフレームにおいて、一方のフレームでパルス光の出射を繰り返すとともに２つの電荷蓄積部で時分割して電荷を蓄積してＴＯＦ信号処理部４に読み出し、反射光を含む受光量を取得する。他方のフレームでは、パルス光の出射を停止しながら受光を行うことで、外光の受光量を取得することができる。この場合、受光量のモニタは、外光の受光量で行ってもよいし、反射光を含む受光量で行ってもよい。

また、上記の各実施形態では、画素回路３０が３つの電荷蓄積部Ｃ１，Ｃ２，Ｃ３を備え、３種の受光量Ｑ１，Ｑ２，Ｑ３を時分割で取得する場合について説明したが、距離センサの画素回路が備える電荷蓄積部の数は３つ以上であってもよい。例えば、画素回路が４つ以上の電荷蓄積部を備え、４種以上の受光量Ｑ１，Ｑ２，…，Ｑｍ（ｍは４以上の整数）を時分割で取得してもよい。

また、上記の各実施形態では、平均化フレーム数に基づき距離画像の平均化を行うか否かを判断した。平均化を行うか否かの切替えは平均化フレーム数を用いなくてもよく、例えば、別途、所定のフラグを用いてもよい。

また、上記の各実施形態では、各フレームで読み出した受光量により距離画像を生成してから平均化することで、受光量の読み出しを平均化フレーム数（所定回数）で繰り返す毎に、平均化フレーム数分の受光量に基づく距離画像を生成した。しかし、所定回数分の受光量に基づく距離画像を生成する方法はこれに限らず、例えば、距離計算前に取得したデータ（受光量）に対して平均値を演算することにより、所定回数分の受光量に基づく距離画像を生成してもよい。例えば、距離センサ１が受光量の読み出しを複数フレーム繰り返す毎に、まず平均化処理部４５が読み出した複数フレーム分の受光量を平均化して、次に距離演算部４２が平均化された受光量に基づき距離画像を１回、生成してもよい。

また、受光量や距離画像（距離データ）の平均化の演算方法は、複数フレーム分の相加平均であってもよいし、加重平均や相乗平均であってもよい。

また、上記の各実施形態では、ＴＯＦ信号処理部４において制御部４０が距離演算部４２及び平均化処理部４５を備えたが、これに限らず、ＴＯＦ信号処理部４において制御部４０と距離演算部４２及び平均化処理部４５とを別個に構成してもよい。

また、上記の各実施形態では、距離センサ１，１Ａの距離の測定法式が間接ＴＯＦ方式である場合について説明した。本距離センサの距離の測定方式はこれに限らず、例えば、反射光の伝播期間を直接、測定する直接ＴＯＦ方式であってもよい。直接ＴＯＦ方式の距離センサは、例えば、時間デジタル変換器や単一フォトンのアバランシェフォトダイオードを用いて構成してもよい。

また、上記の各実施形態では、距離センサ１，１Ａがモバイル機器に搭載される場合を例示した。距離センサ１，１Ａが搭載される機器はモバイル装置に限らず、例えば監視カメラや車載装置であってもよい。このような場合においても、距離センサ１，１Ａによると、背景光が強い状況下であっても、人や車などの対象物までの距離の測定精度の低下を抑制できる。

１ 距離センサ
２ 光源部
３ 受光部
４０ 制御部
４１ タイミング発生部
４２ 距離演算部
４４ 記憶部
４５ 平均化処理部
６ コントローラ
６１ 平均化処理部
Ｃ１，Ｃ２，Ｃ３ 電荷蓄積部

Claims (9)

1. 対象物に繰り返し光を出射する光源部と、
   前記光源部による光の出射に同期して光を受光する受光部と、
   前記光源部及び前記受光部の動作を制御して、前記受光部から受光した光の受光量を読み出す毎に、前記受光量に基づき前記対象物までの距離を示す距離情報を生成する制御部とを備え、
   前記制御部は、前記受光量の大きさに応じて、前記光源部による出射及び前記受光部による受光のそれぞれの周期を変化させ、
   前記制御部は、前記受光部からの前記受光量の読み出しを所定回数繰り返す毎に、前記所定回数分の受光量に基づく距離情報を生成し、
   前記所定回数は、前記制御部が変化させた前記周期に対応する回数である
   距離センサ。
2. 前記制御部は、前記受光量の大きさが大きくなるにつれて段階的に前記周期を短縮し、
   前記所定回数は、前記周期の短縮に応じて増加する
   請求項１に記載の距離センサ。
3. 前記制御部は、前記周期を変化させながら、１周期当たりに前記光源部が光を出射する時間幅を変化させない
   請求項１又は２に記載の距離センサ。
4. 前記制御部は、
   前記所定回数分の受光量における各受光量に基づく距離情報を平均化する平均化処理部を備え、
   前記所定回数分の受光量のうちの初めの受光量の受光の開始から前記平均化処理部が前記距離情報を平均化するまでの期間が所定期間内になるように、前記周期を変化させる
   請求項１〜３のいずれか１項に記載の距離センサ。
5. 前記所定期間は、１／６０秒以上１／３０秒以下である
   請求項４に記載の距離センサ。
6. 前記周期と、前記所定回数とを関連付けたテーブルを記憶する記憶部をさらに備え、
   前記制御部は、前記受光量の大きさに応じて、前記テーブルを参照して前記周期を変化させる
   請求項１〜５のいずれか１項に記載の距離センサ。
7. 前記受光部は、
   前記光源部による出射の開始から所定時間の間に時分割して光を受光し、
   時分割された受光量に相当する電荷をそれぞれ蓄積する複数の第１電荷蓄積部を備える請求項１〜６のいずれか１項に記載の距離センサ。
8. 前記受光部は、
   前記光源部による出射の停止期間中に光を受光し、
   前記停止期間中に受光した受光量に相当する電荷を蓄積する第２電荷蓄積部を備える請求項１〜７のいずれか１項に記載の距離センサ。
9. 対象物に繰り返し光を出射する光源部と、
   前記光源部による光の出射に同期して光を受光する受光部と、
   前記光源部及び前記受光部の動作を制御し、前記受光部から受光した光の受光量を読み出す毎に、前記受光量に基づき前記対象物までの距離を示す距離情報を生成する制御部と
   を備えた距離センサと、
   前記距離センサから前記距離情報を取得し、所定の処理を実行する処理装置とを備え、
   前記距離センサの制御部は、前記受光量の大きさに応じて、前記光源部による出射及び前記受光部による受光のそれぞれの周期を変化させ、
   前記処理装置は、前記距離センサから所定回数、前記距離情報を取得する毎に、前記所定回数分の距離情報を平均化する平均化処理部を備え、
   前記所定回数は、前記制御部が変化させた前記周期に対応する回数である
   システム。

Images