JP2006105887A - 立体視装置およびそれを備えた立体画像表示システム - Google Patents

Abstract

【課題】 超小型、かつ低消費電力、かつリアルタイム撮像が可能な立体視装置およびそれを備えた立体画像表示システムを提供する。
【解決手段】 この立体視装置では、超音波発生器４は、ＬＦＳＲ１１からのＰＮ符号に従って振幅変調された超音波を生成して対象物６に照射する。イメージセンサ１４は、複数行複数列に配置され、各々が対象物６からの反射波を受け、受けた反射波を電気信号に変換する複数の単位キャパシタを含む。相関器１５は、複数の単位キャパシタの各々によって生成された電気信号の位相とＬＦＳＲ１２からのＰＮ符号の位相とを比較し、比較結果に応じて相関値ＤＡＴＡを出力する。これにより、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。
【選択図】 図２

Description

この発明は、立体視装置およびそれを備えた立体画像表示システムに関し、特に、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置およびそれを備えた立体画像表示システムに関する。

一般的に、ＣＣＤ（Charge Coupled Devise：電荷結合素子）やＣＭＯＳ（Complementary-MOS：相補型金属酸化物半導体）イメージセンサで対象物を撮像した場合、二次元的な平面画像が得られる。

三次元的な立体画像を得る方法として、２つのイメージセンサから得られる２つの平面画像を合成する方法がある。しかし、この場合、膨大な計算時間を必要とするため、リアルタイムの立体画像抽出が困難である。さらに、２つのイメージセンサを設置する分、大きなスペースが必要となる。

また、対象物にレーザ光を照射しながら走査し、その反射光に基づいて対象物までの距離を算出して立体画像を得る方法もある。しかし、この場合、レーザ光を走査するための機械的な機構が必要となる上、対象物の撮像範囲をレーザ光で走査するための時間が必要となる。

下記の特許文献１には、構成が簡単で良好な立体感を有する映像信号が発生できる立体画像撮像装置が開示されている。この場合、左眼用の撮像部と右眼用の撮像部とを一体的に結合して構成する。

また、下記の特許文献２には、簡単安価な回路構成を付加して一般使用の２カメラから立体画像信号を得る立体画像撮像装置が開示されている。この場合、安価な一般に市販されているカメラをそのまま用い、簡単な遅延回路とカメラの映像出力を合成する合成回路とを付加するだけでよい。
特開平８−８４３５３号公報 特開平１０−１８６５５０号公報

以上のように、従来の立体画像撮像装置では、対象物の立体画像をリアルタイムに得るのが困難であった。また、装置の小型化、低消費電力化が十分に実現できなかった。

ここで、スペクトル拡散通信に用いられる擬似ランダム雑音符号を利用することによって、耐雑音性に優れた距離計測が可能となる。また、装置のさらなる小型化、低消費電力化を図り、かつリアルタイムで三次元的な立体画像を得るためには、新たな距離計測の手法が必要となる。

それゆえに、この発明の主たる目的は、超小型、かつ低消費電力、かつリアルタイム撮像が可能な立体視装置およびそれを備えた立体画像表示システムを提供することである。

この発明に係わる立体視装置は、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、所定の符号長を有する第１の擬似ランダム雑音符号、および第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第１の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器と、複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第１キャパシタを含むイメージセンサと、複数の第１キャパシタの各々によって生成された電気信号と複数の第２の疑似ランダム雑音符号とに基づいて、複数の第１キャパシタの各々に対応した対象物までの距離データを出力する出力部とを備えたものである。

好ましくは、出力部は、複数の第２の擬似ランダム雑音符号の遅延情報を出力するカウンタと、複数の第１キャパシタの各々によって生成された電気信号の位相と複数の第２の疑似ランダム雑音符号の各々の位相とを比較し、それらの位相が一致した場合は第１の相関値を出力し、それらの位相が一致しない場合は第２の相関値を出力する相関器と、相関器から第１の相関値が出力されたときのカウンタからの遅延情報に基づいて、複数の第１キャパシタの各々に対応した対象物までの距離データを算出する演算処理部とを含む。

また好ましくは、超音波発生器は、複数行複数列に配置され、各々が駆動電圧に応じて電極間距離が変化して超音波を生成する複数の第２キャパシタと、それぞれ第１の擬似ランダム雑音符号に従って振幅変調され、超音波発生器の中心部から外周方向に進むにつれて順次遅延された複数の駆動電圧を複数の第２キャパシタに与え、超音波発生器から放射状の超音波ビームを生成させるための遅延回路とを含む。

この発明に係わる立体画像表示システムは、上記立体視装置と、上記立体視装置からの多重化された距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置とを備えたものである。

この発明に係わる他の立体視装置は、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、所定の符号長を有する第１の擬似ランダム雑音符号、および第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第１の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオードと、複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサと、複数の受光素子の各々によって生成された電気信号と複数の第２の疑似ランダム雑音符号とに基づいて、複数の受光素子の各々に対応した対象物までの距離データを算出する出力部とを備えたものである。

この発明に係わる立体視装置では、所定の符号長を有する第１の擬似ランダム雑音符号、および第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第１の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器と、複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第１キャパシタを含むイメージセンサと、複数の第１キャパシタの各々によって生成された電気信号と複数の第２の疑似ランダム雑音符号とに基づいて、複数の第１キャパシタの各々に対応した対象物までの距離データを出力する出力部とが設けられる。したがって、擬似ランダム雑音符号および超音波を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用するため、雑音に対しても安定した距離計測が可能である。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。

この発明に係わる立体画像表示システムでは、上記立体視装置と、上記立体視装置からの多重化された距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置とが設けられる。したがって、立体視装置から復調装置へ距離データを多重化して転送することによって、人間にとって違和感のない、３０（フレーム／秒）の動画表示が可能となる。

この発明に係わる他の立体視装置では、所定の符号長を有する第１の擬似ランダム雑音符号、および第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器と、第１の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオードと、複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサと、複数の受光素子の各々によって生成された電気信号と複数の第２の疑似ランダム雑音符号とに基づいて、複数の受光素子の各々に対応した対象物までの距離データを算出する出力部とが設けられる。したがって、擬似ランダム雑音符号およびレーザ光を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用するため、雑音に対しても安定した距離計測が可能である。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。

［実施の形態１］
図１は、この発明の実施の形態１による立体画像表示システムの概略構成を示すブロック図である。図１において、この立体画像表示システムは、立体視装置１、復調装置２およびモニタ３を備える。

立体視装置１は、超音波を生成して対象物６に照射する超音波発生器４、および対象物６で反射された超音波を受ける回折レンズ５を含む。この立体視装置１は、表面の外周の４辺の長さがそれぞれ約１ｃｍ以下の超小型の立体視装置である。

立体視装置１の内部には、回折レンズ５を介して受けた反射波を電気信号に変換するイメージセンサ、およびその電気信号に基づいて立体視装置１から対象物６までの距離データを算出するための回路などが設けられる。算出された距離データは、立体視装置１から復調装置２に与えられる。復調装置２は、距離データを立体画像データに復調し、対象物６の三次元的な立体画像をモニタ３に表示させる。なお、回折レンズ５は、反射型の凹面鏡であってもよい。ただし、その場合は凹面鏡で反射された超音波をイメージセンサで受ける構成にする。

図２は、図１に示した立体視装置１の構成を示すブロック図である。図２において、この立体視装置１は、超音波発生器４、回折レンズ５、制御回路１０、ＬＦＳＲ（Linear Feedback Shift Register：線形帰還シフトレジスタ）１１，１２、駆動回路１３、イメージセンサ１４、相関器１５、カウンタ１６および演算処理部１７を含む。

制御回路１０は、ＬＦＳＲ１１，１２を起動させるための起動信号を生成する。ＬＦＳＲ１１，１２は、それぞれ制御回路１０からの起動信号を受けて、擬似的にランダムな符号列パターンを有するＰＮ（Pseudorandom Noise：擬似ランダム雑音）符号を生成する。

図３は、図２に示したＬＦＳＲ１１の構成を示すブロック図である。図３において、このＬＦＳＲ１１は、フリップフロップ（ＦＦ）２１〜２７および加算器２８を含む。ＬＦＳＲ１１には、“０”“１”で構成される７ビットの起動信号が制御回路１０から与えられる。

７個のフリップフロップ２１〜２７は直列接続され、それぞれ入力信号を１ビット遅延させて出力する。また、フリップフロップ２１〜２７は、それぞれ起動信号を１ビットずつ受ける。この起動信号によって、フリップフロップ２１〜２７の初期値が設定される。フリップフロップ２３，２７の出力信号は、加算器２８で加算された後、フリップフロップ２１に帰還される。最終段のフリップフロップ２７からは、擬似的にランダムな符号列パターンを有するＰＮ符号が出力される。

ＬＦＳＲ１２は、ＬＦＳＲ１１と同じ構成であり、制御回路１０からの起動信号を受けてＰＮ符号を生成する。ただし、ＬＦＳＲ１１，１２が制御回路１０から受ける起動信号は異なり、ＬＦＳＲ１１，１２から出力されるＰＮ符号の符号列パターンは異なる。

図４は、図２に示したＬＦＳＲ１１，１２によって生成されるＰＮ符号を示す図である。図４を参照して、このＰＮ符号は、符号“０”“１”がほぼ同じ回数ランダムに表れる符号列である。ＰＮ符号の符号長は１２７（＝２⁷−１）であり、１２７個の連続した符号から成る符号列パターンが繰返される。なお、ここではＰＮ符号の符号長を１２７として説明するが、このＰＮ符号の符号長は、ＬＦＳＲの構成により任意に設定できる。

このように、７個のフリップフロップ２１〜２７を直列接続し、３段目と７段目のフリップフロップ２３，２７の出力信号を１段目のフリップフロップ２１に帰還させる構成によって符号長１２７のＰＮ符号が生成されることは、周知の技術である。このようなＰＮ符号は、たとえば、スペクトル拡散通信技術を利用したＣＤＭＡ（Code Division Multiple Access：符号分割多元接続）システムにおいて、拡散符号として用いられる。擬似的にランダムな符号列パターンを有するＰＮ符号を利用することによって、耐雑音性に優れた通信が可能となる。

制御回路１０からＬＦＳＲ１１に与えられる７ビットの起動信号は、そのビット情報が切換えられない。このため、ＬＦＳＲ１１によって生成されるＰＮ符号は、符号長１２７の同一の符号列パターンが繰返される。

一方、制御回路１０からＬＦＳＲ１２に与えられる７ビットの起動信号は、そのビット情報が順次切換えられる。これにより、ＬＦＳＲ１２によって生成されるＰＮ符号は、符号長１２７の符号列パターンが１符号分（＝ΔＴ）ずつ順次遅延されていく。より具体的には、ＬＦＳＲ１２によって生成されるＰＮ符号の１番目の符号列パターンは、ＬＦＳＲ１１によって生成されるＰＮ符号の符号列パターンと同じである。また、ｎ番目（ただし、ｎは１から１２５までの整数）の符号列パターンに対して、ｎ＋１番目の符号列パターンは１符号分（＝ΔＴ）だけ位相が遅れている。また、ｎ番目の符号列パターンに対して、ｎ＋２番目の符号列パターンは２符号分（＝２ΔＴ）だけ位相が遅れている。１番目の符号列パターンと１２８番目の符号列パターンは同じである。このように、起動信号によってフリップフロップ２１〜２７の初期値を設定変更することにより、ＰＮ符号の符号列パターンを順次ずらしていくことができる。

図２に戻って、駆動回路１３は、ＬＦＳＲ１１によって生成されたＰＮ符号を受け、ＰＮ符号に従って振幅変調された駆動電圧ＶＤＲを出力する。超音波発生器４は、駆動回路１３からの駆動電圧ＶＤＲによって駆動され、ＰＮ符号に従って振幅変調された超音波を生成する。

図５は、図２に示した超音波発生器４の構成を示す図である。図５において、この超音波発生器４は、集積回路部３１およびキャパシタアレイ３２を含む。キャパシタアレイ３２は、集積回路部３１の上部に形成される。

キャパシタアレイ３２は、複数行複数列（たとえば、１２８×６４）に配置された複数の単位キャパシタを含む。このキャパシタアレイ３２は、微細加工技術ＭＥＭＳ（Micro Electro Mechanical System：微小電子機械システム）を用いて作製される。集積回路部３１およびキャパシタアレイ３２は、１つの半導体チップで構成される。

図６は、図５に示したキャパシタアレイ３２に含まれる単位キャパシタの構成を示す図である。図６において、この単位キャパシタは、シリコン酸化膜４１、下部電極４２、Ｓｉ₃Ｎ₄膜４３および上部電極４４を含む。シリコン酸化膜４１の表面に下部電極４２が形成され、下部電極４２から所定間隔だけ離れた上部にＳｉ₃Ｎ₄膜４３が形成される。Ｓｉ₃Ｎ₄膜４３の表面に上部電極４４が形成される。

上部電極４４および下部電極４２は、ともにアルミ電極である。上部電極４４および下部電極４２は、外周の４辺の長さがそれぞれ約１００μｍ以下のキャパシタを構成する。Ｓｉ₃Ｎ₄膜４３は、機械的なバネとして機能し、垂直方向に振動する。上部電極４４には一定レベルの直流電圧が印加され、下部電極４２にはＰＮ符号に従って振幅変調された交流電圧が印加される。これにより、Ｓｉ₃Ｎ₄膜４３および上部電極４４で構成されたメンブレン（積層膜）が垂直方向に振動して電極間距離が変化し、ＰＮ符号に従って振幅変調された超音波が生成される。Ｓｉ₃Ｎ₄膜４３および上部電極４４で構成される超軽量のメンブレンは、空気との音響インピーダンスマッチングが優れているため、メンブレンの機械的振動を空気振動に変換する効率が、ＰＺＴ（チタン酸ジルコン酸鉛）圧電素子を用いた場合に比べると４桁程度高い。

図７は、ＰＮ符号に従って振幅変調された超音波の信号波形を示す図である。図７を参照して、超音波の信号は、ＰＮ符号の符号“１”に対応して所定周波数の正弦波状の交流信号となり、符号“０”に対応して無信号状態となる。

再び図５を参照して、キャパシタアレイ３２の中心部から外周方向に進むにつれて、各単位キャパシタによって生成される超音波の位相が順次遅延される。この超音波の位相制御は、下部電極４２に印加する交流電圧の位相を制御することによって行なわれる。

図８は、超音波発生器４によって生成される超音波の位相制御について説明するためのブロック図である。図８を参照して、遅延回路４５は、図５に示した集積回路部３１に含まれる。また、キャパシタブロックＢＬ１，ＢＬ２，ＢＬ３，…は、図５に示したキャパシタアレイ３２が所定数の単位キャパシタごとに区分けされたブロックである。

遅延回路４５は、駆動回路１３からの駆動電圧ＶＤＲを受け、所定時間ΔＤＴ単位で順次遅延された駆動電圧ＤＶ１，ＤＶ２，ＤＶ３，…を出力する。より具体的には、キャパシタアレイの中央部のキャパシタブロックＢＬ４には、駆動回路１３からの駆動電圧ＶＤＲがそのまま駆動電圧ＤＶ１として与えられる。キャパシタブロックＢＬ４の隣のキャパシタブロックＢＬ３，ＢＬ５には、駆動回路１３からの駆動電圧ＶＤＲが時間ΔＤＴだけ遅延された駆動電圧ＤＶ２が与えられる。さらにキャパシタブロックＢＬ３，ＢＬ５の隣のキャパシタブロックＢＬ２，ＢＬ６には、駆動回路１３からの駆動電圧ＶＤＲが時間２ΔＤＴだけ遅延された駆動電圧ＤＶ３が与えられる。このようにして、キャパシタブロックごとに位相制御された超音波が、各単位キャパシタから生成される。

図５に戻って、各単位キャパシタによって生成された超音波が合成されることによって、放射状の超音波ビームが仮想点発振源から放射されたようになる。なお、超音波ビームのスポット中心線（垂直軸）からの広がり角度θは、６０度以下とする。これにより、超音波ビームの強度は、最大強度に対して５０％以上が確保される。

ここで、超音波を生成する方式として、狭帯域共振方式またはオイル浸漬方式を用いる。狭帯域共振方式の場合、Ｓｉ₃Ｎ₄膜４３および上部電極４４で構成されるメンブレンの質量とＳｉ₃Ｎ₄膜４３の剛性とによって定まる共振周波数で共振が起こり、メンブレンが垂直方向に振動することによって超音波が生成される。

オイル浸漬方式の場合、半導体チップで構成される集積回路部３１およびキャパシタアレイ３２の全体をオイルで浸漬させる。この場合、オイルがメンブレンの振動に対して抵抗として作用するため共振が起こらず、上部電極４４と下部電極４２との間のクーロン力とＳｉ₃Ｎ₄膜４３の剛性とによってメンブレンの振幅が定まる。また、生成される超音波の周波数は、下部電極４２に印加される交流電圧の周波数と同じになる。

狭帯域共振方式の場合、減衰の比較的小さな０．２〜２ＭＨｚの超音波が生成される。一方、オイル浸漬方式の場合、２〜２０ＭＨｚの超音波が生成される。

図２に戻って、対象物６からの反射波は、回折レンズ５を介してイメージセンサ１４に与えられる。図９は、回折レンズ５の構成を示す概念図である。図９において、この回折レンズ５は、フレネルレンズを応用したバイナリサブ波長回折レンズ（Binary Subwavelength diffractive lens）である。

回折レンズ５は、フレネルレンズ（点線部分参照）の厚さを量子化してスリットを設けたものである。この回折レンズ５は、スリット幅よりも長い波長の信号を回折させることによって、対象物６からの反射波の信号をイメージセンサ１４上に収束させる。回折レンズ５の直径は、超音波の回折を考慮して、超音波の波長の３０倍以上とする。

図１０は、図２に示したイメージセンサ１４および相関器１５の構成を示す図である。図１０において、このイメージセンサ１４は、複数行複数列（たとえば、１２８×６４）に配置された複数の単位キャパシタＣＵ１１，ＣＵ１２，ＣＵ１３，…を含む。相関器１５は、イメージセンサ１４の各行に対応して設けられた複数のマッチドフィルタＭＦ１，ＭＦ２，…を含む。イメージセンサ１４および相関器１５は、１つの半導体チップで構成される。

単位キャパシタＣＵ１１，ＣＵ１２，ＣＵ１３，…は、図５に示した超音波発生器４のキャパシタアレイ３２と同様のキャパシタアレイを構成する。すなわち、単位キャパシタＣＵ１１，ＣＵ１２，ＣＵ１３，…の各々は、図６に示した単位キャパシタと同様の構成である。単位キャパシタＣＵ１１，ＣＵ１２，ＣＵ１３，…はそれぞれ画像の１画素に対応する。イメージセンサ１４は、超音波発生器４と同様に微細加工技術ＭＥＭＳによって作製される。このように、微細加工技術ＭＥＭＳを用いて超音波発生器４およびイメージセンサ１４のキャパシタアレイを作製することによって、双方の特性を一致させることができるため、高精度な距離計測が可能となる。

単位キャパシタＣＵ１１，ＣＵ２１，ＣＵ３１…は、それぞれ対象物６からの反射波に応じてその電極間距離が変化し、超音波の信号を電気信号に変換して、対応するマッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…に与える。マッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…は、それぞれＬＦＳＲ１２からのＰＮ符号の位相と、対応する単位キャパシタＣＵ１１，ＣＵ２１，ＣＵ３１…からの電気信号の位相とを比較し、比較結果に基づいて相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…を出力する。マッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…は、外部からのリード信号、プリチャージ信号および列アドレス信号に応答して動作する。

図１１は、図１０に示した単位キャパシタＣＵ１１およびマッチドフィルタＭＦ１の構成を示す回路図である。図１１を参照して、単位キャパシタＣＵ１１はキャパシタ５１およびコイル５２を含み、マッチドフィルタＭＦ１はダイオード６１、スイッチ回路６２，６３、キャパシタ６４、トランジスタ６５、電流源６６およびコンパレータ６７を含む。

キャパシタ５１およびコイル５２は、ノードＮ１と接地電位ＧＮＤのラインとの間に並列接続される。キャパシタ５１は、図６に示した上部電極４４および下部電極４２に対応する。コイル５２は、図６に示したＳｉ₃Ｎ₄膜４３に対応する。

スイッチ回路６２およびダイオード６１は、ノードＮ２とノードＮ１との間に直列接続される。スイッチ回路６３は、電源電位ＶＤＤのラインとノードＮ２との間に接続される。キャパシタ６４は、ノードＮ２と接地電位ＧＮＤのラインとの間に接続される。トランジスタ６５は、そのゲートがノードＮ２に接続され、そのドレインが電源電位ＶＤＤのラインに接続され、そのソースが電流源６６を介して接地電位ＧＮＤのラインに接続される。

ここで、スイッチ回路６２は、ＬＦＳＲ１２からのＰＮ符号の符号“１”に応答して導通し、符号“０”に応答して非導通になる。スイッチ回路６３は、外部からのプリチャージ信号が活性化レベルの「Ｈ」レベルにされたことに応じて導通し、非活性化レベルの「Ｌ」レベルにされたことに応じて非導通になる。電流源６６は、外部からのリード信号が活性化レベルの「Ｈ」レベルにされたことに応じて電流供給動作を行ない、非活性化レベルの「Ｌ」レベルにされたことに応じて動作を停止する。また、コンパレータ６７は、トランジスタ６５のソースと電流源６６との間の出力ノードＮ３の電位Ｖ＿Ｎ３と参照電位ＶＲＥＦとを比較し、比較結果に応じた相関値ＤＡＴＡ１を出力する。

図１２は、図１１に示したキャパシタ５１が受ける反射波とスイッチ回路６２に与えられるＰＮ符号の信号波形を示す図である。図１２を参照して、ＬＦＳＲ１２からスイッチ回路６２に与えられるＰＮ符号は、図４に示したように１２７個の連続した符号から成る符号列パターンが１符号分（＝ΔＴ）ずつ順次遅延されていく。また、反射波の信号は、図７に示した超音波の信号と同様に、符号“１”に対応して所定周波数の正弦波状の交流信号となり、符号“０”に対応して無信号状態となる。

図４で説明したように、ＬＦＳＲ１２からスイッチ回路６２に与えられるＰＮ符号のｎ番目（ただし、ｎは１から１２５までの整数）の符号列パターンに対して、ｎ＋１番目の符号列パターンは１符号分（＝ΔＴ）だけ位相が遅れている。また、ｎ番目の符号列パターンに対して、ｎ＋２番目の符号列パターンは２符号分（＝２ΔＴ）だけ位相が遅れている。ここで、ＰＮ符号の１番目から１２７番目の符号列パターンのうち、ｎ＋２番目の符号列パターンの位相と反射波の位相とが一致するものとする。

図１３は、図１１に示した単位キャパシタＣＵ１１およびマッチドフィルタＭＦ１の動作を示すタイムチャートである。図１３を参照して、時刻ｔ１において、ＰＮ符号のｎ番目の符号列パターンに対応して、プリチャージ信号が「Ｌ」レベルから「Ｈ」レベルに立上げられる。これに応じて、スイッチ回路６３が導通し、キャパシタ６４に電荷が蓄積される。時刻ｔ１から所定期間経過後、プリチャージ信号が「Ｌ」レベルに立下げられ、スイッチ回路６３が非導通になる。

その後、ＰＮ符号のｎ番目の符号列パターンに応答してスイッチ回路６２がスイッチング動作を繰返す。また、キャパシタ５１は、対象物６からの反射波の信号が符号“１”に対応する場合に電流を通過させ、対象物６からの反射波の信号が符号“０”に対応する場合は電流を通過させない。したがって、ＰＮ符号が符号“１”で、かつ反射波の信号が符号“１”に対応する場合に、キャパシタ６４に蓄積された電荷が流出する。すなわち、ノードＮ２からスイッチ回路６２、ダイオード６１およびキャパシタ５１を介して接地電位ＧＮＤのラインへ電流が流れる。一方、ＰＮ符号が符号“０”である場合、および／または反射波の信号が符号“０”に対応する場合は、キャパシタ６４に蓄積された電荷は流出しない。

ここで、対象物６からの反射波の位相とＰＮ符号のｎ番目の符号列パターンの位相は異なるため、１２７個の符号のうちほぼ半分が一致して半分が異なる。このため、キャパシタ６４に蓄積された電荷が所定量αだけ流出する。すなわち、ノードＮ２の電位は、電源電位ＶＤＤよりも所定レベルＶ＿αだけ低い電位Ｖ１にされる。このとき、リード信号が「Ｌ」レベルにされているので電流源６６は動作を停止しており、出力ノードＮ３の電位Ｖ＿Ｎ３は電源電位ＶＤＤにされる。

次に、時刻ｔ２において、リード信号が「Ｈ」レベルに立上げられる。これに応じて、電流源６６が電流供給動作を開始するため、出力ノードＮ３の電位Ｖ＿Ｎ３はノードＮ２の電位Ｖ１よりも所定レベルＶｔｈだけ低い電位（Ｖ１−Ｖｔｈ）にされる。コンパレータ６７は、出力ノードＮ３の電位Ｖ＿Ｎ３（＝Ｖ１−Ｖｔｈ）が参照電位ＶＲＥＦよりも高いことに応じて、出力相関値ＤＡＴＡ１を「Ｌ」レベルに維持する。

次いで、時刻ｔ３において、リード信号が「Ｌ」レベルに立下げられたことに応じて、電流源６６が動作を停止して、出力ノードＮ３の電位Ｖ＿Ｎ３は電源電位ＶＤＤにされる。また、ＰＮ符号のｎ＋１番目の符号列パターンに対応して、プリチャージ信号が「Ｈ」レベルに立上げられる。これに応じて、スイッチ回路６３が導通し、キャパシタ６４に再び電荷が蓄積される。時刻ｔ３から所定期間経過後、プリチャージ信号が「Ｌ」レベルに立下げられ、スイッチ回路６３が非導通になる。

その後、ＰＮ符号のｎ＋１番目の符号列パターンに応答してスイッチ回路６２がスイッチング動作を繰返す。ここで、対象物６からの反射波の位相とＰＮ符号のｎ＋１番目の符号列パターンの位相は異なるため、１２７個の符号のうちほぼ半分が一致して半分が異なる。このため、ＰＮ符号のｎ番目の符号列パターンの場合と同様に動作する。すなわち、時刻ｔ４において、リード信号が「Ｈ」レベルに立上げられたことに応じて、出力ノードＮ３の電位Ｖ＿Ｎ３はノードＮ２の電位Ｖ１よりも所定レベルＶｔｈだけ低い電位（Ｖ１−Ｖｔｈ）にされる。コンパレータ６７は、出力ノードＮ３の電位Ｖ＿Ｎ３（＝Ｖ１−Ｖｔｈ）が参照電位ＶＲＥＦよりも高いことに応じて、出力相関値ＤＡＴＡ１を「Ｌ」レベルに維持する。

次に、時刻ｔ５において、リード信号が「Ｌ」レベルに立下げられたことに応じて、電流源６６が動作を停止して、出力ノードＮ３の電位Ｖ＿Ｎ３は電源電位ＶＤＤにされる。また、ＰＮ符号のｎ＋２番目の符号列パターンに対応して、プリチャージ信号が「Ｈ」レベルに立上げられる。これに応じて、スイッチ回路６３が導通し、キャパシタ６４に再び電荷が蓄積される。時刻ｔ５から所定期間経過後、プリチャージ信号が「Ｌ」レベルに立下げられ、スイッチ回路６３が非導通になる。

その後、ＰＮ符号のｎ＋２番目の符号列パターンに応答してスイッチ回路６２がスイッチング動作を繰返す。ここで、対象物６からの反射波の位相とＰＮ符号のｎ＋２番目の符号列パターンの位相が同じであるため、１２７個の符号すべてが一致する。このため、キャパシタ６４に蓄積された電荷が２αだけ流出する。すなわち、ノードＮ２の電位は、電源電位ＶＤＤよりも２Ｖ＿αだけ低い電位Ｖ２にされる。

次に、時刻ｔ６において、リード信号が「Ｈ」レベルに立上げられる。これに応じて、電流源６６が電流供給動作を開始するため、出力ノードＮ３の電位Ｖ＿Ｎ３はノードＮ２の電位Ｖ２よりも所定レベルＶｔｈだけ低い電位（Ｖ２−Ｖｔｈ）にされる。コンパレータ６７は、出力ノードＮ３の電位Ｖ＿Ｎ３（＝Ｖ２−Ｖｔｈ）が参照電位ＶＲＥＦよりも低くなったことに応じて、出力相関値ＤＡＴＡ１を「Ｈ」レベルに立上げる。

次いで、時刻ｔ７において、リード信号が「Ｌ」レベルに立下げられたことに応じて、電流源６６が動作を停止して、出力ノードＮ３の電位Ｖ＿Ｎ３は電源電位ＶＤＤにされる。マッチドフィルタＭＦ１は、単位キャパシタＣＵ１１に対してこのような動作を１２７回繰返して行なう。この１２７回のうちの１回だけ、対象物６からの反射波の位相とＰＮ符号の符号列パターンの位相とが一致して、出力相関値ＤＡＴＡ１が「Ｈ」レベルにされる。

図１０に戻って、マッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…は、それぞれ外部からの列アドレス信号に応答して、まず１列目の単位キャパシタＣＵ１１，ＣＵ２１，ＣＵ３１…に対する相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…を出力する。次いで、列アドレス信号に応答して、２列目の単位キャパシタＣＵ１２，ＣＵ２２，ＣＵ３２…に対する相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…を出力する。同様の動作がすべての列に対して繰返し行なわれ、イメージセンサ１４のすべての単位キャパシタ（たとえば、１２８×６４）の各々に対応する相関値ＤＡＴＡが得られる。

再び図２に戻って、カウンタ１６は、制御回路１０からＬＦＳＲ１２に与えられる起動信号に基づいて、ＬＦＳＲ１２に含まれるフリップフロップの初期値が設定変更された回数をカウントする。すなわち、ＬＦＳＲ１２によって生成されるＰＮ符号の符号列パターンが何番目であるかを示すカウント値を出力する。

演算処理部１７は、相関値１４からの相関値ＤＡＴＡとカウンタ１６からのカウント値に基づいて、対象物６までの距離データを算出する。より具体的には、相関値ＤＡＴＡが「Ｈ」レベルにされたときのカウント値より、超音波発生器４からの超音波が対象物６で反射されてイメージセンサ１４に到達するまでの往復に要した時間が求まる。この時間と超音波の速度から、イメージセンサ１４の各単位キャパシタに対応した距離データが算出される。

図１４は、イメージセンサ１４の各単位キャパシタに対応した距離データが算出される動作について説明するための図である。図１４を参照して、イメージセンサ１４の複数行複数列（たとえば、１２８×６４）に配置された複数の単位キャパシタのうち、各列の単位キャパシタに対応する距離データが順に算出される。

まず、１列目の単位キャパシタＣＵ１１，ＣＵ２１，ＣＵ３１…に対する相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…とカウント値に基づいて、単位キャパシタＣＵ１１，ＣＵ２１，ＣＵ３１…の各々に対応する距離データＬ＿ＣＵ１１，Ｌ＿ＣＵ２１，Ｌ＿ＣＵ３１，…が得られる。次いで、２列目の単位キャパシタＣＵ１２，ＣＵ２２，ＣＵ２３…に対する相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…とカウント値に基づいて、単位キャパシタＣＵ１２，ＣＵ２２，ＣＵ２３…の各々に対応する距離データＬ＿ＣＵ１２，Ｌ＿ＣＵ２２，Ｌ＿ＣＵ３２，…が得られる。

この動作がイメージセンサ１４のすべての列に対して順次行なわれることによって、イメージセンサ１４のすべての単位キャパシタ（たとえば、１２８×６４）に対応する距離データが算出される。

ここで、距離計測の分解能は、たとえば周波数５ＭＨｚの超音波を用いた場合、対象物の凹凸１ｍｍ以下まで保証できる。また、イメージセンサ１４の単位キャパシタにＰＺＴ圧電素子を用いると４０ｄＢ程度のダイナミックレンジしか実現できないが、本発明では、６０ｄＢ以上のダイナミックレンジが実現可能である。

なお、ここではイメージセンサ１４の各行に対応してマッチドフィルタＭＦ１，ＭＦ２，ＭＦ３，…を設けた場合について説明したが（図７参照）、マッチドフィルタＭＦを各単位キャパシタ（たとえば、１２８×６４）に対応して設けてもよい。この場合は、マッチドフィルタＭＦの数が増えるため（たとえば、１２８×６４個）、半導体チップの面積が大きくなるが、各単位キャパシタに対応する距離データの算出を並列に行なうことができるため、演算処理時間が短縮される。

また、イメージセンサ１４全体に対してマッチドフィルタＭＦを１つだけ設けてもよい。この場合は、イメージセンサ１４の各単位キャパシタ（たとえば、１２８×６４）に対応する距離データの算出を順に行なっていくため（たとえば、１２８×６４回）、演算に要する時間が長くなるが、マッチドフィルタＭＦの数が１つでよいため半導体チップの面積が小さくなる。

図１に戻って、立体視装置１から復調装置２へ多重化（たとえば、６４ビット多重）された距離データの転送が行なわれる。復調装置２は、多重化された距離データを立体画像データに復調して、対象物６の三次元的な立体画像をモニタ３に表示させる。立体視装置１から復調装置２へ距離データを多重化して転送することによって、人間にとって違和感のない、３０（フレーム／秒）の動画表示が可能となる。

ここで、超音波インピーダンスの不整合などにより超音波の多重反射が起きると、ゴースト（画像が重なって見える現象）が発生する可能性がある。このため、復調装置２は、ゴースト除去の画像処理を行なうためのＤＳＰを含む。

なお、ここでは、同一の符号列パターンが繰返されるＰＮ符号を生成するＬＦＳＲ１１と、符号列パターンが１符号分（＝ΔＴ）ずつ順次遅延されていくＰＮ符号を生成するＬＦＳＲ１２とを設ける場合について説明したが、ＬＦＳＲ１２の代わりに、ＬＦＳＲ１１からのＰＮ符号を受け、１符号分（＝ΔＴ）の時間単位で遅延制御される遅延回路を設けてもよい。

以上のように、この実施の形態１では、ＰＮ符号および超音波を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。また、ＰＮ符号は擬似的にランダムな符号列パターンを有するため、雑音（外乱）に対しても安定した距離計測が可能である。さらに、キャパシタアレイにＰＺＴ圧電素子を用いた場合に比べて、大幅なコストダウンが図れる。また、機械的な機構が不要であるため、距離計測の信頼性が向上する。

なお、この立体視装置は、たとえば、ロボットの目として応用することができる。平坦でない場所においては、ロボットの歩行制御が困難である。しかし、ロボットの足の裏に立体視装置を装着することによって、体重移動の制御能力を向上させることができる。また、自動車の衝突を回避するために立体視装置を応用することもできる。前方の車両との車間距離が所定の距離よりも短くなったことを検知して、自動的にブレーキ動作を行なうように制御すれば、衝突を回避させることができる。また、視覚障害者の歩行補助装置として応用することもできる。さらに、胃カメラや内視鏡などに応用することも可能である。

［実施の形態２］
図１５は、この発明の実施の形態２による立体視装置７１の構成を示すブロック図であって、図２と対比される図である。図１５の立体視装置７１を参照して、図１の立体視装置１と異なる点は、超音波発生器４、回折レンズ５およびイメージセンサ１４がそれぞれＬＥＤ（発光ダイオード）７２、光学レンズ７３およびイメージセンサ７４で置換されている点である。なお、図１５において、図２と対応する部分においては同一符号を付し、その詳細説明を省略する。

ＬＥＤ７２は、駆動回路１３からの駆動電圧ＶＤＲによって駆動され、ＬＦＳＲ１１からのＰＮ符号に従って振幅変調された放射状のレーザ光を対象物６に出射する。ＬＥＤ７２からのレーザ光は、対象物６で反射されて戻ってくる。対象物６からの反射光は、光学レンズ７３を介してイメージセンサ７４に与えられる。ここで、光学レンズ７３は凸レンズである。このように、超音波の場合とレーザ光の場合とで異なるレンズを用いるのは、超音波とレーザ光の特性の違いによる。

イメージセンサ７４は、光学レンズ７３を介して受けた反射光を電気信号に変換して、相関器１５に与える。このイメージセンサ７４は、複数行複数列（たとえば、１２８×６４）に配置された複数の受光素子ＰＤ１１，ＰＤ１２，ＰＤ１３…を含む。受光素子ＰＤ１１，ＰＤ１２，ＰＤ１３…の配置構成は、図１０に示した単位キャパシタＣＵ１１，ＣＵ１２，ＣＵ１３…の配置構成と同様である。相関器１５は、イメージセンサ７４の各行に対応して設けられた複数のマッチドフィルタＭＦ１，ＭＦ２，…を含む。イメージセンサ７４および相関器１５は、１つの半導体チップで構成される。

受光素子ＰＤ１１，ＰＤ２１，ＰＤ３１…は、それぞれ対象物６からの反射光の信号を電気信号に変換して、対応するマッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…に与える。マッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…は、それぞれＬＦＳＲ１２からのＰＮ符号の位相と、対応する受光素子ＰＤ１１，ＰＤ２１，ＰＤ３１…の電気信号の位相とを比較し、比較結果に基づいて相関値ＤＡＴＡ１，ＤＡＴＡ２，ＤＡＴＡ３…を出力する。マッチドフィルタＭＦ１，ＭＦ２，ＭＦ３…は、外部からのリード信号、プリチャージ信号および列アドレス信号に応答して動作する。

図１６は、実施の形態２による受光素子ＰＤ１１およびマッチドフィルタＭＦ１の構成を示す回路図であって、図１１と対比される図である。図１６の回路図を参照して、図１１の回路図と異なる点は、キャパシタ５１およびコイル５２がフォトダイオード８１で置換されている点である。受光素子ＰＤ１１はフォトダイオード８１で構成される。フォトダイオード８１は、接地電位ＧＮＤのラインとノードＮ１との間に接続される。

フォトダイオード８１は、対象物６からの反射波の信号が符号“１”に対応する場合に電流を通過させ、対象物６からの反射波の信号が符号“０”に対応する場合は電流を通過させない。したがって、ＰＮ符号が符号“１”で、かつ反射光の信号が符号“１”に対応する場合に、キャパシタ６４に蓄積された電荷が流出する。すなわち、ノードＮ２からスイッチ回路６２、ダイオード６１およびフォトダイオード８１を介して接地電位ＧＮＤのラインへ電流が流れる。一方、ＰＮ符号が符号“０”である場合、および／または反射光の信号が符号“０”に対応する場合は、キャパシタ６４に蓄積された電荷は流出しない。

この受光素子ＰＤ１１およびマッチドフィルタＭＦ１の動作を示すタイムチャートは、図１３に示した単位キャパシタＣＵ１１およびマッチドフィルタＭＦ１の動作を示すタイムチャートと同じである。

ただし、距離計測の分解能は、たとえば周波数１ＧＨｚのレーザ光を用いた場合、対象物の凹凸１５ｃｍ程度である。すなわち、超音波を用いた場合に比べると分解能は劣る。これは、空気中での超音波の速度が約３４０（ｍ／ｓ）であるのに対して、光の速度は約３×１０⁸（ｍ／ｓ）であり、超音波の波長に比べて光の波長が非常に短いためである。したがって、レーザ光を用いた場合は高速処理が必要となり、現在の技術レベルでは高分解能を実現するのは難しい。ただし、分解能を重視しない場合はレーザ光を利用した方法も有効である。

以上のように、この実施の形態２では、ＰＮ符号およびレーザ光を利用することによって、対象物の三次元的な立体画像をリアルタイムに得ることができる。また、立体視装置内部に記憶回路やプロセッサが不要であるため、超小型で低消費電力の立体視装置が実現できる。また、ＰＮ符号は擬似的にランダムな符号列パターンを有するため、雑音に対しても安定した距離計測が可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態１による立体画像表示システムの概略構成を示すブロック図である。 図１に示した立体視装置の構成を示すブロック図である。 図２に示したＬＦＳＲの構成を示すブロック図である。 図２に示したＬＦＳＲによって生成されるＰＮ符号を示す図である。 図２に示した超音波発生器の構成を示す図である。 図５に示したキャパシタアレイに含まれる単位キャパシタの構成を示す図である。 ＰＮ符号に従って振幅変調された超音波の信号波形を示す図である。 超音波発生器によって生成される超音波の位相制御について説明するためのブロック図である。 図２に示した回折レンズ５の構成を示す概念図である。 図２に示したイメージセンサおよび相関器の構成を示す図である。 図１０に示した単位キャパシタＣＵ１１およびマッチドフィルタＭＦ１の構成を示す回路図である。 図１１に示したキャパシタ５１が受ける反射波とスイッチ回路６２に与えられるＰＮ符号の信号波形を示す図である。 図１１に示した単位キャパシタＣＵ１１およびマッチドフィルタＭＦ１の動作を示すタイムチャートである。 イメージセンサの各単位キャパシタに対応した距離データが算出される動作について説明するための図である。 この発明の実施の形態２による立体視装置の構成を示すブロック図である。 実施の形態２による受光素子ＰＤ１１およびマッチドフィルタＭＦ１の構成を示す回路図である。

符号の説明

１ 立体視装置、２ 復調装置、３ モニタ、４ 超音波発生器、５ 回折レンズ、１０ 制御回路、１１，１２ ＬＦＳＲ、１３ 駆動回路、１４，７４ イメージセンサ、１５ 相関器、１６ カウンタ、１７ 演算処理部、２１〜２７ フリップフロップ、２８ 加算器、３１ 集積回路部、３２ キャパシタアレイ、４１ シリコン酸化膜、４２ 下部電極、４３ Ｓｉ₃Ｎ₄膜、４４ 上部電極、４５ 遅延回路、５１，６４ キャパシタ、５２ コイル、６１ ダイオード、６２，６３ スイッチ回路、６５ トランジスタ、６６ 電流源、６７ コンパレータ、７２ ＬＥＤ、７３ 光学レンズ、８１ フォトダイオード。

Claims (5)

1. 擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、
   所定の符号長を有する第１の擬似ランダム雑音符号、および前記第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器、
   前記第１の擬似ランダム雑音符号に従って振幅変調された超音波を生成して対象物に照射する超音波発生器、
   複数行複数列に配置され、各々が対象物で反射された超音波を受け、受けた超音波に応じて電極間距離が変化して超音波を電気信号に変換する複数の第１キャパシタを含むイメージセンサ、および
   前記複数の第１キャパシタの各々によって生成された電気信号と前記複数の第２の疑似ランダム雑音符号とに基づいて、前記複数の第１キャパシタの各々に対応した対象物までの距離データを出力する出力部を備える立体視装置。
2. 前記出力部は、
   前記複数の第２の擬似ランダム雑音符号の遅延情報を出力するカウンタ、
   前記複数の第１キャパシタの各々によって生成された電気信号の位相と前記複数の第２の疑似ランダム雑音符号の各々の位相とを比較し、それらの位相が一致した場合は第１の相関値を出力し、それらの位相が一致しない場合は第２の相関値を出力する相関器、および
   前記相関器から前記第１の相関値が出力されたときの前記カウンタからの遅延情報に基づいて、前記複数の第１キャパシタの各々に対応した対象物までの距離データを算出する演算処理部を含む、請求項１に記載の立体視装置。
3. 前記超音波発生器は、
   複数行複数列に配置され、各々が駆動電圧に応じて電極間距離が変化して超音波を生成する複数の第２キャパシタ、および
   それぞれ前記第１の擬似ランダム雑音符号に従って振幅変調され、前記超音波発生器の中心部から外周方向に進むにつれて順次遅延された複数の駆動電圧を前記複数の第２キャパシタに与え、前記超音波発生器から放射状の超音波ビームを生成させるための遅延回路を含む、請求項１または請求項２に記載の立体視装置。
4. 請求項１から請求項３までのいずれか１項に記載の立体視装置、および
   前記立体視装置からの多重化された前記距離データに基づいて、対象物の立体画像をモニタに表示させる復調装置を備える立体画像表示システム。
5. 擬似的にランダムな符号列パターンを有する擬似ランダム雑音符号を利用して、対象物の立体的形状を得るための立体視装置であって、
   所定の符号長を有する第１の擬似ランダム雑音符号、および前記第１の擬似ランダム雑音符号を所定時間ずつ順次遅延させた複数の第２の擬似ランダム雑音符号を生成する擬似ランダム雑音符号発生器、
   前記第１の擬似ランダム雑音符号に従って振幅変調されたレーザ光を生成して対象物に出射する発光ダイオード、
   複数行複数列に配置され、各々が対象物で反射されたレーザ光を受け、受けたレーザ光を電気信号に変換する複数の受光素子を含むイメージセンサ、および
   前記複数の受光素子の各々によって生成された電気信号と前記複数の第２の疑似ランダム雑音符号とに基づいて、前記複数の受光素子の各々に対応した対象物までの距離データを算出する出力部を備える立体視装置。

Images