[go: up one dir, main page]

JP6225411B2 - 光学的測距装置 - Google Patents

光学的測距装置 Download PDF

Info

Publication number
JP6225411B2
JP6225411B2 JP2012228620A JP2012228620A JP6225411B2 JP 6225411 B2 JP6225411 B2 JP 6225411B2 JP 2012228620 A JP2012228620 A JP 2012228620A JP 2012228620 A JP2012228620 A JP 2012228620A JP 6225411 B2 JP6225411 B2 JP 6225411B2
Authority
JP
Japan
Prior art keywords
light receiving
light
measurement
receiving element
receiving means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012228620A
Other languages
English (en)
Other versions
JP2014081254A (ja
Inventor
峰樹 曽我
峰樹 曽我
クリスチアーノ ニクラス
クリスチアーノ ニクラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2012228620A priority Critical patent/JP6225411B2/ja
Publication of JP2014081254A publication Critical patent/JP2014081254A/ja
Application granted granted Critical
Publication of JP6225411B2 publication Critical patent/JP6225411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、光学的測距装置に関する。
交通事故等の低減を目指して衝突防止システム等を搭載した移動体(車両等)が開発されている。このようなシステムでは外部環境を観測するためにカメラやミリ波レーダ等を備えた環境用センサが用いられている。
ステレオカメラは、比較的広角で空間解像度も高いが、その反面、遠方での距離精度が著しく低下する。一方、ミリ波レーダは、200m程度の遠方の対象物を検知することができるが、視野が狭く、角度分解能も低い。
これに対して、飛行時間法(TOF:Time Of Flight)に基づく光学的測距センサは、高空間解像度(角度分解能)を有すると共に、広角及び遠距離の測距が可能である。このため、走路や障害物の検出精度とロバスト性を高められ、安全システムの機能の拡張が期待できる。例えば、より遠方の障害物を高い位置精度で検知できれば、早期の警報が可能となる。また、駐車車両の形状等の周囲環境を高精度に検知できれば衝突やすり抜けを高い信頼度で判定できる。
このようなTOFによる光学式測距装置において、受光素子としてアバランシェフォトダイオード(APD)やPINフォトダイオードが用いられることが多い。APDにフォトンが入射すると、電子・正孔対が生成され、電子と正孔が各々高電界で加速され、次々と雪崩のように衝突電離を引き起こして新たな電子・正孔対が生成される。この内部増幅作用により感度が高められるため、特に長距離検出が求められる場合にAPDが用いられることが多い。APDの動作モードには、逆バイアス電圧を降伏電圧(ブレークダウン電圧)未満で動作させるリニアモードと、降伏電圧以上で動作させるガイガーモードとがある。リニアモードでは、生成される電子・正孔対の割合よりも消滅する(高電解領域から出る)電子・正孔対の割合が大きく、アバランシェは自然に止まる。出力電流は、入射光量にほぼ比例し、入射光量の測定に用いられる。ガイガーモードでは、単一フォトンの入射でもアバランシェ現象を起こすことができるので、シングルフォトンアバランシェダイオード(SPAD:Single Photon Avalanche Diode)とも呼ばれる。
図9は、対象物に照射した光が対象物によって反射して戻ってくるまでの時間を求めるTOF測定方法を示す。このとき、自ら対象物に照射した光以外はノイズであるので、太陽光等の外乱光の影響を除去する必要がある。入射光量にほぼ比例した出力を得る受光素子を用いる場合、受光素子の直流成分を除去した後に閾値処理をすることにより、外乱光の影響を低減して反射光の到来タイミングを抽出できる。一方、SPADのように、フォトン入射に対して電圧パルスを出力するフォトンカウント型の受光素子を用いる場合、電圧パルスの到来時刻を繰り返し測定してヒストグラムを作成し、その極大値を抽出する。これにより、外乱光が存在しても正しいTOF測定をすることができる。
TOFのヒストグラムの極大値を高精度に抽出するには、多数回のTOF測定が必要となり、測定時間が長くなる。測定時間が長くなると、対象物が動くときに対象物までの距離の変化が生じ、測定誤差を生ずる。短い測定時間で外乱光の影響を除去して正しくTOFを求める方法として、シリコンフォトマルチプライヤ(SiPM:Silicon Photo Multipliers)を用いた方法が開示されている(特許文献1、非特許文献1)。SiPMは、複数のSPADをアレイ状に行列配置し、全体として大きな光検出器を構成する。SiPMを用いたTOF検出回路の例を図10に示す。SiPMの出力にコンパレータを設け、所定数以上のSPADから同時にパルス出力された場合、すなわち同時に多数のフォトンが到来した場合のみTOFを測定する。これにより、外乱光のフォトンに対する応答を低減できるので、少ない測定回数で照射光のTOFを正しく抽出できるようになる。これは、自ら照射した光の反射光は多数のフォトンが同時に到来するのに対し、外乱光のフォトンはランダムなタイミングで到来するため同時に到来する確率は小さいという性質に基づく処理である。
TOFに基づく光学的測距装置は、距離情報に加えて明るさ情報も出力できる。受光素子が受光する光は、照射光の対象物上での反射光、環境光(太陽やその他の照明)の対象物上での反射光、及び対象物が発光する光、がすべて加算された光である。入射光量にほぼ比例する値を出力する受光素子の場合、受光量の極大値を照射光と見なすことができ、照射光をその他の光と分離して抽出することができる。受光量の極大値を距離値で補正することにより、対象物の反射率も求められる。逆に、レーザ休止期間の受光素子出力から、照射光以外の光、すなわち外乱光を抽出することもできる(特許文献2)。
一方、フォトンカウント型の受光素子の場合、TOFのヒストグラムから明るさ情報を抽出できる。ヒストグラム値の合計値が全受光量であり、極大値が照射光である。また、レーザ休止期間の受光素子の出力から外乱光の情報を得ることもできる(特許文献3)。
また、光検出器が屋外で使用される場合、広い明るさダイナミックレンジが求められる。屋外環境の明るさ変動範囲は大きく、晴天の昼間の照度は10万ルクスを超え、一方で夜間の街灯下での照度は数十ルクス程度である。さらに、対象物の反射率まで考慮すると、6桁程度のダイナミックレンジが必要とされる。フォトンカウントで光量検出する場合、光量が少ない時のカウント数は光量にほぼ比例する。光量が増加して出力電圧パルス幅よりも短い周期でフォトンが入射するようになると、複数の電圧パルスが結合することがあり、これによりカウント数が減少する。したがって、図11に示すように、光量とカウント数とが単調増加の関係にならないので、光量が増加すると正しく光量を計測できなくなる。
そこで、リセット手段により受光素子を繰り返しリセットし、このリセットパルス間に入射するフォトンの入射個数ではなく入射するフォトンがあったか否かを検出し、この検出パルスを所定の期間計数する。これにより、カウントに必要なビット数が少なくなるのでダイナミックレンジを拡大できる(特許文献4)。また、フォトンカウント型光検出器の検出信号をA/D変換し、予め設定した閾値以上の場合には、そのまま後段の光子数算出回路に検出信号を送り、閾値以下の場合には予め定められた基準値を後段に送る処理を行う方法が開示されている。光子数算出回路では、光量測定が終了するまで、取得した検出信号波形の面積から光量を算出する(特許文献5)。
ところで、SPADのバイアス電圧を降伏電圧まで下げることによりアバランシェ現象を止めることができる。印加電圧を下げてアバランシェ現象を停止させることはクエンチングと呼ばれる。最も単純なクエンチング回路はSPADと直列にクエンチング抵抗を接続することで実現される。アバランシェ電流が生じるとクエンチング抵抗の端子間の電圧の上昇によってSPADのバイアス電圧が降下する。バイアス電圧が降伏電圧まで降下するとアバランシェ現象が停止する。アバランシェ電流が流れなくなると、クエンチング抵抗端子間の電圧が降下し、SPADには再び降伏電圧以上の電圧が印加される。このSPADとクエンチング抵抗との間の電圧の昇降をバッファーを介して取り出すことにより、フォトンの入射を電圧パルスとして出力することができる。この電圧パルスのパルス幅に相当する時間は、SPADのバイアス電圧が低下しているため、新たなフォトンが入射しても新たにアバランシェ現象を誘発できず、フォトンを検出できないデッドタイムとなる。
太陽光等の外乱光の大きい環境下にて、フォトンカウント型の受光素子を用いてTOFを検出する場合、デッドタイムによる実効的なフォトン検出レートが低下する。フォトンカウント型の受光素子のフォトン検出レートをλ、デッドタイムをtとすると、実効的なフォトン検出レートはλeffは数式(1)で表される。
Figure 0006225411
数式(1)は、次のように導出することができる。計測時間Tは、フォトンを検出できる有効時間の合計Teffと、フォトンを検出できないデッドタイムの合計Tdeadとの和として数式(2)で表される。
Figure 0006225411
計測時間Tにおけるフォトンの平均カウント数Mは数式(3)で表される。
Figure 0006225411
ここで、フォトンカウント型の受光素子がM回カウントする際にM回のデッドタイムが生ずるので、デッドタイムの合計時間は数式(4)で表される。
Figure 0006225411
数式(3)及び数式(4)より、デッドタイムの合計Tdeadを消去するとM/T、すなわち実効的な検出レートの数式(1)が導出される。
図12は、デッドタイムを20nsとして数式(1)の関係をプロットした図である。検出レートλが小さいときは、検出レートλは実効的なフォトン検出レートλeffとほぼ等しい。しかし、検出レートλが大きくなると、実効的なフォトン検出レートλeffは大きく低下し始める。
図12では、検出レートが5MHz付近で特性が変化し始めることがわかる。5MHzの検出周期は200nsに相当し、すなわちデッドタイムの10倍程度である。検出周期が短くなり、デッドタイムに近づくと、計測時間中に実際にフォトンを検出できる割合Teff/T、すなわち検出時間効率が低下する課題がある。
次に、検出レートと実効検出レートの差が大きくなるとヒストグラムによるTOF検出に誤検出を引き起こすという問題がある。図13(a)は、受光素子に対してゲーティングしない場合の例であり、図13(b)は、受光素子をゲーティングする場合の例である。受光素子のゲーティングとは、例えば、バイアス電圧をオフにすることにより、受光素子を所定時間応答させないようにすることである。照射光の発光の直後にゲーティングをしないと、照射光が測距装置のカバーや走査ミラー等で反射して受光素子に直接入射する不要反射によってヒストグラムに偽ピークを形成することがある。ほとんどの照射光は対象物に向かい、不要反射となる光はごく僅かであるが、至近距離で反射を受けるのでヒストグラムに大きなピークを形成する。この現象は、投光と受光の光軸が同じである同軸型光学系の場合に特に顕著となる。受光素子はこの迷光(不要反射)を検出した直後にフォトンを検出できないデッドタイムとなり、その後、再びアクティブとなる。アクティブとなった直後はデッドタイムの影響がないので、検出レートは“λ”である。その後、時間が経過するとデットタイムの影響により、実効検出レートλeffに収束する。この検出レートの遷移時間に図中に破線で示したようなピークを形成し、TOFの誤検出を引き起こす原因となることがある。この偽ピークは検出レートλと実効検出レートλeffとの差が大きいほど大きくなる。図13(b)のように、照射光の発光直後に受光素子をゲーティングすると、迷光によるデッドタイムがなくなるので、デッドタイムに相当するTOFの近距離対象物を検出できるようになる。しかしながら、ゲーティング後に受光素子がアクティブとなった直後には検出レートの遷移による偽ピークが生ずるおそれがある。
検出時間効率の低下や偽ピークの形成は外乱光に対する検出レートが大きすぎることに起因する。そこで、受光素子の感度を調整することでこれらの影響を回避する方法が考えられている。例えば、SPADのバイアス電圧を調整する技術が開示されている(特許文献5)。また、SPADの出力パルスをカウントし、カウント値に応じて受光素子のバイアス電圧を変更してフォトン検出確率を調整する技術等が開示されている(特許文献6)。また、電磁石を利用して投光レンズ及び受光レンズを移動させることによって測定点を走査し、次回測定領域で反射光のサイドローブを測定する技術が開示されている。これにより、次回測定において受光素子が飽和しないようにゲインを調整する(特許文献7)。
特開2012−60012号公報 特開2011−247872号公報 特開2010−91378号公報 特開平07−067043号公報 特開2012−037267号公報 米国特許出願公開2012/0075615明細書 特開2007−183246号公報
C.Niclass, M.Soga, H.Matsubara, S.Kato, "A 100m-range 10-frames/s 340x96-pixel time-of-flight depth sensor in 0.18μm CMOS", Proceeding of the ESSCIRC, pp.107-110, September, 2011
ところで、反射光を繰り返し受光し、TOFを検出するヒストグラム処理をしながらフォトンの検出レートを測定する方法では、太陽光等のノイズ成分に加えて照射光の成分も含まれる。特に、近距離に高反射率の対象物がある場合、ノイズ成分を正しく検出することができなくなる。
また、反射光のサイドローブを検出する方法では、検出される光に照射光が含まれるので外乱光を正確に測定することができない。また、サイドローブを検出できるように受光レンズの焦点距離を調整しているためにレーザ光のパワーの無駄がある。さらに、ゲイン調整用の受光素子が次回測定領域を観測するため、ゲイン調整用の受光素子と測定用の受光素子との相対的な位置を正確にアライメントしなければならない。
本発明は、照射光の投光時刻と反射光の受光時刻との差に基づいて距離を測定する光学的測距装置であって、パルス光を投光する光源と、物体からの光を受光するフォトンカウント型の測定受光素子を備えた感度が可変の測定受光手段と、投光方向と受光方向を走査する走査手段と、前記走査手段により前記測定受光手段が次回測定する領域からの光であって、前記照射光として投光された光以外の光のみを受光する参照受光素子を備えた参照受光手段と、前記参照受光手段の受光量に応じて前記測定受光手段の感度を制御する制御手段と、を備えることを特徴とする光学的測距装置である。
ここで、前記参照受光素子は、フォトンカウント型の受光素子から構成され、前記参照受光手段は、前記参照受光素子から出力されるパルス信号を時間的に累積して累積値として出力する累積手段を備え、前記制御手段は、前記参照受光手段の受光量として前記累積値を使用して、前記累積値に応じて前記測定受光手段の感度を制御することが好適である。また、前記測定受光手段は、前記測定受光素子として、アレイ状に配置された複数のガイガーモードのアバランシェフォトダイオードと、前記アバランシェフォトダイオードの出力を加算する加算部と、前記加算部の出力が閾値以上である場合にトリガー信号を出力する判定部と、を含んで構成され、前記制御手段は、前記アバランシェフォトダイオードへのバイアス電圧を変化させること、及び、前記判定部の前記閾値を変化させること、の少なくとも一方により前記測定受光手段の感度を制御する、ことが好適である。
本発明によれば、光検出器の明るさのダイナミックレンジを適切に広げることができる。
本発明の実施の形態における光検出器の構成を示す図である。 本発明の実施の形態における受光素子の配置例を示す図である。 本発明の実施の形態における光検出器で生成されるヒストグラムの例を示す図である。 本発明の実施の形態における参照受光手段の構成を示す図である。 本発明の実施の形態における光学的測距装置の構成を示す図である。 本発明の実施の形態における測定受光素子及び参照受光素子の配置例を示す図である。 本発明の実施の形態における光学的測距装置の測定方向を説明する図である。 本発明の実施の形態における測定受光素子に対するバイアス電圧の制御を説明する図である。 光学的測距装置によるTOF測定を説明する図である。 従来の光学的測距装置の構成を示す図である。 従来の光学的測距装置における受光量とフォトンのカウント数との関係を示す図である。 従来の光学的測距装置における検出レートと実効検出レートとの関係を示す図である。 従来の光学的測距装置におけるTOFのピーク検出の課題を説明する図である。
本実施の形態における光検出器100は、図1に示すように、測定受光手段102、パルス整形回路104、加算手段106、比較手段114、TDC(Time to Digital Converter)116、ヒストグラム生成手段118及びバイアス手段120を含んで構成される。
測定受光手段102は、フォトダイオード10、クエンチング抵抗12及びバッファー14を含んで構成される。一組のフォトダイオード10、クエンチング抵抗12及びバッファー14が1つの測定受光部102aを構成する。測定受光部102aは、TOFによる距離を測定するために設けられる。
フォトダイオード10は、ガイガーモードのシングルフォトンアバランシェフォトダイオード(SPAD)である。すなわち、フォトダイオード10は、降伏電圧以上のバイアス電圧の印加によって単一フォトンの入射に対してアバランシェ現象を引き起こし、フォトン入射に対して電圧パルスを出力する。
クエンチング抵抗12は、SPADのアバランシェ現象を停止させるための抵抗素子である。本実施の形態では、クエンチング抵抗12は、FETのソース・ドレイン間の抵抗成分を利用している。フォトダイオード10では、印加電圧を降伏電圧まで下げることによりアバランシェ現象を止めることができる。印加電圧を下げてアバランシェ現象を停止させることはクエンチングと呼ばれ、最も単純なクエンチング回路はフォトダイオード10と直列にクエンチング抵抗12を接続することで実現される。アバランシェ電流が生じるとクエンチング抵抗12の端子間の電圧の上昇によってフォトダイオード10のバイアス電圧が降下する。バイアス電圧が降伏電圧まで降下するとアバランシェ現象が停止する。アバランシェ電流が流れなくなると、クエンチング抵抗12の端子電圧が降下し、フォトダイオード10には再び降伏電圧以上の電圧が印加される。
バッファー14は、フォトダイオード10とクエンチング抵抗12との間の電圧の昇降を取り出すために設けられる。これにより、フォトダイオード10へのフォトンの入射を電圧パルスとして出力することができる。
なお、この電圧パルスのパルス幅に相当する時間は、SPADのバイアス電圧が低下しているため、新たなフォトンが入射しても新たにアバランシェ現象を誘発できず、フォトンを検出できないデッドタイムとなる。
測定受光手段102は複数の測定受光部102aを含んで構成してもよい。すなわち、測定受光手段102は、シリコンフォトマルチプライヤ(SiPM:Silicon Photo Multipliers)として構成してもよい。図1では、図を簡潔に示すために、2つの測定受光部102aのみの構成を示し、他の測定受光部102aは省略した。測定受光部102aは、例えば図2の平面模式図に示すように、アレイ状に並べられた構成とするとよい。このようにアレイ状に配置すれば、合計の受光面積が大きくなり、より多くの光量を受光することができる。
パルス整形回路104では、測定受光部102aからの出力パルスのパルス幅を照射するレーザ光のパルス幅と等しくなるように整形する。加算手段106では、パルス整形回路104からの出力を加算する。
比較手段114は、加算手段106から出力された値Sを所定の閾値NREFと比較し、値Sが閾値NREF以上の場合にTOFの反射パルスが到来したことを示す判定結果を出力する。例えば、閾値NREFを“2”に設定した場合、値Sが“2”以上であれば出力PEAKをハイレベルとし、そうでなければローレベルとする。
TDC116は、比較手段114の出力PEAKがハイレベルである場合、反射パルスの到達時間を測定する。TDC116は、後述する光源から照射されるTOF測定用の光(レーザ光)の出力の時刻から比較手段114で反射パルスが検出された時刻までの時間をTOFの測定結果として出力する。TDC116は、数百ピコ秒の時間分解能での測定を可能とする。
ヒストグラム生成手段118は、TDC116で得られたTOFの測定結果をさらに所定の計測時間に亘って蓄積してヒストグラムを生成する。ヒストグラムは、図3に示すように、TOF測定用の照射光を計測時間に亘って繰り返し照射して得られたTOFの測定結果を累積して生成され、光の照射時刻から到達までの時間(ビン)に対して計測時間に亘って比較手段114にてパルスが検出された回数(頻度)を示す。このようにパルス信号の到来時刻を繰り返し測定してヒストグラムを作成し、その極大値を抽出することによって、外乱光が存在しても正しいTOF測定をすることができる。
また、光検出器100は、測定受光手段102に加えて参照受光手段122を含んで構成される。図4は、参照受光部122aを含む参照受光手段122を示す。参照受光手段122は、参照受光部122a、第1サンプリング手段124、加算手段126、第2サンプリング手段128、累積手段140及びラッチ手段142を含んで構成される。
参照受光手段122は、フォトダイオード20、クエンチング抵抗22及びバッファー24を含んで構成される。一組のフォトダイオード20、クエンチング抵抗22及びバッファー24が1つの受光素子122aを構成し、図4では、3つの参照受光部122aによって参照受光手段122が構成された例を示している。参照受光部122aの数は、これに限定されるものではなく、単数でもよいし、複数の参照受光部122aをアレイ状に構成してもよい。
第1サンプリング手段124は、参照受光手段122からの出力を一時的に保持する回路を含んで構成される。第1サンプリング手段124は、例えば、Dフリップフロップ16により実現することができる。参照受光手段122が複数の参照受光部122aを含む場合、各参照受光部122a毎にDフリップフロップ16が設けられる。第1サンプリング手段124は、参照受光手段122に含まれる参照受光部122aから出力される2値の出力信号(パルス電圧:NSPAD)をクロックSCLKに同期してサンプリングし、保持した値を出力する。サンプリング周波数は、参照受光部122aが出力する電圧パルスのナイキスト周波数以上とすることが好ましく、電圧パルス幅の逆数の2倍以上とすることが好適である。
加算手段126は、第1サンプリング手段124からの出力を加算して、加算結果(ビット幅:NADD=[log2(NSPAD)])を出力する。加算手段126によって、複数の参照受光部122aから同じタイミングで出力された電圧パルスが加算されることになる。例えば、参照受光手段122に含まれる複数の参照受光部122aのうち2つの電圧パルスがハイレベルとなっていれば加算手段126からの出力はデジタル信号の“2(10進数)”=“10(2進数)”となる。第2サンプリング手段128は、加算手段126から出力された信号をクロックSCLKが入力される毎にサンプリングして保持した値を出力する。第2サンプリング手段128は、Dフリップフロップ16を含んで構成することができる。
累積手段140は、加算手段126から出力され、第2サンプリング手段128に保持された加算結果をさらに所定の測定時間に亘って累積して出力する。累積手段140は、アキュムレータにより構成することができる。累積手段140は、複数の参照受光部122aの出力の加算値をさらに時間積分した累積値(ビット幅:NREG=[log2(NSPAD・T・fSCLK)]を出力する。累積値は、複数の参照受光部122aの電圧パルスのパルス幅の増加に対して常に単調に増加する値となる。
すなわち、フォトンの入射数が少ない(入射光量が小さい)場合、すべてのフォトダイオード20の電圧パルスのパルス幅の合計に比例する累積値が累積手段140から出力される。フォトンの入射数が多くなってくる(入射光量が増えてくる)と、フォトダイオード20の電圧パルスの出力頻度が高くなり、次第に複数の電圧パルスが結合する確率が高くなる。電圧パルスが結合し始めるとパルス数は減少するが、累積手段140での電圧パルスのパルス幅の累積値(合計時間)は常に増加する。したがって、入射光量の増加に対して常に単調に増加するダイナミックレンジの広い出力が得られる。
ラッチ手段142は、累積手段140の出力をクロックSCLKが入力される毎にサンプリングして保持した値を出力する。ラッチ手段142は、Dフリップフロップ16を含んで構成することができる。
このように、参照受光部122aでは、フォトンの入射に対して2値の情報(電圧パルス)が出力され、温度等の変動に対してロバストである。したがって、電圧パルスのパルス幅の合計時間も内部増幅ゲイン等の変動の影響を受けず、温度に依らず安定な光検出ができる。
また、複数の参照受光手段122からの電圧パルスのパルス幅の合計時間を光量として出力するので、参照受光手段122が1つの場合に比べて更にダイナミックレンジを広くすることができる。
また、参照受光手段122としてガイガーモードのアバランシェフォトダイオードを用いているので、光電子増倍管等の他のフォトンカウント型受光素子に比べて安価にコンパクトに装置に実装することができる。また、アバランシェフォトダイオードは半導体素子であるので、複数の参照受光手段122を集積化することも容易である。特に、参照受光手段122と測定受光手段102とを1つのチップ上に集積化することも容易である。さらに、CMOSプロセスによりアバランシェフォトダイオードを実現する技術も開発されているので、第1サンプリング手段124、加算手段126及び第2サンプリング手段128、累積手段140、ラッチ手段142等と同一のチップ上に実装が可能となる。これにより、製造工程の簡素化及び低製造コスト化が図れる。また、アバランシェフォトダイオードの寄生容量が小さくなるので、デッドタイムを短縮することができ、ダイナミックレンジをより広くすることができる。
なお、参照受光手段122が複数の参照受光部122aを含む構成としたが、参照受光部122aが1つであっても同様にダイナミックレンジを広げる作用は得られる。
次に、上記光検出器を搭載した光学的測距装置200について説明する。光学的測距装置200は、図5に示すように、光検出器100、光源202、双曲面ミラー204及びポリゴンミラー206を含んで構成される。光学的測距装置200は、投光される光と受光される光との光軸を一致させた同軸型の光学系を有する。
光源202は、光学的測距装置200の測距対象空間にパルス光を照射する。光源202は、例えば、レーザダイオード(LD)とすることができる。パルス光の周期及びパルス幅は、これに限定されるものではないが、それぞれ数100μs及び数ns程度とすることが好適である。光源202からのパルス光の照射時刻がTDC116に入力され、TOFの測定に用いられる。
光源202は、双曲面ミラー204の中央部に設けられた孔204aからポリゴンミラー206へ向かって光を投光する。光源202から出力された光は、コリメートレンズ等によってコリメートしてもよい。
双曲面ミラー204の孔204aを抜けた光は、ポリゴンミラー206にて反射され、測距対象空間へ投光される。測距対象空間に物体(例えば、車、道路、樹木、人物等)が存在している場合、それらの物体によって光が反射され、光学的測距装置200へ戻ってくる。戻された光は、再びポリゴンミラー206にて反射され、さらに双曲面ミラー204で反射し、光検出器100へ入射する。双曲面ミラー204は、レンズと同様の働きをし、光を光検出器100へ設けられた受光素子へ結像させる。
ここで、ポリゴンミラー206は、回転多角形ミラーであり、回転軸に平行又は傾けられた複数のミラー面を有する。ポリゴンミラー206は、回転軸206aを中心に所定の回転速度で回転させられ、回転に伴って光源202からの光に対してミラー面の向きを変化させて測距対象空間へ光を走査して投光する。走査方向は、ポリゴンミラー206に設けられたミラー面の回転軸206aに対する角度で決定される。複数のミラー面の俯角を異ならせることによって、水平方向のみならず垂直方向にも光を走査することが可能である。各面の俯角の差を投光される光の広がり角度以下とすれば、垂直方向にも隙間なく走査することができる。
光検出器100は、上記したTOF測定のための測定受光部102a及び外乱光の強度を検出するための参照受光部122aを含む。図6に示すように、測定受光部102a及び参照受光部122aは、それぞれアレイ状に配置された測定受光素子領域208a及び参照受光素子領域208bを含む受光素子領域208に配置される。測定受光素子領域208aは、光源202から照射されて物体によって反射された光が結像する位置に配置される。参照受光素子領域208bは、測定受光素子領域208aと隣接して配置され、光源202からの反射光が入射しない配置であって、参照受光素子領域208bに現在入射している外乱光(環境光)が次のTOFの計測時間において測定受光素子領域208aに入射してくるような位置に配置される。
すなわち、図7に示すように、ポリゴンミラー206による光の走査中のある時刻において測定受光手段102と参照受光手段122とは異なる方向を観測し、参照受光手段122の測定方向Aが常に次回の測定受光手段102の測定方向Bを観測するような相対位置に配置される。観測方向の角度差は、測定受光手段102と参照受光手段122との間隔及び双曲面ミラー204の焦点距離によって決定される。また、測定受光手段102のある時刻での測定方向Bと次回の測定方向Aの角度差、すなわち水平解像度は、ポリゴンミラー206の回転速度、測定時間間隔、照射光の入射角度等によって決定される。したがって、これらの条件を考慮して測定受光手段102と参照受光手段122とを配置すればよい。例えば、水平解像度と双曲面ミラー204の焦点距離とを一定とした場合、測定受光手段102と参照受光手段122との間隔を調整することによって参照受光手段122が常に次回測定方向Aを観測するようにすることができる。
測定受光部102aを複数備える場合、参照受光手段122も測定受光部102a毎又は幾つかの測定受光部102aの組毎に複数設けることが好ましい。図1に示す光検出器100の例では、測定受光手段102の水平方向に配置された複数の測定受光部102aの組毎に参照受光手段122を設ける構成となっている。もちろん、1つの測定受光手段102毎に1つの参照受光手段122を設けてもよい。
太陽光等の外乱光等が強い場合においてフォトンの検出時間効率の低下やヒストグラムの偽ピーク形成を抑制するため、外乱光が強いときに測定受光部102aの感度を低下させればよい。測定受光部102aは、降伏電圧より大きい電圧を印加して動作させるガイガーモードであり、バイアス電圧と降伏電圧との差(過剰電圧)を大きくすると感度が高くなり、小さくすると感度が低くなる。感度とは、フォトンの検出確率のことであり、フォトンの入射に対して電圧パルスを出力する確率である。過剰電圧が閾値VTH以下になるとガイガーモードでの動作ができなくなり、逆に過剰電圧を大きくしすぎると偽パルス(ノイズ)の発生頻度が高くなる。
そこで、光検出器100のバイアス手段120において、参照受光手段122から出力される外乱光の強さを示す出力信号LBGに応じて測定受光部102aのバイアス電圧を調整する。
図1に示すように、バイアス手段120は、バイアス電圧設定部18及びデジタル/アナログ変換部(DAC)19を含んで構成される。バイアス電圧設定部18では、参照受光手段122から出力された出力信号LBGに応じて適切なバイアス電圧値を設定する。バイアス電圧設定部18は、例えば、予め実験等によって得られた出力信号LBGと適切なバイアス電圧とを関連付けて登録したルックアップテーブルを参照して出力信号LBGに応じて適切なバイアス電圧値を設定する。また、出力信号LBGと適切なバイアス電圧とを関数で表現し、出力信号LBGをその関数に代入することにより適切なバイアス電圧を算出してもよい。DAC19は、バイアス電圧設定部18にて設定されたバイアス電圧をアナログ値に変換して出力する。DAC19から出力されたバイアス電圧は、測定受光部102aに含まれるフォトダイオード20のマイナス側電位を制御する。バイアス電圧は、図8に示すように、出力信号LBGが高くなるほどフォトダイオード20のマイナス側電位が大きくなるように設定される。
このように、参照受光手段122及びバイアス手段120を設けることによって、外乱光が強いときにフォトダイオード20のバイアス電圧を低下させてフォトダイオード20の感度を低下させることができる。この構成により、フォトダイオード20に対して降伏電圧VBDに閾値電圧VTHを加えた電圧から電源電圧VSPADまでの範囲においてバイアス電圧を調整することが可能となる。すなわち、参照受光手段122によって観測された次回測定方向からの外乱光の強度に応じてTOF観測用の測定受光部102aの感度を適切に調整することができる。したがって、検出時間効率の低下やヒストグラムの偽ピークの発生を抑制することができ、TOFの検出効率や確度を高めることができる。
さらに、外乱光の強度に応じて比較手段114の閾値NREFを変更する構成としてもよい。外乱光が大きくなるほど閾値NREFを大きくすることでヒストグラムの偽ピークをより抑制することができる。特に、測定受光手段102を構成する測定受光部102aの数が多いときやTDC116のデッドタイムが長いときに閾値NREFを調整することが有効である。
また、測定受光部102aと参照受光部122aとを同一構造の受光素子とすることが好適である。これにより、測定受光部102aと参照受光部122aとの特性の差が小さくなるので、測定受光部102aのダークカウント(暗電流)の影響を参照受光部122aの出力値によって補償することができる。さらに、測定受光部102aと参照受光部122aとを同一の半導体基板(チップ)上に実装することが好適である。これにより、測定受光部102aと参照受光部122aとの特性の差がより小さくなるので、測定受光素子のバイアス制御や、比較手段の閾値の調節をより正確に行うことができる。さらに、測定受光手段102と参照受光手段122との相対的な位置関係を正確に決めることができ、他の構成要素との配置をより正確かつ容易に行うことができる。
10 フォトダイオード、12 クエンチング抵抗、14 バッファー、16 フリップフロップ、18 バイアス電圧設定部、19 DAC、20 フォトダイオード、22 クエンチング抵抗、24 バッファー、100 光検出器、102 測定受光手段、102a 測定受光部、104 パルス整形回路、106 加算手段、114 比較手段、116 TDC、118 ヒストグラム生成手段、120 バイアス手段、122 参照受光手段、122a 参照受光部、124 第1サンプリング手段、126 加算手段、128 第2サンプリング手段、140 累積手段、142 ラッチ手段、200 光学的測距装置、202 光源、204 双曲面ミラー、204a 孔、206 ポリゴンミラー、208 受光素子領域、208a 測定受光素子領域、208b 参照受光素子領域。

Claims (3)

  1. 照射光の投光時刻と反射光の受光時刻との差に基づいて距離を測定する光学的測距装置であって、
    パルス光を投光する光源と、
    物体からの光を受光するフォトンカウント型の測定受光素子を備えた感度が可変の測定受光手段と、
    投光方向と受光方向を走査する走査手段と、
    前記走査手段により前記測定受光手段が次回測定する領域からの光であって、前記照射光として投光された光以外の光のみを受光する参照受光素子を備えた参照受光手段と、
    前記参照受光手段の受光量に応じて前記測定受光手段の感度を制御する制御手段と、
    を備えることを特徴とする光学的測距装置。
  2. 請求項1に記載の光学的測距装置であって、
    前記参照受光素子は、フォトンカウント型の受光素子から構成され、
    前記参照受光手段は、前記参照受光素子から出力されるパルス信号を時間的に累積して累積値として出力する累積手段を備え、
    前記制御手段は、前記参照受光手段の受光量として前記累積値を使用して、前記累積値に応じて前記測定受光手段の感度を制御することを特徴とする光学的測距装置。
  3. 請求項1に記載の光学的測距装置であって、
    前記測定受光手段は、
    前記測定受光素子として、アレイ状に配置された複数のガイガーモードのアバランシェフォトダイオードと、
    前記アバランシェフォトダイオードの出力を加算する加算部と、
    前記加算部の出力が閾値以上である場合にトリガー信号を出力する判定部と、
    を含んで構成され、
    前記制御手段は、
    前記アバランシェフォトダイオードへのバイアス電圧を変化させること、及び、前記判定部の前記閾値を変化させること、の少なくとも一方により前記測定受光手段の感度を制御する、
    ことを特徴とする光学的測距装置。
JP2012228620A 2012-10-16 2012-10-16 光学的測距装置 Active JP6225411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012228620A JP6225411B2 (ja) 2012-10-16 2012-10-16 光学的測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012228620A JP6225411B2 (ja) 2012-10-16 2012-10-16 光学的測距装置

Publications (2)

Publication Number Publication Date
JP2014081254A JP2014081254A (ja) 2014-05-08
JP6225411B2 true JP6225411B2 (ja) 2017-11-08

Family

ID=50785571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012228620A Active JP6225411B2 (ja) 2012-10-16 2012-10-16 光学的測距装置

Country Status (1)

Country Link
JP (1) JP6225411B2 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
LU92665B1 (de) * 2015-02-24 2016-08-25 Leica Microsystems Verfahren zur verbesserung des dynamikbereichs einer vorrichtung zum detektieren von licht
JP6477083B2 (ja) * 2015-03-19 2019-03-06 株式会社豊田中央研究所 光学的測距装置
JP6523046B2 (ja) * 2015-05-29 2019-05-29 シャープ株式会社 光センサ
EP3388858A4 (en) * 2015-12-08 2018-12-12 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, distance measuring device, and distance measurement method
WO2017175458A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 測距装置および測距方法
US11397249B2 (en) * 2016-06-01 2022-07-26 Sharp Kabushiki Kaisha Light detection device and electronic apparatus comprising a reverse bias voltage adjustment in accordance with a pulse number output by a first SPAD array
WO2018047429A1 (ja) * 2016-09-08 2018-03-15 シャープ株式会社 光センサ及び電子機器
US10658419B2 (en) 2016-09-23 2020-05-19 Apple Inc. Stacked backside illuminated SPAD array
KR101877128B1 (ko) * 2016-11-04 2018-08-07 한국광기술원 동적 제어를 이용한 적응형 발광 신호의 광량 제어장치
JP6732634B2 (ja) 2016-11-08 2020-07-29 株式会社東芝 距離計測装置
WO2018140522A2 (en) * 2017-01-25 2018-08-02 Apple Inc. Spad detector having modulated sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
JP6933473B2 (ja) * 2017-03-10 2021-09-08 株式会社東芝 距離計測装置および距離画像撮影装置
JP6730217B2 (ja) * 2017-03-27 2020-07-29 株式会社デンソー 光検出器
WO2018181013A1 (ja) * 2017-03-29 2018-10-04 株式会社デンソー 光検出器
JP6665873B2 (ja) * 2017-03-29 2020-03-13 株式会社デンソー 光検出器
JP6867212B2 (ja) * 2017-03-31 2021-04-28 株式会社デンソー 光検出器及び測距装置
JP6690660B2 (ja) 2017-04-10 2020-04-28 株式会社デンソー 光計測装置
JP6957949B2 (ja) * 2017-04-12 2021-11-02 株式会社デンソー 光検出器
JP6659617B2 (ja) 2017-04-12 2020-03-04 株式会社デンソー 光検出器
CN110709730B (zh) * 2017-05-19 2023-05-02 夏普株式会社 光传感器及电子设备
JP2019002760A (ja) 2017-06-14 2019-01-10 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP2019007950A (ja) 2017-06-22 2019-01-17 株式会社デンソー 光測距装置
JP6881074B2 (ja) * 2017-06-22 2021-06-02 株式会社デンソー 光検出器
JP7129182B2 (ja) * 2017-06-23 2022-09-01 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
JP6874592B2 (ja) * 2017-08-23 2021-05-19 株式会社リコー 時間測定装置、距離測定装置、移動体、時間測定方法、及び距離測定方法
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10775486B2 (en) 2018-02-15 2020-09-15 Velodyne Lidar, Inc. Systems and methods for mitigating avalanche photodiode (APD) blinding
JP6969425B2 (ja) 2018-02-20 2021-11-24 株式会社デンソー 光測距装置
JP7013925B2 (ja) 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法
JP7013926B2 (ja) 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法
JP7246863B2 (ja) * 2018-04-20 2023-03-28 ソニーセミコンダクタソリューションズ株式会社 受光装置、車両制御システム及び測距装置
JP7131099B2 (ja) * 2018-06-06 2022-09-06 株式会社デンソー 光学的測距装置およびその方法
JP6969504B2 (ja) * 2018-06-08 2021-11-24 株式会社デンソー 測距装置
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
JP7116620B2 (ja) 2018-08-06 2022-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP6911825B2 (ja) * 2018-08-09 2021-07-28 株式会社デンソー 光測距装置
JP6990158B2 (ja) 2018-09-18 2022-01-12 株式会社東芝 距離計測装置、及び距離計測方法
GB2578788B (en) 2018-11-09 2022-10-05 Toshiba Kk An investigation system and method
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
WO2020116158A1 (ja) 2018-12-05 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び光検出装置の制御方法、並びに、測距装置
JP2020094849A (ja) 2018-12-11 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置
JP7115329B2 (ja) * 2019-01-16 2022-08-09 株式会社デンソー 光学的測距装置および光学的測距装置における異常の発生を検出する方法
JP7180398B2 (ja) * 2019-01-17 2022-11-30 株式会社デンソー 光測距装置およびその制御方法
TWI845592B (zh) 2019-01-30 2024-06-21 日商索尼半導體解決方案公司 受光裝置及測距系統
JP2020143959A (ja) 2019-03-05 2020-09-10 ソニーセミコンダクタソリューションズ株式会社 制御回路および測距システム
JP7095626B2 (ja) * 2019-03-06 2022-07-05 株式会社デンソー 光学的測距装置
JP2020148540A (ja) * 2019-03-12 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 制御回路および測距システム
JP2020173128A (ja) * 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
JP6932223B2 (ja) * 2019-06-10 2021-09-08 シャープ株式会社 光検出装置、及び電子機器
JP7133523B2 (ja) * 2019-09-05 2022-09-08 株式会社東芝 光検出装置及び電子装置
JP2021047069A (ja) * 2019-09-18 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 受光装置、並びに、測距装置及び測距装置の制御方法
JP7414440B2 (ja) * 2019-09-18 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 測距センサ
JP2021067534A (ja) * 2019-10-21 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 測距装置
JP2021071458A (ja) * 2019-11-01 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 受光装置、測距装置および受光回路
JP2021096177A (ja) * 2019-12-18 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の制御方法、並びに、測距装置
CN114902068A (zh) * 2020-01-10 2022-08-12 索尼半导体解决方案公司 光接收装置、距离测量装置和光接收电路
US11476372B1 (en) 2020-05-13 2022-10-18 Apple Inc. SPAD-based photon detectors with multi-phase sampling TDCs
TW202205687A (zh) 2020-06-12 2022-02-01 日商索尼半導體解決方案公司 光檢測電路及測距裝置
JP7578426B2 (ja) 2020-07-07 2024-11-06 パイオニア株式会社 センサ装置
JP7476033B2 (ja) 2020-08-24 2024-04-30 株式会社東芝 受光装置及び電子装置
JP2022166693A (ja) * 2021-04-21 2022-11-02 シャープセミコンダクターイノベーション株式会社 光センサ、電子機器、距離算出方法、および、プログラムの記録媒体
JP2022168739A (ja) 2021-04-26 2022-11-08 キヤノン株式会社 測距装置および計測ユニット
JP2022168741A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 受光装置および測距装置
JP2022175591A (ja) * 2021-05-14 2022-11-25 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
US20250040269A1 (en) * 2021-07-12 2025-01-30 Sony Semiconductor Solutions Corporation Photodetection device and distance measuring system
JP2023122396A (ja) * 2022-02-22 2023-09-01 ソニーセミコンダクタソリューションズ株式会社 測距装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0562883U (ja) * 1992-01-30 1993-08-20 株式会社ニコン 距離測定装置
JP4888065B2 (ja) * 2005-12-08 2012-02-29 オムロン株式会社 レーザスキャン装置
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP5206297B2 (ja) * 2008-10-07 2013-06-12 トヨタ自動車株式会社 光学式測距装置及び方法
JP5617159B2 (ja) * 2008-10-07 2014-11-05 トヨタ自動車株式会社 画像取得装置及び方法
JP2011027451A (ja) * 2009-07-22 2011-02-10 Nikon Vision Co Ltd 測距装置および測距方法
JP5644294B2 (ja) * 2010-09-10 2014-12-24 株式会社豊田中央研究所 光検出器
JP2012122951A (ja) * 2010-12-10 2012-06-28 Denso Corp 距離測定装置および距離測定プログラム

Also Published As

Publication number Publication date
JP2014081254A (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
JP6225411B2 (ja) 光学的測距装置
JP6236758B2 (ja) 光学的測距装置
JP6017916B2 (ja) 光検出器
CN107085218B (zh) 确定返回光脉冲的返回时间的方法以及spl扫描仪
US10775507B2 (en) Adaptive transmission power control for a LIDAR
WO2022227608A1 (zh) 使用激光雷达测量目标物反射率的方法及激光雷达
US20180364340A1 (en) Distance measuring apparatus
US9417326B2 (en) Pulsed light optical rangefinder
US20220196812A1 (en) Time of flight sensor
JP6665873B2 (ja) 光検出器
JP2018119986A (ja) 明るい周囲背景光下における多視野スキャナー無し光学式距離計
CN211014629U (zh) 一种激光雷达装置
CN111656219B (zh) 用于使用光信号确定至少一个对象的距离的装置和方法
CN113424077B (zh) 光学测距装置
Keränen et al. $256\times8 $ SPAD Array With 256 Column TDCs for a Line Profiling Laser Radar
US11525913B2 (en) Light detection device and electronic apparatus comprising plural SPAD arrays with a photon detection rate controller
IL275400B2 (en) Receiving arrangement for receiving light signals
US20210088661A1 (en) Photodetector and optical ranging apparatus using the same
Buchner et al. Acquisition of multiple events in direct time-of-flight LiDAR using single-photon avalanche diodes
US20240361437A1 (en) Methods and apparatus for single-shot time-of-flight ranging with background light rejection
Yamamoto Photonic Technology Improvements that Drives Future of LiDAR Applications
Oh et al. Techniques for improved performances of direct-detection three-dimensional imaging laser radar system using Geiger-mode avalanche photodiode

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170925

R150 Certificate of patent or registration of utility model

Ref document number: 6225411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150