JP2007249722A - 物体検知装置 - Google Patents

Abstract

【課題】ユーザが直感的かつ簡単な操作で物体検知領域の設定をすることが可能なインタフェースを用いて、物体検知装置の性能向上を行うこと。
【解決手段】撮像を行い撮像した画像を出力する撮像手段と、３次元位置を検出し３次元位置情報を出力する３次元位置検出手段と、ユーザが検知領域を設定するための検知領域設定用データの入力を行うユーザ入力手段と、画像に変換処理を行って、生成した画像を出力する画像処理手段と、を有する物体検知装置によって構成される。ユーザが入力した検知領域設定用データを用いて検知領域を３次元空間中で決定し、３次元位置検出手段によって検出した３次元位置が検知領域の内部にあるか外部にあるかを判定し、その結果に基づいて、撮像手段から出力した画像に変換処理を加えることで、画像上に検知領域を明示する。これにより、物体検知装置において、ユーザが検知領域を設定する際の操作性の向上を図ることが可能となる。
【選択図】図１

Description

本発明は、物体検知装置に関する。

本技術分野の背景技術として、例えば、特開２００５−３４７９２６号公報（特許文献１）がある。該公報には、「所定の撮影範囲内で、被写体の位置に関わらず、被写体の変化に基づく異常の有無を適切に検出する。」ことを目的とし、解決手段として、「本発明によれば、所定範囲の被写体の画像を連続的に撮影する撮影手段と、画像内の被写体の変化と、その変化量を検出する検出手段と、検出手段が変化を検出した被写体と、撮影手段との間の距離を測定する測距手段と、測距手段が測定した距離と、検出手段が検出した被写体の変化量とに基づき、当該被写体の変化が異常か否かを判定する判定手段と、を含むことを特徴とする監視装置が提供される。」という技術が開示されている。

特開２００５−３４７９２６号公報

上記特許文献１に示すように、撮像手段により得られた画像に対する画像処理手段と、３次元位置検出手段により得られた３次元位置情報との組み合わせにより物体検知装置の性能向上やアプリ応用を図ることができる。

物体検知技術においては、検知領域を指定することにより、誤検知や検知精度の劣化する領域を検知対象外として除外したり、検知領域の外部から内部への物体の移動を判定することで侵入検知を行ったりするなど、様々な応用が可能となる。物体検知に３次元位置情報を用いる場合には、検知領域も３次元空間中で決定する必要がある。検知領域は予めその３次元位置を設定し、３次元位置情報をメモリに格納していても良いが、検知装置を置く場所や検知領域などの検知環境が変化することを考慮すると、ユーザが必要に応じて当該検知領域を変更できることが好ましい。

しかしながら、ユーザが３次元空間中の検知領域を変更する場合、変更のために必要な入力情報が３次元位置情報となり、データが扱いづらく入力操作も複雑となる。また、現在の設定における検知領域も、ユーザが画像として視認することができないため、把握しにくいという問題がある。

そこで、例えば、画像と３次元位置情報を用いた物体検知装置において、簡易に操作可能で、かつ現在の設定が分かりやすいユーザインタフェースを用いることにより、検知領域の設定が簡単に行えるようにすると、操作性が向上する。

本発明は、物体検知装置の操作性向上を行うことを目的とする。

本発明の概要は、物体検知装置において、ユーザが検知領域を設定するための検知領域設定用データの入力を行い、撮像手段が撮像した画像のうち、検知領域の内部と外部とが区別できるように変換処理を行って表示する。該変換処理とは、例えば、輝度信号または色信号を変換し、検知領域を明るくまたは暗くし、あるいは色を変えて表示する。このようにすれば、検知領域をユーザに明示することができる。

本発明によれば、物体検知装置の操作性向上を行うことができる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係る物体検知装置を示す構成図である。図１において０１０１は撮像部、０１０２は３次元位置検出部、０１０３はユーザ入力部、０１０４は画像処理部である。

図１に示した物体検知装置において、撮像部０１０１は、レンズやシャッタや撮像素子やＡＧＣやＡＤやカメラ信号処理ＤＳＰやタイミングジェネレータ等から構成され、光電変換により撮像を行い、画像データを出力する。ここにおいて、撮像部は１つに限る必要はなく、異なる位置に設置した２つ以上の複数の撮像部であってもよい。３次元位置検出部０１０２は空間中に存在する物体の３次元位置を検出し、その３次元座標を３次元位置情報として出力する。３次元位置情報の例としては距離マップが挙げられる。３次元位置検出手段としては、ステレオカメラやレーザレーダなど空間分解能を持った距離センサを用いることができる。ユーザ入力部０１０３は、十字キーやジョグダイヤルやキーボードやマウスなどの外部インタフェースを用いることにより、ユーザが物体検知の検知領域を設定するために必要な検知領域設定データの入力を行う。画像処理部０１０４は、ユーザ入力部０１０３から入力した検知領域設定データを用いて検知領域を決定し、３次元位置検出部０１０２によって出力された３次元位置情報をもとに、各々の３次元座標が、検知領域の内部にあるか外部にあるかを判定する判定処理を行い、その結果に基づいて、撮像手段０１０１によって出力された画像に変換処理を行って、生成した画像を出力し、ユーザに表示する。なお、検知領域の決定は、ユーザ入力部０１０３で行っても良い。

前記検知領域は、前記検知領域設定データに基づき、３次元空間上で決定される。前記判定処理を行う際には、この検知領域の属する３次元空間の座標系（以下、基準座標系と呼ぶ）と、３次元位置検出部０１０２で得られる３次元座標の座標系とを一致させる必要がある。そこで、基準座標系を、３次元位置検出部０１０２で得られる３次元座標の座標系とすることで、座標系の変換処理を行う必要がなく、手間を軽減できる。ただし、監視において、室内に侵入する物体を検知する場合や、車載において自車両に接近する車両を検知する場合など、必要に応じて基準座標系を任意に変更することもできる。この場合、基準座標系を決定するときに、基準座標系と、３次元位置検出部０１０２で得られる３次元座標の座標系との間の、座標系の相対的な並進および回転を示す外部パラメータを求めておくことで、前記判定処理を行う際の座標系の変換を行うことができる。

画像処理部０１０４における画像変換処理は、ユーザが入力した検知領域設定データによって決定した検知領域を、画像上に明示するために行うものである。この画像変換処理は、前記３次元座標が検知領域の内部に存在するときに、その３次元座標に対応する領域に変換処理を行うことで、検知領域を強調し、ユーザに検知領域を明示することができる。また、前記３次元座標が検知領域の外部に存在するときに、その３次元座標に対応する領域に変換処理を行うことで、検知領域をマスクしても良い。また、前記３次元座標が検知領域の境界に存在するときに、その３次元座標に対応する領域に変換処理を行って、検知領域の境界のみを強調しても良い。このような画像変換処理としては、変換処理を行いたい画像中の画素の、輝度信号を変換して明るく、または、暗くしても良いし、色信号を変換して、特定の色を付けても良い。この画像変換処理によって生成された画像によって、ユーザは自分が設定した検知領域を明示的に見ることが可能となる。このとき、検知領域の基準位置からの距離に応じて、異なる輝度信号、または色信号に変換することで、ユーザに距離感を与えることも可能である。また、必要に応じて、ノイズ除去や鮮鋭化などの画質向上処理を前処理として行っても良い。ユーザの入力した検知領域設定データなどのパラメータを、画像上に表示しても良い。画像変換処理は、ユーザが検知領域を設定するときに限定して処理を行い、設定後は通常の画像を出力して良いが、ユーザが検知領域を設定した後も常に表示して、モニタリング用に画像を閲覧する際においても、検知領域を参照できる形態をとることもできる。

前記画像変換処理を行う際に、前記３次元座標に対応する画像の領域の決定は、３次元位置検出部０１０２で得られる３次元座標の座標系から、画像の２次元座標系（以下、画像座標系）に変換することで行う。この座標変換を行うためには、まず、撮像部０１０１と３次元位置検出部０１０２との間の相対的な回転および並進の情報を示す外部パラメータによって、３次元位置検出部０１０２から得られた３次元位置情報を、３次元位置検出部０１０２を基準とした座標系から撮像部０１０１を基準としたカメラ座標系に変換する。そして次に、撮像部０１０１の焦点距離やレンズ歪みなどを示す内部パラメータによって、撮像部０１０１を基準としたカメラ座標系から撮像部０１０１で撮影した画像における画像座標系に変換すれば良い。前記外部パラメータは、空間中のマーカや、自然特徴を用いて、既知の方法により自動で算出できるようにしても良いし、専門の技術者が、撮像部０１０１および３次元位置検出部０１０２の設置間隔や、俯角や見込み角や、設置高を厳密に測定することで求めても良い。また、前記内部パラメータは、工場出荷時や設置時または設置後に、マーカを用いて算出すれば良い。前記画像変換処理にて座標系変換を行うときには、これらのパラメータを事前に算出してメモリ上に蓄えるか、補正処理によって適宜補正して用いる。

図２に、本実施例において、ステレオ撮像を用いた場合の構成図を示す。図２において、０２０１＿１は第一の撮像部、０２０１＿２は第二の撮像部、０２０２はステレオ画像処理部、０１０３はユーザ入力部、０１０４は画像処理部である。

図２に示した物体検知装置において、ステレオ画像処理部０２０２は、第１の撮像部０２０１＿１が出力した画像データと、第２の撮像部０２０１＿２が出力した画像データを用いて、ステレオ画像処理を行い、距離情報を演算し出力する。図１で示した構成に対し、本構成では第一の撮像部０２０１＿１または第二の撮像部０２０１＿２が撮像部０１０１に、第一の撮像部０２０１＿１および第二の撮像部０２０１＿２およびステレオ画像処理部０２０２が３次元位置検出部０１０２に該当する。このとき、画像処理部０１０４に画像データを出力する撮像部は、第一の撮像部０２０１＿１、または第二の撮像部０２０１＿２、またはその両方のいずれでも良い。このように、撮像部０１０１と、３次元位置検出部０１０２のかわりに、第一の撮像部０２０１＿１と、第二の撮像部０２０１＿２と、ステレオ画像処理部０２０２とによって構成されるステレオ撮像部を用いても、図１で示した構成と同等の構成として扱うことができる。同様に、３つ以上の撮像部を用いたマルチ撮像部を用いても良い。ステレオ撮像またはマルチ撮像を用いた場合には、撮像部と３次元位置検出部を別途に用意する必要がなく、そのため、撮像部と３次元位置検出部の３次元座標系を合わせることが容易となる。また、撮像部と３次元位置検出部を別途に用意したときに、互いに設置位置が異なることにより一方のみで死角となる領域が存在する、といったような問題も回避することが可能である。

図３は、本発明の第１実施例に係る物体検知装置の使用例を示す模式図である。図３において、０３０１は撮像部、０３０２は３次元位置検出部、０３０３は検知領域、０３０４＿１は人物、０３０４＿２は人物、０３０５は十字キー付きユーザ入力デバイス、０３０６は画像処理部、０３０７は表示画像である。

図３は、撮像部０３０１から出力された画像データにおいて、検知領域０３０３に対応する領域を強調した表示画像０３０７を表示することで、ユーザに対して検知領域を明示している様子を示している。この例では、表示画像０３０７において、３次元位置取得部０３０２から得られた３次元座標が、検知領域０３０３の内部に存在する場合に、画像上の対応する領域の輝度信号を変換し、斜線を付けて表示している。検知領域０３０３は、ユーザが十字キー付き外部入力デバイス０３０５を操作することにより、その３次元位置を変更することができる。本使用例においては、ユーザは、表示画像０３０７を見ながら検知領域０３０３を設定することにより、十字キー付き外部入力デバイス０３０５によって検知領域０３０３を変更する場合にも、現在の設定における検知領域を視覚的に把握することができ、操作性の向上を図ることが可能である。表示画像０３０７の右上部には、現在検知領域の大きさを３ｍに設定していることを示す「Ｚ＝３ｍ」のデータ表示を行っている。このように、検知領域設定データを画面上に表示すれば、十字キーなどを用いてユーザの入力した検知領域設定データを簡単にメモに取ることができ、再度設定する際の再現を簡易に行うこともできる。なお、表示画像０３０７は、画像処理部０３０６に直接接続されたモニタ上で閲覧しても良いし、画像処理部０３０６にネットワークを接続し、遠隔のモニタ上で閲覧しても良い。

本実施例による物体検知装置を用いれば、侵入検知を行うことも可能である。図３において、人物０３０４＿１は検知領域０３０３の内部におり、検知対象となり得る人物であり、人物０３０４＿２は検知領域０３０３の外部におり、検知対象となり得ない人物である。人物０３０４＿２が移動し、検知領域０３０３の内部に入った場合、人物０３０４＿２は検知対象となる。このように、移動する人物、または物体（以下、移動体）の移動を時間軸上で追跡し、３次元位置取得部０３０２より得られた、移動体の３次元位置が、検知領域０３０３の内部にあるか外部にあるかを判定し、移動体の３次元位置が外部から内部に移動したことを検知して、移動体の検知領域０３０３への侵入検知を行うことができる。

移動体の追跡は、撮像部０３０１から得られた画像に対し、画像処理による追跡処理を行えば良いが、３次元位置取得部０３０２より得られた３次元位置情報を組み合わせて用いても良い。また、検知領域外から検知領域内への移動のみを検知するのではなく、検知領域０３０３への接近を検知しても良い。この場合、移動体が検知領域０３０３へ接近したときに警告を画面上に表示し、検知領域０３０３の内部に侵入したときにアラームを鳴らすといったような、移動体と検知領域０３０３との位置関係に応じて、対処を変化させるような応用が可能である。また、移動体の検知領域０３０３の内部から外部への移動を検知して、幼児の見失い防止を行ったり、検知領域０３０３の外部から内部への移動を検知し、移動体がそのまま長時間にわたり静止していた場合に、置き去り物体であると判定する置き去り検知を行ったりすることも可能である。

なお、画像処理と３次元位置情報を組み合わせ、検知対象の３次元空間における位置や大きさなどの３次元情報を取得することで、検知対象の識別を行い特定の対象だけ侵入検知を適用する、などといったように、侵入検知に応用することができる。このとき取得した検知対象の３次元情報を出力し、表示画像０３０７上に表示しても良い。ユーザは表示画像０３０７を見ることで、検知対象が実空間中でどの位置にいるのか、あるいは実際の大きさがどの程度であるのか、などを把握することができるようになり、侵入検知時のモニタリング性能向上が行える。

かように本実施例によれば、物体検知装置において検知領域を設定する際に、検知領域を３次元空間上で決定した場合にも、検知領域を画像上に表示することができ、ユーザが現在の設定における検知領域を視覚的に把握しながら、簡単な操作で検知領域の変更が行えるような、操作性を向上した物体検知装置が実現できる。

図４は、本発明の第２実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。本実施例では、撮像部０３０１を基準としたカメラ座標系を、基準座標系０４０８をとしている。このとき、検知領域０３０３は、ユーザが入力した検知領域設定データを、基準座標系０４０８で用いて決定される。

ユーザが参照する表示画像は、撮像部０３０１によって撮影された画像に画像処理を加えることによって生成している。よって、ユーザが検知領域の３次元位置を設定する際に、基準座標系０４０８を用いることで、撮像部０３０１の視線方向と、検知領域０３０３を設定する際の奥行き方向とが一致することになる。これにより、例えば、検知領域を基準位置からの距離によって決定する場合などに、ユーザがより直感的な検知領域の設定を行えるようになる。また、画像処理部０１０４における、前記判定処理を行う際の座標変換処理に必要な外部パラメータが、前記画像変換処理を行う際の座標変換処理に必要な外部パラメータと同じパラメータとなるため、外部パラメータを求めるための作業負担を軽減することができる。

検知領域の決定時だけでなく、侵入検知において検知対象の３次元情報を取得する際に、基準座標系０４０８を用いても良い。例えば、基準座標系０４０８に変換した検知対象の３次元位置を用いれば、検知対象のＺ座標が撮像部０３０１の撮像面から検知対象までの距離となるため、検知対象の位置を簡単に把握することができるようになる。また、撮像面からの距離でなく、撮像部０３０１からの検知対象までの直線距離も簡単に求めて用いることができる。こうして得られた基準座標系０４０８に基づく検知対象までの距離などを画面上に表示すれば、ユーザは検知対象の位置などを直感的に把握することができる。

かように本実施例に拠れば、ユーザが検知領域を設定する際に、検知領域を撮像部からの距離情報を用いて設定するような場合に適した、直感的な検知領域の設定が可能な物体検知装置が実現できる。

図５は、本発明の第３実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。本実施例では、撮像部０３０１を通る鉛直線と床面との交点を原点とし、鉛直線をＹ軸とし、原点を通り床面に水平で互いに直行するＸ軸とＺ軸を設けた座標系を、基準座標系０５０８＿２としている。このとき、検知領域０３０３は、ユーザが入力した検知領域設定データを、基準座標系０５０８＿２で用いて決定される。

３次元位置検出部０３０２によって出力された３次元位置の３次元座標系を、基準座標系０５０８＿２に座標系変換するためには、撮像部０３０１と３次元位置検出部０３０２との間の相対的な回転および並進の情報を示す第一の外部パラメータによって、３次元位置検出部０３０２から得られた３次元位置情報を、３次元位置検出部０１０２を基準としたカメラ座標系から撮像部０３０１を基準としたカメラ座標系である第一の３次元座標系０５０８＿１に変換し、基準座標系０５０８＿２と撮像部０３０１との間の相対的な回転および並進の情報を示す第二の外部パラメータによって、前記座標系０５０８＿１から基準座標系０６０９＿２に変換すればよい。前記第一の外部パラメータは、空間中のマーカや、自然特徴を用いて、既知の方法により自動で算出できるようにしても良いし、専門の技術者が、撮像部０３０１および３次元位置検出部０３０２の設置間隔や、俯角や見込み角や、設置高を厳密に測定することで求めても良い。同様に、前記第二の外部パラメータは、撮像部０３０１の俯角や見込み角や、設置高を用いることで求められる。

監視において物体検知装置を用いる場合には、撮像部０３０１は、天井から床面に対し下向きに、または天井ないし壁面から床面に対し俯角を持って設置され得る。また、車載において物体検知装置を用いる場合には、撮像部０３０１は、車体上から道路面に対し俯角を持って設置され得る。このように、撮像部０３０１が水平面に非並行に設置された場合、撮像部０３０１を基準としたカメラ座標系も、撮像部０３０１の視線方向であるＺ軸が、水平面に対し俯角を持つ座標系となる。しかし、監視や、車載などで侵入検知を行う場合には、移動体は床面、または道路面上を水平に移動することが多い。よって、検知領域を決定する際も、撮像部０３０１を通る鉛直面、または鉛直線から、一定の距離以内の範囲を検知領域とするように決定できることが好ましい。そこで、図５で示すように、基準座標系０５０８＿２を用いることにより、侵入検知を行う場合に適した検知領域の設定が行える。

検知領域の決定時だけでなく、侵入検知において検知対象の３次元情報を取得する際に、基準座標系０５０８＿２を用いても良い。基準座標系０５０８＿２に変換した検知対象の３次元位置を用いれば、検知対象のＺ座標が撮像部０３０１を通る鉛直面から検知対象までの距離となる。そのため、撮像部０３０１が俯角を持って設置された場合にも、室内を移動する人間や、路面上の車両など水平に移動する検知対象までの距離を把握しやすくなる。撮像部０３０１を通る鉛直面からの距離でなく、撮像部０３０１を通る鉛直線から検知対象までの直線距離も簡単に求めて用いることができる。また、基準座標系０５０８＿２に変換した検知対象の大きさは、検知対象の床面からの高さとなるため、検知対象が人間なら身長として、車両なら車高として扱うことができるようになる。こうして得られた基準座標系０５０８＿２に基づく検知対象までの距離や検知対象の高さなどを画面上に表示すれば、撮像部０３０１が俯角を持って設置された場合にも、ユーザは検知対象の位置や高さなどを、容易に把握することができる。

かように本実施例に拠れば、ユーザが検知領域を設定する際に、撮像部を通る鉛直面、または円直線からの距離を用いて設定することが可能となり、侵入検知の用途に適した検知領域の設定が実現できる。

図６は、本発明の第４実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。本実施例では、ユーザが指定したオブジェクトである検知基準物体０６０９を通る鉛直線と床面との交点を原点とし、該鉛直線をＹ軸とし、該原点を通り床面に水平で互いに直行するＸ軸とＺ軸を設けた座標系を、基準座標系０６０８＿３としている。このとき、検知領域０３０３は、ユーザが入力した検知領域設定データを、基準座標系０６０８＿３で用いて決定される。

３次元位置検出部０３０２によって出力された３次元位置の３次元座標系を、基準座標系０６０８＿３に座標系変換するためには、撮像部０３０１と３次元位置検出部０３０２との間の相対的な回転および並進の情報を示す第一の外部パラメータによって、３次元位置検出部０３０２から得られた３次元位置情報を、３次元位置検出部０３０２を基準としたカメラ座標系から撮像部０３０１を基準としたカメラ座標系である第一の３次元座標系０６０８＿１に変換し、第二の３次元座標系０６０８＿２と撮像部０３０１との間の相対的な回転および並進の情報を示す第二の外部パラメータによって、前記第一の３次元座標系０６０８＿１から第二の３次元座標系０６０８＿２に変換し、前記第二の３次元座標系０６０８＿２を、原点が検知基準物体０６０９を通る鉛直線と床面との交点になるように、平行移動すればよい。前記第一の外部パラメータは、空間中のマーカや、自然特徴を用いて、既知の方法により自動で算出できるようにしても良いし、専門の技術者が、撮像部０３０１および３次元位置検出部０３０２の設置間隔や、俯角や見込み角や、設置高を厳密に測定することで求めても良い。同様に、前記第二の外部パラメータは、撮像部０３０１の俯角や見込み角や、設置高を用いることで求められる。また、前記平行移動を行う際に必要な移動量は、撮像部０３０１と検知基準物体０６０９との間の距離と、撮像部０３０１の俯角や見込み角や、設置高を用いることで求められる。

監視においては、貴金属や金庫など、価値の高い特定のオブジェクトに近づくものを検知するような、特定のオブジェクトを基準とした侵入検知が必要となる場合があり得る。この場合、検知領域を決定する際に、検知基準物体０６０９を通る鉛直面、または鉛直線から、一定の距離以内の範囲を検知領域とするように決定できることが好ましい。そこで、図６で示すように、基準座標系０６０８＿３を用いることにより、特定の検知基準物体０６０９を基準とした侵入検知を行う場合に適した検知領域の設定が行える。検知基準物体０６０９の３次元位置は、撮像部０３０１から得られる画像上においてユーザが指定することにより、対応する３次元位置を、検知基準物体０６０９の３次元位置としても良いし、検知基準物体０６０９を配置する位置にユーザがマーカを配置して、そのマーカ位置を抽出することで、検知基準物体０６０９の３次元位置を取得しても良い。

検知領域の決定時だけでなく、侵入検知において検知対象の３次元情報を取得する際に、基準座標系０６０８＿３を用いても良い。基準座標系０６０８＿３に変換した検知対象の３次元位置を用いれば、検知対象のＺ座標が検知基準物体０６０９を通る鉛直面から検知対象までの距離となるため、撮像部０３０１が俯角を持って設置された場合にも、検知基準物体０６０９に近づく人間や、車両などを把握しやすくなる。検知基準物体０６０９を通る鉛直面からの距離でなく、検知基準物体０６０９を通る鉛直線から検知対象までの直線距離も簡単に求めて用いることができる。また、基準座標系０６０８＿３に変換した検知対象の大きさは、検知対象の床面からの高さとなるため、検知対象が人間なら身長として、車両なら車高として扱うことができるようになる。こうして得られた基準座標系０６０８＿３に基づく検知対象までの距離や検知対象の高さなどを画面上に表示すれば、撮像部０３０１が俯角を持って設置された場合にも、ユーザは特定のオブジェクトに近づく検知対象の位置や高さなどを、容易に把握することができる。

かように本実施例に拠れば、ユーザが検知領域を設定する際に、ユーザの指定した特定のオブジェクトを通る鉛直面、または鉛直線からの距離を用いて設定することが可能となり、ユーザの指定したオブジェクトを基準とした侵入検知の用途に適した検知領域の設定が実現できる。

図７は、本発明の第５実施例に係る物体検知装置の一例を示す模式図である。本実施例では、検知領域０３０３の内部にある床面である、検知領域内床面０７０３＿１に対応する領域のみを画像変換している。これにより、画像を変換する領域を、検知領域内の床面の３次元位置に対応する領域に限定することで、検知領域をユーザが平面的に把握できるようになり、直感的な理解が可能となる。また、複雑な形状を持った物体に対しては、３次元位置を検出する際に、誤った３次元位置を検出する誤検出を起こす場合がある。このとき、誤検出を起こすことにより、本来は画像の変換すべきでない領域を、表示してしまう可能性があるが、床面に限定して画像の変換を行うことで、このような誤検出により、誤った３次元位置を表示画像上で表示することがなくなる。床面のかわりに、壁面を用いても良い。

かように本実施例に拠れば、検知領域の表示を床面に限定することにより、ユーザが検知領域を簡易に把握できるような表示画像の生成が可能となる。

図８および図９は、本発明の第６実施例に係る物体検知装置の一例を示す模式図である。本実施例では、検知領域設定データとして、検知領域の形状と、検知領域の大きさと、検知領域の基準位置と、検知領域の方向とのうち、１つまたは複数のデータのみを入力することにより、検知領域を設定することが可能である。図８では、検知領域設定データとして、検知領域の大きさと、検知領域の基準位置が、撮像部０３０１の鉛直線と床面との交点であるという情報を入力することで、検知領域０３０３を決定している。図９では、検知領域設定データとして、検知領域の形状が球であるということと、検知領域の大きさと、検知領域の基準位置が、ユーザの指定したオブジェクトである検知基準物体０６０９の鉛直線と床面との交点であるという情報を入力することで、検知領域０３０３を決定している。このように、ユーザは３次元位置情報を用いずに、検知領域を決定するための必要な数の設定データを入力するだけで、検知領域を３次元空間中において設定できる。そのため、図３で示した十字キー付きユーザ入力デバイス０３０５を操作して、検知領域の大きさを増減したり、検知領域の基準位置を変えたりするといったように、ユーザが簡単な操作で検知領域の３次元位置を変更することができる。

かように、本実施例に拠れば、ユーザが簡単な操作で、かつ用途に応じた柔軟な検知領域の設定が可能となる。

図１０は、本発明の第７実施例に係る物体検知装置の一例を示す模式図である。本実施例では、ユーザが検知領域設定データを入力する際に、図３で示した十字キー付きユーザ入力デバイス０３０５のような外部入力デバイスを用いるのではなく、ユーザが設定指定したオブジェクトの情報を用いることにより、検知領域設定データを入力が可能である。図１０では、ユーザが空間中に配置したオブジェクト１０１０＿１をマーカとして利用し、３次元位置検出部０３０２によって検出した、該オブジェクト１０１０＿１の３次元位置をもとに、検知領域の設定を行っている。この場合、ユーザは検知領域を設定したい位置にマーカとなるオブジェクトを配置するだけで、検知領域を設定することも可能であり、外部入力デバイスを用いたときより、さらに簡易に設定を行うことができる。ただし、検知領域を変更する場合は、再度オブジェクトを配置する必要があり、頻繁に検知領域を変更する必要がない場合に適している。なお、このとき、ユーザ指定オブジェクト１０１０＿１の３次元位置を用いて検知領域を設定するのではなく、その３次元位置から前後にずらした３次元座標を用いて検知領域を設定しても良い。これにより、ユーザ指定オブジェクト１０１０＿１の３次元位置の抽出精度が劣るばあいでも、検知に必要な領域を確保することができる。

また、ユーザが空間上に配置したオブジェクトの３次元位置を用いるかわりに、ユーザが画像上でオブジェクトを指定し、そのオブジェクトに対応する３次元位置を用いても良い。この場合、ユーザは実際にマーカを置きに行く手間を省略することができる。

かように、本実施例に拠れば、検知領域設定時にユーザが指定したオブジェクトの３次元位置を用いることで、ユーザが外部入力デバイスを操作せずに、より簡易な方法で検知領域を設定することが可能となる。

本発明は監視カメラや立体視カメラ、車載カメラに利用可能である。

本発明の第１実施例に係る物体検知装置を示す構成図である。 本発明の第１実施例に係る物体検知装置においてステレオ撮像部を用いた場合の物体検知装置を示す構成図である。 本発明の第１実施例に係る物体検知装置の使用例を示す模式図である。 本発明の第２実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。 本発明の第３実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。 本発明の第４実施例に係る物体検知装置の、検知領域の設定の方法の一例を示す模式図である。 本発明の第５実施例に係る物体検知装置の一例を示す模式図である。 本発明の第６実施例に係る物体検知装置の第一の例を示す模式図である。 本発明の第６実施例に係る物体検知装置の第二の例を示す模式図である。 本発明の第７実施例に係る物体検知装置の一例を示す模式図である。

符号の説明

０１０１ 撮像部
０１０２ ３次元位置検出部
０１０３ ユーザ入力部
０１０４ 画像処理部
０２０１＿１ 第一の撮像部
０２０１＿２ 第二の撮像部
０２０２ ステレオ画像処理部
０１０３ ユーザ入力部
０１０４ 画像処理部
０３０１ 撮像部
０３０２ ３次元位置検出部
０３０３ 検知領域
０３０４＿１〜２ 人物
０３０５ 十字キー付きユーザ入力デバイス
０３０６ 画像処理装置
０３０７ 表示画像
０４０８ 基準座標系
０５０８＿１ 第一の３次元座標系
０５０８＿２ 基準座標系
０６０８＿１ 第一の３次元座標系
０６０８＿２ 第二の３次元座標系
０６０８＿３ 基準座標系
０６０９ 検知基準物体
０７０３＿１〜２ 検知領域内床面
１０１０＿１〜２ ユーザ指定オブジェクト

Claims (9)

1. 被写体を撮像し、画像信号を出力する撮像手段と、
   被写体中の物体の３次元位置を検出し、３次元位置情報を出力する３次元位置検出手段と、
   検知領域を設定するための検知領域設定用データが入力される入力手段と、
   表示手段に画像信号を出力する出力手段と、
   画像信号に変換処理を行う画像処理手段と、
   該３次元位置検出手段から出力される３次元位置情報と該入力手段から入力された検知領域設定用データを用いて、該検知領域の内部及び又は外部にある画像信号に対して、該検知領域の内部と外部とが区別できるように該画像処理手段により変換処理を行い、該検知領域の内部と外部とが区別できるように変換処理された画像信号を該出力手段から出力するように制御する制御手段と、
   を備えることを特徴とする物体検知装置。
2. 撮像を行い撮像した画像を出力する撮像手段と、
   空間中の物体の３次元位置を検出し３次元位置情報を出力する３次元位置検出手段と、
   ユーザが検知領域を設定するための検知領域設定用データの入力を行うユーザ入力手段と、
   画像に変換処理を行い生成した画像を出力する画像処理手段と、
   を備えた、物体検知装置において、
   前記検知領域設定用データを用いて検知領域を決定し、
   前記３次元位置情報における各々の３次元座標が該検知領域の内部にあるか外部にあるかを判定し、
   その結果に基づき該撮像手段から出力した画像に変換処理を行い生成した画像を出力すること、
   を特徴とした物体検知装置。
3. 請求項２に記載の物体検知装置において、
   前記３次元位置情報の時間的変化と、前記検知領域の情報と、を用いることにより侵入検知を行うこと、
   を特徴とした物体検知装置。
4. 請求項２または３に記載の物体検知装置において、
   前記検知領域設定用データを前記撮像手段の位置を基準としたカメラ座標系を用いて検知領域を決定すること、
   を特徴とした物体検知装置。
5. 請求項２または３に記載の物体検知装置において、
   前記検知領域設定用データを、前記撮像手段を通る鉛直線と床面との交点を原点とし、該鉛直線をＹ軸とし、該原点を通り床面に水平で互いに直行するＸ軸とＺ軸を設けた座標系を用いて検知領域を決定すること、
   を特徴とした物体検知装置。
6. 請求項２または３に記載の物体検知装置において、
   前記検知領域設定用データを、ユーザが指定したオブジェクトを通る鉛直線と床面との交点を原点とし、該鉛直線をＹ軸とし、該原点を通り床面に水平で互いに直行するＸ軸とＺ軸を設けた座標系で用いて検知領域を決定すること、
   を特徴とした物体検知装置。
7. 請求項２ないし６のいずれかに記載の物体検知装置において、
   床面の検出を行い、
   該床面に対応する３次元位置が前記検知領域の内部にあるか外部にあるかを判定し、
   その結果に基づいて、該撮像手段から出力した画像に変換処理を行って、生成した画像を出力すること、
   を特徴とした物体検知装置。
8. 請求項２ないし７のいずれかに記載の物体検知装置において、
   前記検知領域設定データとして、
   検知領域の領域形状と、検知領域の大きさと、検知領域の基準位置と、検知領域の方向と、のうち、１つ、または、複数の情報を用いることを特徴とした物体検知装置。
9. 請求項２ないし８のいずれかに記載の物体検知装置において、
   ユーザが指定したオブジェクトの３次元位置を検出し、
   該３次元位置を検出領域設定データに用いること、
   を特徴とした物体検知装置。
   

Images