JP4859879B2 - 物体検出装置とそれを適用したゲート装置 - Google Patents

Description

本発明は、対象領域内の物体を検出する装置に関する。本発明はまた、その検出結果に応じてゲートの開閉を制御する装置に関する。

対象領域における物体の有無や移動を検出する検出装置が広く用いられている。こうした検出装置は、例えば自動ドアなどのゲート装置を制御するために用いられる。また対象領域の安全性を監視するために用いられる。こうした目的のためには、検出結果がリアルタイムで得られるように、情報処理が高速に行われることが望ましい。

特許文献１には、通過物体検知装置及び通過物体計数装置が記載されている。この技術においては、監視領域上に輝点マトリクスを投影して撮影した画像を処理することにより、監視領域を複数の人間が並んで通過した場合にその通過が検出される。

特許文献２には、所定の投影パターンで被写界を照射する照射部と、その被写界を撮像し、被写界中の投影パターンの動きから動体画像を生成する撮像部と、撮像部により生成される動体画像に基づいて、被写体中の動体の形状または寸法を求める動体検出部と、動体検出部により検出される動体の形状または寸法に基づいて、警報情報を出力する監視部とを備えたことを特徴とする監視装置が記載されている。
特開平９−２７０２１号公報 特開２００１−２４９００８号公報

背景技術において説明したような高速な情報処理を低コストで達成するために、高価なプロセッサ、画像処理ソフトウェア等を必要としない簡単な処理で検出結果が得られることが望まれる。

また、監視カメラ等による鮮明な映像の撮影は、プライバシーに対する配慮から、場合によっては避けた方が望ましい場合がある。

本発明の目的は、簡単な処理によって対象領域の物体を検出する技術を提供することである。
本発明の他の目的は、対象の姿を鮮明に記録することをせずに対象の監視をすることが可能な技術を提供することである。

以下に、［発明を実施するための最良の形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明によるゲート装置は、第１の光学的特徴量を有する第１領域（３０）と第２の光学的特徴量を有する第２領域（３１）とが交番的に配列された繰り返し模様（２９）を監視対象領域（２７）に投影する投影部（４）と、監視対象領域（２７）の画像を撮影する撮影部（６）と、撮影部（６）が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部（９）と、破れ領域の所定の特徴量を抽出する特徴量抽出部（１２）と、特徴量に基づいてゲート（３２）の開閉を制御するゲート制御部（３）とを備える。

本発明によるゲート装置において、特徴量抽出部（１２）は破れ領域の面積を計算する面積計算部（１１）を備える。面積計算部（１１）は、破れ領域に含まれる第１領域（３０）と第２領域（３１）との少なくとも一方の個数をカウントしたカウント値を面積として算出する。

本発明によるゲート装置において、投影部（４）は視野を下方に向けて天井に設置される。ゲート（３２）は、ゲート（３２）に対して監視対象領域（２７）の側とその反対側との間の通行を遮断する。

本発明によるゲート装置において、破れ抽出部（９）は、第１画像と第２画像との差分を計算することによって、破れ領域に繰り返し模様（２９）が変形した変形繰り返し模様が含まれる差分画像（３４）を生成し、変形繰り返し模様の第１領域（３０）に挟まれた第２領域（３１）の光学的特徴量を第１光学的特徴量に変換することによって、破れ領域を塗り潰された領域として抽出する。ゲート制御部（３）は、塗り潰された領域の時系列的な動きに基づいてゲート（３２）の開閉を制御する。

本発明によるゲート装置において、破れ領域は、第１画像と第２画像との差分を計算することによって、破れ領域に繰り返し模様（２９）が変形した変形繰り返し模様が含まれる差分画像（３４）を生成する。特徴量抽出部（１２）は更に、変形繰り返し模様に基づいて破れ領域に存在する対象の高さを高さ情報として算出する高さ情報算出部（１３）を備える。ゲート制御部（３）は、高さ情報に基づいてゲートの開閉を制御する。

本発明によるゲート装置において、投影部（４）は、第１領域（３０）と第２領域（３１）とが第１方向と第２方向とに周期的に並ぶように繰り返し模様（２９）を投影する。撮影部（６）の監視対象領域（２７）の画像を撮影するための光軸は、投影部（４）が繰り返し模様（２９）を投影するための光学系の光軸に対して、第１方向に所定のオフセット値分ずれ、第２方向に同じ位置に配置される。

本発明によるゲート装置において、特徴量抽出部（１２）は更に、監視対象領域（２７）の背景面に投影される繰り返し模様（２９）に対する監視対象領域に存在する物体（３７）に投影された繰り返し模様の第１方向におけるずれの大きさに基づいて物体の上面の高さを高さ情報として算出する高さ情報算出部（１３）を備える。ゲート制御部（３）は、高さ情報に基づいてゲートの開閉を制御する。

本発明によるゲート装置において、破れ抽出部（９）は、破れ領域の第１方向の端部において輝度が所定値以下の領域を破れ領域から除く影抜き処理を実行する。

本発明によるゲート装置において、繰り返し模様（２９）は、第１領域（３０）には赤外線が照射され、第２領域（３１）には赤外線が照射されないことによって形成される。

本発明によるゲート装置において、破れ抽出部（９）は第２画像と第３の時刻に撮影した第３画像の異なっている領域である第２破れ領域を抽出する。特徴量抽出部（１２）は更に、破れ領域の位置と第２破れ領域の位置とから監視対象領域（２７）内に存在する対象の移動方向を検出する移動方向検出部（１５）を備える。ゲート制御部（３）は、移動方向に基づいてゲート（３２）の開閉を制御する。

本発明によるゲート装置において、ゲート制御部（３）は、破れ領域の形状に基づいてゲート（３２）の開閉を制御する。

本発明によるゲート装置において、特徴量抽出部（１２）は更に、破れ領域に示される対象が監視対象領域（２７）内に滞在している滞在時間を監視する滞在時間監視部（１６）を備える。

本発明によるゲート装置において、撮影部が撮影した監視対象領域（２７）の画像は、第１の光学的特徴量に近い第１閾値と第２の光学的特徴量に近い第２閾値とを用いて２値画像に変換される。

本発明による物体検出装置は、第１の光学的特徴量を有する第１領域（３０）と第２の光学的特徴量を有する第２領域（３１）とが交番的に配列された繰り返し模様（２９）を監視対象領域（２７）に投影する投影部（４）と、監視対象領域（２７）の画像を撮影する撮影部（４）と、撮影部（４）が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部（９）と、破れ領域の所定の特徴量を抽出する特徴量抽出部（１１）とを備える。

本発明による物体検出装置において、破れ抽出部（９）は、第１画像と第２画像との差分を計算することによって、破れ領域に繰り返し模様（２９）が変形した変形繰り返し模様が含まれる差分画像（３４）を生成し、変形繰り返し模様の第１領域（３０）に挟まれた第２領域（３１）の光学的特徴量を第１光学的特徴量に変換することによって、破れ領域を塗り潰された領域として抽出する。

本発明により、簡単な処理によって対象領域の物体を検出する技術が提供される。
更に本発明により、対象の姿を鮮明に記録することをせずに対象の監視をすることが可能な技術が提供される。

以下、図面を参照しながら本発明を実施するための最良の形態について説明する。図１は、本実施の形態における物体検出装置の構成を示すブロック図である。物体検出装置１は、各種装置を情報通信可能に相互に接続するバス２を備える。以下、バス２に接続される装置について説明する。これらの装置は、バス２を介して他の装置から受信する情報に基づいて動作する。

ゲート制御部３については後述する。投影制御部５は、パターンプロジェクタである投影部４の投影動作を制御する。撮影制御部７は、デジタルカメラであるカメラ部６を制御する。画像処理演算部８は、カメラ部６が撮影した画像の画像処理を行う。画像処理演算部８は、記憶装置に格納されたソフトウェアが後述するＣＰＵ１９に読み取られ実行されることにより実現される機能ブロックである。以下、プログラムとして説明される構成要素は、このような機能ブロックを示す。

物体検出装置１は、プログラムである破れ検出・抽出部９、平面特徴量抽出部１０、高さ特徴量抽出部１３、時系列特徴量抽出部１４、評価判定通報部１７を備える。平面特徴量抽出部１０、高さ特徴量抽出部１３及び時系列特徴量抽出部１４は特徴量抽出部１２を構成する。物体検出装置１は更に、投影部４が投影するパターンを記憶するパターンメモリ２０、カメラ部６によって撮影された時系列的な画像を記憶する時系列画像メモリ２１、その時系列画像に基づいて破れ検出・抽出部９が生成した破れ抽出画像とマスク画像をそれぞれ記憶する破れ抽出画像メモリ２２及びマスク抽出画像メモリ２３、破れ抽出画像とマスク抽出画像に基づいて平面特徴量抽出部１０、高さ特徴量抽出部１３及び時系列特徴量抽出部１４が抽出した特徴量を記憶する特徴量メモリ２４、特徴量に基づいて警告等の出力処理を行うための基準となる各種パラメータを記憶するパラメータデータベース２５及び物体データベース２６を備える。物体検出装置１は、プログラムロム、ＲＡＭ１８と、以上の各装置を制御するＣＰＵ１９を備える。

図２は、本実施の形態における物体検出装置１が設置される状況を示す。物体検出装置１によって監視される安全監視領域２７が設定される。図２においては、物体検出装置１が適用される状況を分かりやすくするために、安全監視領域２７の内部に物体３７が置かれている。物体検出装置１は、監視すべき対象である物体３７の周囲に人体２８などが進入したことを検出するために使用される。あるいは物体検出装置１は、人体２８などがうかつに近づくと危険な工作機械や化学物質などである物体３７の周囲に人体２８などが進入したことを検出するために使用される。

安全監視領域２７の付近に投影部４が設置される。投影部４が設置される場所は、典型的には安全監視領域２７が設定された建造物の天井である。投影部４は、投影制御部５に制御されてパターンメモリ２０が記憶するパターン２９を安全監視領域２７の設定された方向に対して投影する。図２の例では、このパターン２９は安全監視領域２７が設定された下方に向けて投影されている。安全監視領域２７は、投影部４の光源と床面に投影されたパターン２９の輪郭とを結ぶ面に含まれる。

図２には、市松模様のパターン２９が描かれている。このパターン２９は、それぞれ周期的に並んだ明部３０と暗部３１とからなる。明部３０と暗部３１は交互に並んでいる。典型的な例では、明部３０には所定の輝度の赤外線が投影され、暗部３１には赤外線が投影されない。赤外線の輝度差によって周期的な明暗のパターン２９が形成される。このパターン２９は、輝度差に替えて、明部３０と暗部３１に対して波長の異なる電磁波を投影するなど、他の方法によって形成することも可能である。すなわちパターン２９は、第１の光学的特徴量を有する第１領域と第２の光学的特徴量を有する第２領域とが交番的に配列されることによって形成される。

パターン２９は、市松模様に限られず、繰り返し模様（タイル模様）であれば他の種類のパターンでもよい。例えば、三角形の明部と暗部とが交番的に配列されることによって所定の領域内を埋める模様でもよい。こうしたパターンは、それぞれ図２の明部３０と暗部３１とに相当する第１領域と第２領域とを有する。第１領域と第２領域とは共に閉じた輪郭を有すると、後述する破れ抽出画像の生成が容易である点で好ましい。

カメラ部６は、投影部４に隣接して天井に設置され、パターン２９を時系列的に撮影して時系列画像を生成する。時系列画像は、動画あるいは所定の時間間隔で撮影された静止画を要素とするグループである。カメラ部６が撮影する画像は、安全監視領域２７の全部を含む。

以上の構成を備えた物体検出装置１の動作を以下に説明する。図３は、投影制御部５の動作を示す。投影制御部５は、記憶装置から輝度などの投影条件を読み込む（ステップＳ１）。投影制御部５は、パターンメモリ２０からパターン２９を読み込む（ステップＳ２）。投影制御部５は、投影部４を制御して読み込んだパターン２９を投影させる（ステップＳ３）。投影制御部５は、投影条件を変更する命令がＣＰＵ１９から送信されているか否かをモニタする（ステップＳ４）。投影条件の変更が無い場合はパターン２９の投影を続ける。投影条件が変更されたときは、新たな投影条件でパターンの投影を行う。

図４は、撮影制御部７の動作を示す。撮影制御部７は、記憶装置から感度、絞り、焦点、撮影のタイミングなどの撮影条件を読み込む（ステップＳ５）。撮影制御部７は、安全監視領域２７を撮影して時系列的画像を生成する（ステップＳ６）。時系列画像は逐次、時系列画像メモリ２１に保存される（ステップＳ７）。このとき、撮影時刻も共に保存される。撮影制御部７は、撮影条件を変更する命令がＣＰＵ１９から送信されているか否かをモニタする（ステップＳ８）。撮影条件の変更が無い場合はそのまま撮影を続ける。撮影条件が変更されたときは、新たな撮影条件で撮影を行う。カメラ部６による撮影は、投影部４によるパターン２９の投影と平行して、安全監視領域２７を監視する期間中、常時行われる。撮影条件が変更されない間、カメラ部６の視野は固定されている。

画像処理演算部８は、カメラ部６が撮影した時系列画像を、明部３０の輝度に近い第１閾値と暗部３１の輝度に近い第２閾値とによって２値化して２値化時系列画像を生成してもよい。この場合、時系列画像メモリ２１に保存され以後の処理の対象となるのは、この２値化時系列画像である。画像が２値化されると、第１に以下の処理の精度が向上し、第２に被写体の鮮明な映像が見えなくなるために、プライバシー保護の観点から望ましい。

図５は、破れ検出・抽出部９の動作を示す。破れ検出・抽出部９は、時系列画像メモリ２１に保存された時系列画像をリアルタイムで読み込む（ステップＳ９）。カメラ部６が撮影された時系列画像が動画であるときは、その動画から所定の時間間隔で動画を構成するコマを抽出して読み込む。カメラ部６が撮影した時系列画像が所定の時間間隔で撮影された静止画であるときは、最新の静止画を逐次、読み込む。図１０に時系列画像３３の例が描かれている。

破れ検出・抽出部９は、時系列画像を構成する静止画のうち、第１のタイミングで撮影された画像と第２のタイミングで撮影された画像との差分を算出して差分画像３４を生成する（ステップＳ１０）。例えば１秒毎に撮影された時系列画像の場合は、１秒前の画像と最新の画像との差分の絶対値を画素毎に計算して差分画像３４を生成する。各時刻に差分画像３４が生成されることにより、差分画像の時系列的なシリーズが生成される。差分画像３４は、明部３０に対応する白画素と暗部に対応する黒画素とからなる２値の画像である。

安全監視領域２７の内部に動きが無い静止状態のとき、第１のタイミングで撮影された画像３３−１と第２のタイミングで撮影された画像３３−２は同一であるため、差分画像３４−１は各画素の輝度が０値である一様な画像となる。以下、この０値の画素で占められる領域を黒領域と呼ぶ。安全監視領域２７が平坦な床面である場合、あるいは安全監視領域２７の内部に動かない物体３７が置かれているとき、こうした黒領域で塗りつぶされた一様な差分画像３４−１が生成される。一様な差分画像３４−１が生成されている間、安全監視領域２７に動きが無いことを示す安全領域確保信号が評価判定通報部１７に送信される。一様な差分画像３４−１が生成されている間、ステップＳ９〜Ｓ１１の処理が繰り返される（ステップＳ１１ＮＯ）。

安全監視領域２７の内部に物体の動きがあったとき、差分画像３４のその物体に対応する領域に一様に塗り潰された画像ではない破れ領域が存在する破れ差分画像３４−２が生成される（ステップＳ１１ＹＥＳ）。

破れ検出・抽出部９は、破れ差分画像３４−２が生成されたと判定すると、破れ領域をその周囲の領域とは区別して一様に塗り潰した画像である破れ抽出画像３５を生成する。破れ抽出画像３５における破れ領域は、例えば明部３０と輝度が同じ明るい色で塗り潰される。以下、この明るく一様に塗り潰された領域を白領域と呼ぶ。破れ検出・抽出部９は、生成した時系列的な破れ抽出画像３５を破れ抽出画像メモリ２２に保存する（ステップＳ１２）。

白領域は、例えば以下のように作成される。破れ差分画像３４−２の画素を所定の走査方向にモニタする。一の白画素と他の白画素に１つ以上の黒画素が挟まれていたとき、その黒画素を白画素に変換する。この処理は、明部３０と暗部とが共に閉じた輪郭を有する場合、特に容易に実行される。こうした処理により、容易に破れ抽出画像３５が生成される。

破れ検出・抽出部９は、破れ抽出画像３５における破れ領域に対応する領域の画像を時系列画像メモリ２１から抜き取り、破れ抽出画像３５の破れ領域にはめ込んでマスク抽出画像３６を作成し、マスク抽出画像メモリ２３に保存する（ステップＳ１３）。このマスク抽出画像３６には、安全監視領域２７の内部で動いている物に投影されたパターン２９のみが写っている。この処理が終わると、破れ検出・抽出部９はステップＳ９以降の処理を繰り返す。

図６は、平面特徴量抽出部１０の動作を示す。平面特徴量抽出部１０は、破れ抽出画像メモリ２２から破れ抽出画像３５を読み込む（ステップＳ２０）。破れ抽出画像３５に含まれる破れ領域は、個別に特定されてそれぞれに識別子を付与される（ステップＳ２１）。平面特徴量抽出部１０は、識別子に対応づけて、破れ領域の位置、形状、縦横の寸法もしくは最大径、面積などの特徴量を抽出する（ステップＳ２２、Ｓ２３）。

破れ領域の面積は、例えば次のような方法によって抽出される。平面特徴量抽出部１０はマスク抽出画像３６を読み込む。そのマスク抽出画像３６において、寸法を抽出する破れ領域を特定する。平面特徴量抽出部１０が備えるカウント部１１は、その破れ領域に含まれる明領域と暗領域との少なくとも一方の数を数えてカウント値を生成する。このカウント値により、対象のおおよその面積を知ることができる。こうしたカウント処理は、少ない計算量で高速に実行することができる。

平面特徴量抽出部１０は、ステップＳ２１〜Ｓ２３で得られた破れ領域に関する情報をまとめた特徴量リストを作成して特徴量リスト２４に保存する（ステップＳ２４）。ステップＳ２２〜Ｓ２４の処理は、すべての破れ領域に対して順次、実行される（ステップＳ２５）。

図７は、高さ特徴量抽出部１３の動作を示す。高さ特徴量抽出部１３は、マスク抽出画像メモリ２３からマスク抽出画像３６を読み込む（ステップＳ３０）。マスク抽出画像３６に含まれる破れ領域は、個別に特定されて、それぞれ固有の識別子を付与される（ステップＳ３１）。高さ特徴量抽出部１３は、破れ領域の形状と寸法を算出する。

安全監視領域２７の内部に対象が存在するときは、床面のパターンに対して、その対象に投影されたパターン２９の大きさと形状と位置が変化する。高さ特徴量抽出部１３は、この変化から、それぞれの破れ領域に対応する対象の高さを示す高さ情報を生成する（ステップＳ３２、３３）。

高さ特徴量抽出部１３は、ステップＳ３１〜Ｓ３３で得られた破れ領域に関する情報をまとめた特徴量リストを作成して特徴量リスト２４に保存する（ステップＳ３４）。ステップＳ３２〜Ｓ３４の処理は、すべての破れ領域に対して順次、実行される（ステップＳ３５）。

図８は、時系列特徴量抽出部１４の動作を示す。時系列特徴量抽出部１４は、特徴量メモリ２４から特徴量リストを読み込む（ステップＳ４０）。時系列特徴量抽出部１４は、特徴量リストの情報と、物体データベース２６に登録されている情報とに基づいて、破れ領域毎に分類を付与する。例えば物体データベースに人体高さの下限値と上限値、寸法の下限値と上限値が登録されている場合、特徴量リストに保存されている高さと寸法がそれらの下限値と上限値の間に入っていれば、破れ領域に対応する対象が人体である可能性があるため、破れ領域を特定する識別子に対応させて人体という分類を与えて保存する（ステップＳ４１）。

時系列特徴量抽出部１４は、時系列的な破れ領域の移動を追跡する。時系列的な破れ抽出画像３５のうち、連続する２つの破れ抽出画像３５における破れ領域の位置が所定の距離以内であるとき、それらは同一の物体による破れ領域であると判定され、同一の識別子を付与される。時系列的な破れ抽出画像３５から、同一の識別子を付与された破れ領域の位置の時系列的な変化が得られる。時系列特徴量抽出部１４が備える移動方向検出部１５は、この時系列的な変化から移動方向と移動速度とを算出する。時系列特徴量抽出部１４が備える滞留時間監視部１６は、同一の識別子を付与された破れ画像が発生してから消えるまでの時間である滞留時間を算出することにより、ある対象が安全監視領域内に滞在していた時間を算出する（ステップＳ４２、４３）。

時系列特徴量抽出部１４は、ステップＳ４１〜Ｓ４３で得られた破れ領域に関する情報をまとめた特徴量リストを作成して特徴量リスト２４に保存する（ステップＳ４４）。ステップＳ４２〜Ｓ４４の処理は、すべての破れ領域に対して順次、実行される（ステップＳ４５）。

図９は、評価・判定・通報部１７の動作を示す。評価・判定・通報部１７は、破れ検出・抽出部９が破れを検出したか否かをモニタする（ステップＳ１４）。破れが検出されていない場合、安全が確保されているという評価判定を行い（ステップＳ１５）、その結果を安全通報として出力する（ステップＳ１６）。破れが検出された場合、それがトリガとなって、物体検出装置１は特徴量検出の動作に入る。通報を発信するか否かを決定するために、特徴量メモリ２４に保存された特徴量を物体データベース２６に登録されている所定の基準、例えば面積、寸法、高さなどの閾値によってフィルタリングする（ステップＳ１６−１）。フィルタリングの結果、通報を発信する必要が無いと判定されると、破れが検出されなかった場合と同様の処理が行われる。この処理により、不必要な物体検出がされず、誤作動が防止される。通報を発信する必要があると判定されると、警告を促すための安全破れ第一報通報が出力される（ステップＳ１７）。その後、特徴量リストの評価及び判定が行われる。例えば特徴量メモリ２４に記録された大きさが所定の基準よりも小さければ人間でないと判定され、その判定に基づいて安全性に関する評価が行われる（ステップＳ１８）。特徴量リストに記録されたデータ、評価及び判定の結果は、詳細情報として出力される（ステップＳ１９）。オペレータは、その出力結果を参照することにより、安全性を評価することができる。

図１１は、上記の物体検出装置１を利用したゲート装置を示す。ゲート装置は、物体検出装置に加えて自動ドア３２を備える。自動ドア３２は、図１に示されたゲート制御部３に制御されることによって開閉する。自動ドア３２は、閉じられた状態のときは安全監視領域２７が存在する側と、自動ドア３２に対してその反対側との通行を遮断する。

自動ドア３２の制御は、平面特徴量抽出部１０が抽出した破れ領域の位置、形状、寸法、面積、高さ特徴量抽出部１３が抽出した対象の高さ、時系列特徴量抽出部１４が算出した移動方向、移動速度、滞留時間などの特徴量メモリ２４に保存される情報に基づいて行われる。例えば、破れ領域が自動ドア３２の方向に移動しているときに、対象が自動ドア３２に向っていると判定して、自動ドア３２が開くように制御される。対象の寸法（破れ領域の面積）及び高さが所定の範囲内に入っているときにのみ自動ドア３２が開くように制御されることにより、例えば猫などの小動物が自動ドア３２を通過することを妨げ、人間のみが自動ドア３２を通過するように制御することができる。破れ領域の形状に基づいて、所定の形状の基準を満たす対象だけ自動ドア３２を通すようにしてもよい。

こうしたゲート装置の他の適用例として、安全のために自動ドア３２を開けない制御を行うことができる。例えば、自動ドア３２に対して安全監視領域２７の反対側に工作機械が設置されていたとする。ゲート装置は、その工作機械が動いているか停止しているかを検出して検出信号を生成する検出部を備える。検出信号は、工作機械の制御信号に基づいて、あるいは工作機械の動きを上記の物体検出装置で認識することにより生成される。この検出信号に基づいて、工作機械が停止していないときは自動ドア３２が開くことを許可せず、工作機械が停止しているときのみ特徴量メモリ２４の情報に基づいて自動ドア３２を開閉制御する。これにより、作業者の安全性が確保される。

［画像処理の詳細］
以下、物体検出装置１が実行する画像処理について、図１２Ａ、図１２Ｂは画像処理の流れを示す。

上記の説明では、差分画像は、時系列画像３３を構成する静止画のうち、第１のタイミングで撮影された画像と第２のタイミングで撮影された画像の差分を算出することによって得られた。それに対して、時系列画像を撮影するカメラ部６によって時系列画像と同一の視野によって安全監視領域２７の静止画である背景画像５０を予め撮影して記憶し（背景画像のティーチング）、その背景画像５０を用いて差分画像５４を生成することも同様に可能である。以下の説明では、こうした背景画像５０を用いた処理について説明される。

背景画像５０と時系列画像３３との各画素毎の差分を所定の時間間隔で算出することにより、ステップＳ１０での説明と同様に、時系列的な静止画像の群である差分画像５４が生成される。この差分画像５４によって、安全監視領域２７における監視対象の物体３７の存在の有無を認識することができる（ステップＳ１１における破れ検知）。

差分画像５４の各画素の輝度を所定の閾値を用いて２値化することにより、２値化された差分画像５６が生成される。図１３（ａ）は２値化された差分画像の例を示す。視野周縁の暗い領域は、背景画像５０と異なる監視対象の物体３７が存在しない領域を示す。視野中央の白と黒のパターンは、背景画像５０と異なる監視対象の物体３７が存在する領域を示す。

ステップＳ１２で説明した破れ抽出画像について、より詳しく説明する。以下の説明では破れ抽出画像３５はマスク画像６０とも呼ばれる。物体検出装置１には、投影部４が投影するパターン２９に対応する方向を示す方向情報が予め登録される。方向情報は、例えばパターン２９が市松模様である場合、その水平線と垂直線（縦線と横線）の方向を示す。

２値化した差分画像５６に対して、方向情報に示された水平方向に対して塗り潰し処理が行われる。塗り潰し処理は、ステップＳ１２で説明したように、オセロ（リバーシ）において同色のコマで挟まれたコマを反転するときのような処理によって行われる。図１３（ｂ）は、この水平塗り潰し処理が行われた後の水平マスク画像の例を示す。水平マスク画像に対して、方向方法に示された垂直方向に対して同様に塗り潰し処理を行うことにより、マスク画像６０が得られる。図１３（ｃ）はマスク画像６０の例を示す。

後述するように、物体３７の高さに関する情報を容易に取得するためには、カメラ部６は投影部４に対してズレた位置に設置されることが望ましい。こうした配置では、マスク画像６０の白画素の領域は、物体３７と、物体３７が投影部４からの光線を遮ることによってできる影とが含まれる。物体の位置及び大きさに関する情報を正確に求めるためには、この影の領域を除去することが望ましい。以下、この除去処理（影抜き）について説明する。

図１４（ａ）は、特定の時刻における時系列画像３３の例を示す。図１４（ｂ）は、その特定の時刻における時系列画像３３から得られたマスク画像６０を示す。マスク画像６０において物体３７とその影に対応する領域である白画素領域に、時系列画像３３の対応する領域の画像をはめ込むことによって、図１４（ｃ）に示されるマスク抽出画像６２が得られる。マスク抽出画像６２の破れ領域には、物体３７に投影されたパターン２９と、物体３７の影とが映されている。

物体検出装置１は、マスク抽出画像６２の各画素を所定の閾値によって２値化することによって、２値化されたマスク抽出画像６４を生成する。更にノイズを除去したマスク抽出画像６６を生成する。図１５（ａ）は、ノイズを除去したマスク抽出画像６６の例を示す。この処理により、破れ領域のｘ軸負方向の端部に出来ていた物体３７の影（端部にあり輝度が所定値以下の領域）を破れ領域から除く影抜き処理が実現される。

このマスク抽出画像６６に対して、水平マスク画像５８と同様に水平方向の塗り潰し処理を行うことにより、図１５（ｂ）に示される水平マスク画像６８が得られる。水平マスク画像６８に対して、マスク画像６０と同様に垂直方向の塗り潰し処理を行うことにより、図１５（ｃ）に示される影抜きマスク画像７０が得られる。

影抜きマスク画像７０においては、物体３７によってできる影の領域は除去され、監視対象の物体３７の領域が白領域として抽出されている。そのため、平面特徴量抽出部１０は、破れ抽出画像３５として影抜きマスク画像７０を用いることにより、影に影響されずに物体３７の水平面内の位置及び大きさを認識することができる。例えば、影抜きマスク画像７０の白領域の縦方向と横方向のそれぞれの両端の中心を算出することによって、物体３７の中心位置を概算することができる。時系列的な差分画像５４から時系列的な影抜きマスク画像７０を生成して、時系列的な中心位置を算出することによって、物体３７の水平面内での移動速度を概算することも可能である。

次に、図１２Ｂを参照して、高さ特徴量抽出部１３の処理について更に説明する。影抜きマスク画像７０（図１６（ｂ）に例示）における白領域に、背景画像５０（図１６（ａ））の対応する領域の画像をはめ込むことにより、背景画像の影抜きマスク抽出画像７２が生成される。影抜きマスク抽出画像７２の各画素を所定の閾値によって２値化することにより、２値化された影抜きマスク抽出画像７４（図１６（ｄ））が得られる。影抜きマスク画像７０における白領域に、特定の時刻における時系列画像３３（図１６（ｃ））の対応する領域の画像をはめ込むことにより、時系列画像の影抜きマスク抽出画像７８が生成される。影抜きマスク抽出画像７６の各画素を所定の閾値によって２値化することにより、２値化された影抜きマスク抽出画像７８（図１６（ｅ））が得られる。

影抜きマスク抽出画像７４、７８から、ずれ計測用画像［正差分］８０とずれ計測用画像［負差分］８２とが生成される。具体的には、時系列画像３３の影抜きマスク抽出画像７８（図１７（ｂ））の各々の画素の輝度値から、背景画像５０の影抜きマスク抽出画像７４（図１７（ａ））の対応する各々の画素の輝度値を引くことにより、ずれ計測用画像［正差分］（図１７（ｃ））が生成される。逆に、背景画像５０の影抜きマスク抽出画像７４（図１７（ａ））の各々の画素の輝度値から、時系列画像３３の影抜きマスク抽出画像７８（図１７（ｂ））の対応する各々の画素の輝度値を引くことにより、ずれ計測用画像［負差分］（図１７（ｄ））が生成される。減算の結果が負の値となった場合、対応するずれ計測用画像の輝度値は０（黒画素）とする。

次に、ずれ計測用画像［正差分］８０、ずれ計測用画像［負差分］８２から得られる情報について説明する。図１の構成では高さ特徴量抽出部１３が実行する動作である。図１８は、物体３７（進入物）が配置された安全監視領域２７をカメラ部６から撮影した画像の例を示す。

本実施形態において、投影部４とカメラ部６は天井に配置され、鉛直方向下向きの光軸を有する。投影部４はこの光軸を中心として所定の角度でパターン２９を拡大投影する。ここで投影部４は、カメラ部６に対してｘ軸正方向に配置されているものとする。すなわち、カメラ部６がパターン２９を撮影するための光学系の光軸は、投影部４がパターン２９を投影するための光学系の光軸に対してｘ軸方向に所定のオフセット値分ずれている。このオフセットは、パターン２９の方向に沿って設定されることが望ましい。すなわち、本実施形態ではパターン２９はｘ軸方向とｙ軸方向の平行線からなる市松模様であり、オフセットはｘ軸方向に沿って設定され、ｙ軸方向には投影部４とカメラ部６の光軸は同じ位置に配置される。こうした設定がなされると、後段の影抜き処理や、高さ情報抽出処理がより簡単になる。

このとき物体３７の影はｘ軸負方向にできる。更に、物体３７の上面に投影されたパターン２９が、物体３７の高さに応じたずれ量で、床面に投影されたパターン２９に対してｘ軸正方向にずれる。

投影部４が一点を中心として放射状にパターン２９を投影する場合、床面においても物体３７の上面においても、パターン２９の立体角が同じため、床面に平行な面に投影される場合には、高さが異なる場合でもカメラ部６によって撮影されるパターン２９の各領域の大きさは同じである。従って、同一形状、同一の大きさの繰り返しパターンがｘ軸方向にずれて床面と物体３７の上面に投影される。

このずれ量により、物体３７が存在する場合としない場合とで、パターン２９の位置がｘ軸方向にずれる。ずれ量の大きさは、物体３７の高さに依存する。そのため、このずれ量を測定することにより、物体３７の高さに関する情報を抽出することができる。ずれ計測用画像８０、８２は、物体３７が映っている領域における背景画像５０と時系列画像３３のパターン２９のずれを表す。ずれ計測用画像［正差分］８０は、白領域（高輝度領域、第１の光学的特徴量を有する領域）のパターン２９のずれを表す。ずれ計測用画像［負差分］８２は、黒領域（低輝度領域、第２の光学的特徴量を有する領域）のパターン２９のずれを表す。ずれ計測用画像８０、８２のいずれか一方のみでも高さ情報を抽出することは可能である。ずれ計測用画像８０、８２の両者を用いると、パターン２９の周期が大きい場合でも比較的良い解像度で物体３７の高さ情報を抽出することが可能である。

投影部４は、パターン２９を形成する各々の白領域、黒領域を立体角が同じとなるように投影することが望ましい。こうしたパターン２９によれば、位置、高さ、形状等をより簡易な計算によって算出することができる。

なお、パターンの大きさを直接測定せずとも、ズレを生じている（破れている）パターンを特定することにより、対応する床面パターンの情報（位置と大きさ）から、おおよその大きさ、形状、中心位置を求めることが可能である。このような処理を採用すると、物体３７が存在することにより複雑に変形した破れの形状を処理する方法よりもはるかに簡単に、検出物体の大きさや位置を特定することができる。高い検出精度が要求されない条件においては、こうした処理が望ましい。

図１９は、ずれ計測用画像８０、８２について説明するための図である。図１９（ａ）、図１９（ｂ）は、それぞれ、ずれ計測用画像［正差分］８０、ずれ計測用画像［負差分］８２に関する。各々の最も上の行は、床面に投影されたパターン２９を示す。２行目以下の各行は、センサ（カメラ部６）から物体３７の上面までの距離が所定値のときの物体３７の上面に投影されるパターン２９を示す。より下の行ほど、センサとの距離がより近い、すなわち床面からの高さがより高い場合を示す。斜線部は、それぞれ、ずれ計測用画像［正差分］８０、８２における白領域を示す。この図に示すように、ずれ量が大きいほど床面からの高さが高い。ずれ計測用画像８０、８２からパターン２９のずれ量を認識することができるため、そのずれ量に基づいて物体３７の高さを算出することが可能である。

図２０は、パターン２９のずれ量に基づいて物体３７の高さを算出する方法を説明するための図である。点Ｂは投影部４の位置を示す。点Ｃはカメラ部６のレンズ（センサ）の位置、ピンホールカメラの光学系ではピンホールに相当する位置を示す。点Ｂと点Ｃは床面に対する高さが同じであり、かつ水平面内の互いの距離がＤであるとする。点Ｃからカメラ部６内で画像が結像する画像平面までの距離をｆ_ｘとする。投影部４、カメラ部６と床面との距離をＨ_Ｂとする。この距離Ｈ_Ｂは、予め物体検出装置１の記憶装置に登録される。床面から物体３７の上面までの距離をｈとする。物体３７の上面とセンサとの距離はＺ＝Ｈ_Ｂ−ｈである。

点Ｂから投影部４が床面の方向にパターン２９を投影する。このパターン２９の所定部位が物体３７が存在しなかったとしたら床面に投影されるはずの位置を点Ａとする。このパターン２９が物体３７の上面に投影されたことによるパターン２９のずれのカメラ部６の画像平面における大きさ（ずれ計測用画像８０、８２から検出される）をＳ_ｐとする。Ｓ_ｐの原因である物体３７の上面における実際のパターン２９のずれの大きさ（物体３７が存在する場合と存在しない場合のパターン２９の所定部位のずれの大きさ）をＳとする。すると、ピンホールカメラモデルの原理により、次の式が成り立つ。
一方、三角形ＡＢＣにおいて、三角形と平行線の関係より、次の式が成り立つ。
数式（１）、数式（２）より、物体の床面からの高さは次式によって得られる。
物体検出装置１は、このような計算によって物体３７の高さを容易に算出することができる。

上記のように、センサから物体３７の上面までの距離に対応してパターン２９のずれ量が決まるということから、物体検出装置１に所定のプログラムを記憶させることによって、物体３７の上面の傾斜角度や、物体３７の上面の高さ方向の移動速度を示す情報を算出することも可能である。

物体検出装置の構成を示す。 物体検出装置が使用される状況を示す。 投影制御部の動作を示す。 撮影制御部の動作を示す。 破れ検出・抽出部の動作を示す。 平面特徴量抽出部の動作を示す。 高さ特徴量抽出部の動作を示す。 時系列特徴量抽出部の動作を示す。 評価・判定・通報部の動作を示す。 画像処理の例を示す。 ゲート装置が使用される状況を示す。 画像データの加工の流れを示す。 画像データの加工の流れを示す。 マスク画像の加工例である。 マスク抽出画像の加工例である。 影抜きマスク画像の加工例である。 影抜きマスク抽出画像の加工例である。 ずれ計測用画像の加工例である。 背景画像と物体の上面に投影されるパターンのずれを示す。 物体の上面とセンサとの距離と、パターンのずれとの関係を示す。 パターンのずれと物体の高さとの関係を示す。

符号の説明

２ バス
４ 投影部
６ カメラ部
２７ 安全監視領域
２８ 人体
２９ パターン
３０ 明部
３１ 暗部
３２ 自動ドア
３３ 時系列画像
３４ 差分画像
３５ 破れ抽出画像
３６ マスク抽出画像

Claims (14)

1. 第１の光学的特徴量を有する第１領域と第２の光学的特徴量を有する第２領域とが交番的に配列された繰り返し模様を監視対象領域に投影する投影部と、
   前記監視対象領域の画像を撮影する撮影部と、
   前記撮影部が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部と、
   前記破れ領域の所定の特徴量を抽出する特徴量抽出部と、
   前記特徴量に基づいてゲートの開閉を制御するゲート制御部とを具備し、
   前記破れ抽出部は、前記第１画像と前記第２画像との差分を計算することによって、前記破れ領域に前記繰り返し模様が変形した変形繰り返し模様が含まれる差分画像を生成し、
   前記特徴量抽出部は更に、前記変形繰り返し模様に基づいて前記破れ領域に存在する対象の高さを高さ情報として算出する高さ情報算出部を具備し、
   前記ゲート制御部は、前記高さ情報に基づいて前記ゲートの開閉を制御する
   ゲート装置。
2. 第１の光学的特徴量を有する第１領域と第２の光学的特徴量を有する第２領域とが交番的に配列された繰り返し模様を監視対象領域に投影する投影部と、
   前記監視対象領域の画像を撮影する撮影部と、
   前記撮影部が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部と、
   前記破れ領域の所定の特徴量を抽出する特徴量抽出部と、
   前記特徴量に基づいてゲートの開閉を制御するゲート制御部とを具備し、
   前記投影部は、前記第１領域と前記第２領域とが第１方向と第２方向とに交番的に２次元配列された前記繰り返し模様を投影し、
   前記撮影部の前記監視対象領域の画像を撮影するための光軸は、前記投影部が前記繰り返し模様を投影するための光学系の光軸に対して、前記第１方向に所定のオフセット値分ずれ、前記第２方向に同じ位置に配置され、
   前記特徴量抽出部は更に、前記監視対象領域の背景面に投影される前記繰り返し模様に対する前記監視対象領域に存在する物体に投影された前記繰り返し模様の前記第１方向におけるずれの大きさに基づいて前記物体の上面の高さを高さ情報として算出する高さ情報算出部を具備し、
   前記ゲート制御部は、前記高さ情報に基づいて前記ゲートの開閉を制御する
   ゲート装置。
3. 請求項２に記載されたゲート装置であって、
   前記破れ抽出部は、前記破れ領域の前記第１方向の端部において輝度が所定値以下の領域を前記破れ領域から除く影抜き処理を実行する
   ゲート装置。
4. 請求項１から３のいずれかに記載されたゲート装置であって、
   前記特徴量抽出部は前記破れ領域の面積を計算する面積計算部を具備し、
   前記面積計算部は、前記破れ領域に含まれる前記第１領域と前記第２領域との少なくとも一方の個数をカウントしたカウント値を前記面積として算出する
   ゲート装置。
5. 請求項１から４のいずれかに記載されたゲート装置であって、
   前記投影部は視野を下方に向けて天井に設置され、
   前記ゲートは、前記ゲートに対して前記監視対象領域の側とその反対側との間の通行を遮断する
   ゲート装置。
6. 請求項１から５のいずれかに記載されたゲート装置であって、
   前記破れ抽出部は、前記第１画像と前記第２画像との差分を計算することによって、前記破れ領域に前記繰り返し模様が変形した変形繰り返し模様が含まれる差分画像を生成し、前記変形繰り返し模様の前記第１領域に挟まれた前記第２領域の光学的特徴量を前記第１光学的特徴量に変換することによって、前記破れ領域を塗り潰された領域として抽出し、
   前記ゲート制御部は、前記塗り潰された領域の時系列的な動きに基づいて前記ゲートの開閉を制御する
   ゲート装置。
7. 請求項１から６のいずれかに記載されたゲート装置であって、
   前記繰り返し模様は、前記第１領域には赤外線が照射され、前記第２領域には赤外線が照射されないことによって形成される
   ゲート装置。
8. 請求項１から７のいずれかに記載されたゲート装置であって、
   前記破れ抽出部は前記第２画像と第３の時刻に撮影した第３画像の異なっている領域である第２破れ領域を抽出し、
   前記特徴量抽出部は更に、前記破れ領域の位置と前記第２破れ領域の位置とから前記監視対象領域内に存在する対象の移動方向を検出する移動方向検出部を具備し、
   前記ゲート制御部は、前記移動方向に基づいて前記ゲートの開閉を制御する
   ゲート装置。
9. 請求項１から８のいずれかに記載されたゲート装置であって、
   前記ゲート制御部は、前記破れ領域の形状に基づいて前記ゲートの開閉を制御する
   ゲート装置。
10. 請求項１から９のいずれかに記載されたゲート装置であって、
    前記特徴量抽出部は更に、前記破れ領域に示される対象が前記監視対象領域内に滞在している滞在時間を算出する滞在時間監視部を具備し、
    前記特徴量には前記滞在時間監視部によって算出された滞在時間が含まれる
    ゲート装置。
11. 請求項１から１０のいずれかに記載されたゲート装置であって、
    前記撮影部が撮影した前記監視対象領域の画像が閾値を用いて２値画像に変換される
    ゲート装置。
12. 第１の光学的特徴量を有する第１領域と第２の光学的特徴量を有する第２領域とが交番的に配列された繰り返し模様を監視対象領域に投影する投影部と、
    前記監視対象領域の画像を撮影する撮影部と、
    前記撮影部が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部と、
    前記破れ領域の所定の特徴量を抽出する特徴量抽出部とを具備し、
    前記破れ抽出部は、前記第１画像と前記第２画像との差分を計算することによって、前記破れ領域に前記繰り返し模様が変形した変形繰り返し模様が含まれる差分画像を生成し、
    前記特徴量抽出部は更に、前記変形繰り返し模様に基づいて前記破れ領域に存在する対象の高さを高さ情報として算出する高さ情報算出部を具備する
    物体検出装置。
13. 第１の光学的特徴量を有する第１領域と第２の光学的特徴量を有する第２領域とが交番的に配列された繰り返し模様を監視対象領域に投影する投影部と、
    前記監視対象領域の画像を撮影する撮影部と、
    前記撮影部が第１の時刻で撮影した第１画像と第２の時刻で撮影した第２画像の異なっている領域である破れ領域を抽出する破れ抽出部と、
    前記破れ領域の所定の特徴量を抽出する特徴量抽出部とを具備し、
    前記投影部は、前記第１領域と前記第２領域とが第１方向と第２方向とに交番的に２次元配列された前記繰り返し模様を投影し、
    前記撮影部の前記監視対象領域の画像を撮影するための光軸は、前記投影部が前記繰り返し模様を投影するための光学系の光軸に対して、前記第１方向に所定のオフセット値分ずれ、前記第２方向に同じ位置に配置され、
    前記特徴量抽出部は更に、前記監視対象領域の背景面に投影される前記繰り返し模様に対する前記監視対象領域に存在する物体に投影された前記繰り返し模様の前記第１方向におけるずれの大きさに基づいて前記物体の上面の高さを高さ情報として算出する高さ情報算出部を具備する
    物体検出装置。
14. 請求項１２又は１３に記載された物体検出装置であって、
    前記破れ抽出部は、前記第１画像と前記第２画像との差分を計算することによって、前記破れ領域に前記繰り返し模様が変形した変形繰り返し模様が含まれる差分画像を生成し、前記変形繰り返し模様の前記第１領域に挟まれた前記第２領域の光学的特徴量を前記第１光学的特徴量に変換することによって、前記破れ領域を塗り潰された領域として抽出する
    物体検出装置。