JP4402505B2 - 待ち時間案内システムおよび方法 - Google Patents

Description

本発明は、利用者が利用対象施設を利用をするまでに要する待ち時間を案内する待ち時間案内システムおよび方法に関し、特に、金融機関のＡＴＭ（Automatic Teller Machine）コーナー、遊園地やテーマパークなどにおいて、ＡＴＭ、乗り物、アトラクション等の利用対象施設を利用する利用者の待ち時間を正確に算出して案内を行うようにした待ち時間案内システムおよび方法に関する。

一般に、金融機関のＡＴＭコーナーのＡＴＭ、遊園地やテーマパークなどの乗り物やアトラクション等の利用対象施設を利用者が利用する場合には、利用対象施設の前に利用者による待ち行列ができることが多々ある。この場合、この待ち行列を形成する利用者は、順番が回ってくるのを待ち、順番が回ってきた場合に利用対象施設を利用することができる。

しかし、この種の利用対象施設の待ち行列においては、その利用対象施設の待ち行列ができる空間の形状、そのスペース等によりロープ等を張って待ち行列の並び方を規制する場合があり、また、この待ち行列の並び方を規制するロープ等は、待ち行列を形成する利用者の数等により複雑に変更される場合がある。

このために、待ち行列を形成する各利用者は、どのくらいの時間を待てば利用施設を利用できるか判断することは困難である。

従来、利用対象施設の利用のために利用者が待ち行列を形成する場合に、利用者に対して待ち時間を案内するシステムとしては、特許文献１および特許文献２に開示されたものが知られている。

この特許文献１に開示された従来技術は、広い入場施設内に散在する全ての利用施設の待ち時間を容易に利用客に案内できるようにしたもので、各利用施設の待ち行列ができる場所に沿って利用客の存在を検出する複数の光センサを配置し、この複数の光センサの出力を利用施設の入り口に最も近い位置に設置された光センサから順にチェックしていき、その各光センサの出力状態の組み合わせと時系列の累積結果をもとに総合的に待ち行列の長さを判断し、この待ち行列の長さに基づき待ち時間を求め、この待ち時間を集中表示装置に送信して、広い入場施設内に散在する全ての利用施設の待ち時間を集中表示するように構成されている。

また、特許文献２に開示された従来技術は、係員を要することなく、しかもロープや簡易柵による経路の設置を要することなく、行列の待ち時間を的確かつ自動的に検出して知らせることができるようにしたもので、具体的には、テレビカメラで撮像した画像を解析して人の集合体を認識し、この認識した集合体のうちの最大面積の集合体を人の行列として検出し、この検出した行列の面積を予め定められている単位面積で除算することにより行列の人数を求め、その人数を予め定められている単位時間当たりの行列元入場者数で除算することにより待ち時間を検出するように構成されている。
特開平０８−１２３３７４ 特開２００２−３２９１９６

しかしながら、特許文献１に示された従来技術においては、光センサを用いて待ち行列の長さを判断し、この待ち行列の長さに基づき待ち時間を求めているので、大まかな待ち時間しか表示することができず、この結果、到達するまでの実際の時間と表示時間との誤差が大きくなり、そして、この予想待ち時間と実際の待ち時間の差が広がれば広がるほど利用者に対して不快感を与えてしまうという問題がある。

また、特許文献１に示された従来技術においては、待ち行列ができる場所に沿って予め複数の光センサを配置する構成をとるので、例えば、金融機関のＡＴＭコーナーのように、ロープ等を張って待ち行列の並び方を規制し、その待ち行列の並び方を規制するロープ等が、そのスペース、待ち行列を形成する利用者の数等により適宜変更されるような場合には適用できない。

また、特許文献２に示された従来技術においては、行列の面積を予め定められている単位面積で除算することにより行列の人数を求め、その人数を予め定められている単位時間当たりの行列元入場者数で除算することにより待ち時間を検出するものであるので、利用客の待ち時間を正確に検出することはできず、また、ロープ等を張って待ち行列の並び方を規制しているような場合には、更に正確な待ち時間の検出はできないという問題がある。

そこで、本発明は、ロープ等を張って待ち行列の並び方を規制しているような場合でも正確に利用者の待ち時間を検出して報知することが可能な待ち時間案内システムおよび方 法を提供することを目的とする。

また、本発明は、利用者に分かり易い待ち時間を報知可能な時間案内システムおよび方 法を提供することを目的とする。

上記目的を達成するため、請求項１の発明は、少なくとも１つの利用対象施設の利用を待つ利用者の待ち時間を案内する待ち時間案内システムにおいて、前記利用者を含む画像 を撮像する撮像装置と、前記撮像装置により撮像した画像を元に前記利用者の待ち時間を 案内する画像制御装置とを具備し、前記画像制御装置は、前記撮像装置により撮像した画 像をフレーム化して時間の経過とともに複数枚記憶する画像フレーム化手段と、前記画像 フレーム化手段によってフレーム化された画像を分割して一定の大きさのブロックを作成 するブロック化手段と、前記ブロック化手段によって作成したブロックの過去から現在へ のフレームに亘って夫々のブロック同士の相関係数を算出する相関係数算出手段と、前記 相関係数算出手段により算出した前記相関係数が所定値以下となるブロックをラベリング し、一定以上の面積のラベルを人物と認識する認識手段と、前記過去から現在へのフレー ムに亘って、前記認識手段によって認識した人物の動きを移動軌跡として記憶する移動軌 跡記憶手段と、前記移動軌跡記憶手段によって記憶されている移動軌跡を取り出し、前記 移動軌跡の分散を算出し、該算出された分散が一定値以下の部分を基に仕切り線の算出を 行う仕切り線算出手段と、前記認識手段によって認識した人物を模式化し、前記仕切り線 算出手段により算出した前記仕切り線を合成した前記待ち行列の模式画像を表示する表示 手段とを具備することを特徴とする。

また、請求項２の発明は、請求項１の発明において、前記移動軌跡記憶手段によって記 憶した前記利用者の移動軌跡により前記利用者が前記利用対象施設を利用するまでに形成 する待ち行列を識別する待ち行列識別手段と、予め設定された前記利用対象施設の利用に 要する平均時間と前記待ち行列識別手段で識別した前記利用者の待ち行列とに基づき前記 利用者が前記利用対象施設を利用可能となるまでの待ち時間を算出する待ち時間算出手段 とを具備し、前記表示手段は、前記待ち時間算出手段により算出した前記待ち時間を前記 表示手段により表示された模式画像とともに表示することを特徴とす。

また、請求項３の発明は、請求項２の発明において、前記待ち時間算出手段は、前記待 ち行列識別手段によって識別した待ち行列を形成する先頭の利用者からある利用者までの 利用者数を前記利用対象施設の全利用対象施設数で割った商および余り値のうち該商に前 記利用対象施設の利用に要する前記利用者一人当りの平均利用時間を掛けた値に、当該余 り値が示す残り時間が短い順位にある利用対象施設の現在の利用残時間を加算することで 、前記ある利用者が前記利用対象施設を利用するまでの待ち時間を算出することを特徴とする。

また、請求項４の発明は、請求項２または３の発明において、前記表示手段は、前記待ち行列を形成する利用者の内の全ての利用者若しくは特定の利用者の前記待ち時間を表示することを特徴とする。

また、請求項５の発明は、少なくとも１つの利用対象施設の利用を待つ利用者の待ち時間を案内する待ち時間案内方法において、前記利用者を含む画像を撮像手段により撮像し 、前記撮像手段により撮像した画像を画像フレーム化手段を用いてフレーム化して時間の 経過とともに画像フレームとして複数枚記憶し、前記画像フレームの各々をブロック化手 段により分割した一定の大きさのブロックを作成し、前記作成したブロックに関し、過去 から現在へのフレームに亘って夫々のブロック同士の相関係数を相関係数算出手段により 算出し、前記相関係数が所定値以下となるブロックをラベリングし、一定以上の面積のラ ベルを人物と認識し、前記過去から現在へのフレームに亘って前記認識した人物の動きを 軌跡として記憶部に記憶させ、仕切り線算出手段により前記記憶されている移動軌跡を取 り出し、前記移動軌跡の分散を算出し、該算出された分散が一定値以下の部分を基に仕切 り線の算出を行い、認識した人物を模式化し、前記仕切り線算出手段により検出した前記 仕切り線を合成した前記待ち行列の模式画像を表示手段に表示することを特徴とする。

本発明によれば、利用対象施設の利用を待つ利用者を含む画像を撮像し、該撮像した利用者を含む画像を解析して利用者の移動軌跡を検出し、該検出した利用者の移動軌跡に基づき利用者が形成する待ち行列を識別し、利用対象施設の利用に要する単位平均時間と識別した利用者の待ち行列とに基づき利用者が利用対象施設を利用可能になるまでの待ち時間を算出し、該算出した前記待ち時間を報知するように構成したので、例えば、金融機関のＡＴＭコーナーのように、ロープ等を張って待ち行列の並び方を規制し、その待ち行列の並び方を規制するロープ等が、そのスペース、待ち行列を形成する利用者の数等により適宜変更されるような場合にも、正確に利用者の待ち時間を検出して報知することが可能になり、また、利用者に分かり易い待ち時間の報知が可能になるとともに、待ち時間のリアルタイムでの報知、待ち行列を形成する各利用者毎の待ち時間の報知も可能になり、各利用者はあとどのくらいで利用対象施設を利用できるかを的確に知ることができるという効果を奏する。

以下、本発明に係わる待ち時間案内システムおよび方法の一実施例を添付図面を参照して詳細に説明する。

なお、本願発明の待ち時間案内システムおよび方法は、金融機関のＡＴＭコーナー、遊園地やテーマパーク等の装置や乗物あるいはアトラクションに代表されるような利用者が行列を形成する利用対象施設の待ち時間報知に適用可能であるが、以下に示す実施例においては、利用対象施設が金融機関のＡＴＭコーナーである場合を例にして説明する。

実施例１に示す例では利用対象施設としてＡＴＭを利用する場合の例を示している。

図１は、この発明に係わる待ち時間案内システムおよび方法を適用して構成した待ち時 間案内システムのシステム構成を示すブロック図である。

図１において、この待ち時間案内システムは、撮像部１０１、識別部１０２、待ち行列検出部１０３、待ち時間算出部１０４、利用平均時間算出部１０５、記憶部１０６、イメージ画像生成部１０７、報知部１０８、表示部１０９、放送部１１０、仕切り線検出部１１１、利用者検出部１１２、軌跡検出部１１３を具備して構成されている。

撮像部１０１は、利用対象施設の利用を待っている利用者を撮像するものである。

例えば、利用対象施設が金融機関のＡＴＭ（Automatic Teller Machine：自動預払機）である場合には、金融機関の天井などに広角カメラ等を設置してＡＴＭの利用を行うために順番待ちをしている利用者を撮像する。

識別部１０２は、撮像部１０１で撮像したＡＴＭの利用を行うための順番待ちを行っている利用者を識別するものである。人物が識別されるため待ち行列を形成している（順番待ちをしている）人物の人数をも計算することができる。

すなわち、撮像部１０１で撮像した画像には利用者以外に利用対象施設となっているＡＴＭ、利用者の行列を仕切るためのロープ、その他の設置物が含まれており、これら複数のものから利用者を識別し、識別した人物の人数を計算することができる。

軌跡検出部１１３は、識別部１０２で識別したＡＴＭの利用するために順番待ちをしている利用者の軌跡を検出するものである。

待ち行列検出部１０３は、軌跡検出部１１３を介して識別部１０２で識別した利用者が待ち行列を形成していることを検出するものである。ここでは、利用者が形成している待ち行列内においてＡＴＭを利用するまでの利用者ごとの順番も検知している。

待ち時間算出部１０４は、ＡＴＭの利用を行うまでの待ち時間を算出するものである。

待ち時間の算出には、平均利用時間算出部１０５であらかじめ算出された一人当りの平均利用時間と利用対象施設となるＡＴＭの台数と待ち行列検出部１０３で利用者がＡＴＭを利用するまでの順番によって待ち行列の計算を行う。

例えば、行列を成している人物それぞれの待ち時間は以下の計算により算出することができる。このとき、定数として下記４つが定まる。

処理装置の台数：m台
処理装置１台当りの平均利用時間：A時間
処理装置１台当りの使用経過時間：P1,P2,〜,Pm
処理装置１台当りの平均利用時間からみた使用残り時間：R1,R2,〜,Rm
よって、各処理装置の使用残り時間は、
R1 = A - P1
R2 = A - P2
〜
Rm = A - Pm と表すことができる。

以上の定数を用いて残り時間のもっとも短い処理装置を算出することができる。

この算出方法として残り時間のソートによって算出してもよいし、最小を求める関数を用いてもよい。さらに、残り時間の２番目に短い処理装置は、１番目に残り時間が短い処理装置を省いて残った処理装置内で最も残り時間の短い装置を選べばよい。これを繰り返すことによりある時点における各処理装置の使用残り時間の順序を算出することができると共に、ある時点における人物ごとの待ち時間が算出することができる。

一般的に、n番目の人物の待ち時間Wnは、「n÷m」の余りを「s」、商を「t」とすると次のように表すことができる。

『 Wn = Rs + A*t 』
このときの「Rs」は、s番目に残り時間が短い処理装置の使用残り時間である。
これにより、待ち行列を形成している人物それぞれの待ち時間を算出することができる。

勿論、待ち行列理論（モデル）を用いて任意の人の待ち時間を算出するようにしてもよい。

平均利用時間算出部１０５は、利用対象施設であるＡＴＭを一人当り平均してどのくらいの時間利用するのかを算出するものである。

すなわち、過去に利用した利用者の平均時間を算出しておき、あらかじめ設定してもよいし、常時最新の平均利用時間を算出し、そのデータを平均利用時間として用いてもよい。

記憶部１０６は、平均利用時間算出部１０５で算出した一人当りの平均利用時間を記憶しておくものである。

イメージ画像生成部１０７は、撮像部１０１で撮像した画像から識別部１０２で識別した人物に対して模式化した画像と仕切り線検出部１１１で検出した仕切り線を上記模式化した画像とを合成することにより撮像部１０１で撮像した実画像に酷似する模擬画像を生成するものである。

このとき、待ち行列検出部１０３から送出されてくる画像データとしては、待ち行列を検出したというデータと同時に撮像部１０１で撮像したそのものの実画像や識別部１０２で識別した人物の人数も送出されてくるためイメージ画像生成部１０７で実画像に酷似する模式化したイメージ画像を生成することができる。

報知部１０８は、表示部１０９と放送部１１０を含み、待ち行列を形成している利用者に対してイメージ画像生成部１０７で生成した模式化したイメージ画像のほか、待ち時間算出部１０４で算出した待ち時間を利用者の内の全ての利用者若しくは特定の利用者に対応して報知するものである。

表示部１０９は、イメージ画像生成部１０７により模式化されて生成されたイメージ画像と仕切り線検出部１１１で検出された仕切り線とを合成した実画像に酷似するイメージ画像に加えて、待ち時間算出部１０４で算出された利用者全てまたは、特定の利用者に対する待ち時間を同時に表示ディスプレイ上に表示することができるものである。

また、識別部１０２で識別された人物の人数を待ち行列検出部１０３とイメージ画像生成部１０７を経由して表示部１０９に送出されてくるため上記に示した表示内容（模式化されたイメージ画像、待ち時間）に加えて待ち人数をも表示することができる。

放送部１１０は、音声で待ち行列の様子を報知するものである。

仕切り線算出部１１１は、識別部１０２で識別した人物の移動軌跡を元に仕切り線を算出するものである。

利用者検出部１１２は、識別部１０２で識別した人物の軌跡情報に基づいて仕切り線検出部１１１で検出した仕切り線を跨いで移動したかどうかの検出を行い、仕切り線を跨いで移動した人物を検出した場合にはイメージ画像生成部１０７で生成する人物に対する画像のうち、仕切り線を跨いで移動した人物を特別な他の人物と異なった画像で表示するように依頼するものである。

例えば、仕切り線を跨いで移動した人物の模式化したイメージ画像を点滅させることで他の人物とは違った表示をすることができる。

また、このとき管理者や従業員などの特定の人物に対してはＩＣ（Integrated Circuit：集積回路）チップなどを保持すること等により、イメージ画像を表示させないように構成したり、仕切り線を跨いで移動した場合でも点滅させることなく表示させるように構成したりしてもよい。

このような構成によると、撮像部１０１で撮像した人物を識別部１０２でユニークに識別でき、そのため行列を形成している人数を計算することができるようになり、待ち時間算出部１０４で全ての利用者または、特定の利用者ごとの待ち時間を算出することができる。そして、撮像部１０１で撮像した画像のうち人物に対する模式化されたイメージ画像と軌跡検出部１１３で検出した軌跡に基づいて仕切り線検出部１１１で検出した仕切り線とを合わせたイメージ画像に算出した待ち時間と待ち人数を合わせて表示することができる。

これによりプライバシーに配慮した待ち行列の様子を表示することができ、さらに日ごとに変わりゆく仕切り線の位置をあらかじめ設定することなく、自動的に計算するので最適なイメージ画像を表示することができるばかりでなく、利用者ごとの適切な待ち時間を利用者にわかりやすく表示することができる。

図２は、この発明に係わる待ち時間案内システムの配置図である。

図２では、金融機関のＡＴＭに並ぶ人物の画像制御を行う例を示している。図２にはＡＴＭ（２０１−Ａ，２０１−Ｂ，２０１−Ｃ）、ＡＴＭ利用者（２０２−Ａ，２０２−Ｂ，２０２−Ｃ）、順番待ち人物２０３、ロープ２０４、広角カメラ２０５、画像制御装置２０６、表示ディスプレイ２０７を具備して構成される。

ＡＴＭ利用者（２０２−Ａ，２０２−Ｂ，２０２−Ｃ）はＡＴＭ（２０１−Ａ，２０１−Ｂ，２０１−Ｃ）を操作し、順番待ち人物２０３はＡＴＭ利用者（２０２−Ａ，２０２−Ｂ，２０２−Ｃ）が操作を終了するのをロープ２０４内で待つ。

広角カメラ２０５は、ＡＴＭ利用者（２０２−Ａ，２０２−Ｂ，２０２−Ｃ）と順番待ち人物２０３の状況を監視検出し、検出した人物を画像制御装置２０６に送出する。送出されたデータをもとに画像制御装置２０６は、実画像に近いイメージ画像を生成し、また、仕切り線を検出、待ち時間待ち人数を算出してイメージ画像と合わせて表示ディスプレイ２０７に表示させる。

図３は、この発明に係わる表示ディスプレイに表示されるイメージを示す図である。

図３には、ＡＴＭ３０１、ＡＴＭ利用者３０２、順番待ち人物３０３、仕切り線３０４、現在の待ち時間３０５、現在の待ち人数３０６、順番待ち人物の残り待ち時間（３０７−Ａ，３０７−Ｂ）を表示している。

表示ディスプレイに表示される画像は実画像に近いイメージ画像が表示される。これに図１で示す方法により算出した各種表示データ結果を合わせることで、仕切り線３０４と現在の待ち時間３０５と現在の待ち人数３０６と残り待ち時間（３０７−Ａ，３０７−Ｂ）を算出することができるようになる。

図４は、この発明に係わる待ち時間案内システムの全体処理の概略を示すフロー図である。

図４において、待ち行列を形成している人物を撮影する（ステップ４０１）ところから処理が開始され、撮影された人物の動きを示した移動軌跡の情報（以下、軌跡情報と記す）を生成する（ステップ４０２）。生成した移動軌跡情報を記憶させ（ステップ４０３）、記憶された軌跡情報から仕切り線の画像を生成する（ステップ４０４）のと並行して撮影された人物に近いイメージ画像を生成する（ステップ４０５）。

撮影した画像と人物の待ち人数データを算出し（ステップ４０６）、これらを表示ディスプレイに表示する（ステップ４０７）。

図５は、この発明に係わる待ち時間案内システムの広角カメラにより撮影した画像の認識物を示す図である。

図５には、ＡＴＭ（５０１−Ａ，５０１−Ｂ，５０１−Ｃ）、ＡＴＭ利用者５０２、順番待ち人物５０３、ロープ５０４が表示されている。

広角カメラにより撮影した画像により認識されるのは、ＡＴＭ（５０１−Ａ，５０１−Ｂ，５０１−Ｃ）、ＡＴＭ利用者５０２、順番待ち人物５０３であり、撮影された画像からロープ５０４を判別することが難しく、またロープの設定位置が日によって異なるため、ロープ５０４を検出できないことを考慮して点線で示している。

図６は、この発明に係わる待ち時間案内システムの人物認識と軌跡情報の作成処理を示すフローチャートである。

図６においては、広角カメラにより画像が入力される（ステップ６０１）と処理が開始され、入力された画像を一定の大きさ（以下、ブロックという）に分割し（ステップ６０２）、分割したブロックそれぞれにおいて、過去数フレームの相関係数を算出する（ステップ６０３）。次に、算出した相関係数のうち、一定の閾値以下のブロックを検出する（ステップ６０４）。検出したブロック同士で連結している画素に同じラベルを付加することで複数の領域をグループとして分類するラベリング処理を実行する（ステップ６０５）。これにより、画像中に独立した領域が何個あるのかを数えたり（ラベリング），ラベリングしたブロックの形状を調べたりすることが可能になる。

ラベリングしたブロックの形状の面積があらかじめ設定した一定以上の面積であるか判定し（ステップ６０６）、一定の面積未満の場合（ステップ６０６でＮＯ）には人物であると認識せずに処理を終了する。それに対して、ある一定の面積以上を有する対象物である場合（ステップ６０６でＹＥＳ）には、人物として認識し（ステップ６０７）、過去数フレームから人物のオプティカルフローを算出し、人物ごとに軌跡を算出する（ステップ６０８）。

算出された人物ごとの軌跡情報が既存であるか判定し（ステップ６０９）、既に人物に対する軌跡が存在する場合（ステップ６０９でＹＥＳ）には、該人物に存在する軌跡を延長する（ステップ６１０）。また、人物ごとに算出した軌跡が存在しない人物について（ステップ６０９でＮＯ）は、新規に行列に加わった人物として新たな軌跡情報の生成を行う（ステップ６１１）。

これにより人物のみが認識され、さらに該人物における軌跡情報を生成することが可能となる。

図７は、この発明における仕切り線の算出イメージを示す図である。

図７には、人物が通過した際の軌跡情報を図示した状態が示されており、図７に示す例では５人の人物（Ａ〜Ｅ）の軌跡情報が示されている。

サービス提供を受けている人物（Ａ，Ｂ，Ｃ）における軌跡情報を確認してみた場合、人物Ａと人物Ｃの軌跡情報が大きく分散（７０１）していることが確認でき、さらに、各人物がサービス提供を受ける前の軌跡情報を確認してみると、軌跡情報の分散が小さいことが認識できる（７０２、７０３）。そして、軌跡情報をサービス提供しているＡＴＭ装置７００側から軌跡情報を追跡していくと、軌跡情報の分散が大きくなる点が存在する（７０４）。

軌跡情報の分散を考慮すると、ある一定以下の値に抑えられた分散と一定値以上の分散に分けることができ、ある一定の値以下の分散を形成する軌跡情報部分が仕切り内で移動が行われていると判断できる。これによりある一定値以下の分散部分の軌跡情報を基に、仕切り線の算出を行うことができる。

図８は、この発明における仕切り線の算出処理を示すフローチャートである。

図８において、既に記憶された各人物におけるある一定の時間内に更新された軌跡情報を取り出す（ステップ８０１）と処理が開始され、取り出された軌跡情報のうち、分散の値が一定値以下の部分が存在するかどうか判定し（ステップ８０２）、一定以下の部分が存在しない場合（ステップ８０２でＮＯ）には行列が形成されていないか、サービス提供が行われていないと判断して処理を終了する。それに対して、分散の値が一定値以下の部分がある場合（ステップ８０２）には、当該分散の値が一定値以下の部分において仕切り線を算出する（ステップ８０３）。

次に、一定値以下の軌跡情報の周囲に既存の仕切り線データが存在するかどうか判定（ステップ８０４）し、存在しない場合（ステップ８０４でＮＯ）には、上記処理により算出した仕切り線を表示する処理を行う（ステップ８０５）。仕切り線が存在する場合（ステップ８０４でＹＥＳ）には、以前より存在している仕切り線データとステップ８０３で算出した新たな仕切りとが一致しているかどうか比較を行い（ステップ８０６）、一致している場合（ステップ８０６でＹＥＳ）には、既存の仕切りを用いると判断して処理を終了する。一致しない場合（ステップ８０６でＮＯ）には、ステップ８０３で算出した仕切り線データを新たな仕切り線データとして記憶する（ステップ８０７）。

さらに、所定フレーム数前の候補と一致するかどうか判定し（ステップ８０８）、一致しない場合（ステップ８０８でＮＯ）には処理を終了する。一致する場合（ステップ８０８でＹＥＳ）には、記憶した仕切りを新たな仕切り線として表示する（ステップ８０９）。

なお、軌跡情報が存在しない場合の表示ディスプレイの表示内容は、デフォルト設定された画面を表示するかまたは行列が形成されていなく、すぐにサービスを提供することができる旨の内容を表示するようにしてもよいし、さらには何も表示させないようにしてもよい。

図９は、算出した仕切り線を跨いでの移動が発生した場合のイメージを示す図である。

図９には、算出した仕切り線９０１、仕切り線を跨いで移動した人物９０２、該仕切り線を跨いで移動した人物が辿った軌跡情報９０３が示されている。

仕切り線を跨いで移動した人物９０２が仕切り線の外部から内部に移動した場合、または内部から外部に移動した場合に仕切り線を跨いだと判断し、外部から内部に移動した場合には「割込み」、内部から外部に移動した場合には「行列から抜けた」とする。つまり外部から内部に移動した場合に当該人物を割り込み人物と判断し、内部から外部への移動は仕切り線を跨いだと判断するが「割込み」とせずに「行列から抜けた」と判断する。

ここで、内部とは仕切り線を生成する際に用いた軌跡情報が存在する側とし、外部とは内部ではない部分のことをいうものとしている。さらに仕切りを跨いで移動した人物９０２の表示形式を他の人物と異なることにより割込みを防止することができる効果もある。

また、仕切り線を跨いだ人物に特定の装置、例えば、ＩＣチップなどを保持させることにより仕切り線を跨いでも跨いだということを感知しないようにあえて構成してもよい。これにより、係員や特定の作業者の作業性を向上できる。

図１０は、仕切り線を跨いでの移動が発生した場合の警告の方法を示す図である。

図１０には、警告の種類として管理者に対して仕切り線を跨いで移動が発生したことを監視画面に表示する際の警告画面１００１、リアルタイム性を追求しない場合のＥメール１００２、警告ランプ１００３が示されている。

警告画面１００１は、例えば、中央集中管理事務所などの監視モニターに表示することにより管理者に通知し、通知を受けた管理者が現場の整理にあたることができる。

また、Ｅメール１００２やメッセージ送信により遠隔にいる係員に通知することができるようになり、さらに警告ランプ１００３を設けることにより割り込みを抑制することができるようになる。

図１１は、人物を表示する位置を特定する処理のフローチャートである。

図１１において、記憶されている軌跡情報から一定時間以内に更新された軌跡情報の取り出しを行い（ステップ１１０１）、該取り出した軌跡情報における端点（終点）に人物のイメージ画像を表示する（ステップ１１０２）。

図１２は、仕切り線を跨いだ人物を表示する処理のフローチャートである。

図１２において、記憶されている軌跡情報を取り出す（ステップ１２０１）と処理が開始され、取り出した軌跡情報において仕切り線を跨いだ軌跡が存在するかどうかの判定を行い（ステップ１２０２）、仕切り線を跨いだ軌跡が存在しない場合（ステップ１２０２でＮＯ）には処理を終了する。仕切り線を跨いだ軌跡が存在する場合（ステップ１２０２でＹＥＳ）には、仕切りを跨いだ軌跡を持つ人物のうち、仕切り線の外部から内部に移動した人物を割り込み者として識別する（ステップ１２０３）。割り込み者として識別した人物に対しては表示ディスプレイに特別な人物イメージを表示する（ステップ１２０４）。

図１３は、待ち時間待ち人数を求めるまでの処理のフローチャートである。

図１３において、作成された仕切り線の内側に人が少なくとも一人存在する場合に行列を形成していると判断できるのでまず、仕切り線の内側に人物が存在するかどうかの判定を行い（ステップ１３０１）、人物が存在していない場合（ステップ１３０１でＮＯ）には行列を成していないと判断できるので処理を終了する。人物が少なくとも一人存在する場合（ステップ１３０１でＹＥＳ）には、停止している（仕切り線の内側で行列を成している）人物をそれぞれ識別して人数を計数する（ステップ１３０２）。

識別した人物毎に待ち時間を図１で説明した手法を用いて算出し（ステップ１３０３）、計数した人物毎に待ち時間を表示する（ステップ１３０４）。

以上の処理によって、本発明の待ち時間案内システムでは、サービスの提供を待つ人の行列を認識し、認識した人物を実画像に近いイメージ画像で行列を表示することができ、このとき人物が行列を成す道筋を作っているロープなどの仕切り線を人物の軌跡情報から自動的に生成してイメージ画像と合わせて表示することができる。さらに、行列によるサービス提供までのより正確な待ち時間と待ち人数も表示することができ、行列に並んでいる任意の人物の待ち時間をも表示することができる。

図１５は、仕切り線を画面に表示する際の算出方法として人物の移動軌跡による標準偏差を用いた方法を示す図である。

複数人の人物により形成された移動軌跡を基に分散を考慮して標準偏差を算出し、該算出した標準偏差における移動軌跡を図１５の「始点」と「終点」を結ぶ曲線１５０１（以下、標準曲線という）で表している。あらかじめ設定された標準曲線１５０１からの距離ＡＢを用いて、新たな距離ＡＢだけ離れた曲線１５０２（以下、ＡＢ標準曲線という）を標準曲線の両側に２本生成する（図１５における点線の曲線）。

このとき、図１５に示すようにＸ，Ｙ平面である二次元平面を考える。生成された２つのＡＢ標準曲線１５０２の法線ベクトル１５０３を座標ごとに求め、法線ベクトル１５０３の傾斜角度が最大になる（つまり、Ｘ，Ｙ軸と直交する）法線ベクトル同士の交差点１５０４を算出する。算出した法線ベクトル同士の交差点１５０４のうち標準曲線に交わらない交差点同士を直線で連結して仕切り線を求める。隣接した点における法線ベクトル１５０３の角度が最大になる場合にはあらかじめ設定された情報を基に設定内容に従った法線ベクトルのみを用いる。

この他、最適な仕切り線を算出するにあたってあらかじめ各種設定が行われているものとする。

図１６は、この発明における実施例２で算出した仕切り線と標準曲線を二次元表示した図である。

図１６には、図１５で算出された標準曲線１６０１と仕切り線１６０２が表示されており、この算出された仕切り線を利用して表示ディスプレイ上に３次元空間の仕切り線を表示させる。

これによって、順番待ちをしている人に行列の実画像に近いイメージ画像を見せることができ、サービス提供までの時間や人数を正確に伝達することができるようになる。

従って、本発明を適用することにより、利用者にわかりやすい行列のイメージを表示することができるようになり、さらに、実画像に近いイメージ画像を用いることによってプライバシーの保護も図れるようになるという効果を期待できる。また、日によって変換するロープの位置をあらかじめ入力したり、設定せずに仕切りのイメージを表示したりすることができるという効果も期待できる。

なお、本発明は、上記し、且つ図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、上記実施例では、サービス提供を行う装置がＡＴＭの場合の例を示しているが、遊園地におけるアトラクションやチケット売り場などの複数の人物が行列を形成している場面においても実現できるように構成してもよい。

また、上記実施例１においては、待ち行列の行列イメージ図と待ち時間の表示を同時に行っているが、それぞれを別々に表示してもよい。例えば、図１４に示すように「現在の待ち時間」「現在の待ち人数」のみの情報を表示させた画面１４００を行列の最後尾または入り口付近に配置することにより利用者に必要な情報をすばやく的確に伝達することができる。

さらに、算出した待ち時間や待ち人数に応じて一定の値を超過した場合には、利用料金を割り引いたり、利用時間が長い利用者に対しては手数料を設けるたり高額にしたり、特定の処理を盛り込んだ構成にしてもよい。

本発明は、利用対象施設の利用を待つ利用者が形成する待ち行列の状態を表示する待ち時間案内システムに適用可能であり、特に、形成された待ち行列の状態を模式化して実画像に近いイメージ画像を生成して人物の軌跡情報から検出した仕切り線と共に表示させ、さらに、利用対象施設を利用するまでの待ち時間や待ち人数をより正確に表示したり、行列に並んでいる任意の人物ごとの待ち時間を表示するのに有用である。

この発明に係わる待ち時間案内システムのシステム構成を示すブロック図。 この発明に係わる待ち時間案内システムの配置図。 この発明に係わる表示ディスプレイに表示されるイメージを示す図。 この発明に係わる待ち時間案内システムの全体処理の概略を示すフロー図。 この発明に係わる待ち時間案内システムの広角カメラにより撮影した画像の認識物を示す図。 この発明に係わる待ち時間案内システムの人物認識と軌跡情報の作成処理を示すフローチャート。 この発明における仕切り線の算出イメージを示す図。 この発明における仕切り線の算出処理を示すフローチャート。 この発明における算出した仕切り線を跨いでの移動が発生した場合のイメージを示す図。 この発明における仕切り線を跨いでの移動が発生した場合の警告の方法を示す図。 この発明における人物を表示する位置を特定する処理のフローチャート。 この発明における仕切り線を跨いだ人物を表示する処理のフローチャート。 この発明における待ち時間待ち人数を求めるまでの処理のフローチャート。 この発明におけるイメージ画像と待ち時間待ち人数の表示を分けた場合の待ち時間待ち人数を示す図。 この発明に係わる待ち時間案内システムの他の実施例における仕切り線の算出方法を示す図。 この発明における他の実施例で算出した仕切り線と標準曲線を二次元表示した図。

符号の説明

１０１ 撮像部
１０２ 識別部
１０３ 軌跡検出部
１０４ 待ち時間算出部
１０５ 利用平均時間算出部
１０６ 記憶部
１０７ イメージ画像生成部
１０８ 報知部
１０９ 表示部
１１０ 放送部
１１１ 仕切り線検出部
１１２ 利用者検出部
１１３ 軌跡検出部
２０１−Ａ，２０１−Ｂ，２０１−Ｃ ＡＴＭ
２０２−Ａ，２０２−Ｂ，２０２−Ｃ ＡＴＭ利用者
２０３ 順番待ち人物
２０４ ロープ
２０５ 広角カメラ
２０６ 画像制御装置
２０７ 表示ディスプレイ

Claims (5)

1. 少なくとも１つの利用対象施設の利用を待つ利用者の待ち時間を案内する待ち時間案内システムにおいて、
   前記利用者を含む画像を撮像する撮像装置と、
   前記撮像装置により撮像した画像を元に前記利用者の待ち時間を案内する画像制御装置 と
   を具備し、
   前記画像制御装置は、
   前記撮像装置により撮像した画像をフレーム化して時間の経過とともに複数枚記憶する 画像フレーム化手段と、
   前記画像フレーム化手段によってフレーム化された画像を分割して一定の大きさのブロ ックを作成するブロック化手段と、
   前記ブロック化手段によって作成したブロックの過去から現在へのフレームに亘って夫 々のブロック同士の相関係数を算出する相関係数算出手段と、
   前記相関係数算出手段により算出した前記相関係数が所定値以下となるブロックをラベ リングし、一定以上の面積のラベルを人物と認識する認識手段と、
   前記過去から現在へのフレームに亘って、前記認識手段によって認識した人物の動きを 移動軌跡として記憶する移動軌跡記憶手段と、
   前記移動軌跡記憶手段によって記憶されている移動軌跡を取り出し、前記移動軌跡の分 散を算出し、該算出された分散が一定値以下の部分を基に仕切り線の算出を行う仕切り線 算出手段と、
   前記認識手段によって認識した人物を模式化し、前記仕切り線算出手段により算出した 前記仕切り線を合成した前記待ち行列の模式画像を表示する表示手段と
   を具備することを特徴とする待ち時間案内システム。
2. 前記移動軌跡記憶手段によって記憶した前記利用者の移動軌跡により前記利用者が前記 利用対象施設を利用するまでに形成する待ち行列を識別する待ち行列識別手段と、
   予め設定された前記利用対象施設の利用に要する平均時間と前記待ち行列識別手段で識 別した前記利用者の待ち行列とに基づき前記利用者が前記利用対象施設を利用可能となる までの待ち時間を算出する待ち時間算出手段と
   を具備し、
   前記表示手段は、
   前記待ち時間算出手段により算出した前記待ち時間を前記表示手段により表示された模 式画像とともに表示する
   ことを特徴とする請求項１記載の待ち時間案内システム。
3. 前記待ち時間算出手段は、
   前記待ち行列識別手段によって識別した待ち行列を形成する先頭の利用者からある利用 者までの利用者数を前記利用対象施設の全利用対象施設数で割った商および余り値のうち 該商に前記利用対象施設の利用に要する前記利用者一人当りの平均利用時間を掛けた値に 、当該余り値が示す残り時間が短い順位にある利用対象施設の現在の利用残時間を加算す ることで、前記ある利用者が前記利用対象施設を利用するまでの待ち時間を算出する
   ことを特徴とする請求項２記載の待ち時間案内システム。
4. 前記表示手段は、
   前記待ち行列を形成する利用者の内の全ての利用者若しくは特定の利用者の前記待ち時間を表示する
   ことを特徴とする請求項２または３に記載の待ち時間案内システム。
5. 少なくとも１つの利用対象施設の利用を待つ利用者の待ち時間を案内する待ち時間案内方法において、
   前記利用者を含む画像を撮像手段により撮像し、
   前記撮像手段により撮像した画像を画像フレーム化手段を用いてフレーム化して時間の 経過とともに画像フレームとして複数枚記憶し、
   前記画像フレームの各々をブロック化手段により分割した一定の大きさのブロックを作 成し、
   前記作成したブロックに関し、過去から現在へのフレームに亘って夫々のブロック同士 の相関係数を相関係数算出手段により算出し、
   前記相関係数が所定値以下となるブロックをラベリングし、一定以上の面積のラベルを 人物と認識し、
   前記過去から現在へのフレームに亘って前記認識した人物の動きを軌跡として記憶部に 記憶させ、
   仕切り線算出手段により前記記憶されている移動軌跡を取り出し、前記移動軌跡の分散 を算出し、該算出された分散が一定値以下の部分を基に仕切り線の算出を行い、
   認識した人物を模式化し、前記仕切り線算出手段により検出した前記仕切り線を合成し た前記待ち行列の模式画像を表示手段に表示する
   ことを特徴とする待ち時間案内方法。

Images