JP3991816B2

JP3991816B2 - Monitoring system and method, program, and recording medium

Info

Publication number: JP3991816B2
Application number: JP2002248438A
Authority: JP
Inventors: 裕之長谷川; 秀樹浜; 大根津; 武義黒谷; 正昭紅林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2007-10-17
Anticipated expiration: 2022-08-28
Also published as: JP2004088559A

Description

【０００１】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方法並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、広範囲の状況を監視するためにモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムは、広範囲の画像を撮影する必要上、画素数が非常に多いビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。
【０００３】
これに対して、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている。この場合、多数の静止画像を連結することで生成される連結画像は、極めて高解像度の画像とすることができる。したがって、連結画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。
【０００４】
モニタリングする範囲を広くする必要からカメラの可動範囲は、例えば１８０°、３６０°等の極めて広い範囲が設定されている。この広い範囲でカメラの撮影方向を切り替え、各撮影方向で静止画像を取得し、パノラマ状の連結画像を形成するようにしている。
【０００５】
撮影範囲を広く設定すると、広範囲の連結画像を構成する静止画像の枚数が増えることになり、画像取得のための時間が長くなり、連結画像を取得する周期が長くなる問題が生じる。実際に監視したいエリアは、限定された範囲であることが多い。
【０００６】
そこで、同出願人は、特願２００２−１３０７６１において、広範囲のエリアを画角毎に切り出し、切り出された画角の画像を通常の撮像素子で取り込み、取り込まれた画像を組み合わせることによって、高精細且つ広範囲な画像を得ることができるシステムを提案している。
【０００７】
【発明が解決しようとする課題】
しかしながら、このシステムであっても実際に監視したいエリアを決定する仕組みは、カメラを移動させてライブ映像で撮影し、撮影された映像で確認しなければならなかった。また、画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせる方法はなかった。
【０００８】
そこで、この発明の目的は、撮影範囲の画像を事前に確認することが可能であり、さらに画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせることが可能なモニタリングシステムおよび方法並びにプログラムおよび記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、この発明は、撮像方向を可変する撮像方向可変部に取り付けられた撮像部と、
撮像部によって撮影された画像データを蓄積する蓄積部と、
撮像方向可変部の最大可動範囲において、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の位置を認識するために重畳された照準とからなる画像を表示する可動範囲画像表示部と、
可動範囲画像表示部における照準に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、撮像方向可変部が制御され、各撮像方向で撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像を表示する全体画像表示部と、
全体画像内の一部の領域を選択し、選択した位置に対応する選択画像を表示する選択画像表示部と、
可動範囲画像、全体画像および選択画像の生成と表示を制御する制御部とを備え、
可動範囲画像表示部、全体画像表示部および選択画像表示部は、表示手段のそれぞれ異なる領域に構成され、
全体画像の範囲を照準に基づいて選択している間、および全体画像を照準で選択し、全体画像の撮影が開始されるまでの間、照準に基づいて選択された全体画像の画像データを蓄積部から読み出して全体画像表示部に表示することを特徴とするモニタリングシステムである。
【００１０】
この発明は、撮像方向可変部の最大可動範囲において、各撮像方向で撮像部によって撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の位置を認識するために重畳された照準とからなる画像を表示する可動範囲画像表示ステップと、
照準に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、撮像方向可変部が制御され、各撮像方向で撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像を表示する全体画像表示ステップと、
全体画像内の一部の領域を選択し、選択した位置に対応する選択画像を表示する選択画像表示ステップと
を備え、
可動範囲画像、全体画像および選択画像は、表示領域のそれぞれ異なる領域に構成され、
全体画像の範囲を照準に基づいて選択している間、および全体画像を照準で選択し、全体画像の撮影が開始されるまでの間、照準に基づいて選択された全体画像の画像データを蓄積部から読み出して全体画像表示部に表示することを特徴とするモニタリング方法である。
【００１１】
この発明は、撮像方向可変部の最大可動範囲において、各撮像方向で撮像部によって撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の位置を認識するために重畳された照準とからなる画像を表示する可動範囲画像表示ステップと、
照準に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、撮像方向可変部が制御され、各撮像方向で撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像を表示する全体画像表示ステップと、
全体画像内の一部の領域を選択し、選択した位置に対応する選択画像を表示する選択画像表示ステップと
を備え、
可動範囲画像、全体画像および選択画像は、表示領域のそれぞれ異なる領域に構成され、
全体画像の範囲を照準に基づいて選択している間、および全体画像を照準で選択し、全体画像の撮影が開始されるまでの間、照準に基づいて選択された全体画像の画像データを蓄積部から読み出して全体画像表示部に表示するモニタリング方法をコンピュータに実行させるためのプログラムである。
【００１２】
この発明は、撮像方向可変部の最大可動範囲において、各撮像方向で撮像部によって撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の位置を認識するために重畳された照準とからなる画像を表示する可動範囲画像表示ステップと、
照準に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、撮像方向可変部が制御され、各撮像方向で撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像を表示する全体画像表示ステップと、
全体画像内の一部の領域を選択し、選択した位置に対応する選択画像を表示する選択画像表示ステップと
を備え、
可動範囲画像、全体画像および選択画像は、表示領域のそれぞれ異なる領域に構成され、
全体画像の範囲を照準に基づいて選択している間、および全体画像を照準で選択し、全体画像の撮影が開始されるまでの間、照準に基づいて選択された全体画像の画像データを蓄積部から読み出して全体画像表示部に表示するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
このように、最大可動範囲にわたって撮像部を動かした時の可動範囲画像を表示するので、所望の範囲の画像を得るための撮影方向を容易に設定することができ、操作性の向上を図ることができる。
【００１８】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の概略的な構成を示す。ディスプレイ２が接続されているコンピュータ１は、カメラユニット３を制御する。図１の例は、１台のコンピュータ１が２台のカメラユニット３を制御し、また、ディスプレイ２'を有する他のコンピュータ１'が他のカメラユニット３'を制御するシステムの例である。１台のコンピュータが複数台のカメラユニットを制御できる。
【００１９】
カメラユニット３は、パンチルタ部４とカメラ部５が一体的に構成されたものである。カメラユニット３は、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部５は、倍率が１０倍、７０倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。
【００２０】
カメラ部５は、例えば外部からのトリガーと同期してシャッターをオンできるディジタルスチルカメラであり、その撮影素子例えばＣＣＤ（Charge Coupled Device）は、ＶＧＡ（Video Graphics Array,640×480 画素）、ＸＧＡ（eXtended Graphics Array,1024×768 画素）、ＳＸＧＡ（Super eXtended Graphics Array,1280×1024画素）等の画素数を有する。ＶＧＡの撮像素子の場合では、３０ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＸＧＡの撮像素子の場合では、１５ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＳＸＧＡの撮像素子の場合では、７．５ｆｐｓ（フレーム／秒）のレートで画像データが出力される。
【００２１】
映像データは、カメラユニット３からコンピュータ１に対してバス６を介して伝送される。バス６は、映像データの伝送路とカメラユニット３の制御信号とを伝送する。上述した構成は、コンピュータ１'とカメラユニット３'とに関しても同様である。
【００２２】
コンピュータ１、１'では、カメラユニット３、３'からの映像データをメモリに蓄積し、後述するように、操作用のＧＵＩ(Graphical User Interface)を構成し、ユーザが所望の対象領域の画像をカメラユニット３、３'で撮影できるように、カメラユニット３、３'を制御できる。圧縮符号化例えばＪＰＥＧ（Joint Photographic Experts Group) によって撮影画像が圧縮される。
【００２３】
コンピュータ１および１'は、ＬＡＮ（Local Area Network）７で互いに接続されている。ＬＡＮ７に対してさらに他のコンピュータ８が接続されている。参照符号９は、コンピュータ８のディスプレイである。コンピュータ８は、ＬＡＮ７を介してコンピュータ１、１'からの画像データ等を受取り、アーカイブ１０に対して映像データを蓄積し、さらに、画像データの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ１０は、テープストリーマーのような大量のデータを蓄積できるものである。
【００２４】
図２は、上述したモニタリングシステムにおけるコンピュータ１とカメラユニット３の部分のより詳細な構成を示す。図２の例では、参照符号２１で示す共通のコントローラバス２１に対して、カメラユニットおよびコンピュータの構成要素が接続されている。
【００２５】
パンチルタ部は、パン部４ａとチルト部４ｂからなる。パン部４ａおよびチルト部４ｂは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号に応じてカメラ部をパンまたはチルトさせる。パンチルタ部上にカメラ部が載置されている。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が１８０°とされ、チルト角の最大値が９０°とされている。
【００２６】
後述するように、カメラ部の最大移動範囲内で、チルト角＝±４５°、パン角＝±９０°程度の範囲でカメラ部を移動させる。撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば１／６０秒または１／３０秒の静止画像（以下、適宜「フレーム」と称する）が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が１／６０秒または１／３０秒からなる１枚の静止画像として、後段に供給される。
【００２７】
縦方向でＭ枚（例えば８枚）、横方向でＮ枚（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮すると共に連結させて１枚の全体画像を形成する。各フレームが例えばＸＧＡ（1024×768画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像を形成する。１２８枚のフレームを撮影するのに約５秒かかる。重複部分は、例えば縦横のそれぞれで１６画素とされる。
【００２８】
カメラ部は、ディジタルスチルカメラの構成とされ、レンズ部２２とフォーカス・ズーム・アイリス制御部２３と撮像部２４とからなる。フォーカス・ズーム・アイリス制御部２３は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。撮像部２４は、固体撮像素子例えばＣＣＤとカメラ信号処理回路とを含む。撮像部２４からのディジタル映像信号がＩＥＥＥ(Institute of Electrical and Electronics Engineers) １３９４のインターフェース２５を介してバッファメモリ２６に書き込まれる。
【００２９】
バッファメモリ２６の出力データがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、画像データがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００３０】
カメラユニット３には、その位置を検出するためのＧＰＳ(Global Positioning System) ２８が備えられている。ＧＰＳ２８を備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ２８は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。
【００３１】
ＧＰＳ２８の出力信号がメタデータ生成部２９に供給され、ＧＰＳ２８の測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。位置情報およびメタデータがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。
【００３２】
メタデータおよび位置情報が付加されたＪＰＥＧデータがハードディスク等のメインメモリ３０に蓄積されると共に、グラフィックコントローラ３１および画像圧縮部３２に供給される。この明細書では、メインメモリ３０に対する蓄積を記録と呼び、メインメモリ３０からデータを読み出すことを再生と呼ぶことにする。また、メインメモリ３０を介さないで現に撮影中の画像を表示することをライブモードと称し、過去に記録されたデータをメインメモリ３０から再生して表示することをビューモードと称する。
【００３３】
メインメモリ３０は、サーバとしての機能を有する。例えばＸＧＡの画像をＪＰＥＧで圧縮した結果、１枚のフレームのデータ量は、１００ｋバイトとなり、１２８枚の画像で１２．５Ｍバイトのデータ量である。メインメモリ３０が８０Ｇバイト程度の容量を有していれば、１日分のＪＰＥＧデータを保存することが可能である。ビューモードにおいては、メインメモリ３０に限らず、アーカイブ等の蓄積装置に蓄積されているより旧いデータを再生することを可能とされている。
【００３４】
メインメモリ３０から読み出されたＪＰＥＧデータがグラフィックコントローラ３１に供給される。画像圧縮部３２は、ＪＰＥＧエンコーダ／メタデータ付加部２７からのＪＰＥＧデータ、またはメインメモリ３０から読み出されたＪＰＥＧデータから圧縮画像またはサムネイル（縮小画像）を生成する。例えば縦方向および横方向のそれぞれが間引かれることで、パノラマ状の全体画像が形成される。また、後述する可動範囲画像を形成するための圧縮処理も、画像圧縮部３２においてなされる。上述したように、ＸＧＡの場合では、約１億画素のデータがＪＰＥＧ圧縮と画像圧縮部３２の処理によって、（400×1000画素）のようなパノラマ状の全体画像が形成される。可動範囲画像もサムネイルであるが、全体画像よりもさらに粗い画像である。
【００３５】
グラフィックコントローラ３１は、ＪＰＥＧデータをビットマップデータへ変換し、ディスプレイ２の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、選択画像表示、ボタン等のＧＵＩ表示がディスプレイ２の画面上でなされる。表示の詳細については、後述する。
【００３６】
また、グラフィックコントローラ３１は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものと検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【００３７】
変化が検出されると、ディスプレイ２上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【００３８】
上述したように、コントローラバス２１に接続されたコントローラＣＰＵ３３は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部４ａおよびチルト部４ｂを制御する。
【００３９】
参照符号３４は、Ｉ／Ｏポートである。Ｉ／Ｏポート３４に対しては、キーボード３５およびマウス３６が接続され、また、Ｉ／Ｏポート３４に対しては、メモリカード３７および時計３８が接続されている。メモリカード３７に対して、メインメモリ３０に蓄積されている位置情報およびメタデータが付加されたＪＰＥＧデータを書き込むことができる。また、時計３８から時刻データが得られる。
【００４０】
なお、図２では、コントローラバス２１に対して各構成要素が接続されているが、カメラユニットとコンピュータとを離れた場所に設置し、両者をＩＥＥＥ１３９４、ＵＳＢ等で接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、数百メートルから数キロメートル程度カメラユニットと制御用のコンピュータとを離して配置できる。さらに、両者を無線ＬＡＮで接続しても良い。
【００４１】
図３に、この発明の一実施形態によるＧＵＩの画面例を示す。以下、この図３を参照しながら、この発明の一実施形態によるＧＵＩの画面に備えられた表示部、操作ボタンおよび表示領域などについて説明する。１画面には、可動範囲画像表示部１０１、全体画像表示部１０２および選択画像表示部１０３が配置されている。
【００４２】
可動範囲画像表示部１０１には、可動範囲画像が表示される。可動範囲画像とは、カメラユニットが撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。そのためこの一実施形態では、図に示すようにパノラマ状の画像となる。上述したように、パン角の最大値が１８０°とされ、チルト角の最大値が９０°とされており、この最大可動範囲で撮影された複数枚のフレームから可動範囲画像が生成される。なお、この可動範囲画像表示部１０１には、構成される複数のフレームに付加されている位置情報が組み込まれている。
【００４３】
そして、後述するＭＲＰ（Movable Range Picture）表示ボタン１３０がクリックされた時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。また、所定の時間間隔で可動範囲画像を構成する全フレームを撮影し、蓄積および／または表示するようにしても良い。
【００４４】
この可動範囲画像表示部１０１には、全体画像表示部１０２に表示されている範囲を認識するための全体画像表示枠１０１ａ（照準線）が示される。この全体画像表示枠１０１ａをマウス３６で動かすことによって、可動範囲画像内の所望の範囲を指示することができ、指示された範囲を撮像するようにカメラ部を制御することができる。すなわち、指示された範囲において、（Ｍ×Ｎ）枚のフレーム（静止画像）が撮影され、蓄積および／または表示される。
【００４５】
なお、この全体画像表示枠１０１ａは一例であり、様々な形状で全体画像表示部１０２に表示されている範囲を可動範囲画像表示部１０１に示すようにしても良い。具体的には、図４Ａに示すように、全体画像表示部１０２に表示されている範囲の４辺を示すようにしても良いし、図４Ｂに示すように、全体画像表示部１０２に表示されている範囲の４隅を示すようにしても良いし、図４Ｃに示すように、全体画像表示部１０２に表示されている範囲の４隅および中央を示すようにしても良い。
【００４６】
また、この全体画像表示枠１０１ａの大きさは、一例として可動範囲画像表示部１０１に表示されるフレームの（８×１６）枚の大きさであり、後述するＲＥＣＭＯＤＥ選択メニュー１１８で選択される記録モードの画像サイズに合わせた大きさである。従って、後述するように（４×８）枚のフレームの大きさであっても良いし、（２×４）枚のフレームの大きさであっても良い。また、１つのフレームの大きさは、レンズ部２２の倍率による。
【００４７】
この全体画像表示枠１０１ａを移動させる場合、一例として全体画像表示枠１０１ａの中央となるフレームをマウス３６で選択した後、選択したフレームが中央となるように全体画像表示枠１０１ａを表示する。また、マウス３６の移動に連動して全体画像表示枠１０１ａを移動するようにしても良いし、全体画像表示枠１０１ａの例えば左上となるフレーム、または対角となる左上と右下の２つのフレームをマウス３６で選択するようにしても良い。このように、その位置を移動した全体画像表示枠１０１ａに対応した範囲を撮影するためにカメラユニットが制御され、カメラユニットの光軸が向けられる。
【００４８】
また、全体画像表示部１０２には、パノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するＪＰＥＧデータを画像圧縮部３２によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部１０２に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【００４９】
選択画像表示部１０３には、選択画像が表示される。選択画像は、全体画像の一部を拡大した画像である。全体画像中で指示された位置の例えばフレームが選択画像として表示される。圧縮されていない１フレームの原画像を表示することで拡大することができる。さらに、ディジタル信号処理によって画像を拡大することもできる。
【００５０】
ＥＸＩＴボタン１０４は、モニタリングシステムの電源をオフするためのボタンである。Camera system ＯＦＦボタン１０５は、カメラユニットの電源をオフするためのボタンである。
【００５１】
ＶＩＥＷＭＯＤＥボタン１０６は、モニタリングシステムのモードをビューモードに切り換えるためのボタンである。ビューモードとは、メモリ３０または他のサーバに蓄積された画像データに基づき、全体画像および部分画像を表示するモードである。
【００５２】
ＬＩＶＥＭＯＤＥボタン１０７は、モニタリングシステムのモードをライブモードに切り換えるためのボタンである。ライブモードとは、カメラユニットが現在撮影しているフレームに基づき、全体画像および部分画像を表示するモードである。
【００５３】
Ｃｏｍｐａｓ表示領域１０８は、カメラユニットのレンズの光軸が向いている方位を示すコンパスを表示するための領域である。ＧＰＳＤａｔａ表示領域１０９は、カメラユニットが設置されている場所の緯度、軽度および高度と、撮影の日時とを表示すための領域である。なお、この領域１０８および１０９に表示されるデータは、カメラユニットに備えられたＧＰＳ２８において測定されたデータである。
【００５４】
Ｖｉｅｗｏｆｆｓｅｔボタン１１０は、選択されたフレームの位置を調整するためのボタンである。Ｖｉｅｗｏｆｆｓｅｔボタン１１０は、それぞれ全体画像表示部１０２に表示されている全体画像中でポインタにより選択された１枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数枚のフレームは、隣り合うフレームと所定画素数、例えば上下、左右で１６画素重複して表示されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、表示状態をなめらかなものとできる。
【００５５】
モード表示領域１２９は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したＶｉｅｗｏｆｆｓｅｔボタン１１０によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【００５６】
ＣａｍｅｒａＣｏｎｔｏｒｏｌ部１１１は、ＺＯＯＭボタン１１２、ＦＯＣＵＳボタン１１３、ＩＲＩＳボタン１１４、Camera Configurationボタン１１５およびＷｈｉｔｅＢａｌａｎｃｅボタン１１６を備える。ＺＯＯＭボタン１１２は、カメラユニットのズームを調整するためのボタンである。ＦＯＣＵＳボタン１１３は、カメラユニットのフォーカスを調整するためのボタンである。ＩＲＩＳボタン１１４は、カメラユニットのアイリス調整をするためのボタンである。Camera Configurationボタン１１５は、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。ＷｈｉｔｅＢａｌａｎｃｅボタン１１６は、カメラユニットの白バランスを調整するためのボタンである。なお、カメラシステムがビューモードにある場合には、ＣａｍｅｒａＣｏｎｔｏｒｏｌ部１１１の表示が省略されるようにしてもかまわない。
【００５７】
ＳＥＬＥＣＴボタン１１７は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【００５８】
図５に、セレクト画面の一例を示す。図５に示すように、セレクト画面は、閉じるボタン１５１、画面表示部１５２、および閉じるボタン１５３から構成される。閉じるボタン１５１および１５３は、このセレクト画面を閉じるときにクリックされるボタンである。画面表示部１５２では、全体画像に対してフレームの区切りを示す格子状の表示が重畳して示される。画面表示部１５２において、例えば、所望の位置にあるフレームをポインタにより指示すると、そのフレームが選択されると共に、選択されたことを表示するために、指示されたフレームの明るさ、解像度、コントラストなどが変化する。
【００５９】
ＲＥＣＭＯＤＥ選択メニュー１１８は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法（ＲＵＮまたはＳＩＮＧＬＥ）とを組み合わせた記録モードが表示される。画像サイズは、（８×１６）枚のフレームから構成される全体画像と、全体画像の内の選択された（４×８）枚のフレームから構成される部分画像と、全体画像の内の選択された（２×４）枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のＲＵＮは、所定周期（例えば５秒周期）で発生する撮影画像を記録する方法であり、そのＳＩＮＧＬＥは、１回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【００６０】
Stage Config(Stage Configuration)ボタン１１９は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域１２０は、コントロール用のコンピュータとカメラユニットとの接続状況およびカメラユニットのステージのコントロール状況を表示するための領域である。コントロール用のコンピュータとカメラユニットとが接続されている場合には、この図３中に示すように、メッセージ領域に“ＩＭＡＧＥＳＥＲＶＥＲＣＯＮＮＥＣＴ”が表示される。また、カメラユニットのステージがコントロール可能な状況にある場合には、メッセージ領域に“ＳＴＡＧＥＣＯＮＴＲＯＬＡＣＴＩＶＥ”が表示される。
【００６１】
ＲＥＣボタン１２１は、画像の記録を開始するためのボタンであり、このボタンを押圧すると、ＲＥＣモードメニューで選択されている記録モードに応じた記録が開始される。具体的には、ＲＵＮ（８×１６）、ＲＵＮ（４×８）、ＲＵＮ（２×４）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（８×１６）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（４×８）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（２×４）などのモードから選択されたモードに応じた記録が開始される。
【００６２】
ＰＬＡＹボタン１２２は、サーバ（メインメモリ３０）に蓄積された画像データを再生するためボタンである。具体的には、このＰＬＡＹボタン１２２を押圧すると、蓄積データ表示画面が表示される。この蓄積データ表示画面には、蓄積されている画像データを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【００６３】
図６に、記録データ表示画面の一例を示す。図６に示すように、この記録データ表示画面には、最小化ボタン１６１、最大化ボタン１６２、閉じるボタン１６３、日付指定欄１６４、時間指定欄１６５、蓄積データ表示欄１６６、最新蓄積データ表示欄１６７、ＯＫボタン１６８、キャンセルボタン１６９、および蓄積部変更チェックボタン１７０が表示される。
【００６４】
最小化ボタン１６１は、この蓄積データ表示画面を最小化するとき、例えばアイコンにするときにクリックされるボタンである。最大化ボタン１６２は、この蓄積データ表示画面を最大化させて、モニタの表示範囲の全てを使用して表示するときにクリックされるボタンである。閉じるボタン１６３は、この蓄積データ表示画面を閉じるときにクリックされるボタンである。
【００６５】
日付指定欄１６４では、全体画像表示部１０２に表示させたい蓄積データの日付が指定される。例えば、日付指定欄１６４の右端に設けられたボタン１６４ａをクリックすることによって、表示可能な蓄積データの日付がプルダウンメニュー形式で表示され、表示された日付の中から選択するようにしても良い。
【００６６】
時間指定欄１６５では、全体画像表示部１０２に表示させたい蓄積データの時間が指定される。例えば、時間指定欄１６５の右端に設けられたボタン１６５ａをクリックすることによって、表示可能な蓄積データの時間がプルダウンメニュー形式で表示され、表示された時間の中から選択するようにしても良い。
【００６７】
蓄積データ表示欄１６６には、蓄積部の中から日付指定欄１６４および時間指定欄１６５において指定された日時の蓄積データが表示される。最新蓄積データ表示欄１６７には、蓄積部に蓄積されている蓄積データの中から最新の蓄積データが表示される。また、日付指定欄１６４および時間指定欄１６５において指定された日時の中の蓄積データの中から最新となる蓄積データを表示するようにしても良い。
【００６８】
ＯＫボタン１６８は、所望の蓄積データが指定されたときにクリックされるボタンである。キャンセルボタン１６９は、この蓄積データ表示画面を閉じるときにクリックするボタンである。蓄積部変更チェックボタン１７０は、蓄積データの読み込み先を蓄積部から、例えば着脱自在の半導体メモリに変更するときにチェックを入力するチェックボタンである。
【００６９】
図３に戻って説明すると、ＳＴＯＰボタン１２３は、記録または再生動作を停止するためのボタンである。なお、ＳＴＯＰボタン１２３は、ＲＥＣボタン１２１あるいはＰＬＡＹボタン１２２の押圧により表示されるようにしても良い。
【００７０】
Set Camera Center POS(Set Camera Center POSITION)ボタン１２５は、現在カメラ部が向いている方向を（８×１６）の画像のセンターとして指定するためのボタンである。
【００７１】
ＨＯＭＥボタン１２４は、カメラユニットを制御し、カメラユニットのレンズの光軸をホームポジションに向けるためのボタンである。ホームポジションは、カメラ部が一番左側の位置を向いている位置である。ＬＩＶＥ／ＶＩＥＷＰＯＳＩＴＩＯＮボタン１２６は、カメラ部をパンあるいはチルトするためのボタンである。
【００７２】
ＺＯＯＭボタン１２７ａおよび１２７ｂは、選択画像表示部１０３に表示された選択画像の拡大、縮小を行うためのボタンである。ＭＡＸＶＩＥＷボタン１２８は、選択画像を別画面例えば全体画像表示部１０２により拡大表示するためのボタンである。
【００７３】
ＭＲＰ表示ボタン１３０は、可動範囲画像表示部１０１に表示される複数枚のフレームを撮影し、蓄積および／または表示するときにクリックされるボタンである。すなわち、このＭＲＰ表示ボタン１３０がクリックされると、カメラユニットが撮影可能な全ての範囲をフレーム単位で撮影し、撮影された各フレームが持っているカメラ部の位置情報に基づいて全フレームを集合させて、可動範囲画像として可動範囲画像表示部１０１に表示させる。
【００７４】
ここで、図７を用いて、この発明の一実施形態による可動範囲画像表示部１０１について説明する。この可動範囲画像表示部１０１に表示される可動範囲画像は、上述したようにＭＲＰ表示ボタン１３０をクリックした時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、フレーム単位で撮影される。その撮影の結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルをカメラ部の位置情報を基に集合させ、図７に示すように１つの画像（可動範囲画像）として表示される。
【００７５】
このとき、それぞれのフレームに付加されるカメラ部の位置情報と、可動範囲画像表示部１０１内の座標とが予め関連付けられているので、可動範囲の全てのフレームをカメラ部の位置情報に基づいて、関連付けられている座標へ配置させ、集合させることによって可動範囲画像を生成することができる。この図７の一例では、パン方向に１８０°、チルト方向に９０°の広範囲からなる可動範囲画像が生成され、可動範囲画像表示部１０１に表示される。
【００７６】
この可動範囲画像表示部１０１上の各フレームは、パン部４ａ、チルト部４ｂからカメラ部の可動範囲上における位置を示す仰角データと、ＧＰＳ２８で測位された位置情報およびメタデータとを備える。すなわち、位置情報を持つ可動範囲画像をＧＵＩとして、マウス３６を使用して任意の範囲を全体画像表示枠１０１ａにて選択すると、選択された全体画像表示枠１０１ａの位置情報に基づいて、選択された範囲のカメラ部の位置情報を得ることができる。
【００７７】
このように、可動範囲画像表示部１０１に表示される複数枚のフレームを集合させた可動範囲画像をＧＵＩとすることによって詳細な位置選択が可能となる。
【００７８】
この一実施形態では、可動範囲画像に集合した複数枚のフレームのそれぞれにカメラ部の位置情報およびメタデータが付加されているとしたが、カメラ部の位置情報と可動範囲画像表示部１０１内の座標とは予め関連付けられているので、可動範囲画像表示部１０１の座標からカメラ部の位置情報を求めるようにしても良い。
【００７９】
この一実施形態では、撮影されたそれぞれのフレームに付加されるカメラ部の位置情報が予め可動範囲画像表示部１０１内の座標と関連付けられているとされているが、座標ではなく、可動範囲画像表示部１０１内の画素位置と関連付けられていても同様の効果を得ることができる。
【００８０】
この一実施形態では、マウス３６を利用して任意の範囲を全体画像表示枠１０１ａにて選択し、選択された範囲のカメラ部の位置情報を得るようにしているが、選択された全体画像表示枠１０１ａのセンタのＧＵＩ上の位置情報から全体画像表示枠１０１ａ全体の位置情報を得るようにしても良い。
【００８１】
この発明による可動範囲画像表示部１０１および全体画像表示枠１０１ａの一実施形態の動作を説明する。ディスプレイ２上に表示されているＭＲＰ表示ボタン１３０がマウス３６でクリックされる。コントローラＣＰＵ３３は、ＭＲＰ表示ボタン１３０がクリックされると、パン部４ａおよびチルト部４ｂを制御し、可動範囲全体を撮影するように、フレーム毎にカメラ部を移動させる。
【００８２】
そして、撮像部２４はそれぞれ決められたフレーム位置で撮影され、撮影された画像はバッファメモリ２６に一時保存され、ＪＰＥＧエンコーダ／メタデータ付加部２７でＪＰＥＧ形式に画像圧縮が施される。このときＧＰＳ２８から位置情報およびメタデータと、パン部４ａおよびチルト部４ｂの位置を示す仰角データとが、それぞれのフレームに付加される。これらのデータが付加されたフレームは、メインメモリ３０に保存される。
【００８３】
また、それと同時に撮影されたフレームは、画像圧縮部３２において、可動範囲画像に適したサイズに圧縮される。この圧縮された画像は、グラフィックコントローラ３１を介して、ディスプレイ２上の可動範囲画像表示部１０１の所定の位置に表示される。
【００８４】
マウス３６を可動範囲画像表示部１０１上に移動させることによって全体画像表示枠１０１ａの位置が移動する。そして、マウス３６でクリックされた位置のフレームに付加されている位置情報、メタデータおよび仰角データが読み出される。
【００８５】
読み出された位置情報および仰角データに合致する全体画像の範囲のフレームがメインメモリ３０から読み出される。読み出されたフレームは、画像圧縮部３２において、全体画像に適したサイズに圧縮される。この圧縮された画像は、グラフィックコントローラ３１を介して、ディスプレイ２上の全体画像表示部１０２の所定の位置に表示される。これと同時に読み出されたフレームの位置情報および仰角データに基づいてパン部４ａ、チルト部４ｂが駆動され、カメラ部の方向が制御され、撮影される。
【００８６】
次に、図８を用いて、この発明の一実施形態による全体画像の作成方法の一例について説明する。図８に示すように、カメラユニット３は、パンチルタ部４の雲台にカメラ部５が設置され、ホームポジションから撮像方向が可変される。図８において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ部側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションが例えば（１，１）の座標のフレームを撮影する位置とされる。
【００８７】
（１，１）の座標位置のフレームを撮影すると、カメラユニット３が下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・、（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと１６画素分の重複部分を有する。撮影された各フレームがＪＰＥＧによる圧縮、メインメモリ３０への蓄積等の処理を受ける。
【００８８】
上述したように、各フレームが例えばＸＧＡ（1024×768画素）画の場合では、１２８枚のフレームからなる画像は、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像である。上述した全体画像表示部１０２には、この画像から形成された圧縮画像またはサムネイル画像が表示され、選択画像表示部１０３には、例えば１フレームのＸＧＡ画像が表示される。したがって、選択画像表示部１０３には、解像度が極めて高い画像を表示することができ、全体画像では、不明瞭な画像も選択画像では、明瞭な画像として表示できる。
【００８９】
図９に、７５倍の望遠レンズがカメラユニットに備えられている場合に、１フレームで撮影できる範囲を示す。カメラユニットから１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表することができる。
【００９０】
カメラユニットから２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【００９１】
カメラユニットから５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【００９２】
図１０を参照して取得した画像データをアーカイブ１０、メインメモリ３０等に保存する場合のデータ管理方法を説明する。上述したように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影され、圧縮されて蓄積される。図１０Ａに示すように、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスは、右端の最も上のフレームを特定する。各フレームは、この位置アドレスと記録時の時間情報とをファイル名として有する。時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒、位置アドレス）である。
【００９３】
さらに、図１０Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒、位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【００９４】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態は、可動範囲画像を１枚とした例であるが、複数枚の可動範囲画像を持つようにしても良い。
【００９５】
この一実施形態では、可動範囲画像表示部１０１上で全体画像表示枠１０１ａを移動させて、所望の範囲が選択されると、選択された範囲の複数枚のフレームを撮影し、全体画像表示部１０２に表示するようにしているが、移動させているときにも、既に記録されているフレームをメインメモリ３０から読み出し、全体画像表示部１０２に表示するようにしても良い。
【００９６】
【発明の効果】
この発明に依れば、広範囲にわたる可動範囲を有するカメラ用のパンチルタ装置において、その可動範囲内でどのような全体画像を取り込むことができるのかを簡単にユーザに情報として表示することが可能であり、且つその表示を用いてカメラコントロールを簡便に行うことができる。さらに、取り込んだ全体画像の中で所望の位置を選択して、その位置の詳細な選択画像を表示することができる。このような３段階のグラフィカル表示によって、目的とする位置の画像の認識を容易に行うことが可能となる。
【００９７】
この発明に依れば、広範囲にわたる地域を監視する必要がある場合でも、簡単にカメラの方向を合わせることができ、必要な画像を失敗することなく取り込むことができる。
【図面の簡単な説明】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態のブロック図である。
【図３】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図４】この発明の一実施形態における全体画像表示枠の一例を説明するための略線図である。
【図５】この発明の一実施形態におけるセレクト画面の一例を説明するための略線図である。
【図６】この発明の一実施形態における再生時の蓄積データ表示画面の一例を説明するための略線図である。
【図７】この発明の一実施形態における可動範囲画像表示部の一例を説明するための略線図である。
【図８】この発明の一実施形態における撮影動作および画像取得動作を説明するための略線図である。
【図９】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図１０】撮影された画像の管理方法を説明するための略線図である。
【符号の説明】
１・・・コンピュータ、２・・・ディスプレイ、３・・・カメラユニット、４・・・パンチルタ部、５・・・カメラ部、２１・・・コントローラバス、２４・・・撮影部、２７・・・ＪＰＥＧエンコーダ／メタデータ付加部、３０・・・メインメモリ、３１・・・グラフィックコントローラ、３２・・・画像圧縮部、３３・・・コントローラＣＰＵ、１０１・・・可動範囲画像表示部、１０２・・・全体画像表示部、１０３・・・選択画像表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and method, a program, and a recording medium applied to a surveillance camera or the like.
[0002]
[Prior art]
Traditionally, monitoring systems are used to monitor a wide range of situations. For example, monitoring systems are used for maritime monitoring, river monitoring, monitoring of on-site monitoring areas, wildlife behavior observation, and the like. This monitoring system uses a video camera with a very large number of pixels in order to capture a wide range of images. For this reason, the price of the system is increased, and there is a problem in terms of cost.
[0003]
On the other hand, it has been proposed to capture a still image while sequentially shifting the shooting range of the camera, and generate a range of images to be monitored by connecting a number of still images. In this case, a connected image generated by connecting a large number of still images can be an extremely high resolution image. Therefore, when obtaining a magnified image of a part of the connected image, the resolution of the magnified image itself is high, and a clear image can be obtained even in the magnified image.
[0004]
Since it is necessary to widen the monitoring range, the movable range of the camera is set to an extremely wide range such as 180 °, 360 °, and the like. The shooting direction of the camera is switched over this wide range, a still image is acquired in each shooting direction, and a panoramic connection image is formed.
[0005]
When the shooting range is set wide, the number of still images constituting a wide range of connected images increases, which causes a problem that the time for acquiring images becomes longer and the cycle for acquiring connected images becomes longer. In many cases, the area to be actually monitored is a limited range.
[0006]
Therefore, in Japanese Patent Application No. 2002-130761, the applicant cuts out a wide area for each angle of view, captures the image of the angle of view that has been cut out with a normal image sensor, and combines the captured images to achieve high definition. A system capable of obtaining a wide range of images has been proposed.
[0007]
[Problems to be solved by the invention]
However, even with this system, the mechanism for actually determining the area to be monitored had to be moved by moving the camera, shooting live video, and checking the shot video. Also, there has been no method of notifying the user of the relationship between the image captureable range and the shooting range at a glance.
[0008]
SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a monitoring system and method capable of confirming in advance the image in the shooting range, and further informing the user of the relationship between the image capturing range and the shooting range at a glance. It is to provide a program and a recording medium.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention includes an imaging unit attached to an imaging direction variable unit that varies the imaging direction;
An accumulation unit for accumulating image data photographed by the imaging unit;
In the maximum movable range of the imaging direction variable unit, an original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, and the stored original image or compressed image is stored in the storage unit. Furthermore, a movable range image display for displaying an image composed of a movable range image generated by compression and a superimposed aim for recognizing the position of a panoramic overall image that is a partial area in the movable range image. And
The imaging direction variable unit is controlled so as to capture an image of the panoramic whole image range selected based on the aim in the movable range image display unit, and includes a plurality of still images captured in each imaging direction. An entire image display unit that accumulates an original image or a compressed image obtained by compressing the original image in a storage unit, and displays a panoramic overall image formed by further compressing the accumulated original image or the compressed image;
A selected image display unit that selects a part of the entire image and displays a selected image corresponding to the selected position;
A control unit that controls generation and display of the movable range image, the entire image, and the selected image;
The movable range image display unit, the entire image display unit and the selected image display unit are configured in different areas of the display means,
Accumulate the image data of the whole image selected based on the aim while selecting the whole image range based on the aim and until the whole image is selected by aiming and the whole image starts to be captured. The monitoring system is characterized in that it is read out from the display unit and displayed on the entire image display unit.
[0010]
The present invention stores, in the storage unit, an original image composed of a plurality of still images captured by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
From the movable range image generated by further compressing the accumulated original image or compressed image, and the aiming superimposed to recognize the position of the entire panoramic image that is a partial area in the movable range image A movable range image display step for displaying an image,
An imaging direction variable unit is controlled so as to capture an image of a panoramic whole image range selected based on the aim, and an original image or an original image composed of a plurality of still images captured in each imaging direction is obtained. Storing compressed compressed images in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the accumulated original image or compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
Accumulate the image data of the whole image selected based on the aim while selecting the whole image range based on the aim and until the whole image is selected by aiming and the whole image starts to be captured. The monitoring method is characterized in that the data is read from the display unit and displayed on the entire image display unit.
[0011]
The present invention stores, in the storage unit, an original image composed of a plurality of still images captured by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
From the movable range image generated by further compressing the accumulated original image or compressed image, and the aiming superimposed to recognize the position of the entire panoramic image that is a partial area in the movable range image A movable range image display step for displaying an image,
An imaging direction variable unit is controlled so as to capture an image of a panoramic whole image range selected based on the aim, and an original image or an original image composed of a plurality of still images captured in each imaging direction is obtained. Storing compressed compressed images in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the accumulated original image or compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
Accumulate the image data of the whole image selected based on the aim while selecting the whole image range based on the aim and until the whole image is selected by aiming and the whole image starts to be captured. This is a program for causing a computer to execute a monitoring method that is read from the unit and displayed on the entire image display unit.
[0012]
The present invention stores, in the storage unit, an original image composed of a plurality of still images captured by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
From the movable range image generated by further compressing the accumulated original image or compressed image, and the aiming superimposed to recognize the position of the entire panoramic image that is a partial area in the movable range image A movable range image display step for displaying an image,
An imaging direction variable unit is controlled so as to capture an image of a panoramic whole image range selected based on the aim, and an original image or an original image composed of a plurality of still images captured in each imaging direction is obtained. Storing compressed compressed images in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the accumulated original image or compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
Accumulate the image data of the whole image selected based on the aim while selecting the whole image range based on the aim and until the whole image is selected by aiming and the whole image starts to be captured. A computer-readable recording medium having recorded thereon a program for causing a computer to execute a monitoring method of reading out from the unit and displaying it on the entire image display unit.
[0017]
Thus, since the movable range image when the imaging unit is moved over the maximum movable range is displayed, it is possible to easily set the shooting direction for obtaining an image in a desired range, and to improve operability. Can do.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of an embodiment of the present invention. The computer 1 to which the display 2 is connected controls the camera unit 3. The example of FIG. 1 is an example of a system in which one computer 1 controls two camera units 3 and another computer 1 ′ having a display 2 ′ controls other camera units 3 ′. One computer can control a plurality of camera units.
[0019]
The camera unit 3 has a pantilter unit 4 and a camera unit 5 integrally formed. The camera unit 3 is installed so that a far target area can be photographed. As an example, the camera unit 5 includes a telephoto lens having a magnification of 10 times, 70 times, or the like, and can photograph a place away from several tens of meters to several kilometers.
[0020]
The camera unit 5 is, for example, a digital still camera capable of turning on a shutter in synchronization with an external trigger, and its imaging element, for example, a CCD (Charge Coupled Device) has VGA (Video Graphics Array, 640 × 480 pixels), XGA (XGA). eXtended Graphics Array, 1024 × 768 pixels) and SXGA (Super eXtended Graphics Array, 1280 × 1024 pixels). In the case of a VGA image sensor, image data is output at a rate of 30 fps (frame / second). In the case of an XGA image sensor, image data is output at a rate of 15 fps (frame / second). In this case, image data is output at a rate of 7.5 fps (frame / second).
[0021]
Video data is transmitted from the camera unit 3 to the computer 1 via the bus 6. The bus 6 transmits a video data transmission path and a control signal of the camera unit 3. The configuration described above is the same for the computer 1 ′ and the camera unit 3 ′.
[0022]
In the computers 1 and 1 ′, video data from the camera units 3 and 3 ′ are stored in a memory, and as will be described later, an operation GUI (Graphical User Interface) is configured, and an image of a desired target area is displayed by the user. The camera unit 3, 3 ′ can be controlled so that the camera unit 3, 3 ′ can shoot. The captured image is compressed by compression encoding, for example, JPEG (Joint Photographic Experts Group).
[0023]
The computers 1 and 1 ′ are connected to each other by a LAN (Local Area Network) 7. Another computer 8 is connected to the LAN 7. Reference numeral 9 is a display of the computer 8. The computer 8 receives image data and the like from the computers 1 and 1 ′ via the LAN 7, accumulates video data in the archive 10, and further processes the image data. For example, processing such as face recognition, baggage recognition, environment recognition, car recognition, etc. is performed using video data. The archive 10 can store a large amount of data such as a tape streamer.
[0024]
FIG. 2 shows a more detailed configuration of the computer 1 and the camera unit 3 in the monitoring system described above. In the example of FIG. 2, camera unit and computer components are connected to a common controller bus 21 indicated by reference numeral 21.
[0025]
The pantilter unit includes a pan unit 4a and a tilt unit 4b. Each of the pan unit 4 a and the tilt unit 4 b has, for example, a stepping motor as a drive source, and pans or tilts the camera unit according to a control signal supplied from the controller CPU 33 via the controller bus 21. A camera unit is placed on the pantilta unit. Here, pan means to rotate the camera in the horizontal direction, and tilt means to rotate the camera in the vertical direction. As an example, the maximum value of the pan angle is 180 °, and the maximum value of the tilt angle is 90 °.
[0026]
As will be described later, the camera unit is moved within a range of tilt angle = ± 45 ° and pan angle = ± 90 ° within the maximum movement range of the camera unit. Each time the imaging center is moved by the angle of view, the shutter is turned on, and for example, a 1/60 second or 1/30 second still image (hereinafter referred to as “frame” as appropriate) is taken. That is, a moving image is shot by the camera unit, and the shot moving image is supplied to the subsequent stage as one still image of 1/60 second or 1/30 second.
[0027]
A total of (M × N = 8 × 16 = 128) frames of M (for example, 8) in the vertical direction and N (for example, 16) in the horizontal direction are sequentially photographed, and these frames are compressed and connected. To form one whole image. Each frame is, for example, an XGA (1024 × 768 pixels) image. Therefore, the 128 frames form an image of about 100 million pixels (horizontal direction is 1024 × 16 = 16,384 pixels and vertical direction is 768 × 8 = 6,144 pixels) when the overlapping portion is ignored. It takes about 5 seconds to shoot 128 frames. The overlapping portion is, for example, 16 pixels vertically and horizontally.
[0028]
The camera unit is configured as a digital still camera and includes a lens unit 22, a focus / zoom / iris control unit 23, and an imaging unit 24. The focus / zoom / iris control unit 23 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21. The imaging unit 24 includes a solid-state imaging device such as a CCD and a camera signal processing circuit. A digital video signal from the imaging unit 24 is written into the buffer memory 26 via an interface 25 of IEEE (Institute of Electrical and Electronics Engineers) 1394.
[0029]
The output data of the buffer memory 26 is supplied to the JPEG encoder / metadata adding unit 27, and the image data is converted into JPEG data. JPEG is one of the compression methods, and other compression methods may be used or not compressed.
[0030]
The camera unit 3 is provided with a GPS (Global Positioning System) 28 for detecting its position. By providing the GPS 28, it is possible to record the data of the installation location of the camera, detect the direction of the camera, and control the directions of the plurality of cameras in conjunction with each other. The GPS 28 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21.
[0031]
An output signal of the GPS 28 is supplied to the metadata generation unit 29, and position information (information such as latitude / longitude, azimuth, altitude, etc.) and metadata (time, camera unit parameters (magnification, focus value) based on the positioning result of the GPS 28 are supplied. , Information such as iris value). The position information and metadata are supplied to the JPEG encoder / metadata adding unit 27, and the position information and metadata are added to the JPEG data.
[0032]
JPEG data to which metadata and position information are added is stored in a main memory 30 such as a hard disk, and is supplied to the graphic controller 31 and the image compression unit 32. In this specification, accumulation in the main memory 30 is called recording, and reading data from the main memory 30 is called reproduction. In addition, displaying an image that is currently being captured without going through the main memory 30 is referred to as a live mode, and displaying data recorded in the past from the main memory 30 and displaying it is referred to as a view mode.
[0033]
The main memory 30 has a function as a server. For example, as a result of compressing an XGA image by JPEG, the data amount of one frame is 100 kbytes, and the data amount of 12.5 Mbytes is 128 images. If the main memory 30 has a capacity of about 80 Gbytes, JPEG data for one day can be stored. In the view mode, it is possible to reproduce older data stored not only in the main memory 30 but also in a storage device such as an archive.
[0034]
JPEG data read from the main memory 30 is supplied to the graphic controller 31. The image compression unit 32 generates a compressed image or a thumbnail (reduced image) from the JPEG data from the JPEG encoder / metadata adding unit 27 or the JPEG data read from the main memory 30. For example, a panoramic overall image is formed by thinning out the vertical direction and the horizontal direction. The image compression unit 32 also performs compression processing for forming a movable range image, which will be described later. As described above, in the case of XGA, a panoramic overall image such as (400 × 1000 pixels) is formed by processing the data of about 100 million pixels by JPEG compression and the image compression unit 32. The movable range image is also a thumbnail, but is a coarser image than the entire image.
[0035]
The graphic controller 31 converts JPEG data into bitmap data, and performs graphics processing so that a desired image is displayed on the screen of the display 2. In other words, movable range image display, whole image display, selected image display, GUI display such as buttons, etc. are made on the screen of the display 2. Details of the display will be described later.
[0036]
The graphic controller 31 performs image processing and detects image changes. An image change is a change that occurs with respect to a reference image. For example, in the view mode, a comparison with a previously stored reference image is made and an image change is detected. An image at a predetermined time on the previous day is set as a reference image, a pixel difference between an image accumulated thereafter and the reference image is detected, and a change occurs when the absolute value of the pixel difference is equal to or greater than a predetermined value. Detect with things. As the detection of the difference, a method of calculating a difference value between pixels at the same position for each frame at the same spatial position between the image to be compared and the reference image can be used. Instead of detecting the difference for all the pixels, the difference may be calculated for the representative pixel or the thinned pixel. Further, by limiting the predetermined color, it is also possible to perform change detection focusing on an object of a predetermined color.
[0037]
When a change is detected, an alarm, for example, a frame in which a change is detected is displayed on the display 2 so that it can be distinguished from other frames. Specifically, the alarm can be displayed by a method such as luminance change, color change, blinking or the like. As the reference image, a predetermined image can be arbitrarily selected from the stored images.
[0038]
As described above, the controller CPU 33 connected to the controller bus 21 performs lens control (for example, focus) of the camera unit, exposure control (for example, aperture, gain, electronic shutter speed, etc.), white balance control, image quality control, and the like. And the pan part 4a and the tilt part 4b are controlled.
[0039]
Reference numeral 34 is an I / O port. A keyboard 35 and a mouse 36 are connected to the I / O port 34, and a memory card 37 and a clock 38 are connected to the I / O port 34. JPEG data to which position information and metadata stored in the main memory 30 are added can be written to the memory card 37. Time data is obtained from the clock 38.
[0040]
In FIG. 2, each component is connected to the controller bus 21. However, the camera unit and the computer may be installed at a remote location, and both may be connected by IEEE 1394, USB, or the like. In this case, an optical fiber is used as the physical transmission line. If an optical fiber is used, the camera unit and the control computer can be arranged apart from each other by several hundred meters to several kilometers. Furthermore, you may connect both by wireless LAN.
[0041]
FIG. 3 shows an example of a GUI screen according to an embodiment of the present invention. The display unit, operation buttons, display area, and the like provided on the GUI screen according to an embodiment of the present invention will be described below with reference to FIG. A movable range image display unit 101, an entire image display unit 102, and a selected image display unit 103 are arranged on one screen.
[0042]
A movable range image is displayed on the movable range image display unit 101. The movable range image is an image indicating the maximum range that can be captured by the camera unit, and is composed of a plurality of frames. Therefore, in this embodiment, a panoramic image is obtained as shown in the figure. As described above, the maximum value of the pan angle is 180 ° and the maximum value of the tilt angle is 90 °, and a movable range image is generated from a plurality of frames shot in this maximum movable range. The movable range image display unit 101 incorporates position information added to a plurality of configured frames.
[0043]
Then, when an MRP (Movable Range Picture) display button 130, which will be described later, is clicked, or when a camera unit is installed and shooting starts, the camera unit is moved over the maximum movable range, and is composed of a plurality of frames obtained as a result. A thumbnail obtained by thinning pixels in the vertical direction and the horizontal direction with respect to the image to be displayed is used as the movable range image. Further, all the frames constituting the movable range image may be taken at a predetermined time interval, and stored and / or displayed.
[0044]
The movable range image display unit 101 shows an entire image display frame 101a (line of sight) for recognizing the range displayed on the entire image display unit 102. By moving the whole image display frame 101a with the mouse 36, a desired range in the movable range image can be instructed, and the camera unit can be controlled to image the instructed range. That is, (M × N) frames (still images) are captured, stored, and / or displayed within the designated range.
[0045]
The entire image display frame 101a is an example, and the range displayed on the entire image display unit 102 in various shapes may be displayed on the movable range image display unit 101. Specifically, as shown in FIG. 4A, the four sides of the range displayed on the whole image display unit 102 may be shown, or as shown in FIG. 4B, displayed on the whole image display unit 102. The four corners of the range may be shown, or as shown in FIG. 4C, the four corners and the center of the range displayed on the entire image display unit 102 may be shown.
[0046]
The size of the entire image display frame 101a is, for example, the size of (8 × 16) frames displayed on the movable range image display unit 101, and is selected by a REC MODE selection menu 118 described later. The size is in accordance with the image size of the recording mode. Accordingly, the size may be (4 × 8) frames as described later, or may be the size of (2 × 4) frames. The size of one frame depends on the magnification of the lens unit 22.
[0047]
When the entire image display frame 101a is moved, as an example, after selecting the frame that becomes the center of the entire image display frame 101a with the mouse 36, the entire image display frame 101a is displayed so that the selected frame becomes the center. In addition, the entire image display frame 101a may be moved in conjunction with the movement of the mouse 36, the upper left frame of the entire image display frame 101a, for example, or the two upper left and lower right frames. May be selected with the mouse 36. In this way, the camera unit is controlled to capture the range corresponding to the entire image display frame 101a whose position has been moved, and the optical axis of the camera unit is directed.
[0048]
The whole image display unit 102 displays a panoramic whole image. The whole image is an image obtained by compressing the JPEG data corresponding to the photographed original image by the image compression unit 32. Monitoring can be performed by viewing the displayed whole image. Furthermore, as described above, when an image change is detected, an alarm is generated in which the frame in which the change is detected in the entire image displayed on the entire image display unit 102 is displayed differently from the other frames.
[0049]
A selected image is displayed on the selected image display unit 103. The selected image is an image obtained by enlarging a part of the entire image. For example, a frame at a position indicated in the entire image is displayed as a selected image. It can be enlarged by displaying one frame of original image which is not compressed. Furthermore, the image can be enlarged by digital signal processing.
[0050]
The EXIT button 104 is a button for turning off the power of the monitoring system. The camera system OFF button 105 is a button for turning off the power of the camera unit.
[0051]
The VIEW MODE button 106 is a button for switching the mode of the monitoring system to the view mode. The view mode is a mode for displaying the whole image and the partial image based on the image data stored in the memory 30 or another server.
[0052]
The LIVE MODE button 107 is a button for switching the mode of the monitoring system to the live mode. The live mode is a mode in which an entire image and a partial image are displayed based on a frame that is currently captured by the camera unit.
[0053]
The Compas display area 108 is an area for displaying a compass indicating the direction in which the optical axis of the lens of the camera unit is directed. The GPS Data display area 109 is an area for displaying the latitude, lightness and altitude of the place where the camera unit is installed, and the shooting date and time. The data displayed in the areas 108 and 109 is data measured by the GPS 28 provided in the camera unit.
[0054]
The view offset button 110 is a button for adjusting the position of the selected frame. The view offset button 110 is used to move one frame selected by the pointer in the entire image displayed on the entire image display unit 102 in the upward, downward, leftward, and rightward directions. is there. A plurality of frames constituting the entire image are displayed overlapping with adjacent frames by a predetermined number of pixels, for example, 16 pixels vertically and horizontally. By moving the frame within the range of this overlapping portion, it is possible to achieve consistency with adjacent frames and to make the display state smooth.
[0055]
The mode display area 129 is an area for displaying mode information, alarm information, error information, and the like. The mode information is information for notifying the user of the mode of the monitoring system, and specifically, information such as a live mode and a view mode. The alarm information is information for prompting the user to give a warning, and is displayed, for example, when the above-described view offset button 110 reaches a limit at which a frame can be moved. The error information is information for notifying the user of an error occurring in the monitoring system.
[0056]
The Camera Control unit 111 includes a ZOOM button 112, a FOCUS button 113, an IRIS button 114, a Camera Configuration button 115, and a White Balance button 116. The ZOOM button 112 is a button for adjusting the zoom of the camera unit. The FOCUS button 113 is a button for adjusting the focus of the camera unit. The IRIS button 114 is a button for adjusting the iris of the camera unit. The Camera Configuration button 115 is a button for adjusting the γ characteristic, shutter speed, gain characteristic, and the like of the camera unit. The white balance button 116 is a button for adjusting the white balance of the camera unit. Note that when the camera system is in the view mode, the display of the Camera Control unit 111 may be omitted.
[0057]
The SELECT button 117 is a button for displaying a select screen in the view mode. The select screen is an image for specifying a region desired to be reproduced and recorded by a frame constituting the entire image.
[0058]
FIG. 5 shows an example of the select screen. As shown in FIG. 5, the select screen includes a close button 151, a screen display unit 152, and a close button 153. The close buttons 151 and 153 are clicked when the select screen is closed. In the screen display unit 152, a grid-like display indicating frame boundaries is superimposed on the entire image. In the screen display unit 152, for example, when a frame at a desired position is indicated by a pointer, the frame is selected and the brightness, resolution, contrast, etc. of the indicated frame are displayed in order to display the selection. Changes.
[0059]
The REC MODE selection menu 118 is a pull-down menu for selecting a recording mode. In this pull-down menu, a recording mode in which an image size to be recorded and a recording method (RUN or SINGLE) are combined is displayed. The image size is selected from among the whole image composed of (8 × 16) frames, the partial image composed of selected (4 × 8) frames of the whole image, and the whole image. Any of the partial images made up of (2 × 4) frames that have been made is possible. The partial image is the position selected from the select screen. RUN of the recording method is a method of recording a captured image generated at a predetermined cycle (for example, a cycle of 5 seconds), and SINGLE is a method of recording only once. A combination of these can be selected as the recording mode.
[0060]
The Stage Config (Stage Configuration) button 119 is a button for finely adjusting the accuracy of moving the stage. The message area 120 is an area for displaying the connection status between the control computer and the camera unit and the control status of the stage of the camera unit. When the control computer and the camera unit are connected, "IMAGE SERVER CONNECT" is displayed in the message area as shown in FIG. If the stage of the camera unit is in a controllable state, “STAGE CONTROL ACTIVE” is displayed in the message area.
[0061]
The REC button 121 is a button for starting image recording. When this button is pressed, recording corresponding to the recording mode selected in the REC mode menu is started. Specifically, RUN (8 × 16), RUN (4 × 8), RUN (2 × 4), SELECT SINGLE RUN (8 × 16), SELECTING SINGLE RUN (4 × 8), SELECT SINGLE RUN (2 × 4) ) And the like, the recording corresponding to the mode selected from the mode is started.
[0062]
The PLAY button 122 is a button for reproducing the image data stored in the server (main memory 30). Specifically, when the PLAY button 122 is pressed, an accumulated data display screen is displayed. On this accumulated data display screen, information for identifying the accumulated image data is displayed. This information is based on information described in a direction file described later.
[0063]
FIG. 6 shows an example of a recording data display screen. As shown in FIG. 6, the record data display screen includes a minimize button 161, a maximize button 162, a close button 163, a date designation field 164, a time designation field 165, an accumulated data display field 166, and a latest accumulated data display field. 167, an OK button 168, a cancel button 169, and a storage unit change check button 170 are displayed.
[0064]
The minimize button 161 is a button that is clicked when the accumulated data display screen is minimized, for example, when an icon is used. The maximize button 162 is a button that is clicked when the accumulated data display screen is maximized and displayed using the entire display range of the monitor. The close button 163 is a button that is clicked when the stored data display screen is closed.
[0065]
In the date designation field 164, the date of stored data to be displayed on the entire image display unit 102 is designated. For example, by clicking a button 164a provided at the right end of the date designation field 164, the date of the stored data that can be displayed may be displayed in a pull-down menu format and selected from the displayed dates.
[0066]
In the time designation field 165, the time of stored data to be displayed on the entire image display unit 102 is designated. For example, by clicking a button 165a provided at the right end of the time designation field 165, the time of the stored data that can be displayed may be displayed in a pull-down menu format, and it may be selected from the displayed times.
[0067]
The accumulated data display field 166 displays the accumulated data of the date and time designated in the date designation field 164 and the time designation field 165 from the accumulation unit. The latest accumulated data display field 167 displays the latest accumulated data from the accumulated data accumulated in the accumulation unit. Further, the latest accumulated data may be displayed from the accumulated data in the date and time designated in the date designation field 164 and the time designation field 165.
[0068]
The OK button 168 is a button that is clicked when desired accumulated data is designated. A cancel button 169 is a button that is clicked when the stored data display screen is closed. The storage unit change check button 170 is a check button for inputting a check when the storage data reading destination is changed from the storage unit to, for example, a detachable semiconductor memory.
[0069]
Returning to FIG. 3, the STOP button 123 is a button for stopping the recording or reproducing operation. The STOP button 123 may be displayed when the REC button 121 or the PLAY button 122 is pressed.
[0070]
The Set Camera Center POS (Set Camera Center POSITION) button 125 is a button for designating the direction in which the camera unit is currently facing as the center of an (8 × 16) image.
[0071]
The HOME button 124 is a button for controlling the camera unit and directing the optical axis of the lens of the camera unit to the home position. The home position is a position where the camera unit faces the leftmost position. The LIVE / VIEW POSITION button 126 is a button for panning or tilting the camera unit.
[0072]
The ZOOM buttons 127 a and 127 b are buttons for enlarging and reducing the selected image displayed on the selected image display unit 103. The MAX VIEW button 128 is a button for enlarging and displaying the selected image on another screen, for example, the entire image display unit 102.
[0073]
The MRP display button 130 is a button that is clicked when a plurality of frames displayed on the movable range image display unit 101 are captured, stored, and / or displayed. That is, when the MRP display button 130 is clicked, the entire range that can be captured by the camera unit is captured in units of frames, and all frames are assembled based on the position information of the camera unit that each captured frame has. And displayed on the movable range image display unit 101 as a movable range image.
[0074]
Here, the movable range image display unit 101 according to the embodiment of the present invention will be described with reference to FIG. The movable range image displayed on the movable range image display unit 101 moves the camera unit over the maximum movable range when the MRP display button 130 is clicked as described above, or when a camera unit is installed and shooting starts. Filmed in frame units. As shown in FIG. 7, thumbnails obtained by thinning out pixels in the vertical direction and the horizontal direction are gathered based on the position information of the camera unit with respect to an image composed of a plurality of frames obtained as a result of the shooting. Range image).
[0075]
At this time, since the position information of the camera unit added to each frame is associated with the coordinates in the movable range image display unit 101 in advance, all the frames in the movable range are based on the position information of the camera unit. The movable range image can be generated by arranging and assembling to the associated coordinates. In the example of FIG. 7, a movable range image having a wide range of 180 ° in the pan direction and 90 ° in the tilt direction is generated and displayed on the movable range image display unit 101.
[0076]
Each frame on the movable range image display unit 101 includes elevation angle data indicating a position on the movable range of the camera unit from the pan unit 4a and the tilt unit 4b, and positional information and metadata measured by the GPS 28. That is, when a movable range image having position information is used as a GUI and an arbitrary range is selected in the entire image display frame 101a using the mouse 36, the selected range image is selected based on the position information of the selected entire image display frame 101a. It is possible to obtain the position information of the camera unit within a certain range.
[0077]
Thus, a detailed position can be selected by using a movable range image obtained by collecting a plurality of frames displayed on the movable range image display unit 101 as a GUI.
[0078]
In this embodiment, the position information and metadata of the camera unit are added to each of a plurality of frames assembled in the movable range image. Since the coordinates are associated in advance, the position information of the camera unit may be obtained from the coordinates of the movable range image display unit 101.
[0079]
In this embodiment, it is assumed that the position information of the camera unit added to each captured frame is associated with the coordinates in the movable range image display unit 101 in advance. The same effect can be obtained even if the pixel position is associated with the display unit 101.
[0080]
In this embodiment, an arbitrary range is selected using the mouse 36 in the entire image display frame 101a, and the position information of the camera unit in the selected range is obtained. The position information of the entire image display frame 101a may be obtained from the position information on the GUI of the center of the frame 101a.
[0081]
The operation of the embodiment of the movable range image display unit 101 and the entire image display frame 101a according to the present invention will be described. The MRP display button 130 displayed on the display 2 is clicked with the mouse 36. When the MRP display button 130 is clicked, the controller CPU 33 controls the pan unit 4a and the tilt unit 4b to move the camera unit for each frame so as to capture the entire movable range.
[0082]
Then, the image capturing unit 24 is captured at each determined frame position, and the captured image is temporarily stored in the buffer memory 26, and the JPEG encoder / metadata adding unit 27 performs image compression in the JPEG format. At this time, position information and metadata from the GPS 28 and elevation angle data indicating the positions of the pan unit 4a and the tilt unit 4b are added to the respective frames. The frame to which these data are added is stored in the main memory 30.
[0083]
Further, the frame photographed at the same time is compressed by the image compression unit 32 to a size suitable for the movable range image. The compressed image is displayed at a predetermined position on the movable range image display unit 101 on the display 2 via the graphic controller 31.
[0084]
By moving the mouse 36 onto the movable range image display unit 101, the position of the entire image display frame 101a is moved. Then, position information, metadata, and elevation angle data added to the frame at the position clicked with the mouse 36 are read.
[0085]
A frame in the range of the entire image that matches the read position information and elevation angle data is read from the main memory 30. The read frame is compressed by the image compression unit 32 to a size suitable for the entire image. The compressed image is displayed at a predetermined position on the entire image display unit 102 on the display 2 via the graphic controller 31. At the same time, the pan unit 4a and the tilt unit 4b are driven based on the read frame position information and elevation angle data, and the direction of the camera unit is controlled and photographed.
[0086]
Next, an example of a method for creating an entire image according to an embodiment of the present invention will be described with reference to FIG. As shown in FIG. 8, in the camera unit 3, the camera unit 5 is installed on the pan head of the pantilter unit 4, and the imaging direction is changed from the home position. In FIG. 8, the (M × N) frames taken are viewed from the camera unit side, and numbers 1, 2,... Numbers 1, 2,..., N are assigned in order from the left. For example, the home position is a position where a frame having a coordinate of (1, 1) is photographed.
[0087]
When the frame at the coordinate position (1, 1) is photographed, the camera unit 3 is tilted downward, and the frame at the coordinate position (2, 1) is photographed. , The frame at the coordinate position (M, 1) is photographed, and then the frame at the top coordinate position (1, 2) in the second column is photographed. Hereinafter, each frame is photographed up to the frame at the coordinate position (M, N). As described above, each frame has an overlap portion of 16 pixels with other frames. Each photographed frame is subjected to processing such as compression by JPEG and storage in the main memory 30.
[0088]
As described above, when each frame is, for example, an XGA (1024 × 768 pixel) image, an image consisting of 128 frames is ignored if the overlapping portion is ignored (the horizontal direction is 1024 × 16 = 16,384 pixels and the vertical direction Is an image of about 100 million pixels of 768 × 8 = 6,144 pixels). The entire image display unit 102 described above displays a compressed image or a thumbnail image formed from this image, and the selected image display unit 103 displays, for example, one frame of an XGA image. Therefore, the selected image display unit 103 can display an image with extremely high resolution, and an unclear image can be displayed as a clear image in the selected image.
[0089]
FIG. 9 shows a range that can be captured in one frame when a 75 × telephoto lens is provided in the camera unit. When shooting a subject at a distance of 100 m from the camera unit, a range of 8.7 m in length and 1.17 m in width can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 0.87 cm x 1.17 cm can be represented by about one pixel.
[0090]
When shooting a subject at a distance of 200 m from the camera unit, a range of 1.74 m x 2.34 m can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 1.74 cm in length × 2.34 cm in width of the subject can be represented by one pixel.
[0091]
When shooting a subject at a distance of 500 m from the camera unit, a range of 4.36 m long by 5.84 m wide can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 4.36 cm long by 5.84 cm wide can be represented by one pixel.
[0092]
A data management method in the case where image data acquired with reference to FIG. 10 is stored in the archive 10, the main memory 30, etc. will be described. As described above, images of (M × N) frames are taken at a predetermined time interval, compressed, and stored. As shown in FIG. 10A, the position of each frame is defined by M rows and N columns. For example, the position address of (1, 1) specifies the uppermost frame at the right end. Each frame has this position address and time information at the time of recording as a file name. The time information is composed of year / month / day / hour / minute / second. Therefore, the file name of each frame is (year / month / day / hour / minute / second, position address).
[0093]
Furthermore, as shown in FIG. 10B, a direction file is defined corresponding to the formation of one overall image with (M × N) frames. The direction file has the same data as the file name of the frame having the position address of (1, 1) (that is, year / month / day / hour / minute / second, position address), so that a set of the (M × N) frames. Define Further, the direction file has position information and metadata for the set of frames. The position information and metadata are generated by the metadata generation unit 29. That is, the direction file has position information such as latitude / longitude, azimuth, altitude, and metadata information such as camera unit parameters (magnification, focus value, iris value, etc.).
[0094]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, the above-described embodiment is an example in which one movable range image is used, but a plurality of movable range images may be provided.
[0095]
In this embodiment, when a desired range is selected by moving the entire image display frame 101a on the movable range image display unit 101, a plurality of frames in the selected range are captured, and the entire image display unit Although it is displayed on the display 102, it is also possible to read the already recorded frame from the main memory 30 and display it on the entire image display unit 102 even when the frame is moved.
[0096]
【The invention's effect】
According to the present invention, in a pan tilter device for a camera having a wide range of motion, it is possible to easily display as an information what kind of whole image can be captured within the range of motion. In addition, camera control can be easily performed using the display. Furthermore, a desired position can be selected from the captured whole image, and a detailed selected image at that position can be displayed. Such a three-stage graphical display makes it possible to easily recognize an image at a target position.
[0097]
According to the present invention, even when it is necessary to monitor a wide area, the direction of the camera can be easily adjusted, and a necessary image can be captured without failure.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a monitoring system according to an embodiment of the present invention.
FIG. 2 is a block diagram of an embodiment of the present invention.
FIG. 3 is a schematic diagram for explaining an example of a screen display according to the embodiment of the present invention.
FIG. 4 is a schematic diagram for explaining an example of an entire image display frame in one embodiment of the present invention.
FIG. 5 is a schematic diagram illustrating an example of a select screen according to an embodiment of the present invention.
FIG. 6 is a schematic diagram for explaining an example of a stored data display screen during reproduction according to an embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining an example of a movable range image display unit in one embodiment of the present invention.
FIG. 8 is a schematic diagram for illustrating a photographing operation and an image obtaining operation in one embodiment of the present invention.
FIG. 9 is a schematic diagram for explaining a distance to a subject, a photographing range, and a resolution according to an embodiment of the present invention.
FIG. 10 is a schematic diagram for explaining a management method of captured images.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Computer, 2 ... Display, 3 ... Camera unit, 4 ... Pantilter part, 5 ... Camera part, 21 ... Controller bus, 24 ... Shooting part, 27 ... JPEG encoder / metadata adding unit, 30 ... main memory, 31 ... graphic controller, 32 ... image compression unit, 33 ... controller CPU, 101 ... movable range image display unit, 102 ..Whole image display section, 103 ... Selected image display section

Claims

An imaging unit attached to an imaging direction variable unit that varies the imaging direction;
An accumulator that accumulates image data captured by the imaging unit;
In the maximum movable range of the imaging direction variable unit, an original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is accumulated in the accumulation unit, and the accumulated original image Alternatively, an image composed of a movable range image generated by further compressing the compressed image, and a sighting superimposed for recognizing the position of the entire panoramic image that is a partial area in the movable range image. A movable range image display section to display;
The imaging direction variable unit is controlled to capture an image of a panoramic overall image range selected based on the aim in the movable range image display unit, and a plurality of still images captured in each imaging direction are captured. An original image consisting of an image or a compressed image obtained by compressing the original image is stored in the storage unit, and a panoramic whole image including an image generated by further compressing the stored original image or the compressed image is displayed. A whole image display section to
A selected image display unit for selecting a part of the entire image and displaying a selected image corresponding to the selected position;
A control unit that controls generation and display of the movable range image, the entire image, and the selected image;
The movable range image display unit, the entire image display unit, and the selected image display unit are configured in different areas of the display means,
The range selected based on the aim is selected while the range of the entire image is selected based on the aim, and until the whole image is selected based on the aim and the photographing of the whole image is started. A monitoring system, wherein image data of a whole image is read from the storage unit and displayed on the whole image display unit.

Storing in the storage unit an original image composed of a plurality of still images imaged by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image that is a partial area in the movable range image are superimposed to recognize the position. A movable range image display step for displaying an image consisting of an aim;
The imaging direction variable unit is controlled so as to capture an image of a panoramic overall image range selected based on the aiming, or an original image consisting of a plurality of still images captured in each imaging direction or the above Storing the compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the stored original image or the compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
The range selected based on the aim is selected while the range of the entire image is selected based on the aim, and until the whole image is selected based on the aim and the photographing of the whole image is started. A monitoring method, wherein image data of a whole image is read from the storage unit and displayed on the whole image display unit.

Storing in the storage unit an original image composed of a plurality of still images imaged by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image that is a partial area in the movable range image are superimposed to recognize the position. A movable range image display step for displaying an image consisting of an aim;
The imaging direction variable unit is controlled so as to capture an image of a panoramic overall image range selected based on the aiming, or an original image consisting of a plurality of still images captured in each imaging direction or the above Storing the compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the stored original image or the compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
The range selected based on the aim is selected while the range of the entire image is selected based on the aim, and until the whole image is selected based on the aim and the photographing of the whole image is started. A program for causing a computer to execute a monitoring method of reading out image data of an entire image from the storage unit and displaying the image data on the entire image display unit.

Storing in the storage unit an original image composed of a plurality of still images imaged by the imaging unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the imaging direction variable unit;
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image that is a partial area in the movable range image are superimposed to recognize the position. A movable range image display step for displaying an image consisting of an aim;
The imaging direction variable unit is controlled so as to capture an image of a panoramic overall image range selected based on the aiming, or an original image composed of a plurality of still images captured in each imaging direction or the above Storing the compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image consisting of an image generated by further compressing the stored original image or the compressed image;
A selected image display step of selecting a partial area in the entire image and displaying a selected image corresponding to the selected position;
The movable range image, the entire image, and the selected image are configured in different areas of the display area,
The range selected based on the aim is selected while the range of the entire image is selected based on the aim, and until the whole image is selected based on the aim and the photographing of the whole image is started. A computer-readable recording medium storing a program for causing a computer to execute a monitoring method of reading out image data of an entire image from the storage unit and displaying the image data on the entire image display unit.