[go: up one dir, main page]

JP2008507229A - 広角ビデオカメラのズーム機能の自動拡張 - Google Patents

広角ビデオカメラのズーム機能の自動拡張 Download PDF

Info

Publication number
JP2008507229A
JP2008507229A JP2007522071A JP2007522071A JP2008507229A JP 2008507229 A JP2008507229 A JP 2008507229A JP 2007522071 A JP2007522071 A JP 2007522071A JP 2007522071 A JP2007522071 A JP 2007522071A JP 2008507229 A JP2008507229 A JP 2008507229A
Authority
JP
Japan
Prior art keywords
camera
slave
image
master
ptz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007522071A
Other languages
English (en)
Inventor
アヒスカ,バルトゥ
デイビー,マーク,ケニス
セチン,アーメット,エニス
Original Assignee
グランドアイ,エルティーディー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グランドアイ,エルティーディー filed Critical グランドアイ,エルティーディー
Publication of JP2008507229A publication Critical patent/JP2008507229A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00Systems for signalling characterised solely by the form of transmission of the signal
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19626Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19689Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

多数のカメラの配置からの画像を用いることで、広角ビデオカメラのズーム機能を自動的に拡張するためのシステムである。ある好適な実施形態は、広角ビデオカメラからの画像を用いてこれを実現し、その広角ビデオカメラは解析されることによって、対象範囲(RoI)を特定することができる。その後パンチルトズーム(PTZ)制御が送信されることによって、スレーブカメラがRoIへと向けられる。そして処理回路が用いられることによって、広角画像からのRoIがスレーブカメラの一つからの高解像度画像に置き換えられる。加えて、動作検知ソフトウェアが利用されることによって、動いている対象を自動的に検知、追跡及び/又は拡大することができる。

Description

他の出願の相互参照
本出願は、本開示中に文献援用されている2004年7月19日出願の米国特許仮出願第60/589,104号に基づく優先権を主張する。
発明の背景及び概要
発明の分野
本発明はビデオ監視システムに関連し、特に、広角ビデオカメラのズーム機能の自動拡張に関する。
背景
リアルタイムのビデオ監視システムは、防犯監視装置として普及してきている。新しい種類のカメラは、機械式のパンチルトズーム(PTZ)機能を広角光学システム及び画像処理に置き換えている。これは、本開示中で文献援用されている「ビデオ監視用複数視野同時表示の方法(Method of Simultaneously Displaying Multiple Views for Wide-AngleVideo Camera)」という米国特許出願第10/837,019号で論じられている。この種類のカメラは、本願において文献援用されている「広角ビデオカメラにおける複数視野の処理(Multiple View Processing in Wide-Angle Video Camera)」という米国特許出願第10/837,325号で更に論じられている。この種類のカメラは広い視野を監視し、そこから基地局へ伝達すべき範囲を選別する。このようにして、この種類のカメラは機械式PTZカメラの動作を模倣する。広角光学系は撮影された画像に歪みを生じてしまい、アルゴリズム処理を用いることで歪みを補正し、その画像を機械式PTZカメラと同様の見え方の画像へと変換する。
本開示中で文献援用されているヤウズ・アヒスカ(YavuzAhiska)の「広角ビデオカメラによる複数対象処理(MultipleObjective Processing in Wide-Angle Video Camera)」という米国特許出願第10/837,326号は、広角カメラによって撮影された歪んだ画像を補正する方法を説明している。この歪み補正処理を用いたとしても、このカメラは、対象となる領域を拡大する僅かな性能を有するのみである。カメラは以下の特許出願で説明されるようにプログラム可能な物であることも可能である。その特許出願とは、内蔵されたプログラム可能なマイクロプロセッサを有する「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号である。
ビデオカメラの視野とその画像の有効な解像度との間には競合が存在する。広角レンズは重要な光学ズームをほとんど実施できない。また同様に、高性能なズームを有するビデオカメラは(特に倍率が上がっている時に)狭い視野を有する。
広角の範囲を監視すると共に高解像度で範囲を撮影することができる解決策は、異なる場所で多数のカメラを利用することである。本開示中で文献援用されている米国特許第6,724,421号及び、エックス・チョウ(X.Zhou)らの「遠距離における人のバイオメトリックイメージを得るためのマスタ/スレーブシステム(A Master-Slave System to Acquire Biometric Imagery of Humans atDistance)」という公開文書は、これも本願において文献援用されているが、広角範囲を多数のカメラを使用することで広角の範囲を監視するシステムを説明している。これらのシステムにおいては、一つの独立した基地局ユニットが現場を監視する二台のカメラを制御する。その上、これらのシステムはマスタカメラのズーム機能を拡張しようとしない。
本開示中で文献援用されている米国特許第6,147,709号には、高解像度の画像をカメラによって撮影された半球状の双方向性(interactive)画像上に重ね合わせる方法及び装置が記載されている。重ね合わせは、高解像度画像と補正された俯瞰画像との間で少なくとも3箇所を一致させることによってなされる。この処理の主な欠点は、補正された俯瞰範囲において比較がなされることである。
ビデオ中で動いている範囲及びそれらの周囲は対象範囲(Regions of Interest)(RoI)を形成し、動いている範囲には、人又は動いている物及び、既に動いていないであろうが追跡された対象が相当する。その理由は、人、動いている対象及び/又は追跡される対象などは防犯監視装置にとって重要だからである。危険な事態に対してリアルタイムの警報を発するために、RoIは詳細な見分のために追跡され、拡大されるべきである。従来式の監視カメラ(CCTV)システムは、後の解析のために録画ビデオを撮影するのみであり、遅滞無く自動警報及びイベントトリガ(event trigger)を発することはない。
広視野カメラであって、広角の現場を監視することができ、一方で同時及び自動に高倍率で対象範囲を撮影することもできるカメラは監視システムにとって非常に望まれている。例えば、高解像度画像は犯人の違法行為を確実に特定する場合に効果があるか、放置されたスーツケースの周囲を分析するのに役立つであろう。それ故に、監視装置において、人の高解像度画像を得ることは非常に重要である。
広角の監視は多くのCCTV装置にとって必要である。ドーム状カメラ及び魚眼若しくは周辺レンズ(peripherallenses)を有するカメラのようなカメラは、広角のビデオを撮影することができる。広角監視カメラ及びシステムの主な欠点は、RoIへのズーム機能を有さないか、そのズーム機能が脆弱なことである。
そのシステムは、機械が読み取り可能な媒体を含むコンピュータプログラムを有することができる。それはコンピュータが実施可能なプログラムの命令を含んでおり、プログラム可能なカメラ装置において動く対象を検知し、対象を追跡するアルゴリズムを十分に実行するためのものである。これは、本開示中で文献援用されているセチンとアヒスカ(A. E. Cetin and Y. Ahiska)の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡(Tracking Moving Object in Video Using Wavelet Domain Information)」という米国特許出願第10/924,279号に記載されている。広視野カメラの自動的な動いている対象の検知及び対象追跡機能はRoIを規定することができ、RoIは、問題となる対象を捉えているカメラによって監視された広角の現場中にある。このRoIは多くの防犯装置にとって対象であろうから、その範囲はマスタカメラの電子式PTZ機能によって追跡することができる。
現在、広い範囲を監視することと、同時及び自動に高解像度で対象範囲の撮影とが両方できるシステムに対する要請がある。
米国特許仮出願第60/589,104号明細書 米国特許出願第10/837,019号明細書 米国特許出願第10/837,325号明細書 米国特許出願第10/837,326号明細書 米国特許第6,724,421号明細書 米国特許第6,147,709号明細書 米国特許出願第10/924,279号明細書 米国特許第6,509,926号明細書 米国特許出願第10/837,012号明細書 米国特許出願第11/178,232号明細書 A Master-SlaveSystem to Acquire Biometric Imagery of Humans at Distance、X. Zhou、R. Collins、T. Kanade、P. Metes、ACM International Workshop on Video Surveillance、 November 2003 Fundamentals of Digital Image Processing、Anil Jain、Prentice-Hall、NJ、1988 A System forVideo Surveillance and Monitoring、R. Collins、Lipton、Kanade、in Proc. American Nuclear Society (ANS) Eighth International TopicalMeeting on Robotics and Remote Systems、Pittsburgh、PA、April、25-29、1999
広角ビデオカメラの自動的なズーム機能の拡張
本発明は、広角の範囲を監視しつつ、より詳細に範囲を撮影することができる性能を実現する新しいアプローチを含む。
ある実施形態においては、ドーム状カメラ若しくは魚眼又は周辺レンズを有するカメラのような広角のマスタカメラであって、好ましくはほぼ拡大機能のないカメラは、画像を撮影するため及び自動でRoIを特定するために用いられる。それは例えば、動作検知及び/又は対象の追跡である。この実施形態においては、好ましくはマスタカメラと比べてより高度なズーム機能を有する少なくとも一つの他のカメラが、特定されたRoIを拡大するために用いられるであろう。マスタカメラ以外のカメラからの画像は、いくつかの目的のために用いられるであろう。それは、限定するのではないが、マスタカメラへと入力する又は基地局へと出力することを含む。
他の実施形態においては、制御回路が一つ以上のスレーブカメラへとPTZ制御を送信し、それはマスタカメラによって撮影された広角画像に少なくとも部分的に基づいて行われる。他の実施形態においても、これらの制御指令が用いられることによって、スレーブカメラをRoIに向ける、及び/又はスレーブカメラをRoIについて拡大させることができるであろう。
他の種類の実施形態においては、スレーブカメラの出力画像がマスタカメラによって撮影された画像と比較され、少なくとも部分的に比較に基づいてPTZ制御が一つ以上のスレーブカメラへと送信される。スレーブカメラからの出力画像は、その後いくつかの目的のために用いられるであろう。その目的には、限定するのではないが、その画像をマスタカメラからのRoIと比較すること、それらを基地局へと送信すること、又はそれらを他の画像に重ね合わせることを含む。
この実施形態の実施例においては、スレーブカメラがPTZ制御に従って移動した後に、スレーブカメラからの出力画像がマスタカメラからの画像と比較されることで、新しい一連のPTZ制御が作成される。この処理は、スレーブカメラからの出力画像をマスタカメラからの出力画像中に特定されたRoIと整合する必要は無いものの、整合することができる。この処理は、反復プロセスでなくても良いが、反復プロセスにすることができる。反復プロセスは繰り返されることによって、いかなる水準の所望される整合の精度をもなし得ることができる。この同期化を実行するための方法はたくさんあり、限定するのではないが、画像を整合するための画像処理技術、較正処理又はスレーブカメラからのフィードバックの位置解析を含む。
他の実施形態においては、スレーブカメラからの画像が、いくつか又は全てのマスタカメラからの画像に置換、補正、挿入又は整合するために用いられるであろう。合成画像はいくつかの目的のために用いられる事が可能であり、限定するのではないが、それらを記録し、それらを基地局へと送信し、及び/又はPTZ制御を作成するためにそれらを用いることを含む。
他の実施形態においては、好ましくは異なる範囲を監視するいくつかのスレーブカメラを用いることができ、マスタカメラの補正済み俯瞰画像は、これらのスレーブカメラの少なくとも一つの調整された画像に少なくとも部分的に基づいて変更されるであろう。
別の実施形態においては、動作検知ソフトソフトウェアが、RoIをビデオ中の動いている範囲として規定するために利用することができる。それは限定するのではないが、ビデオ中における人、動いている対象、もはや動いていないであろう追跡した対象、及び/又はそれらの近接物に相当する。
本発明のこれら及び他の実施形態は、以下により詳細に説明される。
開示される発明は、添付の図面を参照することによって説明されるであろう。図面は、発明の重要な実施形態を示し、参照によってここの明細書に導入されている。
好適な実施形態の詳細な説明
本出願の多数の革新的な教示が、(限定ではなく、例として)現時点における好適な実施形態を特に参照して説明されるであろう。
本革新の以前においては、利用可能なシステムはズーム機能のみに限られていたが、マスタカメラから制御されるスレーブPTZカメラを用いて電子ズーム機能を拡大することによって、RoIの高解像度画像を得ることができる。
米国特許第6,147,709号と異なり、以下で開示される比較を行う方法及びシステムは、補正済み俯瞰範囲とは対照的に、マスタカメラの広角の歪んだ範囲内においてそうすることによって、スレーブPTZビデオカメラを制御するためのPTZコマンドを発する。これは反復プロセスにすることができ、十分な手順を経ることで所望される整合の精度を達成できる。
制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの画像の整合を行うマスタカメラ内にあり、マスタカメラがスレーブカメラから必要な範囲の詳細な画像を得ることを可能にする。この同期化、すなわち画像を整合するために画像処理技術を用いること及び/又は較正処理によって実施される多数の方法がある。スレーブカメラからの位置のフィードバックは、正確な画像整合のための情報の有用な要素にもなるであろう。本開示中に文献援用されている、「カメラ監視システム用監視装置(Surveillance Apparatus for Camera Surveillance System)」という米国特許第6,509,926号は、カメラ及びレンズのアジマス角及び仰角を設定するためのシステムを考察している。歪んだ範囲においてこの処理を実施することによって、質に関して何も損なうことなく比較を行うことができる。画像又はベクトルx及びyの比較は、多くの異なる方法によって実施されるであろう。最も良く知られている方法は、ユークリッド距離(Euclidian distance)||x-y||であるが、gがゆがみを表す適当な関数である||g(x)-g(y)||も用いることが可能である。
好適な実施形態においては、マスタの広角カメラがスレーブPTZカメラへとPTZ制御信号を送る機能を有しており、自動的にRoIを拡大することができる。それは、現在の広い視野の画像に動作検知及び/又は対象追跡アルゴリズムを施すことによってなされる。ある実施形態においては、スレーブが指定の角度に動くようにコマンドを受けることは、それが通常の広範囲PTZインターフェースではない場合、PTZ制御として説明されるであろう。マスタカメラ中の制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの間で画像整合を実施できる。ある好適な実施形態は画像処理技術を用いることによって、マスタとスレーブカメラの画像を整合することができ、RoIの詳細な画像を得ることができる。
ある種の実施形態においては、マスタ及びスレーブカメラは較正され、PTZ制御がこれらの較正に少なくとも部分的に基づいてスレーブカメラへと送信されるであろう。マスタ及びスレーブカメラ間の較正が不十分である場合のみ、画像の記録又は整合が、その現場の補正済み画像を用いるか、マスタカメラによって撮影された未処理の広角画像を用いることによって行われる。
以下は、マスタ及びスレーブカメラ間の較正処理のある実施可能な例である。それは切り替えモードを有し、マスタカメラの出力がスレーブカメラの出力へと切り替えられ、切り替えは事前に決められた拡大位置に基づくであろう。その後スレーブカメラの位置はマスタカメラの選択した画像と共に並べられ、スレーブ追跡が用いられている場合は、スレーブカメラは動作追跡によって追跡されている対象を追うために用いられるであろう。マスタカメラの広角画像はより狭い範囲へと分割され、画像処理をすることによって、これらの範囲は拡大されることができる。これらの小さな画像を追跡することによって、マスタカメラはバーチャルカメラ又はVCAMとして機能する。上述したように、VCAM中で拡大された画像は端が平坦になっており、細部がぼけている。スレーブカメラの画像は、大半の監視装置において要求される細部の水準に達する必要がある。
手動モード
ヘッドA(Head A)のビデオ(ある好適な実施形態においては、これはマスタカメラからの出力画像を指す)は、エンターキーを押すことでスレーブカメラのビデオ出力へと切り替わる。一度切り替わると、スレーブカメラのキーボードによる制御が利用できるようになる。その後スレーブカメラは手動で較正されることによって、マスタカメラと同じ対象に向くことができる。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。別の実施形態においては、マスタカメラからの二つのアナログ出力があり、それぞれヘッド(Head)と呼ばれるであろう。モニタはヘッドからの出力を表示することができる。マスタカメラの後部にA及びBと標識されたBNCコネクタがあるために、モニタはヘッドA又はヘッドBへと接続することができる。
ズーム切り替えモード
ヘッドA上のいずれかのVCAMを制御している間に、視野が25°を超える時は、ビデオがスレーブカメラに切り替わり、スレーブカメラはマスタカメラのVCAMと同じ位置に動かされる。オプションが事前配置用に提供される。このオプションがオンになる場合、スレーブカメラは30倍のズームレベルにおいてマスタカメラのVCAMの位置へと動くであろう。また、ズームレベルが、ビデオがスレーブカメラへと切り替わる地点である25倍に達するまで再配置される。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。
スレーブの追跡モード
動作追跡が開始される時は、ヘッドAがスレーブカメラへと切り替わり、スレーブカメラが追跡されている動作レクタングル(motion rectangle)の位置へと動き、動作レクタングルが動いた時に更新される。動作レクタングルが動くことを止める又は動きが遅くなる場合に、スレーブカメラは拡大し、動作レクタングルが再び早く動く場合には、再度ズームアウトするであろう。使用者がジョイスティックを動かす場合には、スレーブカメラの制御はそれに担われるであろう。5秒間キーボードから操作がない後に、カメラがまだ追跡している場合、それはスレーブカメラを動作レクタングルの追跡へと戻すであろう。追跡が終了すると、制御及びビデオはマスタカメラへと戻されるであろう。
設計
3つの付加的なクラスが、マスタ/スレーブの特徴である、スレーブ較正、スレーブマネジャ及びシリアル出力を実行するために必要であった。ここで説明されるコードはadome.ini内のabspos設定によって可能になる。
スレーブ較正
このクラスは、マスタカメラをスレーブカメラと較正すること及びマスタカメラの球座標とスレーブカメラの球座標の間を平行移動させることに関与する。
較正フェーズは、スレーブカメラを基準点に配置することによって進行する。その後、そのビデオ出力はヘッドA上に表示され、一方でVCAMが同じ基準点(しかし、マスタカメラの座標システム内でもある)に配置される。そして使用者はマスタカメラのVCAMの配置の制御を行い、VCAMを調整する事によってスレーブカメラからの画像を整合すべきである。一度整合されれば、使用者がエンターを押すとVCAMの現在位置が読み取られるであろう。パンしている状態での基準点とVCAMの新しい位置との間の違いが、平行移動機能によって後の用途のために保存される。較正フェーズのために、スレーブ較正クラスはメニュークラスと協調し、もし必要であれば、メニュークラスを変更することなく一つ以上の基準点を用いることが可能である(スレーブ較正クラスの既定較正作成(GenerateCalibrationPresets)機能を参照)。
スレーブ較正クラスの第二の関与は、スレーブマネジャクラスのためにマスタカメラの座標をスレーブカメラの座標へと平行移動することである。これはスレーブ座標への平行移動(TranslateToSlaveCoordinates)機能中で、画像化される点が5メートル離れた距離であることを最初に仮定することによって実行される。その後球座標は、デカルト座標(Cartesian coordinate)へと移される。較正フェーズ中に測定されたパンにおける違いによるz軸についての回転が、その後になされる。そして、x及びz座標の平行移動がなされる。この平行移動は、二つのカメラ間の(それらの高さの違いも含めた)物理的な距離に起因する。キットを取り付けることによって、二台のカメラ間の距離がx軸に関して一定であることが保証されるであろう。スレーブカメラの高さが互いに異なっているであろうために、z軸の平行移動は接続されているスレーブカメラに依存する。最後の段階は、平行移動され、回転されたデカルト座標を球座標へと逆変換することである。
スレーブマネジャ
スレーブマネジャクラスは、スレーブカメラへと切り替える時にズームのレベルを確認すること、ビデオをスレーブカメラへと切り替えること、スレーブカメラを位置決めすること及びキーボードからの操作が無いタイムアウトに対応することに関与する。
スレーブ処理モード(ProcessSlaveMode)機能はフレーム毎に一度呼び出される。ズーム切り替えが可能であれば、それはヘッドA上の稼動しているVCAMのズームレベルを確認するであろうし、それが25未満であれば、(以下で説明する)スレーブ設定モード(SetSlaveMode)機能を呼び出すことによって、それはスレーブカメラへと切り替わり、それを配置するであろう。再配置が可能であれば、それはスレーブカメラも配置するであろう。しかし、ズームレベルが30から25の間である時は、それへと切り替わらないであろう。この事は、(以下で説明される)最近規定位置へのスレーブの切り替え(SwitchSlaveToNearestPreset)機能を呼び出すことによって実行される。タイマはそのクラスによって管理されることで、スレーブモード及びスレーブ追跡モードからのタイムアウトに対応する。このタイマは、この機能及びタイムアウト後に入った適切なモード中に確認される。タイマはスレーブ移動(SlaveMoved)機能を呼び出すことによってリセットされる。(この事は、以下で説明されるシリアル出力(serialOut)及びシリアルによって実行される。)
スレーブ設定モード機能は、ビデオをスレーブカメラへと切り替え、それを位置決めする。スレーブカメラビデオへの切り替えは、i2cの書き込みによってCPLDを制御するレジスタのビットを設定することによって実行される。位置決めは、稼動しているVCAMの現在位置を読み取り、スレーブ較正クラスのスレーブ座標への平行移動機能を呼び出すことによって座標を平行移動し、(以下で説明されるように)シリアル出力クラス用の出力列へとそれを移すことによって対応することによって実行される。
最近規定位置へのスレーブの切り替え機能は、マスタカメラの球座標を取り、スレーブ較正クラスのスレーブ座標への平行移動機能を用いて、(以下で説明されるように)シリアル出力クラス用の出力キューへとそれを移すことによって処理する。これは、事前配置及び、(以下で説明される)スレーブ追跡のための動作追跡(MotionTracker)クラスによって用いられる。
シリアル出力
シリアル出力クラスは、RS485によってスレーブカメラへとコマンドを送信することに関与する。シリアル出力クラスは分離スレッドを走らせ、分離スレッドは、コマンドがキューに加えられるまで出力キューを妨げる。キューにコマンドが加えられると、それは適した送信機能をシリアルクラス上に呼び出す。
上述の新しいクラスに加えて、いくつかの変更が現存するクラスに加えられる。キーの変更が以下に説明される。
シリアル
シリアルクラスはキーボード入力を処理し、パススルーモードの追加を有する。パススルーモードは、スレーブモード、スレーブ追跡モード又はスレーブ較正モードである時に可能である。パススルーモードにおいては、全ての受信したコマンドが第二シリアルポート(スレーブドームに連結されているポート)から送信される。エスケープキーはこのモードである間はシリアルクラスによって記憶され、スレーブモードは、それが(スレーブマネジャのスレーブ設定モード機能を呼び出すことによって)受信された時には、使用不能である。このモード中は、スレーブマネジャのスレーブ移動機能が、コマンドがキーボードから及びそれを通って受信されるたびに呼び出される。この事は、そのタイマをリセットすることによってスレーブマネジャがモードのタイムアウトになるのを防止する。
動作追跡
動作追跡クラスは、動作追跡を処理しており、スレーブ設定ポス(SetSlavePos)という付加機能を有する。スレーブ設定ポスは、動作追跡が追跡VCAMカメラを動かし、スレーブ追跡が可能である時に呼び出される。
スレーブ設定ポス機能は、未処理の動作レクタングルとズームレベルを行い、ズームレベルは、動作検知と追跡VCAM用に用いられる追跡アルゴリズムとによって決められる。その後、それがスレーブカメラを位置決めすることを試みるために、それは動作レクタングルの上部中央に集まる。(これは人の頭部を狙おうと試みる高度な単純照準システムである。)スレーブのために決められた位置が、スレーブカメラの現在位置を避けて決められた閾値より小さければ、スレーブカメラはそれがある位置に取り残される。これは、スレーブカメラによってなされる小さな移動の回数を減少させるためである。スレーブカメラが移動する時に、それは本当に突然停止してしまうため、わずかな振動効果は、アルゴリズムが大きな移動をたくさんの小さな移動より好むことによって、この効果の衝撃を減少することができることが認識されるであろう。
動作レクタングルがゆっくり動いているか、停止している場合、アルゴリズムがスレーブカメラをVCAMの動作追跡アルゴリズムから算出された拡大率より更に拡大させる。これはm-距離移動(m_DistanceMoved)変数を算出することによって実行される。この変数は、追跡が開始した時に100になるように設定されている。トラッキング中は、その値が現在の値の80%と距離の20%をとることで再計算され、その距離はスレーブドームが、それが最後に動いた時からの動いた(直線距離による)距離である。この値が3未満に下がった時、拡大率はスレーブカメラが位置決めされる前に大きくなる。値が3以上である場合は、拡大率はVCAMの動作追跡アルゴリズムによって算出された倍率になる。上記の実施形態は例示に過ぎず、本発明が実施できる多くの可能な方法を制限することを意図しない。
ある実施形態においては、画像が同じ範囲、例えば歪んだ又は補正された範囲において比較される。広角の画像範囲で比較を行うために、スレーブカメラの画像は歪んだ画像へと逆変換され、それはマスタカメラの未処理の広角画像の一部と類似する。その後画像は比較され、ある実施形態においては、制御がこの比較の結果に少なくとも部分的に基づいて送信されるであろう。マスタカメラが画像整合の結果に対応するPTZ制御信号を調整できるために、RoIはスレーブカメラの画像範囲の中央に位置する。
画像整合が反復して実行されることによって、RoIとスレーブカメラ又はカメラの視野との間の画像整合の精度が向上されるであろう。この画像整合は多様な方法で実施できる。これらの方法のいくつかは、1988年にニュージャージー州プレンティスホール(Prentice-Hall)のアニル・ジェーン(AnilJain)によって書かれた「デジタル画像処理の基礎(Fundamentalsof Digital Image Processing)」という公開文書中で説明されている。この実施形態のある実施例においては、マスタカメラが付加的なPTZ制御信号を送信することによって、いかなる水準の所望する整合の精度も実現できる。
二つの画像が整合又は記録されると、マスタカメラの補正済み俯瞰画像がスレーブカメラからの修正された画像と置換されることによって、マスタカメラ単独のズーム機能で可能であろう画像よりも、RoIの高解像度の画像を得ることができる。光学ズーム機能を有するスレーブPTZカメラは、広角マスタカメラから得られるRoIの補正済み画像と比較して、より鮮明なRoIの画像を作成する。これはいくつかの広角カメラが数値補間を実施することによって、ある範囲へと拡大することに起因する。それによって、RoI中の対象の輪郭は滑らかになるであろう。この実施形態においては、マスタカメラからの画像をスレーブカメラから得られたより鮮明な画像と置き換えることが、マスタカメラの拡大機能を拡張する。
好適な実施形態の実施例が図1から9に示されている。発明のある実施形態が図3、4及び5に示され、それらはプロムラム可能な内蔵マイクロプロセッサ及び回路を有している。好適な実施形態が全ての必要な画像処理操作を行う機能を有することによって、拡張された光学ズームを実現できる。
図1は、広角マスタカメラの好適な実施形態を含むシステム用の好適なレイアウトを示す。画像センサ102と連結している広角光学システム101は画像を撮影し、それは補正のために画像処理回路103に送信されるであろう。ある実施形態においては、補正は画像の歪みであり、レンズによって生じた歪みを修正する。本開示中に文献援用されている、「画像処理による光学歪みの補正(Correction of Optical Distortion by Image Processing)」という米国特許出願第10/837,012号に開示されるように、歪みは恣意的な複合体(arbitrarily complex)であろう。歪みは、必要な歪みを規定するテーブルを用いることによって補正される。画像処理回路103はメモリを有しており、いくつかの方法で行うことができる。それは広帯域バスと連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させる。デジタルセンサのデータは、回路が十分に高速で稼動している場合は、画像処理回路103へバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知102の性質及び画像処理103は、制御回路104によって制御されるであろう。出力回路105は、ビデオ信号を基地局へと送信するのに用いられるであろう。
マスタカメラの画像処理回路103は、スレーブPTZカメラからのデジタルビデオを他の入力として取り込むことができる。スレーブカメラからの画像は、より高度な光学ズームによる画像が、改善された細部に対して望まれる時に用いることができる。スレーブからの画像が必要か否かの決定は、マスタカメラ104内にある制御回路によってなされ、それは内蔵したソフトウェアプログラム及び基地局からの制御に基づいて実行されるであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ104中の、制御回路を介して制御される。
ある実施形態においては、制御回路104がマスタの広角ビデオカメラとスレーブPTZカメラとの間の必要とされるいかなる画像整合をも行う。PTZ制御がスレーブカメラへとマスタカメラ中の制御回路から伝達されることで、最初の近似の整合がなされる。この近似は、例えばスレーブカメラ中のPTZプリセットであろう。スレーブカメラからの任意の位置フィードバック信号があり、それがPTZカメラを希望する場所へと位置決めする時に制御回路を補助する。
好適な実施形態においては、この整合が、画像を整合するために画像処理技術を用いて補助されるであろう。広角の画像範囲中で画像を比較するために、スレーブPTZカメラのデジタルビデオ出力が、画像処理回路103において歪んだスレーブ画像へと逆変換されるであろう。歪んだスレーブ画像は、マスタカメラの未処理の広角画像の一部に似ている。逆変換はスレーブカメラからの長方形の画像を取り込み、それを歪んだ広角画像の中に曲がった辺を有するより複雑な形状へと変換するであろう。
ある実施形態においては、逆変換は画像処理回路103の二つのステージで起こると考えられる。スレーブカメラのパン、チルト及びズームについての知識を得れば、最初のステージは(x,y)座標をスレーブ画像においてワールド座標(θ,φ)へと変換する。これは、マスタカメラ内の補正済み画像を作成するために用いられる変換の逆である。拡大率からの位置フィードバックが利用できない場合、マスタ及びスレーブ画像間の移行は常に同じ倍率で実行されることが保証されるであろう。ワールド座標が算出されれば、第二ステージは、ワールド座標から歪んだ画像への参照テーブルを用いた投影を含む。この第二のステージの投影は、個々のピクセル、スレーブ画像をモザイク状にする三角形又はスレーブ画像をタイル張りにする他のあらゆる形状に適用されるであろう。
ある実施形態においては、スレーブカメラの画像を補正するのに必要とされるPTZ制御調整が、二つの画像の色及びウェーブレットのヒストグラムを比較することによって決定されるであろう。対応する画像の平行移動ベクトルは補正済み俯瞰範囲へと変換され、PTZ調整コマンドを形成するために用いられるであろう。この平行移動のベクトルの比率のみを用いることは、所望する状態へのスレーブカメラの収束を最大にするであろう。これらPTZ調整制御信号はスレーブカメラへと伝達されることで、スレーブカメラからの画像とマスタカメラからの前記RoI用の補正済み俯瞰画像との間のより良い整合を得ることができる。画像整合及びPTZ制御送信処理が反復して実行されることによって、所望される整合の精度を実現できる。精度は平均平方誤差、平均絶対差及びヒストグラム比較又は他の平均値によって決定されるであろう。
マスタ及びスレーブカメラは実際には異なる色の設定を有するであろう。登録する前に、それらの色のヒストグラムが均等化されることによって、それらは同じダイナミックレンジ(dynamic range)、明度及び露出レベルを有し、起こり得る色の相殺もヒストグラムの均等化によって除去される。それは広く用いられる画像処理技術である(例えば、本開示中に文献援用されている1998年にニュージャージー州プレンティスホールのアニル・ジェーンによって書かれた「デジタル画像処理の基礎」という教科書を参照)。
マスタカメラはプライバシ領域を補助する機能を有することができ、それは出力された画像から使用者に決められた領域を不明瞭にする。この機能は、本開示中に文献援用されている「広角ビデオカメラにおける領域の画像処理(Image Processing of Regions in a Wide Angle Video Camera)」という名前の米国特許出願第11/178,232号(代理人整理番号GRND-02)に記載されている。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが整合されることによって、マスタカメラ中に規定されたプライバシ領域の形状を示すマスクが、スレーブの画像の適切な領域を空白にするよう適用されるであろう。ある実施形態においては、これは画像処理回路103中で実施される。
ある種の好適な実施形態においては、二つの画像が整合又は記録されると、制御回路104が所望される画像を指示し、その画像は画像処理回路103で構成されるであろう。より高度な拡大が必要である場合、対応する補正済み俯瞰画像が適切に整合されたスレーブの画像によって置き換えられるであろう。この実施形態の実施例の意図することは、マスタ画像とスレーブ画像との間で可能な限り継ぎ目が無いように移行することによって、連続的な拡大機能の質を向上させることである。画像処理回路からの出力は、広角画像、スレーブカメラの画像、又はいくつかのこれらを含む多数の画像のコラージュからの補正済み俯瞰画像を多く含む。
デジタル出力は好ましく受け渡されることによって、監視のために基地局へとデジタル処理で出力される前に、出力回路105で必要に応じてフォーマット及び圧縮される。例えば、多数のMPEG4ストリームが可能である。図1の実施形態を説明するこのプロセスは、図8にフローチャートを用いて図示されている。歪んだ広角ビデオ画像は、広角マスタカメラを用いて撮影される(手順802)。その後、マスタカメラ中のRoIが規定される(手順804)。そして算出されたPTZコマンドがマスタカメラからスレーブカメラへと伝達されることで、RoIと整合した近似画像が得られる(手順806)。スレーブカメラの出力は、その後マスタカメラによって逆変換される(手順808)。そして歪んだスレーブ画像が歪んだ広角画像と比較されることで、スレーブカメラへの調整PTZ制御信号が決定及び伝達され(手順810)、それによって所望される整合の精度が満たされているか否かを決定することができる(手順812)。所望される整合の精度が満たされている場合、その後に処理は手順814へと続く。所望される整合の精度が満たされていない場合は、その後に処理は手順806へとループして戻る。所望される整合の精度が満たされれば、マスタカメラの補正済み俯瞰画像は、調整されたスレーブカメラの画像と置き換わることによって、拡張されたズーム機能を実現できる(手順814)。
方法及びシステムは、いくつかのスレーブカメラを有することができる。そのような方法及びシステムは、それぞれの動いている対象を異なるスレーブカメラに割り当てることによって、同時にいくつかの動いている領域を追跡することができ、スレーブカメラは動いているブロブ(moving blob)のより鮮明な画像を映し出す。この場合においては、マスタカメラの補正済み俯瞰画像は、動いているブロブを追跡しているスレーブカメラの調整された画像によって置き換えられるであろう。実施形態は図1Bに示されており、マスタカメラが光学ズーム機能を有した二つのスレーブカメラを制御する。
本発明の他の変形形態は、マスタカメラからの出力にアナログビデオを用いるであろう。デジタルからアナログのビデオ及びフォーマットへの変換は、出力回路105で行われるであろう。別の可能な実施形態は、二つのアナログ複合ビデオの出力チャネルから成る。
他の実施形態はアナログのスレーブカメラを用いるであろう。このカメラによって作成されたアナログビデオは、図2に示されるようなアナログ/デジタル変換機(analog-to-digital converter)(ADC)を用いてデジタルビデオへと変換されるであろう。出力回路205は、マスタカメラからのデジタルビデオ出力に必要なフォーマット及び圧縮を行うであろう。図1について述べたように、図2の変形形態はマスタカメラからのアナログビデオ出力を有するシステムを含む。デジタルからアナログのビデオ及びフォーマットへの変換は出力回路205で行われるであろう。
システムのアナログ切り替え版(analog-switchingversion)を伴う他の実施形態が図3に示されている。この実施形態においては、スレーブPTZカメラからのビデオはアナログである。画像センサ302に連結されている光学システム301が画像を撮影するために用いられ、その後にその画像は補正のために画像処理回路303へと移されるであろう。上記の実施形態において述べたように、補正は画像の歪みであり、それはレンズによって生じた歪みを補完するであろう。画像処理回路303はメモリを有することが可能であり、高帯域バスに連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させている。デジタルセンサのデータは、回路が十分に高速で稼動している場合、画像処理回路303へとバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知302の性質及び画像処理303は、制御回路304によって制御されるであろう。
ある好適な実施形態においては、スレーブからの画像が必要か否かの決定が、マスタカメラ304内にある制御回路によってなされ、制御回路は、内蔵したソフトウェアプログラム及び/又は基地局からの制御に基づいて実行するであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ304中の制御回路を介して制御される。使用者にとって、多数のカメラが用いられていることを気付かないことは望ましいであろう。
ある実施形態においては、必要な場合には、制御回路304がマスタの広角ビデオカメラとスレーブPTZカメラ間の近似の画像整合を実行するであろう。PTZ制御はマスタカメラ中の制御回路からスレーブカメラへと伝達されることによって、近似の整合が実現できる。ある好適な実施形態においては、この近似にはスレーブカメラ中のPTZプリセットを用いる。別の実施形態はスレーブカメラを利用し、それは命令されることによっていかなるPTZの状態へも変化できる。他の代替実施形態はスレーブカメラを使用し、PTZコマンドが出された時に、カメラの位置出力が予測され整合性がとられる。ある実施形態の実施例においては、スレーブカメラが土台を有し、それはステッピングモータを用いて制御されており、時折既知の位置へと較正される。他の実施形態は較正技術を利用しており、使用者が有限の数の位置を較正することによって、両方のカメラが同じ較正対象を映し出す。スレーブカメラはその後、位置のフィードバック信号を発し、その値がテーブル中のマスタカメラ画像の擬似PTZ座標に応じてメモリに記録される。線形補完が用いられることで、これらの較正された点の間の中間位置が決定できる。スレーブPTZカメラ画像は、こうして所望されるRoIとの近似整合における位置へと送られる。これらのアナログの解決法においては、スレーブカメラに限界の拡大率を超える前に動くよう命令することが可能である。この先取りは、機械式スレーブPTZカメラの伝達時間による遅延を減少させることができる。
画像処理回路303からの出力は、アナログ変換及びフォーマット回路305へと受け渡され、回路305はデジタルデータからアナログ出力を作成することができる。アナログ変換及びフォーマット回路305及びスレーブPTZカメラからの出力は、ビデオ切り替え及び出力回路306へと伝達されるであろう。この回路は制御回路304によって制御されることができ、制御回路はどのビデオストリームが適切な出力チャネル上に出力されるべきかを決定する。ビデオ切り替え回路からの出力は、一つ以上のアナログビデオチャネルであろう。
マスタカメラはプライバシ領域を補助する機能を有しており、それは出力された物から使用者が決めた範囲を不明瞭にする。この機能は、「広角ビデオカメラの範囲の画像処理(Image Processing of Regions in a Wide Angle Video Camera)」という米国特許出願第11/178,232号(代理人整理番号GRND-02)に記載されている。マスタカメラ中の規定されたプライバシ領域の形状を示すマスクは、画像処理回路303で作成されるであろう。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが近似的に整合されることによって、このマスクは、ビデオ切り替え及び出力回路306を用いてスレーブの画像の適切な近似領域を空白にするように適用されるであろう。別の実施形態は自身のプライバシ領域補助を有するスレーブカメラを使用し、プライバシ領域補助はマスタカメラを介して較正されるであろう。
図4は図3の実施形態の改良されたバージョンである。この実施形態においては、スレーブPTZカメラからのビデオは、アナログの代わりにデジタルである。このように、表示するためのいずれの出力かの決定は、「多重圧縮及びフォーマット回路(multiplexing, compression & formatting circuitry)」405によってデジタルの領域で行われるであろう。これは単一のビデオストリーム又は多重送信を用いたストリームの組合せのいずれかを出力するオプションを有する。カメラシステムは(例えばMPEG4のような)デジタル出力を有するであろう。マスタカメラ中に規定されたあらゆるプライバシ領域を表すマスクが、この回路405に適用されることによって、スレーブ画像中の適切な近似領域が空白化されることができる。この最後のステージを別とすると、残りのプロセスは図3に記載されるプロセスと同様の手順に従う。
別の実施形態が図5に示されており、スレーブカメラがアナログビデオ出力を有し、それはアナログ/デジタル変換機(ADC)を用いることでデジタルビデオへと変換されることができる。そうでなければ、それは図4用の説明に記載されたのと同じプロセス及びレイアウトに従う。
図6の実施形態はあるレイアウトを図示しており、そこではビデオ切り替えは起こらないであろう。スレーブPTZカメラからのビデオ出力はマスタカメラ中のいかなる回路も通る必要が無い。マスタカメラ中の制御回路604が所望される近似場所へとスレーブカメラを動かすことにまだ対応しているために、選択されたRoIを映し出すことができる。二つのカメラは別個のビデオ出力を有するであろう。スレーブPTZカメラからの出力は、アナログかデジタルのビデオのいずれかであろう。マスタカメラの画像処理回路603からのデジタル出力は、監視するために基地局へとデジタル処理によって送信される前に、出力回路605で必要に応じてフォーマット及び圧縮されるであろう。多数のMPEG4出力が可能である。この実施形態からの変形形態は、マスタカメラからのアナログビデオ出力を有するシステムである。デジタルからアナログへの変換及び画像処理回路603からのデジタルデータのフォーマットは、出力回路605において実施されるであろう。可能な実施形態は二つのアナログ複合ビデオチャネルを有する。スレーブPTZからの出力は、アナログ又はデジタルのビデオのいずれかであろう。プライバシ領域は、スレーブPTZカメラの個々の回路及び構造設定を用いることによって実行されるであろう。
マスタカメラの動作検知
好適な実施形態においては、マスタカメラでの動作検知は、周知のバックグラウンド除去法を用いることによって行われるであろう。ビデオ中でのバックグラウンドの算出を説明した多数の公開文書がある。現場のバックグラウンドは多くの方法によって算出される。現場のバックグラウンドの画像は、現場中の静止物に属するそれらピクセルとして規定されるであろう。例えば、本開示中に文献援用されている「ビデオ監視及びモニタリング用システム(A System for Video Surveillance and Monitoring)」という題のコリンズ(R. Collins)らの公開文書によると、再帰的バックグラウンド算出法は以下の方程式に基づいて提案される。

In(k,l)が静止ピクセルであれば、Bn+1(k,l)=aBn(k,l)+(l-a)In

In(k,l)が運動ピクセルであれば、Bn+1(k,l)=aBn(k,l)

In(k,l)は、マスタカメラによって撮影されたビデオのn番目の画像フレームIn中のピクセルを表し、画像Bn+1は、n+1の時刻に算出されたバックグラウンド画像であり、aは0から1の間のパラメータである。この漸化式は、過去の画像フレームの加重和を導く。一時的な物体は長時間の平均上では消滅し、現場の静止物はバックグラウンドに残る。バックグラウンド算出処理は他の手段によっても問題なく行うことができる。同様に、動作検知それ自体も、本発明の範囲内において他の方法によって行うことができる。
現在の画像の運動ピクセルは、現在の画像Inを現在のバックグラウンド画像Bnから減算することによって好ましく算出される。その後これらピクセルは、結合された構成要素の解析によって動いているブロブに結合される。結合された構成要素の解析は周知の画像処理技術である(例えば1988年にニュージャージー州プレンティスホールのアニル ジェーンによって書かれたデジタル画像処理の基礎を参照)。ビデオ中の動いているブロブは人又は動いている対象に相当し、ビデオ中でそれらの近辺の周辺物を伴うブロブは対象範囲を形成する。その理由は、現場中の人、動く対象、残された対象などは、防犯監視装置にとって重要であるからである。後の解析のために記録ビデオを撮影するのみである従来式のシステムとは違って、リアルタイムの監視は、遅滞なく警報及び事象トリガーの追加的利点を提供する。それ故そのような範囲は、詳細な見分のために追跡され、拡大されるべきである。
マスタカメラにおける追跡
動いているブロブが検知されると、それはマスタカメラによって追跡されるであろう。ある好適な実施形態は、マスタカメラにおいて追跡を行い、そのマスタカメラは、ビデオの広角画像フレームを用いたマスタカメラにおいて、セチンとアヒスカ(A. E. Cetin and Y. Ahiska)の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡(Tracking Moving Object in Video Using Wavelet Domain Information)」という米国特許出願第10/924,279号に従っている。本特許出願においては、動いているブロブが、ブロブの色及びウェーブレット領域情報から構築された一次元のヒストグラムによって特徴付けられている。ビデオの現在の画像フレーム中のブロブと以前の画像フレーム中のブロブとが、ブロブのヒストグラムを用いて相互に比較される。ヒストグラムの比較は、平均絶対差又はバッタチャリヤ係数(Bhattacharya coefficient)を用いて行われる。最も小さい平均絶対差を生じるブロブは、相互に関連している。
他の実施形態においては、追跡は対象を指し示すことによって開始されるであろう。クリックされたピクセルが動いているブロブ内にある場合、その後にこのブロブは、上述のようにビデオを形成する複数の画像フレームにおいて追跡される。クリックされたピクセルが動いているブロブの一部でない場合には、その後に範囲成長(region-growing)アルゴリズムがクリックされたピクセルの周囲で開始され、同様の性質を有するピクセルが連結されてブロブを形成する。算出された範囲の色及びウェーブレットのヒストグラムは、次の画像フレーム中の同じ範囲のヒストグラムと比較される。この範囲の色及びウェーブレットのヒストグラムが、時間がたつにつれて変化する場合、この事は対象が動き始めたことを意味する。この事は、範囲のある部分が、カメラの動作検知アルゴリズムによって決定される動いているブロブの一部であろうことも意味する。一度決定がなされれば、現在ではこの静止対象物は動いている対象物であり、その後にそれは上記のパラグラフで説明したように追跡される。
多くの監視装置においては、人又は動いている対象の高精度の画像を得ることが非常に重要である。追跡アルゴリズムは必要な情報を提供することで、動いている対象の詳細な画像を得ることができる。「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号で説明されている広角カメラは拡大機能を有する。この機能は、マスタカメラから指示を受けるスレーブPTZカメラを用いることによって拡張することができる。追跡されるブロブの塊の中央部を収めているRoIは、PTZ制御をスレーブPTZカメラへと送るのに用いられ、その結果、スレーブカメラがブロブへと拡大することで拡張されたズーム機能を実現できるであろう。
スレーブPTZカメラは、マスタの広角カメラから得られたブロブの補正済み画像と比較して、より明確なブロブの画像を度々作成するであろう。これは、マスタの広角カメラが数値の補完を行うことによってある範囲へと拡大するからであり、その事は限られたセンサの解像度によって対象の端を滑らかにし、多くの場合は滑らかな画像になる。マスタカメラから得られた滑らかな画像をスレーブカメラからの明確な画像に置き換えることによって、システムのズーム機能は拡張される。人及び動いている対象(又は過去に動いていた対象)は防犯監視装置において重要であるため、対象の追跡は、RoIを形成する上で詳細な見分を得るための拡大において有用である。
上述したように、好適な実施形態は図1Bで示されるようにマスタカメラと光学ズーム機能を有する二つのスレーブカメラから構成される。図2、3、4、及び5に示される方法及びカメラシステムの代替形態も、一つのマスタカメラと光学ズーム機能を有する複数のスレーブから構成されるであろう。
ある種の実施形態において方法及びシステムは、スレーブカメラが内蔵の追跡機能を有している場合には、マスタカメラ又はスレーブカメラにおいて動く対象の追跡を認識することに柔軟性を有する。これらの実施形態のある実施例においては、マスタカメラが現場の動いている範囲を検知し、それぞれの動いている範囲を異なるスレーブカメラに割り当てる。その後、各スレーブカメラが内蔵された追跡機構を用いて動いている範囲を追跡するであろう。
マスタカメラにおける画像の記録
スレーブPTZカメラによって撮影される動いているブロブ及びその直近の周辺の画像並びに、マスタカメラにおけるブロブに対応する画像がマスタカメラ中に記録されることによって、RoIの高画質の画像を得ることができる。画像の記録は二つのステージにおいてマスタカメラ中で行われる。第一のステージにおいては、動いているブロブを含むマスタカメラの画像の一部及びPTZカメラの変換された画像の両者の中にあるいくつかのサリエントポイント(salient point)が、二つの画像中で同じアルゴリズムを走らせることによって決定されるであろう。例えば、マスタカメラが魚眼レンズからの画像を有する場合、その後にスレーブPTZカメラの画像が歪んだ魚眼画像の座標へと変換される。これは、周辺レンズを用いるような広角ビデオ撮影の他の手段にも適用される。両方の画像が現場の同じブロブを表示することによって、サリエントポイント検知アルゴリズムは対象の点として同じピクセルを形成すべきである。サリエントポイントはウェーブレット領域法を用いて決定されるであろう。このステージの後に二つの画像のサリエントポイントが、局所の色のヒストグラムをそれぞれの箇所の周囲で用いることによって、相互に整合されるであろう。
マスタカメラ用のこの画像記録アルゴリズム手段の実施形態を表すフローチャートが、図7に図示されている。現在の画像Inはマスタカメラの未処理の広角画像を表し、画像Jnはスレーブカメラの変換された画像を表す。In入力を用いると、画像中のサリエントポイントが決定される(手順702)。Jn入力を用いると、画像中のサリエントポイントが決定される(手順704)。これら二つのサリエントポイントが、局部のヒストグラム比較を用いて整合される(手順706)。その後にこの情報が用いられることで、マスタカメラの画像InのピクセルがスレーブカメラのJnのピクセルを用いて更新される(手順708)。
文献には多くの公開されたサリエントポイント検知アルゴリズムがある(例えば1988年にニュージャージー州プレンティスホールのアニル ジェーンによって書かれたデジタル画像処理の基礎を参照)。一般に用いられているものには、ハリスコーナーセンサ(Harris Corner detector)及びウェーブレット領域サリエントコーナーセンサが含まれる。二次元におけるウェーブレット変換は、空間と規模(頻度)の両方の情報をもたらす。画像のサリエントポイントはピクセルとして規定され、そのピクセルのウェーブレット係数は、ウェーブレット変換の高頻度のサブバンド画像の全て又はいくつかにおいて、他のウェーブレット係数と比べて比較的高い振幅値を有する。ピクセルが画像の均一な範囲の部分である場合、その後にその対応するウェーブレット係数が理想的にはゼロ又は非常にゼロに近づく。ピクセルが対象の水平の(垂直の)端上である場合は、その後にそれが、低−高(高−低)サブバンド画像における高振幅のウェーブレット係数及び、ウェーブレット変換のあるステージ後に得られた高−高サブバンド画像における別の一組の高振幅の係数を形成する。それとは別に、ピクセルが対象の角である場合、その後にそれが、低−高、高−低及び高−高のサブバンド画像における高振幅のウェーブレット係数を形成する。それ故に、画像の重要な角は、全ての画像における高振幅のウェーブレット係数の限界を決めることによって決定されるであろう。いくつかのサリエントポイントは、動いているブロブ及び画像のバックグラウンド中のその直近の周辺部の角及び重要な端にあることが結果として分かる。
両方の画像のサリエントポイントが検知されると、それらは互いに整合されることによって、同じ対象を映すマスタ及びスレーブカメラからの二つの画像を記録しなければならない。最も単純な整合プロセスは、対応するピクセルの値を比較することによって行うことができる。しかしながら、これは不正確な結果をもたらすであろう。その理由は、対象は単一色であり、全てのサリエントポイントは同じ又は近似のピクセル値を有するからである。それ故に、サリエントポイント周りの局所の周辺物を比較することが、確固たる結果を得るのにより良いことである。ある実施形態においては、この整合はサリエントポイントの周囲の局所的な色のヒストグラムを比較することによって行われる。ピクセルの周りの色のヒストグラムは、あらゆる色の表現空間において決定されるであろう。最も広く用いられている色の表現スキームには、赤、緑及び青(RGB)並びに輝度及びクロミナンス表現(YUV又はYCrCb)が含まれる。
マスタカメラの画像In中のサリエントポイントp周囲の局所範囲Oの標準化された色のヒストグラムは、以下の式で表される。
Figure 2008507229

式中、sは明度化されたピクセルsを表し、Oはサリエントピクセルp周囲の局所範囲を表し、δはクロネッカーのデルタ(Kronecker-delta)機能であり、NはO中のデータポイントの数であり、qは色の空間領域データをLのビット数に描く量子化機能である。Lはこの実施形態においては12として選択されている。色のヒストグラムhpはピクセルp周囲の色素情報から構築されており、このピクセルを特徴付ける。
仮に、hq(k)がスレーブカメラの画像Jn中のサリエントピクセルq周囲の別の標準化されたヒストグラムであるとする。ヒストグラムhp(k)及びhq(k)は、多くの方法で相互に比較が可能である。平均絶対差(MAD)は比較の手段となる。
Figure 2008507229

式中、K=212は標準化された色のヒストグラムにおけるポイントの数である。p番目のサリエントポイントとq番目のサリエントポイントの距離の平均絶対差が、他のサリエントポイント間の距離よりも小さい場合、その後に、画像Inのp番目のサリエントポイントが画像Jnのq番目のサリエントポイントに割り当てられる。
他の色のヒストグラムの比較方法には、平均平方誤差、相互相関(cross correlation)及びバッタチャリヤ測定(Bhattacharyameasure)が含まれる。
Figure 2008507229

式中、hp(k)及びhq(k)のバッタチャリヤ測定Dが高いほど、ヒストグラムhp(k)及びhq(k)間の整合はより良くなる。
マスタ及びスレーブカメラからの画像のサリエントポイントが整合されると、画像Inのピクセルは、整合されたサリエントポイントに対応するJnのピクセルを用いて、マスタカメラ中で更新される。
システム中の画像記録は、好ましくは反復プロセスである。通常の市販のPTZカメラは、有限の多くの(例えば128)可能な物理的な表示位置をとることができる。追跡アルゴリズムから与えられる最初の位置情報は正確ではないであろうし、結果的にPTZカメラは対象範囲及び/又は追跡される対象の一部に及ぶのみであろう。そのような場合においては、マスタカメラの画像上に決められたいくつかのサリエントポイントは整合しないであろう。この事は、追加の位置情報がPTZカメラへと伝達されることによって、両方の画像中のほぼ全てのサリエントポイントを適合すべきであることを意味する。同様に、最初に記録された画像は十分に詳しくはないであろう。例えば、追跡されるブロブはスレーブPTZカメラによって戻された画像の小さな部分に過ぎないであろう。スレーブカメラは現場へと拡大するはずであるために、追跡されるブロブはスレーブPTZカメラによって戻される画像の大部分になるはずである。この場合においては、追加コマンドが同様に反復してスレーブカメラへと伝達されるであろう。反復プロセスは、二つの画像を比較した後に終了されるであろう。未処理の広角ビデオ画像とのPTZカメラからの歪んだスレーブ画像の比較は、多くの一般に用いられる画像比較手段を用いて行われるであろう。その画像比較手段には、平均平方誤差(MSE)、平均絶対差(MAD)及び二つの画像の色のヒストグラムの整合が含まれる。MSE、MAD又は二つの画像間の色のヒストグラムの相違が閾値を下回る場合、反復記録プロセスは終了する。
上の段落においては、画像記録プロセスは単一のスレーブカメラに対して説明されている。上記の画像記録法の異なるRoIを監視する多数のスレーブカメラへの拡張は、容易である。スレーブカメラによって作成されるビデオ画像は、ひとつずつマスタカメラの補正済み俯瞰画像上に配置される。
スレーブカメラは、RS485バス又は他の位置データ情報を転送できるバスを介してマスタカメラと情報伝達できる。
更なる情報
以下の文書は発明分野の更なる情報のために用いることができ、本開示中に文献援用されている。
引用された文献
本開示中に文献援用されている「カメラ監視システム用監視装置」という米国特許第6,509,926号。
本開示中に文献援用されている「パイロット及びスレーブカメラを有するビデオ監視システム」という米国特許第6,724,421号。
本開示中に文献援用されている「高解像度画像を低解像度の双方向性画像を挿入することで現実的な没入経験(Immersive Experience)を形成するための方法及び装置」という米国特許第6,147,709号。
本開示中に文献援用されている「広角ビデオカメラにおける複数対象処理」という2004年4月30日に出願された米国特許出願第10/837,326号(弁理士整理番号GRND-15)。
本開示中に文献援用されている「広角ビデオカメラにおける複数画像処理」という2004年4月30日に出願された米国特許出願第10/837,325号(弁理士整理番号GRND-14)。
本開示中に文献援用されている「ビデオ監視用複数画像の同時表示の方法」という2004年4月30日に出願された米国特許出願第10/837,019号(弁理士整理番号GRND-16)。
本開示中に文献援用されているセチン(A. E.Cetin)とアヒスカ(Y. Ahiska)による「ウェーブレット領域情報を用いたビデオにおける動く対象物の追跡」という2004年8月23日に出願された米国特許出願第10/924,279号(弁理士整理番号GRND-05)。
本開示中に文献援用されている「画像処理による光学的ひずみの補正」という2004年4月30日に出願された米国特許出願第10/837,012号(弁理士整理番号GRND-13)。
本開示中に文献援用されている「広角ビデオカメラにおける範囲の画像処理」という2005年7月8日に出願された米国特許出願第11/178,232号(弁理士整理番号GRND-02)。
公開文書
(1)本開示中に文献援用されている「遠距離における人のバイオメトリックイメージを得るためのマスタ/スレーブシステム」、X. Zhou、R. Collins、T. Kanade、P. Metes、ビデオ監視に関するACM国際ワークショップ、2003年11月。
(2)本開示中に文献援用されている「ビデオ監視及びモニタリング用システム」、R.Collins、Lipton、Kanade、米国原子力学会(ANS)主催のロボティクス及び遠隔システムに関する第8回国際会議、ピッツバーグ、ペンシルベニア州、1999年4月25−29日。
(3)本開示中に文献援用されている「デジタル画像処理の基礎」、Anil Jain、プレンティスホール、ニュージャージー州、1998年。
改良及び変形
当業者によって理解されるように、本出願中で説明される発明のコンセプトは、出願の膨大な範囲を超えて改良及び変更されるであろう。従って特許された対象の範囲は、与えられたいくつかの特別な例示的な教示によっても限定されない。
例えば、本発明があらゆる個数の異なる構造の実施を用いて実施できることも想定される。本発明の別の実施形態には、限定するのではないが、マスタ及びスレーブカメラ並びに全ての必要な回路を内蔵した単一の物理的構造、マスタカメラと全てのスレーブカメラと全ての必要な回路用の分離したハウジング、若しくは上記のハウジング分配物のいずれかの組合せが含まれる。
他の種類の想定される実施形態においては、本発明が可動性の4番目の軸をスレーブカメラに加えることによって実施される。例えば、スレーブカメラはパン、チルト及びズームと同様に回転することができる。
その上、これらの発明のコンセプトは特殊な実施例や本開示中で開示されている実施に限定することを意図していないが、限定するのではないが、マスタ及びスレーブカメラ用に異なる種類のカメラを用いるような全ての同等の実施を含むことを意図する。これは例えば、マスタ及びスレーブカメラの両方に制御可能なPTZを使用することを含む。この事は例えば、マスタ及びスレーブカメラの両方に拡大機能を有するカメラを用いるか、マスタ及びスレーブカメラの両方に用いない事も含む。
他の種類の想定される実施形態においては、本発明は、動作検知及び対象追跡に加えて、三次元俯瞰画像比較をRoIを規定するために用いて実施されるであろう。例えば、マスタカメラが窓の列に向けられている場合、画像処理回路はプログラムされることによって、葉の落下のような重要でない動きを無視し、開いた窓のみをRoIとして特定するであろう。
本発明の他の及び稀な好適な実施形態は、光学式、デジタル式、機械式又は光学ズームを行う多くの異なる方法の内のいずれかを用いて実施されるであろう。
別の実施形態は二つのマスタカメラを利用する。これらはそうする必要は無いが、逆方向に向けて配置されることができる。これらのカメラはそうである必要は無いが、魚眼カメラであることが可能である。この実施形態の利点は、広範囲の展望がマスタカメラの使用によって実現できることである。マスタカメラは、他の方法では360°の表示能力を有さないであろう。この実施形態は、ドームカメラのような360°の視野を有する単一のマスタカメラの使用を除外しない。
他の種類の想定される実施形態においては、一つ又はいくつかのマスタカメラが多数のスレーブカメラを制御するであろう。これらのマスタカメラは、スレーブカメラをそれぞれ独立して、順列的に又は多数の異なる方法のうちのいずれかによって制御することができる。この種類の実施形態のある実施例においては、一つ以上のマスタカメラが、一つ以上のスレーブカメラを制御する一つ以上の中間カメラを制御する。この実施形態の実施例は、「デイジーチェーン(daisy chain)」のスレーブカメラであり、マスタカメラは他のスレーブカメラを介して直接又は間接的に別個の追跡タスクを割り当てる。いくつかのスレーブカメラを利用する利点には、限定するのではないが、単一のRoIの異なる画像を得ること、いくつかのRoIを撮影すること、及び/又はRoIが物理的な構造物の後ろを通った時にRoIを追うことが含まれる。この実施形態の実施例はスレーブカメラである。
他の実施形態においては、スレーブカメラは内蔵された追跡機能を有することができる。この実施形態においては、スレーブカメラは、マスタカメラがそれを割り当てた後に、追跡ジョブを引き継ぐであろう。その後、マスタカメラは別のスレーブカメラへと別の追跡タスクを割り当てる。
他の種類の想定される実施形態においては、マスタ及び/又はスレーブカメラは多数の異なる画像強化手段のいずれをも備えることができ、限定するのではないが、それは暗視画像、赤外線画像又は熱感知機能を含む。熱感知の利点には、限定するのではないが、車、人及び/又は動物のような熱を生じる対象のより良い検知及び追跡が含まれる。暗視画像又は他の低光量画像強化手段を使用する利点には、夜間に照らされていない範囲を監視できる能力が含まれる。
本出願中の記載には、特定の要素、手順又は機能が、請求項の範囲に含まれなければならない不可欠な要素であることを意味するように読まれるべきものは無い。特許を受けた主題の範囲は認可された請求項によってのみ規定される。さらに、正確な単語「〜の手段(means for)」は分詞を従えない限り、これらの請求項のいずれも35U.S.C.第112条の第6段落を呼び起こすことを意図するものでは無い。その上、この出願と共に提出される請求項は、可能な限り包括的であることを意図する。全ての新規及び明らかでない開示される発明が対象となることを意図しており、対象が意図的に放棄され、拒否され、ささげられることは無い。
本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致するカメラシステムの図である。 本発明の好適な実施形態に一致する処理手順を実施するフローチャートである。 本発明の好適な実施形態に一致する処理手順を実施するフローチャートである。

Claims (90)

  1. ビデオカメラシステムであって、
    広角マスタカメラと、
    一つ以上の(前記マスタカメラの直ぐ近くにある)スレーブビデオカメラと、
    前記一つ以上のスレーブカメラの視野の自動制御と、
    を有し、スレーブビデオカメラは、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、自動制御は前記マスタカメラから行われ、前記一つ以上のカメラへの制御信号の少なくともいくつかが、前記マスタカメラの利用可能な情報に基づいているシステム。
  2. 前記スレーブカメラ又はカメラへの前記制御信号が、前記マスタ及びスレーブカメラの相対位置の調整を含む請求項1に記載のシステム。
  3. 前記スレーブカメラ又はカメラが機械式PTZビデオカメラである請求項1に記載のシステム。
  4. 前記スレーブカメラ又はカメラへの前記制御信号が、前記スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項1に記載のシステム。
  5. 前記スレーブカメラ又はカメラのビデオ出力の明るさ、露出率、色素バランス及び他の画質が、前記スレーブカメラ又はカメラからのビデオ画像をマスタカメラからのビデオ画像と比較することによって自動的に調整される請求項1に記載のシステム。
  6. 前記画質が、前記スレーブカメラ又はカメラからのビデオ画像のヒストグラムを前記マスタカメラからのヒストグラムと比較することによって調整される請求項5に記載のシステム。
  7. 広角ビデオカメラが魚眼レンズを有する請求項1に記載のシステム。
  8. 広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項1に記載のシステム。
  9. 前記マスタカメラが利用できる前記情報の少なくとも一部が、マスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成され、それが広角ビデオを画像処理することによって行われる請求項1に記載のシステム。
  10. 前記画像処理が、前記広角マスタカメラからカメラ内の変換エンジンを介して作成される補正済み俯瞰画像に施される請求項9に記載のシステム。
  11. 前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項9に記載のシステム。
  12. 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項9に記載のシステム。
  13. 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項11に記載のシステム。
  14. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項9に記載のシステム。
  15. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項11に記載のシステム。
  16. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項12に記載のシステム。
  17. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項13に記載のシステム。
  18. 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項9に記載のシステム。
  19. 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項11に記載のシステム。
  20. 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項9に記載のシステム。
  21. 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項11に記載のシステム。
  22. 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項18に記載のシステム。
  23. 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項19に記載のシステム。
  24. 前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項1に記載のシステム。
  25. 広角ビデオカメラのズーム性能/解像度を自動的に拡張する方法であって、
    広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
    前記マスタカメラが利用できる情報を使用し、それによって、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視する能力を有するスレーブカメラを遠隔的に制御する手順とを有する方法。
  26. 前記スレーブカメラからのビデオ出力が前記マスタカメラを経由する請求項25に記載の方法。
  27. 前記マスタカメラからの出力が、マスタカメラが利用できる情報に基づいて、前記広角ビデオ画像由来のビデオと、前記経由したスレーブビデオとの間で切り替わる請求項26に記載の方法。
  28. 前記広角マスタカメラが、カメラ内の変換エンジンを介して(複数の)補正済み俯瞰画像を抽出でき、前記補正済み俯瞰画像の少なくとも一部が、マスタカメラが利用できる情報に基づいて前記スレーブカメラからの画像と自動的に置き換えられる請求項25に記載の方法。
  29. 広角ビデオカメラが魚眼レンズを有する請求項25の方法。
  30. 広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項25に記載の方法。
  31. 前記マスタカメラが利用できる前記情報の少なくとも一部が、広角ビデオからマスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成される請求項25に記載の方法。
  32. 前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項25に記載の方法。
  33. 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項25に記載の方法。
  34. 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項32に記載の方法。
  35. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項25に記載の方法。
  36. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項32に記載の方法。
  37. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項33に記載の方法。
  38. 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項34に記載の方法。
  39. 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項25に記載の方法。
  40. 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項32に記載の方法。
  41. 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項25に記載のシステム。
  42. 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項32に記載のシステム。
  43. 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項39に記載のシステム。
  44. 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項40に記載のシステム。
  45. 前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項25に記載の方法。
  46. マルチカメラのビデオシステムにおいて機械式スレーブPTZカメラの反応時間を短縮する方法であって、
    広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
    前記マスタカメラから遠隔的に機械式スレーブPTZビデオカメラを制御する手順と、
    前記マスタカメラから前記スレーブカメラへとPTZコマンドを伝達する手順と、
    を有し、広角マスタカメラはカメラ内の変換エンジンを介して補正済み俯瞰画像を抽出することができ、
    機械式スレーブPTZビデオカメラは前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、
    前記補正済み俯瞰画像の拡大率が事前に決められた拡大率の閾値を越えた時には、PTZコマンドを伝達する手順によって前記補正済み俯瞰画像をほぼ追跡するようになっている方法。
  47. 前記マスタカメラの前記補正済み俯瞰画像は、前記補正済み俯瞰画像に対する遠隔の拡大コマンドが前記マスタカメラの拡大範囲外の拡大率になる時に、前記スレーブカメラからの画像によって置き換えられる請求項46に記載の方法。
  48. 広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
    歪んだ広角ビデオ画像を広角ビデオカメラを用いて撮影する手順と、
    機械式スレーブPTZビデオカメラを前記マスタカメラから遠隔制御する手順と、
    算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
    前記スレーブカメラのデジタルビデオ出力をマスタカメラ中の前記変換エンジンへと送信する手順と、
    前記PTZ制御信号への調整を決定する手順と、
    前記PTZ調整制御信号を前記スレーブカメラへと伝達する手順と、
    この方法の前の三つの手順を更に反復的に繰り返す手順と、
    マスタカメラの補正済み俯瞰画像を置き換える手順と、
    を有し、広角マスタカメラはカメラ内の変換エンジンを介した遠隔PTZ制御下において、複数の補正済み俯瞰画像を抽出することができ、
    算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブカメラからの画像との間で方向及び大きさの両方において近似の整合をなすことができ、
    デジタルビデオ出力の送信の手順は歪んだスレーブ画像への逆変換のためになされ、逆変換は歪んだ広角ビデオ画像と同様に歪められ、
    PTZ制御信号への調整を決定する手順は前記歪んだスレーブ画像を前記歪んだ広角画像と比較することによってなされ、
    PTZ調整制御信号を伝達する手順によって、スレーブカメラからの画像と補正された俯瞰画像との間でマスタカメラからの前記対象範囲に対してより良い整合を行うことができ、
    反復的に繰り返す手順によって、所望される整合の精度が実現でき、
    補正済み俯瞰画像がスレーブカメラからの調整された画像によって置き換えられるために、マスタカメラの拡大範囲外である前記対象範囲用の遠隔の拡大コマンドが前記スレーブカメラへと送信されることによって、拡張された光学ズーム機能を実現できるようになっている方法。
  49. 前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ内のソフトウェアプログラムによって局所的に作成される請求項48に記載の方法。
  50. 前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項49に記載の方法。
  51. 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項49に記載の方法。
  52. 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項50に記載の方法。
  53. 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置のための調整を含むことによって決定される請求項48に記載の方法。
  54. 前記算出されたPTZコマンドが、スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項48に記載の方法。
  55. 前記スレーブPTZカメラが、デジタルビデオ信号へと変換する必要があるアナログビデオ出力を有する請求項48に記載の方法。
  56. 前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、色及びウェーブレットのヒストグラムの比較に基づいた画像整合技術を用いて行われる請求項48に記載の方法。
  57. 前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、一般的に用いられる画像比較手段を用いて行うことができる請求項48に記載の方法。
  58. 平均平方誤差が前記画像比較手段として用いられる請求項57に記載の方法。
  59. 平均絶対差が前記画像比較手段として用いられる請求項57に記載の方法。
  60. 色のヒストグラムの違いが前記画像比較手段として用いられる請求項57に記載の方法。
  61. 前記置き換えられた補正済み俯瞰画像が、多数画像出力の分離した部分として表示されるマスタカメラからの複数の出力の一つである請求項48に記載の方法。
  62. 前記置き換えがオーバーレイによってなされる請求項48に記載の方法。
  63. 明度、露出率、色素バランス及び前記スレーブカメラのビデオ出力の他の画質が、前記スレーブカメラからのビデオ画像のヒストグラムを前記マスタ広角カメラからのヒストグラムと比較することによって自動的に調整される請求項48に記載の方法。
  64. 広角カメラが魚眼レンズを有する請求項48に記載の方法。
  65. 広角カメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項48に記載の方法。
  66. 広角カメラが、使用者が規定したプライバシ範囲をビデオ出力へと適用することができ、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその両方から得られる請求項48に記載の方法。
  67. 前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張することができる請求項48に記載の方法。
  68. 広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
    広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
    前記マスタカメラから機械式のスレーブPTZビデオカメラを遠隔制御する手順と、
    算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
    マスタカメラの補正済み俯瞰画像を置き換える手順と、
    を有し、広角マスタカメラは遠隔PTZ制御下においてカメラ内の変換エンジンを介して複数の補正された俯瞰画像を抽出することができ、
    機械式のスレーブPTZビデオカメラを遠隔制御する手順によって、高解像度の対象範囲を撮影することができ、
    算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブからの画像との間で方向と大きさにおいて近似の整合が実現でき、
    補正済み俯瞰画像の置き換えがスレーブカメラからの調整された画像によってなされることによって、マスタカメラの拡大範囲外である前記対象範囲のための遠隔拡大コマンドが前記スレーブカメラに送信されることによって、拡張された光学ズーム機能が実現できるようになっている方法。
  69. 前記算出されたPTZコマンドが、前記スレーブPTZカメラからの位置のPTZフィードバック情報を含むことによって計算される請求項68に記載の方法。
  70. 位置のPTZフィードバック情報を用いることで必要なPTZコマンドを決定する前記ステージが、反復的に繰り返されることによって、前記スレーブPTZ画像とマスタカメラからの対象範囲の補正済み俯瞰画像との間で方向及び大きさにおいて改善された整合をもたらす請求項69に記載の方法。
  71. 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項68に記載の方法。
  72. 前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ中にあるソフトウェアプログラムによって局所的に作成される請求項68に記載の方法。
  73. 前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項72に記載の方法。
  74. 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項72に記載の方法。
  75. 前記算出されたPTZコマンドが、PTZコマンドを与えられた時の前記スレーブPTZカメラの挙動のモデルを用いて決定され、前記スレーブPTZカメラが断続的に既知の固定位置へと較正される請求項68に記載の方法。
  76. 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項75に記載の方法。
  77. 広角カメラが使用者が規定したプライバシ範囲をビデオ出力へと適用する機能を有し、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその用法から最初に得られる請求項68に記載の方法。
  78. 前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張されることができる請求項68に記載の方法。
  79. システムであって、
    第一のカメラと、
    監視プロセスと、
    第二のカメラと、
    位置制御システムと、
    を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
    監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
    第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、
    位置制御システムが前記第二のカメラを現在の前記対象範囲の一つへと自動的に向けるようになっているシステム。
  80. システムであって、
    第一のカメラと、
    監視プロセスと、
    第二のカメラと、
    位置制御システムと、
    を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
    監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
    第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、さらに、前記第一のカメラに対して物理的に動くことができ、
    位置制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記第二のカメラを自動的に向けるようになっているシステム。
  81. システムであって、
    第一のカメラと、
    監視プロセスと、
    第二のカメラと、
    制御システムと、
    を有し、第一のカメラは歪んだ広角画像配置において出力画像の第一のストリームを提供し、移動機能をほぼ有さないと共にズーム機能をほぼ有さず、
    監視プロセスが前記第一のストリームを解析することによって前記画像中の対象範囲を特定し、
    第二のカメラが第二の画像配置における出力画像の第二のストリームを提供し、PTZ制御入力に従ってパン、チルト及び拡大し、前記第一のカメラに対して拡張されたズーム機能を有し、
    制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記PTZ制御入力を更新するようになっているシステム。
  82. 方法であって、
    第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
    前記第一のストリームを解析し、前記第一のストリーム内に対象範囲を特定する行為と、
    第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
    前記第一のカメラからの出力に少なくとも部分的に基づいて、位置制御システムからのコマンドを介して第二のカメラを特定された対象範囲へと向ける行為と、
    を有する方法。
  83. 方法であって、
    第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
    前記第一のストリームを監視することで、前記画像内の対象範囲を特定する行為と、
    第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
    位置制御システムを用いて、前記対象範囲に少なくとも部分的に基づき前記第二のカメラの視野を制御する行為と、
    を有し、第二のカメラは前記第一のカメラと比べて物理的な可動性を有し、前記第一のカメラと比べてより狭い視野を有する方法。
  84. 方法であって、
    歪んだ第一の画像の配列において第一のカメラからの出力画像のストリームを監視する行為と、
    前記ストリーム内の異なる画像の比較によって、前記画像内に対象範囲を特定する行為と、
    PTZ制御入力を提供することで、第二のカメラのパン、チルト及びズームを制御する行為と、
    第二の画像の配列において前記第二のカメラから出力画像の第二のストリームを出力する行為と、
    を有し、PTZ制御入力の提供が、前記監視行為によって特定される前記対象範囲に少なくとも部分的に基づいて行われる方法。
  85. システムであって、
    第一のカメラと、
    第二のカメラと、
    プロセスと、
    を有し、 第一のカメラが第一の画像の配列中の出力画像の第一のストリームを提供し、ほとんど拡大機能を有さず、
    第二のカメラが第二の画像の配列中の出力画像の第二のストリームを提供し、前記第一のカメラに対して拡張されたズーム機能を有し、
    第一及び第二のカメラは少なくとも重複した視野を有し、
    プロセスが前記ストリームの一つを変換することによって、リアルタイムに前記第一及び第二のストリームを結合することで、前記ストリームの他の物の画像の配列を整合することができるようになっているシステム。
  86. 前記第一のカメラが、前記第二のカメラの前記視野を取り囲む視野を有する請求項85に記載のシステム。
  87. 方法であって、
    第一のカメラから第一の画像配列中の画像の第一のストリームを出力する行為と、
    第二のカメラから第二の画像配列中の画像の第二のストリームを出力する行為と、
    前記ストリームの一つを変換することによって、リアルタイムに画像の第一及び第二のストリームを結合する行為と、
    を有し、第二のカメラが前記第一のストリームと少なくとも重複する視野を有し、
    第一及び第二のストリームを結合することによって、前記ストリームの他の物の画像の配置を整合することができる方法。
  88. 監視システムであって、
    アナモルフィックイメージャと
    ズームイメージャと、
    を有し、アナモルフィックイメージャが、5ステラジアンより大きい視野に相当する歪んだ画像配列を出力し、ズーム機能をほとんど又は全く有さず、
    ズームイメージャが前記配列の対象及び/又は動作追跡に基づいて自動的に制御され、前記第一のカメラと比較するとズーム機能を有するシステム。
  89. 前記イメージャの両方の出力を結合する少なくとも一つの画像処理ユニットをさらに有する請求項88に記載のシステム。
  90. 方法であって、
    アナモルフィックイメージャからの5ステラジアンより大きい視野に相当する歪んだ画像配列を出力する行為と、
    前記出力された配列の対象及び/又は動作追跡に基づいて自動的にズームイメージャを制御する行為と、
    を有し、アナモルフィックイメージャが僅かな光学ズーム機能を有する方法。
JP2007522071A 2004-07-19 2005-07-19 広角ビデオカメラのズーム機能の自動拡張 Pending JP2008507229A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58910404P 2004-07-19 2004-07-19
PCT/IB2005/003504 WO2006040687A2 (en) 2004-07-19 2005-07-19 Automatically expanding the zoom capability of a wide-angle video camera

Publications (1)

Publication Number Publication Date
JP2008507229A true JP2008507229A (ja) 2008-03-06

Family

ID=36051445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007522071A Pending JP2008507229A (ja) 2004-07-19 2005-07-19 広角ビデオカメラのズーム機能の自動拡張

Country Status (4)

Country Link
US (2) US7990422B2 (ja)
JP (1) JP2008507229A (ja)
GB (1) GB2431312A (ja)
WO (1) WO2006040687A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142332A1 (en) * 2008-05-23 2009-11-26 Advas Co., Ltd. Hybrid video camera syste
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置
JP2012520650A (ja) * 2009-05-29 2012-09-06 ヨングク エレクトロニクス シーオー., エルティーディー 知能型監視カメラ装置及びこれを採用した映像監視システム
KR20140146337A (ko) * 2013-06-17 2014-12-26 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
JP2018510398A (ja) * 2015-02-17 2018-04-12 日本電気株式会社 事象関連データ監視システム
WO2018207664A1 (ja) * 2017-05-11 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、並びにプログラム
JP2019029978A (ja) * 2017-08-04 2019-02-21 株式会社カーメイト カメラ並びに撮影システムおよび画像処理方法
WO2022168481A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 画像処理装置、画像処理システム

Families Citing this family (291)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL161082A (en) * 2004-03-25 2008-08-07 Rafael Advanced Defense Sys System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor
US7629995B2 (en) * 2004-08-06 2009-12-08 Sony Corporation System and method for correlating camera views
US7750936B2 (en) * 2004-08-06 2010-07-06 Sony Corporation Immersive surveillance system interface
US20060095539A1 (en) 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
US7728871B2 (en) 2004-09-30 2010-06-01 Smartvue Corporation Wireless video surveillance system & method with input capture and data transmission prioritization and adjustment
US8860780B1 (en) 2004-09-27 2014-10-14 Grandeye, Ltd. Automatic pivoting in a wide-angle video camera
US8606383B2 (en) * 2005-01-31 2013-12-10 The Invention Science Fund I, Llc Audio sharing
US9082456B2 (en) * 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9489717B2 (en) * 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US8902320B2 (en) 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US20060170956A1 (en) * 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US20060187230A1 (en) * 2005-01-31 2006-08-24 Searete Llc Peripheral shared image device sharing
US9910341B2 (en) * 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US20060174203A1 (en) 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Viewfinder for shared image device
US8139896B1 (en) 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9001215B2 (en) * 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US20090144391A1 (en) * 2007-11-30 2009-06-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio sharing
WO2006118563A1 (en) * 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
JP2007049266A (ja) * 2005-08-08 2007-02-22 Olympus Corp 画像撮像装置
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
US8238695B1 (en) * 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
TW200734965A (en) * 2006-03-10 2007-09-16 Sony Taiwan Ltd A perspective correction panning method for wide-angle image
KR100749337B1 (ko) * 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
JP4947351B2 (ja) * 2006-07-28 2012-06-06 富士ゼロックス株式会社 画像処理装置、及び、プログラム
US7843487B2 (en) * 2006-08-28 2010-11-30 Panasonic Corporation System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image
JP4214160B2 (ja) * 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
US8189962B2 (en) * 2006-12-19 2012-05-29 Hitachi Kokusai Electric Inc. Image processing apparatus
GB2447246B (en) * 2007-03-07 2012-04-18 Aurora Comp Services Ltd Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application
FR2914811B1 (fr) * 2007-04-06 2010-04-30 Sagem Defense Securite Dispositif optique comportant au moins deux capteurs, procede de mise en oeuvre correspondant
DE102007023838A1 (de) * 2007-05-21 2008-11-27 Adc Automotive Distance Control Systems Gmbh Modulares Kamerasystem für Fahrerassistenzfunktionen
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US8763363B2 (en) * 2007-07-06 2014-07-01 General Electric Company Method and system for cooling fluid in a turbine engine
GB2452041B (en) * 2007-08-20 2012-09-26 Snell Ltd Video framing control
KR101336951B1 (ko) * 2007-11-02 2013-12-04 삼성전자주식회사 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
JP5213237B2 (ja) * 2008-04-17 2013-06-19 パナソニック株式会社 撮像位置判定方法及び撮像位置判定装置
US9509867B2 (en) * 2008-07-08 2016-11-29 Sony Corporation Methods and apparatus for collecting image data
JP5352150B2 (ja) * 2008-08-01 2013-11-27 パナソニック株式会社 撮像装置
US8405720B2 (en) * 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system
US8284258B1 (en) 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
DE102008049921A1 (de) * 2008-09-29 2010-04-15 Mobotix Ag Verfahren zur Videodatenstrom-Erzeugung
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
FR2942062A1 (fr) * 2009-02-12 2010-08-13 Shaktiware Systemes et procedes de detection d'objets
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8264486B2 (en) * 2009-07-24 2012-09-11 The United States Of America As Represented By The Secretary Of The Navy Real-time high-speed three dimensional modeling system
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JP5451260B2 (ja) * 2009-08-28 2014-03-26 キヤノン株式会社 制御装置、制御システム及びコマンド送信方法ならびにプログラム
US20110063446A1 (en) * 2009-09-14 2011-03-17 Mcmordie David Saccadic dual-resolution video analytics camera
WO2011038465A1 (en) * 2009-09-30 2011-04-07 National Ict Australia Limited Object tracking for artificial vision
KR101286651B1 (ko) * 2009-12-21 2013-07-22 한국전자통신연구원 영상 보정 장치 및 이를 이용한 영상 보정 방법
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
CN101827219B (zh) * 2010-01-22 2014-07-16 中兴通讯股份有限公司 无线终端中主从模式双摄像头控制方法及装置
KR101586699B1 (ko) * 2010-01-28 2016-01-19 한화테크윈 주식회사 네트워크 카메라 및 네트워크 카메라 운용 시스템 및 방법
US20110228115A1 (en) * 2010-03-16 2011-09-22 Microsoft Corporation Large Format Digital Camera
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
TW201138466A (en) * 2010-04-23 2011-11-01 Hon Hai Prec Ind Co Ltd Video camera and method for monitoring videos of a person or an object
AU2010201740B2 (en) * 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
JP2012049651A (ja) * 2010-08-24 2012-03-08 Ricoh Co Ltd 撮像装置及び撮像方法
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
HRP20220077T1 (hr) 2010-09-13 2022-04-15 Contour Ip Holding, Llc Prijenosna digitalna video kamera konfigurirana za daljinsko upravljanje i gledanje slike
US9398315B2 (en) * 2010-09-15 2016-07-19 Samsung Electronics Co., Ltd. Multi-source video clip online assembly
TW201215126A (en) * 2010-09-27 2012-04-01 Hon Hai Prec Ind Co Ltd Image dividing system for cameras and using method of the same
US9294755B2 (en) * 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US9794518B2 (en) 2010-10-21 2017-10-17 Sensormatic Electronics, LLC Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
US9497388B2 (en) * 2010-12-17 2016-11-15 Pelco, Inc. Zooming factor computation
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9686452B2 (en) 2011-02-16 2017-06-20 Robert Bosch Gmbh Surveillance camera with integral large-domain sensor
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8923401B2 (en) 2011-05-31 2014-12-30 Raytheon Company Hybrid motion image compression
US20120327218A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Resource conservation based on a region of interest
US9105090B2 (en) 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
US20130050400A1 (en) * 2011-08-31 2013-02-28 Henrik Stiesdal Arrangement and Method to Prevent a Collision of a Flying Animal with a Wind Turbine
WO2013067089A2 (en) * 2011-11-01 2013-05-10 Totus Solutions, Inc. Networked modular security and lighting device grids and systems, methods and devices thereof
JP5818910B2 (ja) * 2011-11-14 2015-11-18 キヤノン株式会社 撮像装置、制御装置、制御方法、及びプログラム
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
WO2013094115A1 (ja) * 2011-12-19 2013-06-27 日本電気株式会社 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム
GB201201408D0 (en) * 2012-01-27 2012-03-14 Mark Roberts Motion Control Ltd Tracking system and method
US9230333B2 (en) 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
JP5979910B2 (ja) * 2012-02-27 2016-08-31 キヤノン株式会社 通信装置、その制御方法、プログラム
US9836433B1 (en) * 2012-04-02 2017-12-05 Rockwell Collins, Inc. Image processing using multiprocessor discrete wavelet transform
WO2013149340A1 (en) * 2012-04-02 2013-10-10 Mcmaster University Optimal camera selection iν array of monitoring cameras
EP2648406B1 (en) * 2012-04-04 2018-08-22 Axis AB Method for switching viewing modes in a camera
US9052866B2 (en) * 2012-05-10 2015-06-09 Htc Corporation Method, apparatus and computer-readable medium for image registration and display
US8475284B1 (en) * 2012-07-31 2013-07-02 Scott Rudi Dynamic views within gaming environments
KR101407119B1 (ko) 2012-09-03 2014-06-13 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
CN116405747A (zh) 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
EP2946361B1 (en) * 2013-01-15 2018-01-03 Israel Aerospace Industries Ltd. Remote tracking of objects
MY186672A (en) 2013-01-30 2021-08-05 Mimos Berhad Directing steerable camera with user bias tracking
WO2014145279A1 (en) * 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
DE102013209940A1 (de) * 2013-05-28 2014-12-04 Conti Temic Microelectronic Gmbh Kamerasystem für Fahrzeuge
CN103327298A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 全景高速球一体机的联动浏览方法
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
US20140369625A1 (en) * 2013-06-18 2014-12-18 Asustek Computer Inc. Image processing method
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
MX360725B (es) 2013-08-09 2018-11-14 Thermal Imaging Radar Llc Métodos para analizar datos de imágenes térmicas de dispositivos virtuales y métodos para correlacionar los valores de profundidad a píxeles de imágenes.
JP6160357B2 (ja) * 2013-08-15 2017-07-12 株式会社リコー 画像処理装置、画像処理方法、および画像通信システム
ITRM20130484A1 (it) * 2013-08-29 2015-03-01 Valerio Lombardi Metodo ed apparato per analisi termografica ad alta risoluzione tramite due termocamere
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
US10652503B2 (en) 2013-11-01 2020-05-12 Charles W. Dozier Camera video recorder
US10742864B2 (en) 2013-12-09 2020-08-11 Playsight Interactive Ltd. Controlling cameras in sports events
US9282309B1 (en) 2013-12-22 2016-03-08 Jasmin Cosic Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
EP2922288A1 (en) * 2014-03-18 2015-09-23 Thomson Licensing Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
JP5999523B2 (ja) * 2014-06-30 2016-09-28 カシオ計算機株式会社 カメラ制御装置、カメラ制御方法及びプログラム
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) * 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
GB2528059A (en) 2014-07-08 2016-01-13 Ibm Peer to peer camera lighting communication
GB2528060B (en) 2014-07-08 2016-08-03 Ibm Peer to peer audio video device communication
GB2528058A (en) * 2014-07-08 2016-01-13 Ibm Peer to peer camera communication
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9208668B1 (en) * 2014-09-16 2015-12-08 Geovision Inc. Camera system with a full view monitoring function
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
CN104270570B (zh) * 2014-10-17 2018-05-11 北京明泰智软件技术发展有限公司 双目摄像机及其图像处理方法
US9965835B2 (en) * 2014-11-28 2018-05-08 Axis Ab Defogging images and video
KR20160072687A (ko) * 2014-12-15 2016-06-23 삼성전기주식회사 카메라 모듈
KR20160075135A (ko) * 2014-12-19 2016-06-29 현대모비스 주식회사 자동차 물체인식 시스템 및 그 동작방법
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
US10291862B1 (en) * 2014-12-23 2019-05-14 Amazon Technologies, Inc. Camera hierarchy for monitoring large facilities
US10288840B2 (en) 2015-01-03 2019-05-14 Corephotonics Ltd Miniature telephoto lens module and a camera utilizing such a lens module
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
CN104601892A (zh) * 2015-01-30 2015-05-06 深圳酷派技术有限公司 一种终端、图像拍摄方法及装置
US10003722B2 (en) * 2015-03-17 2018-06-19 Disney Enterprises, Inc. Method and system for mimicking human camera operation
EP3278178B1 (en) 2015-04-02 2019-04-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
CN111175926B (zh) 2015-04-16 2021-08-20 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
US10102226B1 (en) 2015-06-08 2018-10-16 Jasmin Cosic Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
SG10201505251XA (en) * 2015-07-02 2017-02-27 Nec Asia Pacific Pte Ltd Surveillance System With Fixed Camera And Temporary Cameras
US9918009B2 (en) 2015-08-03 2018-03-13 GE Lighting Solutions, LLC Method and system for imaging in a luminaire
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
EP3353711A1 (en) 2015-09-23 2018-08-01 Datalogic USA, Inc. Imaging systems and methods for tracking objects
US20170085790A1 (en) * 2015-09-23 2017-03-23 Microsoft Technology Licensing, Llc High-resolution imaging of regions of interest
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9906721B2 (en) 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
WO2017092804A1 (en) * 2015-12-02 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for controlling cameras thereof
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
WO2017115179A1 (en) 2015-12-29 2017-07-06 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
KR20170082735A (ko) * 2016-01-07 2017-07-17 한국전자통신연구원 객체 추적 기반의 객체 영상 제공 방법
US11277558B2 (en) * 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US10194089B2 (en) 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
KR101993670B1 (ko) * 2016-03-17 2019-06-27 주식회사 이오테크닉스 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법
US20180332213A1 (en) * 2016-03-24 2018-11-15 Motorola Solutions, Inc Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US10341565B2 (en) 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
EP3292685B1 (en) 2016-05-30 2019-06-05 Corephotonics Ltd. Rotational ball-guided voice coil motor
US10269092B2 (en) * 2016-06-17 2019-04-23 Nec Corporation Image processing device, image processing method, and storage medium
KR102646151B1 (ko) 2016-06-19 2024-03-08 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
KR20180018086A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
US10182180B2 (en) * 2016-09-07 2019-01-15 Peau Productions, Inc. Multiple camera control system
CN108074224B (zh) * 2016-11-09 2021-11-05 生态环境部环境规划院 一种陆生哺乳动物与鸟类的监测方法及其监测装置
DE102016125459B3 (de) 2016-12-22 2018-05-03 Spintower Kg Bilderfassungsverfahren auf einem Bilderfassungssystem
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
US10825010B2 (en) 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
KR102612454B1 (ko) 2017-01-12 2023-12-08 코어포토닉스 리미티드 컴팩트 폴디드 카메라
WO2018144933A1 (en) * 2017-02-03 2018-08-09 Ring Inc. Audio/video recording and communication devices with multiple cameras for superimposing image data
KR20220013000A (ko) 2017-02-23 2022-02-04 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
GB2560185A (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Method and apparatus for a multi-camera unit
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
US20180278836A1 (en) * 2017-03-23 2018-09-27 Ring Inc. Audio/Video Recording and Communication Devices with Multiple Cameras Having Variable Capture Settings
FR3065537B1 (fr) * 2017-04-19 2019-06-28 Thales Systeme optronique pour plate-forme et plate-forme associee
US10250812B2 (en) * 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US10972672B2 (en) 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
CN109151375B (zh) 2017-06-16 2020-07-24 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
EP3419283B1 (en) * 2017-06-21 2022-02-16 Axis AB System and method for tracking moving objects in a scene
US10319151B2 (en) 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
US11587419B2 (en) 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
KR20190055582A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 전자 장치의 이미지 촬영 방법 및 그 전자 장치
KR102666902B1 (ko) 2017-11-23 2024-05-16 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
CN107896316A (zh) * 2017-11-29 2018-04-10 合肥寰景信息技术有限公司 基于双摄像头的数字视频智能监控系统
US10951879B2 (en) 2017-12-04 2021-03-16 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
WO2019117549A1 (en) * 2017-12-15 2019-06-20 Samsung Electronics Co., Ltd. Imaging apparatus, imaging method, and computer program product
CN110352371B (zh) 2018-02-05 2022-05-13 核心光电有限公司 减少高度容余的折叠摄像装置
EP3749998B1 (en) * 2018-02-09 2023-07-12 Camera Control At A Distance, Llc System to control camera function remotely
US11640047B2 (en) 2018-02-12 2023-05-02 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3791570A4 (en) * 2018-05-11 2022-01-26 Axon Enterprise, Inc. CROSS-REDACTING SYSTEMS AND METHODS
CN119919618A (zh) 2018-07-04 2025-05-02 核心光电有限公司 用于汽车或监控应用具有扫描光路折叠元件的相机
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
CN108965742B (zh) * 2018-08-14 2021-01-22 京东方科技集团股份有限公司 异形屏显示方法、装置、电子设备及计算机可读存储介质
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
US10805534B2 (en) * 2018-11-01 2020-10-13 Korea Advanced Institute Of Science And Technology Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102664705B1 (ko) 2019-02-19 2024-05-09 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US11315276B2 (en) 2019-03-09 2022-04-26 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
US11134185B2 (en) 2019-04-01 2021-09-28 Grass Valley Canada System and method of partial matching of control settings across cameras
KR102193984B1 (ko) 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
US11196943B2 (en) * 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
KR102515482B1 (ko) 2019-07-31 2023-03-29 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN112399033B (zh) * 2019-08-14 2022-04-15 杭州海康威视数字技术股份有限公司 摄像机组件和监控摄像机
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技(深圳)有限公司 视频解码方法及装置,视频编码方法及装置
KR102314941B1 (ko) * 2019-10-08 2021-10-21 한국전자통신연구원 사생활 보호를 위한 카메라 보조 장치 및 이를 이용한 사생활 보호 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
RU2723640C1 (ru) * 2019-12-09 2020-06-17 Вячеслав Михайлович Смелков Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью
CN111355884B (zh) * 2019-12-23 2021-11-02 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US12007668B2 (en) 2020-02-22 2024-06-11 Corephotonics Ltd. Split screen feature for macro photography
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN114651275B (zh) 2020-05-17 2023-10-27 核心光电有限公司 全视场参考图像的图像拼接
EP4191332B1 (en) 2020-05-30 2024-07-03 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11481884B2 (en) * 2020-06-04 2022-10-25 Nuro, Inc. Image quality enhancement for autonomous vehicle remote operations
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
KR102772243B1 (ko) 2020-12-26 2025-02-21 코어포토닉스 리미티드 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
KR102589548B1 (ko) 2021-03-11 2023-10-13 코어포토닉스 리미티드 팝-아웃 카메라 시스템
KR102638173B1 (ko) 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream
US12307419B2 (en) 2022-01-14 2025-05-20 Target Brands, Inc. Mobile apparatus with computer vision elements for inventory condition
US12058445B2 (en) 2022-01-14 2024-08-06 Target Brands, Inc. Mobile apparatus with computer vision elements for product identifier detection with minimal detection adjustments
US12328505B2 (en) 2022-03-24 2025-06-10 Corephotonics Ltd. Slim compact lens optical image stabilization
US12167136B2 (en) 2022-04-01 2024-12-10 Honeywell International Inc. Method and system for using a plurality of motion sensors to control a pan-tilt-zoom camera
EP4270940B1 (en) * 2022-04-26 2024-10-30 Axis AB Ptz masking control
JP2025038771A (ja) * 2023-09-07 2025-03-19 キヤノン株式会社 撮影制御装置および撮影制御方法、ならびに撮像システム
US20250104425A1 (en) * 2023-09-27 2025-03-27 Gamechanger Media, Inc. Systems and Methods for Dynamic Video Generation
JP2025056633A (ja) * 2023-09-27 2025-04-08 キヤノン株式会社 表示制御装置および表示制御方法、ならびに撮像システム
US20250126346A1 (en) * 2023-10-16 2025-04-17 Honeywell International Inc. Methods and systems for monitoring activities in a monitored space

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3505465A (en) 1967-04-21 1970-04-07 Us Army Panoramic television viewing system
US3725563A (en) 1971-12-23 1973-04-03 Singer Co Method of perspective transformation in scanned raster visual display
US4326218A (en) 1980-11-14 1982-04-20 Coutta John M Surveillance system
JPS59115677A (ja) 1982-12-22 1984-07-04 Hitachi Ltd 画像処理装置
US4667236A (en) 1985-04-26 1987-05-19 Digital Services Corporation Television perspective effects system
US4763280A (en) 1985-04-29 1988-08-09 Evans & Sutherland Computer Corp. Curvilinear dynamic image generation system
US4821209A (en) 1986-01-21 1989-04-11 International Business Machines Corporation Data transformation and clipping in a graphics display system
US4728839A (en) 1987-02-24 1988-03-01 Remote Technology Corporation Motorized pan/tilt head for remote control
US4855823A (en) 1988-05-05 1989-08-08 Applied Engineering Products Co. Imaging assembly and mounting for surveillance viewing under remote control
FR2632470B1 (fr) 1988-06-07 1990-08-03 Thomson Video Equip Dispositif de traitement numerique d'images pour l'obtention d'effets speciaux geometriques
US4992866A (en) 1989-06-29 1991-02-12 Morgan Jack B Camera selection and positioning system and method
KR920003198A (ko) 1990-07-06 1992-02-29 카가야세이치 화상처리에 의한 이동물체검출방법 및 그 장치와 이 장치를 사용한 거리측정 장치
US5384588A (en) 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
CA2068022C (en) 1991-09-17 2002-07-09 Norbert M. Stiepel Surveillance device with eyeball assembly and pivotably mountable carriage assembly
US5321776A (en) 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
US5311305A (en) 1992-06-30 1994-05-10 At&T Bell Laboratories Technique for edge/corner detection/tracking in image frames
US5530650A (en) 1992-10-28 1996-06-25 Mcdonnell Douglas Corp. Computer imaging system and method for remote in-flight aircraft refueling
US5563650A (en) 1992-11-24 1996-10-08 Geeris Holding Nederland B.V. Method and device for producing panoramic images, and a method and device for consulting panoramic images
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US6243099B1 (en) 1996-11-14 2001-06-05 Ford Oxaal Method for interactive viewing full-surround image data and apparatus therefor
CA2148231C (en) 1993-01-29 1999-01-12 Michael Haysom Bianchi Automatic tracking camera control system
US5365597A (en) 1993-06-11 1994-11-15 United Parcel Service Of America, Inc. Method and apparatus for passive autoranging using relaxation
US5396284A (en) 1993-08-20 1995-03-07 Burle Technologies, Inc. Motion detection system
US5495292A (en) 1993-09-03 1996-02-27 Gte Laboratories Incorporated Inter-frame wavelet transform coder for color video compression
US5627616A (en) 1994-06-22 1997-05-06 Philips Electronics North America Corporation Surveillance camera system
US5610391A (en) 1994-08-25 1997-03-11 Owens-Brockway Glass Container Inc. Optical inspection of container finish dimensional parameters
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US5666157A (en) 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5654750A (en) 1995-02-23 1997-08-05 Videorec Technologies, Inc. Automatic recording system
US5589901A (en) 1995-05-15 1996-12-31 Means; Kevin P. Apparatus and method for synchronizing search and surveillance devices
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
US6215519B1 (en) 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US6049281A (en) 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
US6344852B1 (en) 1999-03-17 2002-02-05 Nvidia Corporation Optimized system and method for binning of graphics data
US20020063711A1 (en) * 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6509926B1 (en) 2000-02-17 2003-01-21 Sensormatic Electronics Corporation Surveillance apparatus for camera surveillance system
US6853809B2 (en) 2001-01-30 2005-02-08 Koninklijke Philips Electronics N.V. Camera system for providing instant switching between wide angle and full resolution views of a subject
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US6763068B2 (en) 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
JP4100934B2 (ja) 2002-02-28 2008-06-11 シャープ株式会社 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム
US6757434B2 (en) 2002-11-12 2004-06-29 Nokia Corporation Region-of-interest tracking method and device for wavelet-based video coding
GB2413720B (en) * 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
US7529424B2 (en) 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US7450165B2 (en) 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US20050007453A1 (en) 2003-05-02 2005-01-13 Yavuz Ahiska Method and system of simultaneously displaying multiple views for video surveillance
US7528881B2 (en) 2003-05-02 2009-05-05 Grandeye, Ltd. Multiple object processing in wide-angle video camera
US7366359B1 (en) 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
US8238695B1 (en) * 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142332A1 (en) * 2008-05-23 2009-11-26 Advas Co., Ltd. Hybrid video camera syste
JP2012520650A (ja) * 2009-05-29 2012-09-06 ヨングク エレクトロニクス シーオー., エルティーディー 知能型監視カメラ装置及びこれを採用した映像監視システム
JP2012109733A (ja) * 2010-11-16 2012-06-07 Sumitomo Electric Ind Ltd 監視システム及び監視装置
US11627271B2 (en) 2013-06-17 2023-04-11 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
KR20140146337A (ko) * 2013-06-17 2014-12-26 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US12250480B2 (en) 2013-06-17 2025-03-11 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US12108177B2 (en) 2013-06-17 2024-10-01 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US10674104B2 (en) 2013-06-17 2020-06-02 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US11863894B2 (en) 2013-06-17 2024-01-02 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US11670159B2 (en) 2015-02-17 2023-06-06 Nec Corporation System for monitoring event related data
JP2018510398A (ja) * 2015-02-17 2018-04-12 日本電気株式会社 事象関連データ監視システム
US10970995B2 (en) 2015-02-17 2021-04-06 Nec Corporation System for monitoring event related data
US12272230B2 (en) 2015-02-17 2025-04-08 Nec Corporation System for monitoring event related data
WO2018207664A1 (ja) * 2017-05-11 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、並びにプログラム
JP7062386B2 (ja) 2017-08-04 2022-05-06 株式会社カーメイト カメラ並びに撮影システムおよび画像処理方法
JP2019029978A (ja) * 2017-08-04 2019-02-21 株式会社カーメイト カメラ並びに撮影システムおよび画像処理方法
WO2022168481A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 画像処理装置、画像処理システム

Also Published As

Publication number Publication date
GB2431312A (en) 2007-04-18
US8405732B2 (en) 2013-03-26
US20120038776A1 (en) 2012-02-16
GB0701038D0 (en) 2007-02-28
US20060056056A1 (en) 2006-03-16
WO2006040687A2 (en) 2006-04-20
WO2006040687A3 (en) 2006-06-15
US7990422B2 (en) 2011-08-02

Similar Documents

Publication Publication Date Title
JP2008507229A (ja) 広角ビデオカメラのズーム機能の自動拡張
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US8139896B1 (en) Tracking moving objects accurately on a wide-angle video
US8145007B2 (en) Image processing of regions in a wide angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
US20150244991A1 (en) Monitoring camera system and control method of monitoring camera system
US20030103139A1 (en) System and method for tracking objects and obscuring fields of view under video surveillance
KR20050051575A (ko) 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체
US10735659B2 (en) Rotation-adaptive video analytics camera and method
JPH11261868A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2002064812A (ja) 移動物体追尾装置
GB2459033A (en) Resolution reduced video monitoring method to enable real time video processing
US20040179729A1 (en) Measurement system
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
EP2648406B1 (en) Method for switching viewing modes in a camera
Lin et al. Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system
JP4373645B2 (ja) 映像配信システム、プログラム及び記録媒体
Nicolescu et al. Segmentation, tracking and interpretation using panoramic video
KR100457302B1 (ko) 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
Nicolescu et al. Electronic pan-tilt-zoom: a solution for intelligent room systems
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2002314984A (ja) 監視カメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080718

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20081202