JP2008507229A - 広角ビデオカメラのズーム機能の自動拡張 - Google Patents
広角ビデオカメラのズーム機能の自動拡張 Download PDFInfo
- Publication number
- JP2008507229A JP2008507229A JP2007522071A JP2007522071A JP2008507229A JP 2008507229 A JP2008507229 A JP 2008507229A JP 2007522071 A JP2007522071 A JP 2007522071A JP 2007522071 A JP2007522071 A JP 2007522071A JP 2008507229 A JP2008507229 A JP 2008507229A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- slave
- image
- master
- ptz
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 abstract description 53
- 230000033001 locomotion Effects 0.000 abstract description 28
- 238000000034 method Methods 0.000 description 57
- 230000006870 function Effects 0.000 description 51
- 230000008569 process Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012804 iterative process Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
- G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
多数のカメラの配置からの画像を用いることで、広角ビデオカメラのズーム機能を自動的に拡張するためのシステムである。ある好適な実施形態は、広角ビデオカメラからの画像を用いてこれを実現し、その広角ビデオカメラは解析されることによって、対象範囲(RoI)を特定することができる。その後パンチルトズーム(PTZ)制御が送信されることによって、スレーブカメラがRoIへと向けられる。そして処理回路が用いられることによって、広角画像からのRoIがスレーブカメラの一つからの高解像度画像に置き換えられる。加えて、動作検知ソフトウェアが利用されることによって、動いている対象を自動的に検知、追跡及び/又は拡大することができる。
Description
他の出願の相互参照
本出願は、本開示中に文献援用されている2004年7月19日出願の米国特許仮出願第60/589,104号に基づく優先権を主張する。
本出願は、本開示中に文献援用されている2004年7月19日出願の米国特許仮出願第60/589,104号に基づく優先権を主張する。
発明の背景及び概要
発明の分野
本発明はビデオ監視システムに関連し、特に、広角ビデオカメラのズーム機能の自動拡張に関する。
発明の分野
本発明はビデオ監視システムに関連し、特に、広角ビデオカメラのズーム機能の自動拡張に関する。
背景
リアルタイムのビデオ監視システムは、防犯監視装置として普及してきている。新しい種類のカメラは、機械式のパンチルトズーム(PTZ)機能を広角光学システム及び画像処理に置き換えている。これは、本開示中で文献援用されている「ビデオ監視用複数視野同時表示の方法(Method of Simultaneously Displaying Multiple Views for Wide-AngleVideo Camera)」という米国特許出願第10/837,019号で論じられている。この種類のカメラは、本願において文献援用されている「広角ビデオカメラにおける複数視野の処理(Multiple View Processing in Wide-Angle Video Camera)」という米国特許出願第10/837,325号で更に論じられている。この種類のカメラは広い視野を監視し、そこから基地局へ伝達すべき範囲を選別する。このようにして、この種類のカメラは機械式PTZカメラの動作を模倣する。広角光学系は撮影された画像に歪みを生じてしまい、アルゴリズム処理を用いることで歪みを補正し、その画像を機械式PTZカメラと同様の見え方の画像へと変換する。
リアルタイムのビデオ監視システムは、防犯監視装置として普及してきている。新しい種類のカメラは、機械式のパンチルトズーム(PTZ)機能を広角光学システム及び画像処理に置き換えている。これは、本開示中で文献援用されている「ビデオ監視用複数視野同時表示の方法(Method of Simultaneously Displaying Multiple Views for Wide-AngleVideo Camera)」という米国特許出願第10/837,019号で論じられている。この種類のカメラは、本願において文献援用されている「広角ビデオカメラにおける複数視野の処理(Multiple View Processing in Wide-Angle Video Camera)」という米国特許出願第10/837,325号で更に論じられている。この種類のカメラは広い視野を監視し、そこから基地局へ伝達すべき範囲を選別する。このようにして、この種類のカメラは機械式PTZカメラの動作を模倣する。広角光学系は撮影された画像に歪みを生じてしまい、アルゴリズム処理を用いることで歪みを補正し、その画像を機械式PTZカメラと同様の見え方の画像へと変換する。
本開示中で文献援用されているヤウズ・アヒスカ(YavuzAhiska)の「広角ビデオカメラによる複数対象処理(MultipleObjective Processing in Wide-Angle Video Camera)」という米国特許出願第10/837,326号は、広角カメラによって撮影された歪んだ画像を補正する方法を説明している。この歪み補正処理を用いたとしても、このカメラは、対象となる領域を拡大する僅かな性能を有するのみである。カメラは以下の特許出願で説明されるようにプログラム可能な物であることも可能である。その特許出願とは、内蔵されたプログラム可能なマイクロプロセッサを有する「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号である。
ビデオカメラの視野とその画像の有効な解像度との間には競合が存在する。広角レンズは重要な光学ズームをほとんど実施できない。また同様に、高性能なズームを有するビデオカメラは(特に倍率が上がっている時に)狭い視野を有する。
広角の範囲を監視すると共に高解像度で範囲を撮影することができる解決策は、異なる場所で多数のカメラを利用することである。本開示中で文献援用されている米国特許第6,724,421号及び、エックス・チョウ(X.Zhou)らの「遠距離における人のバイオメトリックイメージを得るためのマスタ/スレーブシステム(A Master-Slave System to Acquire Biometric Imagery of Humans atDistance)」という公開文書は、これも本願において文献援用されているが、広角範囲を多数のカメラを使用することで広角の範囲を監視するシステムを説明している。これらのシステムにおいては、一つの独立した基地局ユニットが現場を監視する二台のカメラを制御する。その上、これらのシステムはマスタカメラのズーム機能を拡張しようとしない。
本開示中で文献援用されている米国特許第6,147,709号には、高解像度の画像をカメラによって撮影された半球状の双方向性(interactive)画像上に重ね合わせる方法及び装置が記載されている。重ね合わせは、高解像度画像と補正された俯瞰画像との間で少なくとも3箇所を一致させることによってなされる。この処理の主な欠点は、補正された俯瞰範囲において比較がなされることである。
ビデオ中で動いている範囲及びそれらの周囲は対象範囲(Regions of Interest)(RoI)を形成し、動いている範囲には、人又は動いている物及び、既に動いていないであろうが追跡された対象が相当する。その理由は、人、動いている対象及び/又は追跡される対象などは防犯監視装置にとって重要だからである。危険な事態に対してリアルタイムの警報を発するために、RoIは詳細な見分のために追跡され、拡大されるべきである。従来式の監視カメラ(CCTV)システムは、後の解析のために録画ビデオを撮影するのみであり、遅滞無く自動警報及びイベントトリガ(event trigger)を発することはない。
広視野カメラであって、広角の現場を監視することができ、一方で同時及び自動に高倍率で対象範囲を撮影することもできるカメラは監視システムにとって非常に望まれている。例えば、高解像度画像は犯人の違法行為を確実に特定する場合に効果があるか、放置されたスーツケースの周囲を分析するのに役立つであろう。それ故に、監視装置において、人の高解像度画像を得ることは非常に重要である。
広角の監視は多くのCCTV装置にとって必要である。ドーム状カメラ及び魚眼若しくは周辺レンズ(peripherallenses)を有するカメラのようなカメラは、広角のビデオを撮影することができる。広角監視カメラ及びシステムの主な欠点は、RoIへのズーム機能を有さないか、そのズーム機能が脆弱なことである。
そのシステムは、機械が読み取り可能な媒体を含むコンピュータプログラムを有することができる。それはコンピュータが実施可能なプログラムの命令を含んでおり、プログラム可能なカメラ装置において動く対象を検知し、対象を追跡するアルゴリズムを十分に実行するためのものである。これは、本開示中で文献援用されているセチンとアヒスカ(A. E. Cetin and Y. Ahiska)の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡(Tracking Moving Object in Video Using Wavelet Domain Information)」という米国特許出願第10/924,279号に記載されている。広視野カメラの自動的な動いている対象の検知及び対象追跡機能はRoIを規定することができ、RoIは、問題となる対象を捉えているカメラによって監視された広角の現場中にある。このRoIは多くの防犯装置にとって対象であろうから、その範囲はマスタカメラの電子式PTZ機能によって追跡することができる。
現在、広い範囲を監視することと、同時及び自動に高解像度で対象範囲の撮影とが両方できるシステムに対する要請がある。
米国特許仮出願第60/589,104号明細書
米国特許出願第10/837,019号明細書
米国特許出願第10/837,325号明細書
米国特許出願第10/837,326号明細書
米国特許第6,724,421号明細書
米国特許第6,147,709号明細書
米国特許出願第10/924,279号明細書
米国特許第6,509,926号明細書
米国特許出願第10/837,012号明細書
米国特許出願第11/178,232号明細書
A Master-SlaveSystem to Acquire Biometric Imagery of Humans at Distance、X. Zhou、R. Collins、T. Kanade、P. Metes、ACM International Workshop on Video Surveillance、 November 2003
Fundamentals of Digital Image Processing、Anil Jain、Prentice-Hall、NJ、1988
A System forVideo Surveillance and Monitoring、R. Collins、Lipton、Kanade、in Proc. American Nuclear Society (ANS) Eighth International TopicalMeeting on Robotics and Remote Systems、Pittsburgh、PA、April、25-29、1999
広角ビデオカメラの自動的なズーム機能の拡張
本発明は、広角の範囲を監視しつつ、より詳細に範囲を撮影することができる性能を実現する新しいアプローチを含む。
本発明は、広角の範囲を監視しつつ、より詳細に範囲を撮影することができる性能を実現する新しいアプローチを含む。
ある実施形態においては、ドーム状カメラ若しくは魚眼又は周辺レンズを有するカメラのような広角のマスタカメラであって、好ましくはほぼ拡大機能のないカメラは、画像を撮影するため及び自動でRoIを特定するために用いられる。それは例えば、動作検知及び/又は対象の追跡である。この実施形態においては、好ましくはマスタカメラと比べてより高度なズーム機能を有する少なくとも一つの他のカメラが、特定されたRoIを拡大するために用いられるであろう。マスタカメラ以外のカメラからの画像は、いくつかの目的のために用いられるであろう。それは、限定するのではないが、マスタカメラへと入力する又は基地局へと出力することを含む。
他の実施形態においては、制御回路が一つ以上のスレーブカメラへとPTZ制御を送信し、それはマスタカメラによって撮影された広角画像に少なくとも部分的に基づいて行われる。他の実施形態においても、これらの制御指令が用いられることによって、スレーブカメラをRoIに向ける、及び/又はスレーブカメラをRoIについて拡大させることができるであろう。
他の種類の実施形態においては、スレーブカメラの出力画像がマスタカメラによって撮影された画像と比較され、少なくとも部分的に比較に基づいてPTZ制御が一つ以上のスレーブカメラへと送信される。スレーブカメラからの出力画像は、その後いくつかの目的のために用いられるであろう。その目的には、限定するのではないが、その画像をマスタカメラからのRoIと比較すること、それらを基地局へと送信すること、又はそれらを他の画像に重ね合わせることを含む。
この実施形態の実施例においては、スレーブカメラがPTZ制御に従って移動した後に、スレーブカメラからの出力画像がマスタカメラからの画像と比較されることで、新しい一連のPTZ制御が作成される。この処理は、スレーブカメラからの出力画像をマスタカメラからの出力画像中に特定されたRoIと整合する必要は無いものの、整合することができる。この処理は、反復プロセスでなくても良いが、反復プロセスにすることができる。反復プロセスは繰り返されることによって、いかなる水準の所望される整合の精度をもなし得ることができる。この同期化を実行するための方法はたくさんあり、限定するのではないが、画像を整合するための画像処理技術、較正処理又はスレーブカメラからのフィードバックの位置解析を含む。
他の実施形態においては、スレーブカメラからの画像が、いくつか又は全てのマスタカメラからの画像に置換、補正、挿入又は整合するために用いられるであろう。合成画像はいくつかの目的のために用いられる事が可能であり、限定するのではないが、それらを記録し、それらを基地局へと送信し、及び/又はPTZ制御を作成するためにそれらを用いることを含む。
他の実施形態においては、好ましくは異なる範囲を監視するいくつかのスレーブカメラを用いることができ、マスタカメラの補正済み俯瞰画像は、これらのスレーブカメラの少なくとも一つの調整された画像に少なくとも部分的に基づいて変更されるであろう。
別の実施形態においては、動作検知ソフトソフトウェアが、RoIをビデオ中の動いている範囲として規定するために利用することができる。それは限定するのではないが、ビデオ中における人、動いている対象、もはや動いていないであろう追跡した対象、及び/又はそれらの近接物に相当する。
本発明のこれら及び他の実施形態は、以下により詳細に説明される。
開示される発明は、添付の図面を参照することによって説明されるであろう。図面は、発明の重要な実施形態を示し、参照によってここの明細書に導入されている。
好適な実施形態の詳細な説明
本出願の多数の革新的な教示が、(限定ではなく、例として)現時点における好適な実施形態を特に参照して説明されるであろう。
本出願の多数の革新的な教示が、(限定ではなく、例として)現時点における好適な実施形態を特に参照して説明されるであろう。
本革新の以前においては、利用可能なシステムはズーム機能のみに限られていたが、マスタカメラから制御されるスレーブPTZカメラを用いて電子ズーム機能を拡大することによって、RoIの高解像度画像を得ることができる。
米国特許第6,147,709号と異なり、以下で開示される比較を行う方法及びシステムは、補正済み俯瞰範囲とは対照的に、マスタカメラの広角の歪んだ範囲内においてそうすることによって、スレーブPTZビデオカメラを制御するためのPTZコマンドを発する。これは反復プロセスにすることができ、十分な手順を経ることで所望される整合の精度を達成できる。
制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの画像の整合を行うマスタカメラ内にあり、マスタカメラがスレーブカメラから必要な範囲の詳細な画像を得ることを可能にする。この同期化、すなわち画像を整合するために画像処理技術を用いること及び/又は較正処理によって実施される多数の方法がある。スレーブカメラからの位置のフィードバックは、正確な画像整合のための情報の有用な要素にもなるであろう。本開示中に文献援用されている、「カメラ監視システム用監視装置(Surveillance Apparatus for Camera Surveillance System)」という米国特許第6,509,926号は、カメラ及びレンズのアジマス角及び仰角を設定するためのシステムを考察している。歪んだ範囲においてこの処理を実施することによって、質に関して何も損なうことなく比較を行うことができる。画像又はベクトルx及びyの比較は、多くの異なる方法によって実施されるであろう。最も良く知られている方法は、ユークリッド距離(Euclidian distance)||x-y||であるが、gがゆがみを表す適当な関数である||g(x)-g(y)||も用いることが可能である。
好適な実施形態においては、マスタの広角カメラがスレーブPTZカメラへとPTZ制御信号を送る機能を有しており、自動的にRoIを拡大することができる。それは、現在の広い視野の画像に動作検知及び/又は対象追跡アルゴリズムを施すことによってなされる。ある実施形態においては、スレーブが指定の角度に動くようにコマンドを受けることは、それが通常の広範囲PTZインターフェースではない場合、PTZ制御として説明されるであろう。マスタカメラ中の制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの間で画像整合を実施できる。ある好適な実施形態は画像処理技術を用いることによって、マスタとスレーブカメラの画像を整合することができ、RoIの詳細な画像を得ることができる。
ある種の実施形態においては、マスタ及びスレーブカメラは較正され、PTZ制御がこれらの較正に少なくとも部分的に基づいてスレーブカメラへと送信されるであろう。マスタ及びスレーブカメラ間の較正が不十分である場合のみ、画像の記録又は整合が、その現場の補正済み画像を用いるか、マスタカメラによって撮影された未処理の広角画像を用いることによって行われる。
以下は、マスタ及びスレーブカメラ間の較正処理のある実施可能な例である。それは切り替えモードを有し、マスタカメラの出力がスレーブカメラの出力へと切り替えられ、切り替えは事前に決められた拡大位置に基づくであろう。その後スレーブカメラの位置はマスタカメラの選択した画像と共に並べられ、スレーブ追跡が用いられている場合は、スレーブカメラは動作追跡によって追跡されている対象を追うために用いられるであろう。マスタカメラの広角画像はより狭い範囲へと分割され、画像処理をすることによって、これらの範囲は拡大されることができる。これらの小さな画像を追跡することによって、マスタカメラはバーチャルカメラ又はVCAMとして機能する。上述したように、VCAM中で拡大された画像は端が平坦になっており、細部がぼけている。スレーブカメラの画像は、大半の監視装置において要求される細部の水準に達する必要がある。
手動モード
ヘッドA(Head A)のビデオ(ある好適な実施形態においては、これはマスタカメラからの出力画像を指す)は、エンターキーを押すことでスレーブカメラのビデオ出力へと切り替わる。一度切り替わると、スレーブカメラのキーボードによる制御が利用できるようになる。その後スレーブカメラは手動で較正されることによって、マスタカメラと同じ対象に向くことができる。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。別の実施形態においては、マスタカメラからの二つのアナログ出力があり、それぞれヘッド(Head)と呼ばれるであろう。モニタはヘッドからの出力を表示することができる。マスタカメラの後部にA及びBと標識されたBNCコネクタがあるために、モニタはヘッドA又はヘッドBへと接続することができる。
ヘッドA(Head A)のビデオ(ある好適な実施形態においては、これはマスタカメラからの出力画像を指す)は、エンターキーを押すことでスレーブカメラのビデオ出力へと切り替わる。一度切り替わると、スレーブカメラのキーボードによる制御が利用できるようになる。その後スレーブカメラは手動で較正されることによって、マスタカメラと同じ対象に向くことができる。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。別の実施形態においては、マスタカメラからの二つのアナログ出力があり、それぞれヘッド(Head)と呼ばれるであろう。モニタはヘッドからの出力を表示することができる。マスタカメラの後部にA及びBと標識されたBNCコネクタがあるために、モニタはヘッドA又はヘッドBへと接続することができる。
ズーム切り替えモード
ヘッドA上のいずれかのVCAMを制御している間に、視野が25°を超える時は、ビデオがスレーブカメラに切り替わり、スレーブカメラはマスタカメラのVCAMと同じ位置に動かされる。オプションが事前配置用に提供される。このオプションがオンになる場合、スレーブカメラは30倍のズームレベルにおいてマスタカメラのVCAMの位置へと動くであろう。また、ズームレベルが、ビデオがスレーブカメラへと切り替わる地点である25倍に達するまで再配置される。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。
ヘッドA上のいずれかのVCAMを制御している間に、視野が25°を超える時は、ビデオがスレーブカメラに切り替わり、スレーブカメラはマスタカメラのVCAMと同じ位置に動かされる。オプションが事前配置用に提供される。このオプションがオンになる場合、スレーブカメラは30倍のズームレベルにおいてマスタカメラのVCAMの位置へと動くであろう。また、ズームレベルが、ビデオがスレーブカメラへと切り替わる地点である25倍に達するまで再配置される。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。
スレーブの追跡モード
動作追跡が開始される時は、ヘッドAがスレーブカメラへと切り替わり、スレーブカメラが追跡されている動作レクタングル(motion rectangle)の位置へと動き、動作レクタングルが動いた時に更新される。動作レクタングルが動くことを止める又は動きが遅くなる場合に、スレーブカメラは拡大し、動作レクタングルが再び早く動く場合には、再度ズームアウトするであろう。使用者がジョイスティックを動かす場合には、スレーブカメラの制御はそれに担われるであろう。5秒間キーボードから操作がない後に、カメラがまだ追跡している場合、それはスレーブカメラを動作レクタングルの追跡へと戻すであろう。追跡が終了すると、制御及びビデオはマスタカメラへと戻されるであろう。
動作追跡が開始される時は、ヘッドAがスレーブカメラへと切り替わり、スレーブカメラが追跡されている動作レクタングル(motion rectangle)の位置へと動き、動作レクタングルが動いた時に更新される。動作レクタングルが動くことを止める又は動きが遅くなる場合に、スレーブカメラは拡大し、動作レクタングルが再び早く動く場合には、再度ズームアウトするであろう。使用者がジョイスティックを動かす場合には、スレーブカメラの制御はそれに担われるであろう。5秒間キーボードから操作がない後に、カメラがまだ追跡している場合、それはスレーブカメラを動作レクタングルの追跡へと戻すであろう。追跡が終了すると、制御及びビデオはマスタカメラへと戻されるであろう。
設計
3つの付加的なクラスが、マスタ/スレーブの特徴である、スレーブ較正、スレーブマネジャ及びシリアル出力を実行するために必要であった。ここで説明されるコードはadome.ini内のabspos設定によって可能になる。
3つの付加的なクラスが、マスタ/スレーブの特徴である、スレーブ較正、スレーブマネジャ及びシリアル出力を実行するために必要であった。ここで説明されるコードはadome.ini内のabspos設定によって可能になる。
スレーブ較正
このクラスは、マスタカメラをスレーブカメラと較正すること及びマスタカメラの球座標とスレーブカメラの球座標の間を平行移動させることに関与する。
このクラスは、マスタカメラをスレーブカメラと較正すること及びマスタカメラの球座標とスレーブカメラの球座標の間を平行移動させることに関与する。
較正フェーズは、スレーブカメラを基準点に配置することによって進行する。その後、そのビデオ出力はヘッドA上に表示され、一方でVCAMが同じ基準点(しかし、マスタカメラの座標システム内でもある)に配置される。そして使用者はマスタカメラのVCAMの配置の制御を行い、VCAMを調整する事によってスレーブカメラからの画像を整合すべきである。一度整合されれば、使用者がエンターを押すとVCAMの現在位置が読み取られるであろう。パンしている状態での基準点とVCAMの新しい位置との間の違いが、平行移動機能によって後の用途のために保存される。較正フェーズのために、スレーブ較正クラスはメニュークラスと協調し、もし必要であれば、メニュークラスを変更することなく一つ以上の基準点を用いることが可能である(スレーブ較正クラスの既定較正作成(GenerateCalibrationPresets)機能を参照)。
スレーブ較正クラスの第二の関与は、スレーブマネジャクラスのためにマスタカメラの座標をスレーブカメラの座標へと平行移動することである。これはスレーブ座標への平行移動(TranslateToSlaveCoordinates)機能中で、画像化される点が5メートル離れた距離であることを最初に仮定することによって実行される。その後球座標は、デカルト座標(Cartesian coordinate)へと移される。較正フェーズ中に測定されたパンにおける違いによるz軸についての回転が、その後になされる。そして、x及びz座標の平行移動がなされる。この平行移動は、二つのカメラ間の(それらの高さの違いも含めた)物理的な距離に起因する。キットを取り付けることによって、二台のカメラ間の距離がx軸に関して一定であることが保証されるであろう。スレーブカメラの高さが互いに異なっているであろうために、z軸の平行移動は接続されているスレーブカメラに依存する。最後の段階は、平行移動され、回転されたデカルト座標を球座標へと逆変換することである。
スレーブマネジャ
スレーブマネジャクラスは、スレーブカメラへと切り替える時にズームのレベルを確認すること、ビデオをスレーブカメラへと切り替えること、スレーブカメラを位置決めすること及びキーボードからの操作が無いタイムアウトに対応することに関与する。
スレーブマネジャクラスは、スレーブカメラへと切り替える時にズームのレベルを確認すること、ビデオをスレーブカメラへと切り替えること、スレーブカメラを位置決めすること及びキーボードからの操作が無いタイムアウトに対応することに関与する。
スレーブ処理モード(ProcessSlaveMode)機能はフレーム毎に一度呼び出される。ズーム切り替えが可能であれば、それはヘッドA上の稼動しているVCAMのズームレベルを確認するであろうし、それが25未満であれば、(以下で説明する)スレーブ設定モード(SetSlaveMode)機能を呼び出すことによって、それはスレーブカメラへと切り替わり、それを配置するであろう。再配置が可能であれば、それはスレーブカメラも配置するであろう。しかし、ズームレベルが30から25の間である時は、それへと切り替わらないであろう。この事は、(以下で説明される)最近規定位置へのスレーブの切り替え(SwitchSlaveToNearestPreset)機能を呼び出すことによって実行される。タイマはそのクラスによって管理されることで、スレーブモード及びスレーブ追跡モードからのタイムアウトに対応する。このタイマは、この機能及びタイムアウト後に入った適切なモード中に確認される。タイマはスレーブ移動(SlaveMoved)機能を呼び出すことによってリセットされる。(この事は、以下で説明されるシリアル出力(serialOut)及びシリアルによって実行される。)
スレーブ設定モード機能は、ビデオをスレーブカメラへと切り替え、それを位置決めする。スレーブカメラビデオへの切り替えは、i2cの書き込みによってCPLDを制御するレジスタのビットを設定することによって実行される。位置決めは、稼動しているVCAMの現在位置を読み取り、スレーブ較正クラスのスレーブ座標への平行移動機能を呼び出すことによって座標を平行移動し、(以下で説明されるように)シリアル出力クラス用の出力列へとそれを移すことによって対応することによって実行される。
最近規定位置へのスレーブの切り替え機能は、マスタカメラの球座標を取り、スレーブ較正クラスのスレーブ座標への平行移動機能を用いて、(以下で説明されるように)シリアル出力クラス用の出力キューへとそれを移すことによって処理する。これは、事前配置及び、(以下で説明される)スレーブ追跡のための動作追跡(MotionTracker)クラスによって用いられる。
シリアル出力
シリアル出力クラスは、RS485によってスレーブカメラへとコマンドを送信することに関与する。シリアル出力クラスは分離スレッドを走らせ、分離スレッドは、コマンドがキューに加えられるまで出力キューを妨げる。キューにコマンドが加えられると、それは適した送信機能をシリアルクラス上に呼び出す。
シリアル出力クラスは、RS485によってスレーブカメラへとコマンドを送信することに関与する。シリアル出力クラスは分離スレッドを走らせ、分離スレッドは、コマンドがキューに加えられるまで出力キューを妨げる。キューにコマンドが加えられると、それは適した送信機能をシリアルクラス上に呼び出す。
上述の新しいクラスに加えて、いくつかの変更が現存するクラスに加えられる。キーの変更が以下に説明される。
シリアル
シリアルクラスはキーボード入力を処理し、パススルーモードの追加を有する。パススルーモードは、スレーブモード、スレーブ追跡モード又はスレーブ較正モードである時に可能である。パススルーモードにおいては、全ての受信したコマンドが第二シリアルポート(スレーブドームに連結されているポート)から送信される。エスケープキーはこのモードである間はシリアルクラスによって記憶され、スレーブモードは、それが(スレーブマネジャのスレーブ設定モード機能を呼び出すことによって)受信された時には、使用不能である。このモード中は、スレーブマネジャのスレーブ移動機能が、コマンドがキーボードから及びそれを通って受信されるたびに呼び出される。この事は、そのタイマをリセットすることによってスレーブマネジャがモードのタイムアウトになるのを防止する。
シリアルクラスはキーボード入力を処理し、パススルーモードの追加を有する。パススルーモードは、スレーブモード、スレーブ追跡モード又はスレーブ較正モードである時に可能である。パススルーモードにおいては、全ての受信したコマンドが第二シリアルポート(スレーブドームに連結されているポート)から送信される。エスケープキーはこのモードである間はシリアルクラスによって記憶され、スレーブモードは、それが(スレーブマネジャのスレーブ設定モード機能を呼び出すことによって)受信された時には、使用不能である。このモード中は、スレーブマネジャのスレーブ移動機能が、コマンドがキーボードから及びそれを通って受信されるたびに呼び出される。この事は、そのタイマをリセットすることによってスレーブマネジャがモードのタイムアウトになるのを防止する。
動作追跡
動作追跡クラスは、動作追跡を処理しており、スレーブ設定ポス(SetSlavePos)という付加機能を有する。スレーブ設定ポスは、動作追跡が追跡VCAMカメラを動かし、スレーブ追跡が可能である時に呼び出される。
動作追跡クラスは、動作追跡を処理しており、スレーブ設定ポス(SetSlavePos)という付加機能を有する。スレーブ設定ポスは、動作追跡が追跡VCAMカメラを動かし、スレーブ追跡が可能である時に呼び出される。
スレーブ設定ポス機能は、未処理の動作レクタングルとズームレベルを行い、ズームレベルは、動作検知と追跡VCAM用に用いられる追跡アルゴリズムとによって決められる。その後、それがスレーブカメラを位置決めすることを試みるために、それは動作レクタングルの上部中央に集まる。(これは人の頭部を狙おうと試みる高度な単純照準システムである。)スレーブのために決められた位置が、スレーブカメラの現在位置を避けて決められた閾値より小さければ、スレーブカメラはそれがある位置に取り残される。これは、スレーブカメラによってなされる小さな移動の回数を減少させるためである。スレーブカメラが移動する時に、それは本当に突然停止してしまうため、わずかな振動効果は、アルゴリズムが大きな移動をたくさんの小さな移動より好むことによって、この効果の衝撃を減少することができることが認識されるであろう。
動作レクタングルがゆっくり動いているか、停止している場合、アルゴリズムがスレーブカメラをVCAMの動作追跡アルゴリズムから算出された拡大率より更に拡大させる。これはm-距離移動(m_DistanceMoved)変数を算出することによって実行される。この変数は、追跡が開始した時に100になるように設定されている。トラッキング中は、その値が現在の値の80%と距離の20%をとることで再計算され、その距離はスレーブドームが、それが最後に動いた時からの動いた(直線距離による)距離である。この値が3未満に下がった時、拡大率はスレーブカメラが位置決めされる前に大きくなる。値が3以上である場合は、拡大率はVCAMの動作追跡アルゴリズムによって算出された倍率になる。上記の実施形態は例示に過ぎず、本発明が実施できる多くの可能な方法を制限することを意図しない。
ある実施形態においては、画像が同じ範囲、例えば歪んだ又は補正された範囲において比較される。広角の画像範囲で比較を行うために、スレーブカメラの画像は歪んだ画像へと逆変換され、それはマスタカメラの未処理の広角画像の一部と類似する。その後画像は比較され、ある実施形態においては、制御がこの比較の結果に少なくとも部分的に基づいて送信されるであろう。マスタカメラが画像整合の結果に対応するPTZ制御信号を調整できるために、RoIはスレーブカメラの画像範囲の中央に位置する。
画像整合が反復して実行されることによって、RoIとスレーブカメラ又はカメラの視野との間の画像整合の精度が向上されるであろう。この画像整合は多様な方法で実施できる。これらの方法のいくつかは、1988年にニュージャージー州プレンティスホール(Prentice-Hall)のアニル・ジェーン(AnilJain)によって書かれた「デジタル画像処理の基礎(Fundamentalsof Digital Image Processing)」という公開文書中で説明されている。この実施形態のある実施例においては、マスタカメラが付加的なPTZ制御信号を送信することによって、いかなる水準の所望する整合の精度も実現できる。
二つの画像が整合又は記録されると、マスタカメラの補正済み俯瞰画像がスレーブカメラからの修正された画像と置換されることによって、マスタカメラ単独のズーム機能で可能であろう画像よりも、RoIの高解像度の画像を得ることができる。光学ズーム機能を有するスレーブPTZカメラは、広角マスタカメラから得られるRoIの補正済み画像と比較して、より鮮明なRoIの画像を作成する。これはいくつかの広角カメラが数値補間を実施することによって、ある範囲へと拡大することに起因する。それによって、RoI中の対象の輪郭は滑らかになるであろう。この実施形態においては、マスタカメラからの画像をスレーブカメラから得られたより鮮明な画像と置き換えることが、マスタカメラの拡大機能を拡張する。
好適な実施形態の実施例が図1から9に示されている。発明のある実施形態が図3、4及び5に示され、それらはプロムラム可能な内蔵マイクロプロセッサ及び回路を有している。好適な実施形態が全ての必要な画像処理操作を行う機能を有することによって、拡張された光学ズームを実現できる。
図1は、広角マスタカメラの好適な実施形態を含むシステム用の好適なレイアウトを示す。画像センサ102と連結している広角光学システム101は画像を撮影し、それは補正のために画像処理回路103に送信されるであろう。ある実施形態においては、補正は画像の歪みであり、レンズによって生じた歪みを修正する。本開示中に文献援用されている、「画像処理による光学歪みの補正(Correction of Optical Distortion by Image Processing)」という米国特許出願第10/837,012号に開示されるように、歪みは恣意的な複合体(arbitrarily complex)であろう。歪みは、必要な歪みを規定するテーブルを用いることによって補正される。画像処理回路103はメモリを有しており、いくつかの方法で行うことができる。それは広帯域バスと連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させる。デジタルセンサのデータは、回路が十分に高速で稼動している場合は、画像処理回路103へバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知102の性質及び画像処理103は、制御回路104によって制御されるであろう。出力回路105は、ビデオ信号を基地局へと送信するのに用いられるであろう。
マスタカメラの画像処理回路103は、スレーブPTZカメラからのデジタルビデオを他の入力として取り込むことができる。スレーブカメラからの画像は、より高度な光学ズームによる画像が、改善された細部に対して望まれる時に用いることができる。スレーブからの画像が必要か否かの決定は、マスタカメラ104内にある制御回路によってなされ、それは内蔵したソフトウェアプログラム及び基地局からの制御に基づいて実行されるであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ104中の、制御回路を介して制御される。
ある実施形態においては、制御回路104がマスタの広角ビデオカメラとスレーブPTZカメラとの間の必要とされるいかなる画像整合をも行う。PTZ制御がスレーブカメラへとマスタカメラ中の制御回路から伝達されることで、最初の近似の整合がなされる。この近似は、例えばスレーブカメラ中のPTZプリセットであろう。スレーブカメラからの任意の位置フィードバック信号があり、それがPTZカメラを希望する場所へと位置決めする時に制御回路を補助する。
好適な実施形態においては、この整合が、画像を整合するために画像処理技術を用いて補助されるであろう。広角の画像範囲中で画像を比較するために、スレーブPTZカメラのデジタルビデオ出力が、画像処理回路103において歪んだスレーブ画像へと逆変換されるであろう。歪んだスレーブ画像は、マスタカメラの未処理の広角画像の一部に似ている。逆変換はスレーブカメラからの長方形の画像を取り込み、それを歪んだ広角画像の中に曲がった辺を有するより複雑な形状へと変換するであろう。
ある実施形態においては、逆変換は画像処理回路103の二つのステージで起こると考えられる。スレーブカメラのパン、チルト及びズームについての知識を得れば、最初のステージは(x,y)座標をスレーブ画像においてワールド座標(θ,φ)へと変換する。これは、マスタカメラ内の補正済み画像を作成するために用いられる変換の逆である。拡大率からの位置フィードバックが利用できない場合、マスタ及びスレーブ画像間の移行は常に同じ倍率で実行されることが保証されるであろう。ワールド座標が算出されれば、第二ステージは、ワールド座標から歪んだ画像への参照テーブルを用いた投影を含む。この第二のステージの投影は、個々のピクセル、スレーブ画像をモザイク状にする三角形又はスレーブ画像をタイル張りにする他のあらゆる形状に適用されるであろう。
ある実施形態においては、スレーブカメラの画像を補正するのに必要とされるPTZ制御調整が、二つの画像の色及びウェーブレットのヒストグラムを比較することによって決定されるであろう。対応する画像の平行移動ベクトルは補正済み俯瞰範囲へと変換され、PTZ調整コマンドを形成するために用いられるであろう。この平行移動のベクトルの比率のみを用いることは、所望する状態へのスレーブカメラの収束を最大にするであろう。これらPTZ調整制御信号はスレーブカメラへと伝達されることで、スレーブカメラからの画像とマスタカメラからの前記RoI用の補正済み俯瞰画像との間のより良い整合を得ることができる。画像整合及びPTZ制御送信処理が反復して実行されることによって、所望される整合の精度を実現できる。精度は平均平方誤差、平均絶対差及びヒストグラム比較又は他の平均値によって決定されるであろう。
マスタ及びスレーブカメラは実際には異なる色の設定を有するであろう。登録する前に、それらの色のヒストグラムが均等化されることによって、それらは同じダイナミックレンジ(dynamic range)、明度及び露出レベルを有し、起こり得る色の相殺もヒストグラムの均等化によって除去される。それは広く用いられる画像処理技術である(例えば、本開示中に文献援用されている1998年にニュージャージー州プレンティスホールのアニル・ジェーンによって書かれた「デジタル画像処理の基礎」という教科書を参照)。
マスタカメラはプライバシ領域を補助する機能を有することができ、それは出力された画像から使用者に決められた領域を不明瞭にする。この機能は、本開示中に文献援用されている「広角ビデオカメラにおける領域の画像処理(Image Processing of Regions in a Wide Angle Video Camera)」という名前の米国特許出願第11/178,232号(代理人整理番号GRND-02)に記載されている。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが整合されることによって、マスタカメラ中に規定されたプライバシ領域の形状を示すマスクが、スレーブの画像の適切な領域を空白にするよう適用されるであろう。ある実施形態においては、これは画像処理回路103中で実施される。
ある種の好適な実施形態においては、二つの画像が整合又は記録されると、制御回路104が所望される画像を指示し、その画像は画像処理回路103で構成されるであろう。より高度な拡大が必要である場合、対応する補正済み俯瞰画像が適切に整合されたスレーブの画像によって置き換えられるであろう。この実施形態の実施例の意図することは、マスタ画像とスレーブ画像との間で可能な限り継ぎ目が無いように移行することによって、連続的な拡大機能の質を向上させることである。画像処理回路からの出力は、広角画像、スレーブカメラの画像、又はいくつかのこれらを含む多数の画像のコラージュからの補正済み俯瞰画像を多く含む。
デジタル出力は好ましく受け渡されることによって、監視のために基地局へとデジタル処理で出力される前に、出力回路105で必要に応じてフォーマット及び圧縮される。例えば、多数のMPEG4ストリームが可能である。図1の実施形態を説明するこのプロセスは、図8にフローチャートを用いて図示されている。歪んだ広角ビデオ画像は、広角マスタカメラを用いて撮影される(手順802)。その後、マスタカメラ中のRoIが規定される(手順804)。そして算出されたPTZコマンドがマスタカメラからスレーブカメラへと伝達されることで、RoIと整合した近似画像が得られる(手順806)。スレーブカメラの出力は、その後マスタカメラによって逆変換される(手順808)。そして歪んだスレーブ画像が歪んだ広角画像と比較されることで、スレーブカメラへの調整PTZ制御信号が決定及び伝達され(手順810)、それによって所望される整合の精度が満たされているか否かを決定することができる(手順812)。所望される整合の精度が満たされている場合、その後に処理は手順814へと続く。所望される整合の精度が満たされていない場合は、その後に処理は手順806へとループして戻る。所望される整合の精度が満たされれば、マスタカメラの補正済み俯瞰画像は、調整されたスレーブカメラの画像と置き換わることによって、拡張されたズーム機能を実現できる(手順814)。
方法及びシステムは、いくつかのスレーブカメラを有することができる。そのような方法及びシステムは、それぞれの動いている対象を異なるスレーブカメラに割り当てることによって、同時にいくつかの動いている領域を追跡することができ、スレーブカメラは動いているブロブ(moving blob)のより鮮明な画像を映し出す。この場合においては、マスタカメラの補正済み俯瞰画像は、動いているブロブを追跡しているスレーブカメラの調整された画像によって置き換えられるであろう。実施形態は図1Bに示されており、マスタカメラが光学ズーム機能を有した二つのスレーブカメラを制御する。
本発明の他の変形形態は、マスタカメラからの出力にアナログビデオを用いるであろう。デジタルからアナログのビデオ及びフォーマットへの変換は、出力回路105で行われるであろう。別の可能な実施形態は、二つのアナログ複合ビデオの出力チャネルから成る。
他の実施形態はアナログのスレーブカメラを用いるであろう。このカメラによって作成されたアナログビデオは、図2に示されるようなアナログ/デジタル変換機(analog-to-digital converter)(ADC)を用いてデジタルビデオへと変換されるであろう。出力回路205は、マスタカメラからのデジタルビデオ出力に必要なフォーマット及び圧縮を行うであろう。図1について述べたように、図2の変形形態はマスタカメラからのアナログビデオ出力を有するシステムを含む。デジタルからアナログのビデオ及びフォーマットへの変換は出力回路205で行われるであろう。
システムのアナログ切り替え版(analog-switchingversion)を伴う他の実施形態が図3に示されている。この実施形態においては、スレーブPTZカメラからのビデオはアナログである。画像センサ302に連結されている光学システム301が画像を撮影するために用いられ、その後にその画像は補正のために画像処理回路303へと移されるであろう。上記の実施形態において述べたように、補正は画像の歪みであり、それはレンズによって生じた歪みを補完するであろう。画像処理回路303はメモリを有することが可能であり、高帯域バスに連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させている。デジタルセンサのデータは、回路が十分に高速で稼動している場合、画像処理回路303へとバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知302の性質及び画像処理303は、制御回路304によって制御されるであろう。
ある好適な実施形態においては、スレーブからの画像が必要か否かの決定が、マスタカメラ304内にある制御回路によってなされ、制御回路は、内蔵したソフトウェアプログラム及び/又は基地局からの制御に基づいて実行するであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ304中の制御回路を介して制御される。使用者にとって、多数のカメラが用いられていることを気付かないことは望ましいであろう。
ある実施形態においては、必要な場合には、制御回路304がマスタの広角ビデオカメラとスレーブPTZカメラ間の近似の画像整合を実行するであろう。PTZ制御はマスタカメラ中の制御回路からスレーブカメラへと伝達されることによって、近似の整合が実現できる。ある好適な実施形態においては、この近似にはスレーブカメラ中のPTZプリセットを用いる。別の実施形態はスレーブカメラを利用し、それは命令されることによっていかなるPTZの状態へも変化できる。他の代替実施形態はスレーブカメラを使用し、PTZコマンドが出された時に、カメラの位置出力が予測され整合性がとられる。ある実施形態の実施例においては、スレーブカメラが土台を有し、それはステッピングモータを用いて制御されており、時折既知の位置へと較正される。他の実施形態は較正技術を利用しており、使用者が有限の数の位置を較正することによって、両方のカメラが同じ較正対象を映し出す。スレーブカメラはその後、位置のフィードバック信号を発し、その値がテーブル中のマスタカメラ画像の擬似PTZ座標に応じてメモリに記録される。線形補完が用いられることで、これらの較正された点の間の中間位置が決定できる。スレーブPTZカメラ画像は、こうして所望されるRoIとの近似整合における位置へと送られる。これらのアナログの解決法においては、スレーブカメラに限界の拡大率を超える前に動くよう命令することが可能である。この先取りは、機械式スレーブPTZカメラの伝達時間による遅延を減少させることができる。
画像処理回路303からの出力は、アナログ変換及びフォーマット回路305へと受け渡され、回路305はデジタルデータからアナログ出力を作成することができる。アナログ変換及びフォーマット回路305及びスレーブPTZカメラからの出力は、ビデオ切り替え及び出力回路306へと伝達されるであろう。この回路は制御回路304によって制御されることができ、制御回路はどのビデオストリームが適切な出力チャネル上に出力されるべきかを決定する。ビデオ切り替え回路からの出力は、一つ以上のアナログビデオチャネルであろう。
マスタカメラはプライバシ領域を補助する機能を有しており、それは出力された物から使用者が決めた範囲を不明瞭にする。この機能は、「広角ビデオカメラの範囲の画像処理(Image Processing of Regions in a Wide Angle Video Camera)」という米国特許出願第11/178,232号(代理人整理番号GRND-02)に記載されている。マスタカメラ中の規定されたプライバシ領域の形状を示すマスクは、画像処理回路303で作成されるであろう。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが近似的に整合されることによって、このマスクは、ビデオ切り替え及び出力回路306を用いてスレーブの画像の適切な近似領域を空白にするように適用されるであろう。別の実施形態は自身のプライバシ領域補助を有するスレーブカメラを使用し、プライバシ領域補助はマスタカメラを介して較正されるであろう。
図4は図3の実施形態の改良されたバージョンである。この実施形態においては、スレーブPTZカメラからのビデオは、アナログの代わりにデジタルである。このように、表示するためのいずれの出力かの決定は、「多重圧縮及びフォーマット回路(multiplexing, compression & formatting circuitry)」405によってデジタルの領域で行われるであろう。これは単一のビデオストリーム又は多重送信を用いたストリームの組合せのいずれかを出力するオプションを有する。カメラシステムは(例えばMPEG4のような)デジタル出力を有するであろう。マスタカメラ中に規定されたあらゆるプライバシ領域を表すマスクが、この回路405に適用されることによって、スレーブ画像中の適切な近似領域が空白化されることができる。この最後のステージを別とすると、残りのプロセスは図3に記載されるプロセスと同様の手順に従う。
別の実施形態が図5に示されており、スレーブカメラがアナログビデオ出力を有し、それはアナログ/デジタル変換機(ADC)を用いることでデジタルビデオへと変換されることができる。そうでなければ、それは図4用の説明に記載されたのと同じプロセス及びレイアウトに従う。
図6の実施形態はあるレイアウトを図示しており、そこではビデオ切り替えは起こらないであろう。スレーブPTZカメラからのビデオ出力はマスタカメラ中のいかなる回路も通る必要が無い。マスタカメラ中の制御回路604が所望される近似場所へとスレーブカメラを動かすことにまだ対応しているために、選択されたRoIを映し出すことができる。二つのカメラは別個のビデオ出力を有するであろう。スレーブPTZカメラからの出力は、アナログかデジタルのビデオのいずれかであろう。マスタカメラの画像処理回路603からのデジタル出力は、監視するために基地局へとデジタル処理によって送信される前に、出力回路605で必要に応じてフォーマット及び圧縮されるであろう。多数のMPEG4出力が可能である。この実施形態からの変形形態は、マスタカメラからのアナログビデオ出力を有するシステムである。デジタルからアナログへの変換及び画像処理回路603からのデジタルデータのフォーマットは、出力回路605において実施されるであろう。可能な実施形態は二つのアナログ複合ビデオチャネルを有する。スレーブPTZからの出力は、アナログ又はデジタルのビデオのいずれかであろう。プライバシ領域は、スレーブPTZカメラの個々の回路及び構造設定を用いることによって実行されるであろう。
マスタカメラの動作検知
好適な実施形態においては、マスタカメラでの動作検知は、周知のバックグラウンド除去法を用いることによって行われるであろう。ビデオ中でのバックグラウンドの算出を説明した多数の公開文書がある。現場のバックグラウンドは多くの方法によって算出される。現場のバックグラウンドの画像は、現場中の静止物に属するそれらピクセルとして規定されるであろう。例えば、本開示中に文献援用されている「ビデオ監視及びモニタリング用システム(A System for Video Surveillance and Monitoring)」という題のコリンズ(R. Collins)らの公開文書によると、再帰的バックグラウンド算出法は以下の方程式に基づいて提案される。
In(k,l)が静止ピクセルであれば、Bn+1(k,l)=aBn(k,l)+(l-a)In
In(k,l)が運動ピクセルであれば、Bn+1(k,l)=aBn(k,l)
In(k,l)は、マスタカメラによって撮影されたビデオのn番目の画像フレームIn中のピクセルを表し、画像Bn+1は、n+1の時刻に算出されたバックグラウンド画像であり、aは0から1の間のパラメータである。この漸化式は、過去の画像フレームの加重和を導く。一時的な物体は長時間の平均上では消滅し、現場の静止物はバックグラウンドに残る。バックグラウンド算出処理は他の手段によっても問題なく行うことができる。同様に、動作検知それ自体も、本発明の範囲内において他の方法によって行うことができる。
好適な実施形態においては、マスタカメラでの動作検知は、周知のバックグラウンド除去法を用いることによって行われるであろう。ビデオ中でのバックグラウンドの算出を説明した多数の公開文書がある。現場のバックグラウンドは多くの方法によって算出される。現場のバックグラウンドの画像は、現場中の静止物に属するそれらピクセルとして規定されるであろう。例えば、本開示中に文献援用されている「ビデオ監視及びモニタリング用システム(A System for Video Surveillance and Monitoring)」という題のコリンズ(R. Collins)らの公開文書によると、再帰的バックグラウンド算出法は以下の方程式に基づいて提案される。
In(k,l)が静止ピクセルであれば、Bn+1(k,l)=aBn(k,l)+(l-a)In
In(k,l)が運動ピクセルであれば、Bn+1(k,l)=aBn(k,l)
In(k,l)は、マスタカメラによって撮影されたビデオのn番目の画像フレームIn中のピクセルを表し、画像Bn+1は、n+1の時刻に算出されたバックグラウンド画像であり、aは0から1の間のパラメータである。この漸化式は、過去の画像フレームの加重和を導く。一時的な物体は長時間の平均上では消滅し、現場の静止物はバックグラウンドに残る。バックグラウンド算出処理は他の手段によっても問題なく行うことができる。同様に、動作検知それ自体も、本発明の範囲内において他の方法によって行うことができる。
現在の画像の運動ピクセルは、現在の画像Inを現在のバックグラウンド画像Bnから減算することによって好ましく算出される。その後これらピクセルは、結合された構成要素の解析によって動いているブロブに結合される。結合された構成要素の解析は周知の画像処理技術である(例えば1988年にニュージャージー州プレンティスホールのアニル ジェーンによって書かれたデジタル画像処理の基礎を参照)。ビデオ中の動いているブロブは人又は動いている対象に相当し、ビデオ中でそれらの近辺の周辺物を伴うブロブは対象範囲を形成する。その理由は、現場中の人、動く対象、残された対象などは、防犯監視装置にとって重要であるからである。後の解析のために記録ビデオを撮影するのみである従来式のシステムとは違って、リアルタイムの監視は、遅滞なく警報及び事象トリガーの追加的利点を提供する。それ故そのような範囲は、詳細な見分のために追跡され、拡大されるべきである。
マスタカメラにおける追跡
動いているブロブが検知されると、それはマスタカメラによって追跡されるであろう。ある好適な実施形態は、マスタカメラにおいて追跡を行い、そのマスタカメラは、ビデオの広角画像フレームを用いたマスタカメラにおいて、セチンとアヒスカ(A. E. Cetin and Y. Ahiska)の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡(Tracking Moving Object in Video Using Wavelet Domain Information)」という米国特許出願第10/924,279号に従っている。本特許出願においては、動いているブロブが、ブロブの色及びウェーブレット領域情報から構築された一次元のヒストグラムによって特徴付けられている。ビデオの現在の画像フレーム中のブロブと以前の画像フレーム中のブロブとが、ブロブのヒストグラムを用いて相互に比較される。ヒストグラムの比較は、平均絶対差又はバッタチャリヤ係数(Bhattacharya coefficient)を用いて行われる。最も小さい平均絶対差を生じるブロブは、相互に関連している。
動いているブロブが検知されると、それはマスタカメラによって追跡されるであろう。ある好適な実施形態は、マスタカメラにおいて追跡を行い、そのマスタカメラは、ビデオの広角画像フレームを用いたマスタカメラにおいて、セチンとアヒスカ(A. E. Cetin and Y. Ahiska)の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡(Tracking Moving Object in Video Using Wavelet Domain Information)」という米国特許出願第10/924,279号に従っている。本特許出願においては、動いているブロブが、ブロブの色及びウェーブレット領域情報から構築された一次元のヒストグラムによって特徴付けられている。ビデオの現在の画像フレーム中のブロブと以前の画像フレーム中のブロブとが、ブロブのヒストグラムを用いて相互に比較される。ヒストグラムの比較は、平均絶対差又はバッタチャリヤ係数(Bhattacharya coefficient)を用いて行われる。最も小さい平均絶対差を生じるブロブは、相互に関連している。
他の実施形態においては、追跡は対象を指し示すことによって開始されるであろう。クリックされたピクセルが動いているブロブ内にある場合、その後にこのブロブは、上述のようにビデオを形成する複数の画像フレームにおいて追跡される。クリックされたピクセルが動いているブロブの一部でない場合には、その後に範囲成長(region-growing)アルゴリズムがクリックされたピクセルの周囲で開始され、同様の性質を有するピクセルが連結されてブロブを形成する。算出された範囲の色及びウェーブレットのヒストグラムは、次の画像フレーム中の同じ範囲のヒストグラムと比較される。この範囲の色及びウェーブレットのヒストグラムが、時間がたつにつれて変化する場合、この事は対象が動き始めたことを意味する。この事は、範囲のある部分が、カメラの動作検知アルゴリズムによって決定される動いているブロブの一部であろうことも意味する。一度決定がなされれば、現在ではこの静止対象物は動いている対象物であり、その後にそれは上記のパラグラフで説明したように追跡される。
多くの監視装置においては、人又は動いている対象の高精度の画像を得ることが非常に重要である。追跡アルゴリズムは必要な情報を提供することで、動いている対象の詳細な画像を得ることができる。「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号で説明されている広角カメラは拡大機能を有する。この機能は、マスタカメラから指示を受けるスレーブPTZカメラを用いることによって拡張することができる。追跡されるブロブの塊の中央部を収めているRoIは、PTZ制御をスレーブPTZカメラへと送るのに用いられ、その結果、スレーブカメラがブロブへと拡大することで拡張されたズーム機能を実現できるであろう。
スレーブPTZカメラは、マスタの広角カメラから得られたブロブの補正済み画像と比較して、より明確なブロブの画像を度々作成するであろう。これは、マスタの広角カメラが数値の補完を行うことによってある範囲へと拡大するからであり、その事は限られたセンサの解像度によって対象の端を滑らかにし、多くの場合は滑らかな画像になる。マスタカメラから得られた滑らかな画像をスレーブカメラからの明確な画像に置き換えることによって、システムのズーム機能は拡張される。人及び動いている対象(又は過去に動いていた対象)は防犯監視装置において重要であるため、対象の追跡は、RoIを形成する上で詳細な見分を得るための拡大において有用である。
上述したように、好適な実施形態は図1Bで示されるようにマスタカメラと光学ズーム機能を有する二つのスレーブカメラから構成される。図2、3、4、及び5に示される方法及びカメラシステムの代替形態も、一つのマスタカメラと光学ズーム機能を有する複数のスレーブから構成されるであろう。
ある種の実施形態において方法及びシステムは、スレーブカメラが内蔵の追跡機能を有している場合には、マスタカメラ又はスレーブカメラにおいて動く対象の追跡を認識することに柔軟性を有する。これらの実施形態のある実施例においては、マスタカメラが現場の動いている範囲を検知し、それぞれの動いている範囲を異なるスレーブカメラに割り当てる。その後、各スレーブカメラが内蔵された追跡機構を用いて動いている範囲を追跡するであろう。
マスタカメラにおける画像の記録
スレーブPTZカメラによって撮影される動いているブロブ及びその直近の周辺の画像並びに、マスタカメラにおけるブロブに対応する画像がマスタカメラ中に記録されることによって、RoIの高画質の画像を得ることができる。画像の記録は二つのステージにおいてマスタカメラ中で行われる。第一のステージにおいては、動いているブロブを含むマスタカメラの画像の一部及びPTZカメラの変換された画像の両者の中にあるいくつかのサリエントポイント(salient point)が、二つの画像中で同じアルゴリズムを走らせることによって決定されるであろう。例えば、マスタカメラが魚眼レンズからの画像を有する場合、その後にスレーブPTZカメラの画像が歪んだ魚眼画像の座標へと変換される。これは、周辺レンズを用いるような広角ビデオ撮影の他の手段にも適用される。両方の画像が現場の同じブロブを表示することによって、サリエントポイント検知アルゴリズムは対象の点として同じピクセルを形成すべきである。サリエントポイントはウェーブレット領域法を用いて決定されるであろう。このステージの後に二つの画像のサリエントポイントが、局所の色のヒストグラムをそれぞれの箇所の周囲で用いることによって、相互に整合されるであろう。
スレーブPTZカメラによって撮影される動いているブロブ及びその直近の周辺の画像並びに、マスタカメラにおけるブロブに対応する画像がマスタカメラ中に記録されることによって、RoIの高画質の画像を得ることができる。画像の記録は二つのステージにおいてマスタカメラ中で行われる。第一のステージにおいては、動いているブロブを含むマスタカメラの画像の一部及びPTZカメラの変換された画像の両者の中にあるいくつかのサリエントポイント(salient point)が、二つの画像中で同じアルゴリズムを走らせることによって決定されるであろう。例えば、マスタカメラが魚眼レンズからの画像を有する場合、その後にスレーブPTZカメラの画像が歪んだ魚眼画像の座標へと変換される。これは、周辺レンズを用いるような広角ビデオ撮影の他の手段にも適用される。両方の画像が現場の同じブロブを表示することによって、サリエントポイント検知アルゴリズムは対象の点として同じピクセルを形成すべきである。サリエントポイントはウェーブレット領域法を用いて決定されるであろう。このステージの後に二つの画像のサリエントポイントが、局所の色のヒストグラムをそれぞれの箇所の周囲で用いることによって、相互に整合されるであろう。
マスタカメラ用のこの画像記録アルゴリズム手段の実施形態を表すフローチャートが、図7に図示されている。現在の画像Inはマスタカメラの未処理の広角画像を表し、画像Jnはスレーブカメラの変換された画像を表す。In入力を用いると、画像中のサリエントポイントが決定される(手順702)。Jn入力を用いると、画像中のサリエントポイントが決定される(手順704)。これら二つのサリエントポイントが、局部のヒストグラム比較を用いて整合される(手順706)。その後にこの情報が用いられることで、マスタカメラの画像InのピクセルがスレーブカメラのJnのピクセルを用いて更新される(手順708)。
文献には多くの公開されたサリエントポイント検知アルゴリズムがある(例えば1988年にニュージャージー州プレンティスホールのアニル ジェーンによって書かれたデジタル画像処理の基礎を参照)。一般に用いられているものには、ハリスコーナーセンサ(Harris Corner detector)及びウェーブレット領域サリエントコーナーセンサが含まれる。二次元におけるウェーブレット変換は、空間と規模(頻度)の両方の情報をもたらす。画像のサリエントポイントはピクセルとして規定され、そのピクセルのウェーブレット係数は、ウェーブレット変換の高頻度のサブバンド画像の全て又はいくつかにおいて、他のウェーブレット係数と比べて比較的高い振幅値を有する。ピクセルが画像の均一な範囲の部分である場合、その後にその対応するウェーブレット係数が理想的にはゼロ又は非常にゼロに近づく。ピクセルが対象の水平の(垂直の)端上である場合は、その後にそれが、低−高(高−低)サブバンド画像における高振幅のウェーブレット係数及び、ウェーブレット変換のあるステージ後に得られた高−高サブバンド画像における別の一組の高振幅の係数を形成する。それとは別に、ピクセルが対象の角である場合、その後にそれが、低−高、高−低及び高−高のサブバンド画像における高振幅のウェーブレット係数を形成する。それ故に、画像の重要な角は、全ての画像における高振幅のウェーブレット係数の限界を決めることによって決定されるであろう。いくつかのサリエントポイントは、動いているブロブ及び画像のバックグラウンド中のその直近の周辺部の角及び重要な端にあることが結果として分かる。
両方の画像のサリエントポイントが検知されると、それらは互いに整合されることによって、同じ対象を映すマスタ及びスレーブカメラからの二つの画像を記録しなければならない。最も単純な整合プロセスは、対応するピクセルの値を比較することによって行うことができる。しかしながら、これは不正確な結果をもたらすであろう。その理由は、対象は単一色であり、全てのサリエントポイントは同じ又は近似のピクセル値を有するからである。それ故に、サリエントポイント周りの局所の周辺物を比較することが、確固たる結果を得るのにより良いことである。ある実施形態においては、この整合はサリエントポイントの周囲の局所的な色のヒストグラムを比較することによって行われる。ピクセルの周りの色のヒストグラムは、あらゆる色の表現空間において決定されるであろう。最も広く用いられている色の表現スキームには、赤、緑及び青(RGB)並びに輝度及びクロミナンス表現(YUV又はYCrCb)が含まれる。
マスタカメラの画像In中のサリエントポイントp周囲の局所範囲Oの標準化された色のヒストグラムは、以下の式で表される。
式中、sは明度化されたピクセルsを表し、Oはサリエントピクセルp周囲の局所範囲を表し、δはクロネッカーのデルタ(Kronecker-delta)機能であり、NはO中のデータポイントの数であり、qは色の空間領域データをLのビット数に描く量子化機能である。Lはこの実施形態においては12として選択されている。色のヒストグラムhpはピクセルp周囲の色素情報から構築されており、このピクセルを特徴付ける。
式中、sは明度化されたピクセルsを表し、Oはサリエントピクセルp周囲の局所範囲を表し、δはクロネッカーのデルタ(Kronecker-delta)機能であり、NはO中のデータポイントの数であり、qは色の空間領域データをLのビット数に描く量子化機能である。Lはこの実施形態においては12として選択されている。色のヒストグラムhpはピクセルp周囲の色素情報から構築されており、このピクセルを特徴付ける。
仮に、hq(k)がスレーブカメラの画像Jn中のサリエントピクセルq周囲の別の標準化されたヒストグラムであるとする。ヒストグラムhp(k)及びhq(k)は、多くの方法で相互に比較が可能である。平均絶対差(MAD)は比較の手段となる。
式中、K=212は標準化された色のヒストグラムにおけるポイントの数である。p番目のサリエントポイントとq番目のサリエントポイントの距離の平均絶対差が、他のサリエントポイント間の距離よりも小さい場合、その後に、画像Inのp番目のサリエントポイントが画像Jnのq番目のサリエントポイントに割り当てられる。
式中、K=212は標準化された色のヒストグラムにおけるポイントの数である。p番目のサリエントポイントとq番目のサリエントポイントの距離の平均絶対差が、他のサリエントポイント間の距離よりも小さい場合、その後に、画像Inのp番目のサリエントポイントが画像Jnのq番目のサリエントポイントに割り当てられる。
他の色のヒストグラムの比較方法には、平均平方誤差、相互相関(cross correlation)及びバッタチャリヤ測定(Bhattacharyameasure)が含まれる。
式中、hp(k)及びhq(k)のバッタチャリヤ測定Dが高いほど、ヒストグラムhp(k)及びhq(k)間の整合はより良くなる。
式中、hp(k)及びhq(k)のバッタチャリヤ測定Dが高いほど、ヒストグラムhp(k)及びhq(k)間の整合はより良くなる。
マスタ及びスレーブカメラからの画像のサリエントポイントが整合されると、画像Inのピクセルは、整合されたサリエントポイントに対応するJnのピクセルを用いて、マスタカメラ中で更新される。
システム中の画像記録は、好ましくは反復プロセスである。通常の市販のPTZカメラは、有限の多くの(例えば128)可能な物理的な表示位置をとることができる。追跡アルゴリズムから与えられる最初の位置情報は正確ではないであろうし、結果的にPTZカメラは対象範囲及び/又は追跡される対象の一部に及ぶのみであろう。そのような場合においては、マスタカメラの画像上に決められたいくつかのサリエントポイントは整合しないであろう。この事は、追加の位置情報がPTZカメラへと伝達されることによって、両方の画像中のほぼ全てのサリエントポイントを適合すべきであることを意味する。同様に、最初に記録された画像は十分に詳しくはないであろう。例えば、追跡されるブロブはスレーブPTZカメラによって戻された画像の小さな部分に過ぎないであろう。スレーブカメラは現場へと拡大するはずであるために、追跡されるブロブはスレーブPTZカメラによって戻される画像の大部分になるはずである。この場合においては、追加コマンドが同様に反復してスレーブカメラへと伝達されるであろう。反復プロセスは、二つの画像を比較した後に終了されるであろう。未処理の広角ビデオ画像とのPTZカメラからの歪んだスレーブ画像の比較は、多くの一般に用いられる画像比較手段を用いて行われるであろう。その画像比較手段には、平均平方誤差(MSE)、平均絶対差(MAD)及び二つの画像の色のヒストグラムの整合が含まれる。MSE、MAD又は二つの画像間の色のヒストグラムの相違が閾値を下回る場合、反復記録プロセスは終了する。
上の段落においては、画像記録プロセスは単一のスレーブカメラに対して説明されている。上記の画像記録法の異なるRoIを監視する多数のスレーブカメラへの拡張は、容易である。スレーブカメラによって作成されるビデオ画像は、ひとつずつマスタカメラの補正済み俯瞰画像上に配置される。
スレーブカメラは、RS485バス又は他の位置データ情報を転送できるバスを介してマスタカメラと情報伝達できる。
更なる情報
以下の文書は発明分野の更なる情報のために用いることができ、本開示中に文献援用されている。
以下の文書は発明分野の更なる情報のために用いることができ、本開示中に文献援用されている。
引用された文献
本開示中に文献援用されている「カメラ監視システム用監視装置」という米国特許第6,509,926号。
本開示中に文献援用されている「パイロット及びスレーブカメラを有するビデオ監視システム」という米国特許第6,724,421号。
本開示中に文献援用されている「高解像度画像を低解像度の双方向性画像を挿入することで現実的な没入経験(Immersive Experience)を形成するための方法及び装置」という米国特許第6,147,709号。
本開示中に文献援用されている「広角ビデオカメラにおける複数対象処理」という2004年4月30日に出願された米国特許出願第10/837,326号(弁理士整理番号GRND-15)。
本開示中に文献援用されている「広角ビデオカメラにおける複数画像処理」という2004年4月30日に出願された米国特許出願第10/837,325号(弁理士整理番号GRND-14)。
本開示中に文献援用されている「ビデオ監視用複数画像の同時表示の方法」という2004年4月30日に出願された米国特許出願第10/837,019号(弁理士整理番号GRND-16)。
本開示中に文献援用されているセチン(A. E.Cetin)とアヒスカ(Y. Ahiska)による「ウェーブレット領域情報を用いたビデオにおける動く対象物の追跡」という2004年8月23日に出願された米国特許出願第10/924,279号(弁理士整理番号GRND-05)。
本開示中に文献援用されている「画像処理による光学的ひずみの補正」という2004年4月30日に出願された米国特許出願第10/837,012号(弁理士整理番号GRND-13)。
本開示中に文献援用されている「広角ビデオカメラにおける範囲の画像処理」という2005年7月8日に出願された米国特許出願第11/178,232号(弁理士整理番号GRND-02)。
本開示中に文献援用されている「カメラ監視システム用監視装置」という米国特許第6,509,926号。
本開示中に文献援用されている「パイロット及びスレーブカメラを有するビデオ監視システム」という米国特許第6,724,421号。
本開示中に文献援用されている「高解像度画像を低解像度の双方向性画像を挿入することで現実的な没入経験(Immersive Experience)を形成するための方法及び装置」という米国特許第6,147,709号。
本開示中に文献援用されている「広角ビデオカメラにおける複数対象処理」という2004年4月30日に出願された米国特許出願第10/837,326号(弁理士整理番号GRND-15)。
本開示中に文献援用されている「広角ビデオカメラにおける複数画像処理」という2004年4月30日に出願された米国特許出願第10/837,325号(弁理士整理番号GRND-14)。
本開示中に文献援用されている「ビデオ監視用複数画像の同時表示の方法」という2004年4月30日に出願された米国特許出願第10/837,019号(弁理士整理番号GRND-16)。
本開示中に文献援用されているセチン(A. E.Cetin)とアヒスカ(Y. Ahiska)による「ウェーブレット領域情報を用いたビデオにおける動く対象物の追跡」という2004年8月23日に出願された米国特許出願第10/924,279号(弁理士整理番号GRND-05)。
本開示中に文献援用されている「画像処理による光学的ひずみの補正」という2004年4月30日に出願された米国特許出願第10/837,012号(弁理士整理番号GRND-13)。
本開示中に文献援用されている「広角ビデオカメラにおける範囲の画像処理」という2005年7月8日に出願された米国特許出願第11/178,232号(弁理士整理番号GRND-02)。
公開文書
(1)本開示中に文献援用されている「遠距離における人のバイオメトリックイメージを得るためのマスタ/スレーブシステム」、X. Zhou、R. Collins、T. Kanade、P. Metes、ビデオ監視に関するACM国際ワークショップ、2003年11月。
(2)本開示中に文献援用されている「ビデオ監視及びモニタリング用システム」、R.Collins、Lipton、Kanade、米国原子力学会(ANS)主催のロボティクス及び遠隔システムに関する第8回国際会議、ピッツバーグ、ペンシルベニア州、1999年4月25−29日。
(3)本開示中に文献援用されている「デジタル画像処理の基礎」、Anil Jain、プレンティスホール、ニュージャージー州、1998年。
(1)本開示中に文献援用されている「遠距離における人のバイオメトリックイメージを得るためのマスタ/スレーブシステム」、X. Zhou、R. Collins、T. Kanade、P. Metes、ビデオ監視に関するACM国際ワークショップ、2003年11月。
(2)本開示中に文献援用されている「ビデオ監視及びモニタリング用システム」、R.Collins、Lipton、Kanade、米国原子力学会(ANS)主催のロボティクス及び遠隔システムに関する第8回国際会議、ピッツバーグ、ペンシルベニア州、1999年4月25−29日。
(3)本開示中に文献援用されている「デジタル画像処理の基礎」、Anil Jain、プレンティスホール、ニュージャージー州、1998年。
改良及び変形
当業者によって理解されるように、本出願中で説明される発明のコンセプトは、出願の膨大な範囲を超えて改良及び変更されるであろう。従って特許された対象の範囲は、与えられたいくつかの特別な例示的な教示によっても限定されない。
当業者によって理解されるように、本出願中で説明される発明のコンセプトは、出願の膨大な範囲を超えて改良及び変更されるであろう。従って特許された対象の範囲は、与えられたいくつかの特別な例示的な教示によっても限定されない。
例えば、本発明があらゆる個数の異なる構造の実施を用いて実施できることも想定される。本発明の別の実施形態には、限定するのではないが、マスタ及びスレーブカメラ並びに全ての必要な回路を内蔵した単一の物理的構造、マスタカメラと全てのスレーブカメラと全ての必要な回路用の分離したハウジング、若しくは上記のハウジング分配物のいずれかの組合せが含まれる。
他の種類の想定される実施形態においては、本発明が可動性の4番目の軸をスレーブカメラに加えることによって実施される。例えば、スレーブカメラはパン、チルト及びズームと同様に回転することができる。
その上、これらの発明のコンセプトは特殊な実施例や本開示中で開示されている実施に限定することを意図していないが、限定するのではないが、マスタ及びスレーブカメラ用に異なる種類のカメラを用いるような全ての同等の実施を含むことを意図する。これは例えば、マスタ及びスレーブカメラの両方に制御可能なPTZを使用することを含む。この事は例えば、マスタ及びスレーブカメラの両方に拡大機能を有するカメラを用いるか、マスタ及びスレーブカメラの両方に用いない事も含む。
他の種類の想定される実施形態においては、本発明は、動作検知及び対象追跡に加えて、三次元俯瞰画像比較をRoIを規定するために用いて実施されるであろう。例えば、マスタカメラが窓の列に向けられている場合、画像処理回路はプログラムされることによって、葉の落下のような重要でない動きを無視し、開いた窓のみをRoIとして特定するであろう。
本発明の他の及び稀な好適な実施形態は、光学式、デジタル式、機械式又は光学ズームを行う多くの異なる方法の内のいずれかを用いて実施されるであろう。
別の実施形態は二つのマスタカメラを利用する。これらはそうする必要は無いが、逆方向に向けて配置されることができる。これらのカメラはそうである必要は無いが、魚眼カメラであることが可能である。この実施形態の利点は、広範囲の展望がマスタカメラの使用によって実現できることである。マスタカメラは、他の方法では360°の表示能力を有さないであろう。この実施形態は、ドームカメラのような360°の視野を有する単一のマスタカメラの使用を除外しない。
他の種類の想定される実施形態においては、一つ又はいくつかのマスタカメラが多数のスレーブカメラを制御するであろう。これらのマスタカメラは、スレーブカメラをそれぞれ独立して、順列的に又は多数の異なる方法のうちのいずれかによって制御することができる。この種類の実施形態のある実施例においては、一つ以上のマスタカメラが、一つ以上のスレーブカメラを制御する一つ以上の中間カメラを制御する。この実施形態の実施例は、「デイジーチェーン(daisy chain)」のスレーブカメラであり、マスタカメラは他のスレーブカメラを介して直接又は間接的に別個の追跡タスクを割り当てる。いくつかのスレーブカメラを利用する利点には、限定するのではないが、単一のRoIの異なる画像を得ること、いくつかのRoIを撮影すること、及び/又はRoIが物理的な構造物の後ろを通った時にRoIを追うことが含まれる。この実施形態の実施例はスレーブカメラである。
他の実施形態においては、スレーブカメラは内蔵された追跡機能を有することができる。この実施形態においては、スレーブカメラは、マスタカメラがそれを割り当てた後に、追跡ジョブを引き継ぐであろう。その後、マスタカメラは別のスレーブカメラへと別の追跡タスクを割り当てる。
他の種類の想定される実施形態においては、マスタ及び/又はスレーブカメラは多数の異なる画像強化手段のいずれをも備えることができ、限定するのではないが、それは暗視画像、赤外線画像又は熱感知機能を含む。熱感知の利点には、限定するのではないが、車、人及び/又は動物のような熱を生じる対象のより良い検知及び追跡が含まれる。暗視画像又は他の低光量画像強化手段を使用する利点には、夜間に照らされていない範囲を監視できる能力が含まれる。
本出願中の記載には、特定の要素、手順又は機能が、請求項の範囲に含まれなければならない不可欠な要素であることを意味するように読まれるべきものは無い。特許を受けた主題の範囲は認可された請求項によってのみ規定される。さらに、正確な単語「〜の手段(means for)」は分詞を従えない限り、これらの請求項のいずれも35U.S.C.第112条の第6段落を呼び起こすことを意図するものでは無い。その上、この出願と共に提出される請求項は、可能な限り包括的であることを意図する。全ての新規及び明らかでない開示される発明が対象となることを意図しており、対象が意図的に放棄され、拒否され、ささげられることは無い。
Claims (90)
- ビデオカメラシステムであって、
広角マスタカメラと、
一つ以上の(前記マスタカメラの直ぐ近くにある)スレーブビデオカメラと、
前記一つ以上のスレーブカメラの視野の自動制御と、
を有し、スレーブビデオカメラは、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、自動制御は前記マスタカメラから行われ、前記一つ以上のカメラへの制御信号の少なくともいくつかが、前記マスタカメラの利用可能な情報に基づいているシステム。 - 前記スレーブカメラ又はカメラへの前記制御信号が、前記マスタ及びスレーブカメラの相対位置の調整を含む請求項1に記載のシステム。
- 前記スレーブカメラ又はカメラが機械式PTZビデオカメラである請求項1に記載のシステム。
- 前記スレーブカメラ又はカメラへの前記制御信号が、前記スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項1に記載のシステム。
- 前記スレーブカメラ又はカメラのビデオ出力の明るさ、露出率、色素バランス及び他の画質が、前記スレーブカメラ又はカメラからのビデオ画像をマスタカメラからのビデオ画像と比較することによって自動的に調整される請求項1に記載のシステム。
- 前記画質が、前記スレーブカメラ又はカメラからのビデオ画像のヒストグラムを前記マスタカメラからのヒストグラムと比較することによって調整される請求項5に記載のシステム。
- 広角ビデオカメラが魚眼レンズを有する請求項1に記載のシステム。
- 広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項1に記載のシステム。
- 前記マスタカメラが利用できる前記情報の少なくとも一部が、マスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成され、それが広角ビデオを画像処理することによって行われる請求項1に記載のシステム。
- 前記画像処理が、前記広角マスタカメラからカメラ内の変換エンジンを介して作成される補正済み俯瞰画像に施される請求項9に記載のシステム。
- 前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項9に記載のシステム。
- 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項9に記載のシステム。
- 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項11に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項9に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項11に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項12に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項13に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項9に記載のシステム。
- 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項11に記載のシステム。
- 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項9に記載のシステム。
- 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項11に記載のシステム。
- 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項18に記載のシステム。
- 前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項19に記載のシステム。
- 前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項1に記載のシステム。
- 広角ビデオカメラのズーム性能/解像度を自動的に拡張する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラが利用できる情報を使用し、それによって、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視する能力を有するスレーブカメラを遠隔的に制御する手順とを有する方法。 - 前記スレーブカメラからのビデオ出力が前記マスタカメラを経由する請求項25に記載の方法。
- 前記マスタカメラからの出力が、マスタカメラが利用できる情報に基づいて、前記広角ビデオ画像由来のビデオと、前記経由したスレーブビデオとの間で切り替わる請求項26に記載の方法。
- 前記広角マスタカメラが、カメラ内の変換エンジンを介して(複数の)補正済み俯瞰画像を抽出でき、前記補正済み俯瞰画像の少なくとも一部が、マスタカメラが利用できる情報に基づいて前記スレーブカメラからの画像と自動的に置き換えられる請求項25に記載の方法。
- 広角ビデオカメラが魚眼レンズを有する請求項25の方法。
- 広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項25に記載の方法。
- 前記マスタカメラが利用できる前記情報の少なくとも一部が、広角ビデオからマスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成される請求項25に記載の方法。
- 前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項25に記載の方法。
- 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項25に記載の方法。
- 前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項32に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項25に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項32に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項33に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項34に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項25に記載の方法。
- 前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項32に記載の方法。
- 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項25に記載のシステム。
- 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項32に記載のシステム。
- 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項39に記載のシステム。
- 前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項40に記載のシステム。
- 前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項25に記載の方法。
- マルチカメラのビデオシステムにおいて機械式スレーブPTZカメラの反応時間を短縮する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラから遠隔的に機械式スレーブPTZビデオカメラを制御する手順と、
前記マスタカメラから前記スレーブカメラへとPTZコマンドを伝達する手順と、
を有し、広角マスタカメラはカメラ内の変換エンジンを介して補正済み俯瞰画像を抽出することができ、
機械式スレーブPTZビデオカメラは前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、
前記補正済み俯瞰画像の拡大率が事前に決められた拡大率の閾値を越えた時には、PTZコマンドを伝達する手順によって前記補正済み俯瞰画像をほぼ追跡するようになっている方法。 - 前記マスタカメラの前記補正済み俯瞰画像は、前記補正済み俯瞰画像に対する遠隔の拡大コマンドが前記マスタカメラの拡大範囲外の拡大率になる時に、前記スレーブカメラからの画像によって置き換えられる請求項46に記載の方法。
- 広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
歪んだ広角ビデオ画像を広角ビデオカメラを用いて撮影する手順と、
機械式スレーブPTZビデオカメラを前記マスタカメラから遠隔制御する手順と、
算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
前記スレーブカメラのデジタルビデオ出力をマスタカメラ中の前記変換エンジンへと送信する手順と、
前記PTZ制御信号への調整を決定する手順と、
前記PTZ調整制御信号を前記スレーブカメラへと伝達する手順と、
この方法の前の三つの手順を更に反復的に繰り返す手順と、
マスタカメラの補正済み俯瞰画像を置き換える手順と、
を有し、広角マスタカメラはカメラ内の変換エンジンを介した遠隔PTZ制御下において、複数の補正済み俯瞰画像を抽出することができ、
算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブカメラからの画像との間で方向及び大きさの両方において近似の整合をなすことができ、
デジタルビデオ出力の送信の手順は歪んだスレーブ画像への逆変換のためになされ、逆変換は歪んだ広角ビデオ画像と同様に歪められ、
PTZ制御信号への調整を決定する手順は前記歪んだスレーブ画像を前記歪んだ広角画像と比較することによってなされ、
PTZ調整制御信号を伝達する手順によって、スレーブカメラからの画像と補正された俯瞰画像との間でマスタカメラからの前記対象範囲に対してより良い整合を行うことができ、
反復的に繰り返す手順によって、所望される整合の精度が実現でき、
補正済み俯瞰画像がスレーブカメラからの調整された画像によって置き換えられるために、マスタカメラの拡大範囲外である前記対象範囲用の遠隔の拡大コマンドが前記スレーブカメラへと送信されることによって、拡張された光学ズーム機能を実現できるようになっている方法。 - 前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ内のソフトウェアプログラムによって局所的に作成される請求項48に記載の方法。
- 前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項49に記載の方法。
- 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項49に記載の方法。
- 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項50に記載の方法。
- 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置のための調整を含むことによって決定される請求項48に記載の方法。
- 前記算出されたPTZコマンドが、スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項48に記載の方法。
- 前記スレーブPTZカメラが、デジタルビデオ信号へと変換する必要があるアナログビデオ出力を有する請求項48に記載の方法。
- 前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、色及びウェーブレットのヒストグラムの比較に基づいた画像整合技術を用いて行われる請求項48に記載の方法。
- 前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、一般的に用いられる画像比較手段を用いて行うことができる請求項48に記載の方法。
- 平均平方誤差が前記画像比較手段として用いられる請求項57に記載の方法。
- 平均絶対差が前記画像比較手段として用いられる請求項57に記載の方法。
- 色のヒストグラムの違いが前記画像比較手段として用いられる請求項57に記載の方法。
- 前記置き換えられた補正済み俯瞰画像が、多数画像出力の分離した部分として表示されるマスタカメラからの複数の出力の一つである請求項48に記載の方法。
- 前記置き換えがオーバーレイによってなされる請求項48に記載の方法。
- 明度、露出率、色素バランス及び前記スレーブカメラのビデオ出力の他の画質が、前記スレーブカメラからのビデオ画像のヒストグラムを前記マスタ広角カメラからのヒストグラムと比較することによって自動的に調整される請求項48に記載の方法。
- 広角カメラが魚眼レンズを有する請求項48に記載の方法。
- 広角カメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項48に記載の方法。
- 広角カメラが、使用者が規定したプライバシ範囲をビデオ出力へと適用することができ、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその両方から得られる請求項48に記載の方法。
- 前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張することができる請求項48に記載の方法。
- 広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラから機械式のスレーブPTZビデオカメラを遠隔制御する手順と、
算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
マスタカメラの補正済み俯瞰画像を置き換える手順と、
を有し、広角マスタカメラは遠隔PTZ制御下においてカメラ内の変換エンジンを介して複数の補正された俯瞰画像を抽出することができ、
機械式のスレーブPTZビデオカメラを遠隔制御する手順によって、高解像度の対象範囲を撮影することができ、
算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブからの画像との間で方向と大きさにおいて近似の整合が実現でき、
補正済み俯瞰画像の置き換えがスレーブカメラからの調整された画像によってなされることによって、マスタカメラの拡大範囲外である前記対象範囲のための遠隔拡大コマンドが前記スレーブカメラに送信されることによって、拡張された光学ズーム機能が実現できるようになっている方法。 - 前記算出されたPTZコマンドが、前記スレーブPTZカメラからの位置のPTZフィードバック情報を含むことによって計算される請求項68に記載の方法。
- 位置のPTZフィードバック情報を用いることで必要なPTZコマンドを決定する前記ステージが、反復的に繰り返されることによって、前記スレーブPTZ画像とマスタカメラからの対象範囲の補正済み俯瞰画像との間で方向及び大きさにおいて改善された整合をもたらす請求項69に記載の方法。
- 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項68に記載の方法。
- 前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ中にあるソフトウェアプログラムによって局所的に作成される請求項68に記載の方法。
- 前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項72に記載の方法。
- 前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項72に記載の方法。
- 前記算出されたPTZコマンドが、PTZコマンドを与えられた時の前記スレーブPTZカメラの挙動のモデルを用いて決定され、前記スレーブPTZカメラが断続的に既知の固定位置へと較正される請求項68に記載の方法。
- 前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項75に記載の方法。
- 広角カメラが使用者が規定したプライバシ範囲をビデオ出力へと適用する機能を有し、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその用法から最初に得られる請求項68に記載の方法。
- 前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張されることができる請求項68に記載の方法。
- システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
位置制御システムと、
を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、
位置制御システムが前記第二のカメラを現在の前記対象範囲の一つへと自動的に向けるようになっているシステム。 - システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
位置制御システムと、
を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、さらに、前記第一のカメラに対して物理的に動くことができ、
位置制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記第二のカメラを自動的に向けるようになっているシステム。 - システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
制御システムと、
を有し、第一のカメラは歪んだ広角画像配置において出力画像の第一のストリームを提供し、移動機能をほぼ有さないと共にズーム機能をほぼ有さず、
監視プロセスが前記第一のストリームを解析することによって前記画像中の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供し、PTZ制御入力に従ってパン、チルト及び拡大し、前記第一のカメラに対して拡張されたズーム機能を有し、
制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記PTZ制御入力を更新するようになっているシステム。 - 方法であって、
第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
前記第一のストリームを解析し、前記第一のストリーム内に対象範囲を特定する行為と、
第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
前記第一のカメラからの出力に少なくとも部分的に基づいて、位置制御システムからのコマンドを介して第二のカメラを特定された対象範囲へと向ける行為と、
を有する方法。 - 方法であって、
第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
前記第一のストリームを監視することで、前記画像内の対象範囲を特定する行為と、
第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
位置制御システムを用いて、前記対象範囲に少なくとも部分的に基づき前記第二のカメラの視野を制御する行為と、
を有し、第二のカメラは前記第一のカメラと比べて物理的な可動性を有し、前記第一のカメラと比べてより狭い視野を有する方法。 - 方法であって、
歪んだ第一の画像の配列において第一のカメラからの出力画像のストリームを監視する行為と、
前記ストリーム内の異なる画像の比較によって、前記画像内に対象範囲を特定する行為と、
PTZ制御入力を提供することで、第二のカメラのパン、チルト及びズームを制御する行為と、
第二の画像の配列において前記第二のカメラから出力画像の第二のストリームを出力する行為と、
を有し、PTZ制御入力の提供が、前記監視行為によって特定される前記対象範囲に少なくとも部分的に基づいて行われる方法。 - システムであって、
第一のカメラと、
第二のカメラと、
プロセスと、
を有し、 第一のカメラが第一の画像の配列中の出力画像の第一のストリームを提供し、ほとんど拡大機能を有さず、
第二のカメラが第二の画像の配列中の出力画像の第二のストリームを提供し、前記第一のカメラに対して拡張されたズーム機能を有し、
第一及び第二のカメラは少なくとも重複した視野を有し、
プロセスが前記ストリームの一つを変換することによって、リアルタイムに前記第一及び第二のストリームを結合することで、前記ストリームの他の物の画像の配列を整合することができるようになっているシステム。 - 前記第一のカメラが、前記第二のカメラの前記視野を取り囲む視野を有する請求項85に記載のシステム。
- 方法であって、
第一のカメラから第一の画像配列中の画像の第一のストリームを出力する行為と、
第二のカメラから第二の画像配列中の画像の第二のストリームを出力する行為と、
前記ストリームの一つを変換することによって、リアルタイムに画像の第一及び第二のストリームを結合する行為と、
を有し、第二のカメラが前記第一のストリームと少なくとも重複する視野を有し、
第一及び第二のストリームを結合することによって、前記ストリームの他の物の画像の配置を整合することができる方法。 - 監視システムであって、
アナモルフィックイメージャと
ズームイメージャと、
を有し、アナモルフィックイメージャが、5ステラジアンより大きい視野に相当する歪んだ画像配列を出力し、ズーム機能をほとんど又は全く有さず、
ズームイメージャが前記配列の対象及び/又は動作追跡に基づいて自動的に制御され、前記第一のカメラと比較するとズーム機能を有するシステム。 - 前記イメージャの両方の出力を結合する少なくとも一つの画像処理ユニットをさらに有する請求項88に記載のシステム。
- 方法であって、
アナモルフィックイメージャからの5ステラジアンより大きい視野に相当する歪んだ画像配列を出力する行為と、
前記出力された配列の対象及び/又は動作追跡に基づいて自動的にズームイメージャを制御する行為と、
を有し、アナモルフィックイメージャが僅かな光学ズーム機能を有する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US58910404P | 2004-07-19 | 2004-07-19 | |
PCT/IB2005/003504 WO2006040687A2 (en) | 2004-07-19 | 2005-07-19 | Automatically expanding the zoom capability of a wide-angle video camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008507229A true JP2008507229A (ja) | 2008-03-06 |
Family
ID=36051445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007522071A Pending JP2008507229A (ja) | 2004-07-19 | 2005-07-19 | 広角ビデオカメラのズーム機能の自動拡張 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7990422B2 (ja) |
JP (1) | JP2008507229A (ja) |
GB (1) | GB2431312A (ja) |
WO (1) | WO2006040687A2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142332A1 (en) * | 2008-05-23 | 2009-11-26 | Advas Co., Ltd. | Hybrid video camera syste |
JP2012109733A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 監視システム及び監視装置 |
JP2012520650A (ja) * | 2009-05-29 | 2012-09-06 | ヨングク エレクトロニクス シーオー., エルティーディー | 知能型監視カメラ装置及びこれを採用した映像監視システム |
KR20140146337A (ko) * | 2013-06-17 | 2014-12-26 | 삼성전자주식회사 | 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 |
JP2018510398A (ja) * | 2015-02-17 | 2018-04-12 | 日本電気株式会社 | 事象関連データ監視システム |
WO2018207664A1 (ja) * | 2017-05-11 | 2018-11-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法、並びにプログラム |
JP2019029978A (ja) * | 2017-08-04 | 2019-02-21 | 株式会社カーメイト | カメラ並びに撮影システムおよび画像処理方法 |
WO2022168481A1 (ja) * | 2021-02-02 | 2022-08-11 | ソニーグループ株式会社 | 画像処理装置、画像処理システム |
Families Citing this family (291)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL161082A (en) * | 2004-03-25 | 2008-08-07 | Rafael Advanced Defense Sys | System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor |
US7629995B2 (en) * | 2004-08-06 | 2009-12-08 | Sony Corporation | System and method for correlating camera views |
US7750936B2 (en) * | 2004-08-06 | 2010-07-06 | Sony Corporation | Immersive surveillance system interface |
US20060095539A1 (en) | 2004-10-29 | 2006-05-04 | Martin Renkis | Wireless video surveillance system and method for mesh networking |
US7728871B2 (en) | 2004-09-30 | 2010-06-01 | Smartvue Corporation | Wireless video surveillance system & method with input capture and data transmission prioritization and adjustment |
US8860780B1 (en) | 2004-09-27 | 2014-10-14 | Grandeye, Ltd. | Automatic pivoting in a wide-angle video camera |
US8606383B2 (en) * | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
US9082456B2 (en) * | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
US9489717B2 (en) * | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
US20060170956A1 (en) * | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
US20060187230A1 (en) * | 2005-01-31 | 2006-08-24 | Searete Llc | Peripheral shared image device sharing |
US9910341B2 (en) * | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US20060174203A1 (en) | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Viewfinder for shared image device |
US8139896B1 (en) | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
US9001215B2 (en) * | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US20090144391A1 (en) * | 2007-11-30 | 2009-06-04 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio sharing |
WO2006118563A1 (en) * | 2005-04-29 | 2006-11-09 | Chubb International Holdings Limited | Method and device for consistent region of interest |
JP2007049266A (ja) * | 2005-08-08 | 2007-02-22 | Olympus Corp | 画像撮像装置 |
JP2007124088A (ja) * | 2005-10-26 | 2007-05-17 | Olympus Corp | 画像撮影装置 |
US8238695B1 (en) * | 2005-12-15 | 2012-08-07 | Grandeye, Ltd. | Data reduction techniques for processing wide-angle video |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
TW200734965A (en) * | 2006-03-10 | 2007-09-16 | Sony Taiwan Ltd | A perspective correction panning method for wide-angle image |
KR100749337B1 (ko) * | 2006-06-13 | 2007-08-14 | 삼성전자주식회사 | 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치 |
JP4947351B2 (ja) * | 2006-07-28 | 2012-06-06 | 富士ゼロックス株式会社 | 画像処理装置、及び、プログラム |
US7843487B2 (en) * | 2006-08-28 | 2010-11-30 | Panasonic Corporation | System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image |
JP4214160B2 (ja) * | 2006-08-31 | 2009-01-28 | フジノン株式会社 | 監視カメラシステム |
US8792005B2 (en) * | 2006-11-29 | 2014-07-29 | Honeywell International Inc. | Method and system for automatically determining the camera field of view in a camera network |
US8224122B2 (en) * | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
US8189962B2 (en) * | 2006-12-19 | 2012-05-29 | Hitachi Kokusai Electric Inc. | Image processing apparatus |
GB2447246B (en) * | 2007-03-07 | 2012-04-18 | Aurora Comp Services Ltd | Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application |
FR2914811B1 (fr) * | 2007-04-06 | 2010-04-30 | Sagem Defense Securite | Dispositif optique comportant au moins deux capteurs, procede de mise en oeuvre correspondant |
DE102007023838A1 (de) * | 2007-05-21 | 2008-11-27 | Adc Automotive Distance Control Systems Gmbh | Modulares Kamerasystem für Fahrerassistenzfunktionen |
US8570373B2 (en) * | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
US8763363B2 (en) * | 2007-07-06 | 2014-07-01 | General Electric Company | Method and system for cooling fluid in a turbine engine |
GB2452041B (en) * | 2007-08-20 | 2012-09-26 | Snell Ltd | Video framing control |
KR101336951B1 (ko) * | 2007-11-02 | 2013-12-04 | 삼성전자주식회사 | 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법 |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
JP5153674B2 (ja) * | 2008-02-26 | 2013-02-27 | キヤノン株式会社 | 動画像符号化装置及び動画像符号化方法 |
US9584710B2 (en) | 2008-02-28 | 2017-02-28 | Avigilon Analytics Corporation | Intelligent high resolution video system |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
JP5213237B2 (ja) * | 2008-04-17 | 2013-06-19 | パナソニック株式会社 | 撮像位置判定方法及び撮像位置判定装置 |
US9509867B2 (en) * | 2008-07-08 | 2016-11-29 | Sony Corporation | Methods and apparatus for collecting image data |
JP5352150B2 (ja) * | 2008-08-01 | 2013-11-27 | パナソニック株式会社 | 撮像装置 |
US8405720B2 (en) * | 2008-08-08 | 2013-03-26 | Objectvideo, Inc. | Automatic calibration of PTZ camera system |
US8284258B1 (en) | 2008-09-18 | 2012-10-09 | Grandeye, Ltd. | Unusual event detection in wide-angle video (based on moving object trajectories) |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
DE102008049921A1 (de) * | 2008-09-29 | 2010-04-15 | Mobotix Ag | Verfahren zur Videodatenstrom-Erzeugung |
US8488001B2 (en) * | 2008-12-10 | 2013-07-16 | Honeywell International Inc. | Semi-automatic relative calibration method for master slave camera control |
FR2942062A1 (fr) * | 2009-02-12 | 2010-08-13 | Shaktiware | Systemes et procedes de detection d'objets |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
US8264486B2 (en) * | 2009-07-24 | 2012-09-11 | The United States Of America As Represented By The Secretary Of The Navy | Real-time high-speed three dimensional modeling system |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
JP5451260B2 (ja) * | 2009-08-28 | 2014-03-26 | キヤノン株式会社 | 制御装置、制御システム及びコマンド送信方法ならびにプログラム |
US20110063446A1 (en) * | 2009-09-14 | 2011-03-17 | Mcmordie David | Saccadic dual-resolution video analytics camera |
WO2011038465A1 (en) * | 2009-09-30 | 2011-04-07 | National Ict Australia Limited | Object tracking for artificial vision |
KR101286651B1 (ko) * | 2009-12-21 | 2013-07-22 | 한국전자통신연구원 | 영상 보정 장치 및 이를 이용한 영상 보정 방법 |
US8704903B2 (en) * | 2009-12-29 | 2014-04-22 | Cognex Corporation | Distributed vision system with multi-phase synchronization |
CN101827219B (zh) * | 2010-01-22 | 2014-07-16 | 中兴通讯股份有限公司 | 无线终端中主从模式双摄像头控制方法及装置 |
KR101586699B1 (ko) * | 2010-01-28 | 2016-01-19 | 한화테크윈 주식회사 | 네트워크 카메라 및 네트워크 카메라 운용 시스템 및 방법 |
US20110228115A1 (en) * | 2010-03-16 | 2011-09-22 | Microsoft Corporation | Large Format Digital Camera |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
TW201138466A (en) * | 2010-04-23 | 2011-11-01 | Hon Hai Prec Ind Co Ltd | Video camera and method for monitoring videos of a person or an object |
AU2010201740B2 (en) * | 2010-04-30 | 2013-03-07 | Canon Kabushiki Kaisha | Method, apparatus and system for performing a zoom operation |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US8730396B2 (en) * | 2010-06-23 | 2014-05-20 | MindTree Limited | Capturing events of interest by spatio-temporal video analysis |
JP2012049651A (ja) * | 2010-08-24 | 2012-03-08 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
HRP20220077T1 (hr) | 2010-09-13 | 2022-04-15 | Contour Ip Holding, Llc | Prijenosna digitalna video kamera konfigurirana za daljinsko upravljanje i gledanje slike |
US9398315B2 (en) * | 2010-09-15 | 2016-07-19 | Samsung Electronics Co., Ltd. | Multi-source video clip online assembly |
TW201215126A (en) * | 2010-09-27 | 2012-04-01 | Hon Hai Prec Ind Co Ltd | Image dividing system for cameras and using method of the same |
US9294755B2 (en) * | 2010-10-20 | 2016-03-22 | Raytheon Company | Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations |
US9794518B2 (en) | 2010-10-21 | 2017-10-17 | Sensormatic Electronics, LLC | Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US8193909B1 (en) * | 2010-11-15 | 2012-06-05 | Intergraph Technologies Company | System and method for camera control in a surveillance system |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
US9497388B2 (en) * | 2010-12-17 | 2016-11-15 | Pelco, Inc. | Zooming factor computation |
KR101666397B1 (ko) * | 2010-12-21 | 2016-10-14 | 한국전자통신연구원 | 객체 영상 획득 장치 및 방법 |
US9171075B2 (en) | 2010-12-30 | 2015-10-27 | Pelco, Inc. | Searching recorded video |
US9615064B2 (en) * | 2010-12-30 | 2017-04-04 | Pelco, Inc. | Tracking moving objects using a camera network |
US9686452B2 (en) | 2011-02-16 | 2017-06-20 | Robert Bosch Gmbh | Surveillance camera with integral large-domain sensor |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
US8923401B2 (en) | 2011-05-31 | 2014-12-30 | Raytheon Company | Hybrid motion image compression |
US20120327218A1 (en) * | 2011-06-21 | 2012-12-27 | Microsoft Corporation | Resource conservation based on a region of interest |
US9105090B2 (en) | 2011-07-13 | 2015-08-11 | Analog Devices, Inc. | Wide-angle lens image correction |
US20130050400A1 (en) * | 2011-08-31 | 2013-02-28 | Henrik Stiesdal | Arrangement and Method to Prevent a Collision of a Flying Animal with a Wind Turbine |
WO2013067089A2 (en) * | 2011-11-01 | 2013-05-10 | Totus Solutions, Inc. | Networked modular security and lighting device grids and systems, methods and devices thereof |
JP5818910B2 (ja) * | 2011-11-14 | 2015-11-18 | キヤノン株式会社 | 撮像装置、制御装置、制御方法、及びプログラム |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
WO2013094115A1 (ja) * | 2011-12-19 | 2013-06-27 | 日本電気株式会社 | 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム |
GB201201408D0 (en) * | 2012-01-27 | 2012-03-14 | Mark Roberts Motion Control Ltd | Tracking system and method |
US9230333B2 (en) | 2012-02-22 | 2016-01-05 | Raytheon Company | Method and apparatus for image processing |
JP5979910B2 (ja) * | 2012-02-27 | 2016-08-31 | キヤノン株式会社 | 通信装置、その制御方法、プログラム |
US9836433B1 (en) * | 2012-04-02 | 2017-12-05 | Rockwell Collins, Inc. | Image processing using multiprocessor discrete wavelet transform |
WO2013149340A1 (en) * | 2012-04-02 | 2013-10-10 | Mcmaster University | Optimal camera selection iν array of monitoring cameras |
EP2648406B1 (en) * | 2012-04-04 | 2018-08-22 | Axis AB | Method for switching viewing modes in a camera |
US9052866B2 (en) * | 2012-05-10 | 2015-06-09 | Htc Corporation | Method, apparatus and computer-readable medium for image registration and display |
US8475284B1 (en) * | 2012-07-31 | 2013-07-02 | Scott Rudi | Dynamic views within gaming environments |
KR101407119B1 (ko) | 2012-09-03 | 2014-06-13 | 멀티펠스 주식회사 | 초광각 카메라를 이용한 카메라 시스템 |
CN103780830B (zh) * | 2012-10-17 | 2017-04-12 | 晶睿通讯股份有限公司 | 连动式摄影系统及其多摄影机的控制方法 |
CN116405747A (zh) | 2012-11-28 | 2023-07-07 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
EP2946361B1 (en) * | 2013-01-15 | 2018-01-03 | Israel Aerospace Industries Ltd. | Remote tracking of objects |
MY186672A (en) | 2013-01-30 | 2021-08-05 | Mimos Berhad | Directing steerable camera with user bias tracking |
WO2014145279A1 (en) * | 2013-03-15 | 2014-09-18 | Leap Motion, Inc. | Determining the relative locations of multiple motion-tracking devices |
DE102013209940A1 (de) * | 2013-05-28 | 2014-12-04 | Conti Temic Microelectronic Gmbh | Kamerasystem für Fahrzeuge |
CN103327298A (zh) * | 2013-05-29 | 2013-09-25 | 山西绿色光电产业科学技术研究院(有限公司) | 全景高速球一体机的联动浏览方法 |
JP6139713B2 (ja) | 2013-06-13 | 2017-05-31 | コアフォトニクス リミテッド | デュアルアパーチャズームデジタルカメラ |
US20140369625A1 (en) * | 2013-06-18 | 2014-12-18 | Asustek Computer Inc. | Image processing method |
CN108519655A (zh) | 2013-07-04 | 2018-09-11 | 核心光电有限公司 | 小型长焦透镜套件 |
CN108718376B (zh) | 2013-08-01 | 2020-08-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
MX360725B (es) | 2013-08-09 | 2018-11-14 | Thermal Imaging Radar Llc | Métodos para analizar datos de imágenes térmicas de dispositivos virtuales y métodos para correlacionar los valores de profundidad a píxeles de imágenes. |
JP6160357B2 (ja) * | 2013-08-15 | 2017-07-12 | 株式会社リコー | 画像処理装置、画像処理方法、および画像通信システム |
ITRM20130484A1 (it) * | 2013-08-29 | 2015-03-01 | Valerio Lombardi | Metodo ed apparato per analisi termografica ad alta risoluzione tramite due termocamere |
JP6261266B2 (ja) * | 2013-10-02 | 2018-01-17 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 移動体検知装置 |
US10652503B2 (en) | 2013-11-01 | 2020-05-12 | Charles W. Dozier | Camera video recorder |
US10742864B2 (en) | 2013-12-09 | 2020-08-11 | Playsight Interactive Ltd. | Controlling cameras in sports events |
US9282309B1 (en) | 2013-12-22 | 2016-03-08 | Jasmin Cosic | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures |
EP2922288A1 (en) * | 2014-03-18 | 2015-09-23 | Thomson Licensing | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium |
US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
JP5999523B2 (ja) * | 2014-06-30 | 2016-09-28 | カシオ計算機株式会社 | カメラ制御装置、カメラ制御方法及びプログラム |
US9779307B2 (en) | 2014-07-07 | 2017-10-03 | Google Inc. | Method and system for non-causal zone search in video monitoring |
US10127783B2 (en) | 2014-07-07 | 2018-11-13 | Google Llc | Method and device for processing motion events |
US9501915B1 (en) | 2014-07-07 | 2016-11-22 | Google Inc. | Systems and methods for analyzing a video stream |
US10140827B2 (en) * | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
GB2528059A (en) | 2014-07-08 | 2016-01-13 | Ibm | Peer to peer camera lighting communication |
GB2528060B (en) | 2014-07-08 | 2016-08-03 | Ibm | Peer to peer audio video device communication |
GB2528058A (en) * | 2014-07-08 | 2016-01-13 | Ibm | Peer to peer camera communication |
KR101592740B1 (ko) * | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US9208668B1 (en) * | 2014-09-16 | 2015-12-08 | Geovision Inc. | Camera system with a full view monitoring function |
USD782495S1 (en) | 2014-10-07 | 2017-03-28 | Google Inc. | Display screen or portion thereof with graphical user interface |
CN104270570B (zh) * | 2014-10-17 | 2018-05-11 | 北京明泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
US9965835B2 (en) * | 2014-11-28 | 2018-05-08 | Axis Ab | Defogging images and video |
KR20160072687A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전기주식회사 | 카메라 모듈 |
KR20160075135A (ko) * | 2014-12-19 | 2016-06-29 | 현대모비스 주식회사 | 자동차 물체인식 시스템 및 그 동작방법 |
US10134004B1 (en) | 2014-12-23 | 2018-11-20 | Amazon Technologies, Inc. | Processing image data from a camera cluster |
US10291862B1 (en) * | 2014-12-23 | 2019-05-14 | Amazon Technologies, Inc. | Camera hierarchy for monitoring large facilities |
US10288840B2 (en) | 2015-01-03 | 2019-05-14 | Corephotonics Ltd | Miniature telephoto lens module and a camera utilizing such a lens module |
US10656720B1 (en) | 2015-01-16 | 2020-05-19 | Ultrahaptics IP Two Limited | Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
KR102101438B1 (ko) * | 2015-01-29 | 2020-04-20 | 한국전자통신연구원 | 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법 |
CN104601892A (zh) * | 2015-01-30 | 2015-05-06 | 深圳酷派技术有限公司 | 一种终端、图像拍摄方法及装置 |
US10003722B2 (en) * | 2015-03-17 | 2018-06-19 | Disney Enterprises, Inc. | Method and system for mimicking human camera operation |
EP3278178B1 (en) | 2015-04-02 | 2019-04-03 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
CN111175926B (zh) | 2015-04-16 | 2021-08-20 | 核心光电有限公司 | 紧凑型折叠式相机中的自动对焦和光学图像稳定 |
EP3304161B1 (en) | 2015-05-28 | 2021-02-17 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization in a digital camera |
US10102226B1 (en) | 2015-06-08 | 2018-10-16 | Jasmin Cosic | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures |
US9361011B1 (en) | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
SG10201505251XA (en) * | 2015-07-02 | 2017-02-27 | Nec Asia Pacific Pte Ltd | Surveillance System With Fixed Camera And Temporary Cameras |
US9918009B2 (en) | 2015-08-03 | 2018-03-13 | GE Lighting Solutions, LLC | Method and system for imaging in a luminaire |
KR102263924B1 (ko) | 2015-08-13 | 2021-06-11 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
KR102143730B1 (ko) | 2015-09-06 | 2020-08-12 | 코어포토닉스 리미티드 | 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지 |
EP3353711A1 (en) | 2015-09-23 | 2018-08-01 | Datalogic USA, Inc. | Imaging systems and methods for tracking objects |
US20170085790A1 (en) * | 2015-09-23 | 2017-03-23 | Microsoft Technology Licensing, Llc | High-resolution imaging of regions of interest |
US9813623B2 (en) | 2015-10-30 | 2017-11-07 | Essential Products, Inc. | Wide field of view camera for integration with a mobile device |
US9819865B2 (en) | 2015-10-30 | 2017-11-14 | Essential Products, Inc. | Imaging device and method for generating an undistorted wide view image |
US9906721B2 (en) | 2015-10-30 | 2018-02-27 | Essential Products, Inc. | Apparatus and method to record a 360 degree image |
WO2017092804A1 (en) * | 2015-12-02 | 2017-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Electronic device and method for controlling cameras thereof |
JP6674247B2 (ja) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
WO2017115179A1 (en) | 2015-12-29 | 2017-07-06 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
KR20170082735A (ko) * | 2016-01-07 | 2017-07-17 | 한국전자통신연구원 | 객체 추적 기반의 객체 영상 제공 방법 |
US11277558B2 (en) * | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
US10194089B2 (en) | 2016-02-08 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for implementing seamless zoom function using multiple cameras |
KR101993670B1 (ko) * | 2016-03-17 | 2019-06-27 | 주식회사 이오테크닉스 | 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법 |
US20180332213A1 (en) * | 2016-03-24 | 2018-11-15 | Motorola Solutions, Inc | Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone |
JP6733267B2 (ja) * | 2016-03-31 | 2020-07-29 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
US10341565B2 (en) | 2016-05-10 | 2019-07-02 | Raytheon Company | Self correcting adaptive low light optical payload |
US10506237B1 (en) | 2016-05-27 | 2019-12-10 | Google Llc | Methods and devices for dynamic adaptation of encoding bitrate for video streaming |
EP3292685B1 (en) | 2016-05-30 | 2019-06-05 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
US10269092B2 (en) * | 2016-06-17 | 2019-04-23 | Nec Corporation | Image processing device, image processing method, and storage medium |
KR102646151B1 (ko) | 2016-06-19 | 2024-03-08 | 코어포토닉스 리미티드 | 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US10957171B2 (en) | 2016-07-11 | 2021-03-23 | Google Llc | Methods and systems for providing event alerts |
US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
US10192415B2 (en) | 2016-07-11 | 2019-01-29 | Google Llc | Methods and systems for providing intelligent alerts for events |
KR20180018086A (ko) * | 2016-08-12 | 2018-02-21 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
EP3291191B1 (en) * | 2016-08-29 | 2019-10-09 | Panasonic Intellectual Property Management Co., Ltd. | Suspicious person report system and suspicious person report method |
US10182180B2 (en) * | 2016-09-07 | 2019-01-15 | Peau Productions, Inc. | Multiple camera control system |
CN108074224B (zh) * | 2016-11-09 | 2021-11-05 | 生态环境部环境规划院 | 一种陆生哺乳动物与鸟类的监测方法及其监测装置 |
DE102016125459B3 (de) | 2016-12-22 | 2018-05-03 | Spintower Kg | Bilderfassungsverfahren auf einem Bilderfassungssystem |
CN110140078B (zh) | 2016-12-28 | 2021-11-19 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的折叠相机结构 |
US10825010B2 (en) | 2016-12-30 | 2020-11-03 | Datalogic Usa, Inc. | Self-checkout with three dimensional scanning |
KR102612454B1 (ko) | 2017-01-12 | 2023-12-08 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 |
WO2018144933A1 (en) * | 2017-02-03 | 2018-08-09 | Ring Inc. | Audio/video recording and communication devices with multiple cameras for superimposing image data |
KR20220013000A (ko) | 2017-02-23 | 2022-02-04 | 코어포토닉스 리미티드 | 폴디드 카메라 렌즈 설계 |
GB2560185A (en) * | 2017-03-03 | 2018-09-05 | Nokia Technologies Oy | Method and apparatus for a multi-camera unit |
CN114137790A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的系统、移动电子装置及其方法 |
US20180278836A1 (en) * | 2017-03-23 | 2018-09-27 | Ring Inc. | Audio/Video Recording and Communication Devices with Multiple Cameras Having Variable Capture Settings |
FR3065537B1 (fr) * | 2017-04-19 | 2019-06-28 | Thales | Systeme optronique pour plate-forme et plate-forme associee |
US10250812B2 (en) * | 2017-05-17 | 2019-04-02 | Caterpillar Inc. | Display system for machine |
US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
US10599950B2 (en) | 2017-05-30 | 2020-03-24 | Google Llc | Systems and methods for person recognition data management |
US10972672B2 (en) | 2017-06-05 | 2021-04-06 | Samsung Electronics Co., Ltd. | Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths |
CN109151375B (zh) | 2017-06-16 | 2020-07-24 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
CN109151295B (zh) * | 2017-06-16 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
EP3419283B1 (en) * | 2017-06-21 | 2022-02-16 | Axis AB | System and method for tracking moving objects in a scene |
US10319151B2 (en) | 2017-07-07 | 2019-06-11 | Motorola Solutions, Inc. | Device and method for hierarchical object recognition |
US11587419B2 (en) | 2017-08-04 | 2023-02-21 | Toyota Research Institute, Inc. | Methods and systems providing an intelligent camera system |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US11134227B2 (en) | 2017-09-20 | 2021-09-28 | Google Llc | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment |
US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
US10400929B2 (en) | 2017-09-27 | 2019-09-03 | Quick Fitting, Inc. | Fitting device, arrangement and method |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US10574886B2 (en) | 2017-11-02 | 2020-02-25 | Thermal Imaging Radar, LLC | Generating panoramic video for video management systems |
KR20190055582A (ko) * | 2017-11-15 | 2019-05-23 | 삼성전자주식회사 | 전자 장치의 이미지 촬영 방법 및 그 전자 장치 |
KR102666902B1 (ko) | 2017-11-23 | 2024-05-16 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
CN107896316A (zh) * | 2017-11-29 | 2018-04-10 | 合肥寰景信息技术有限公司 | 基于双摄像头的数字视频智能监控系统 |
US10951879B2 (en) | 2017-12-04 | 2021-03-16 | Canon Kabushiki Kaisha | Method, system and apparatus for capture of image data for free viewpoint video |
WO2019117549A1 (en) * | 2017-12-15 | 2019-06-20 | Samsung Electronics Co., Ltd. | Imaging apparatus, imaging method, and computer program product |
CN110352371B (zh) | 2018-02-05 | 2022-05-13 | 核心光电有限公司 | 减少高度容余的折叠摄像装置 |
EP3749998B1 (en) * | 2018-02-09 | 2023-07-12 | Camera Control At A Distance, Llc | System to control camera function remotely |
US11640047B2 (en) | 2018-02-12 | 2023-05-02 | Corephotonics Ltd. | Folded camera with optical image stabilization |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
EP4109174A1 (en) | 2018-04-23 | 2022-12-28 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
EP3791570A4 (en) * | 2018-05-11 | 2022-01-26 | Axon Enterprise, Inc. | CROSS-REDACTING SYSTEMS AND METHODS |
CN119919618A (zh) | 2018-07-04 | 2025-05-02 | 核心光电有限公司 | 用于汽车或监控应用具有扫描光路折叠元件的相机 |
US11363180B2 (en) | 2018-08-04 | 2022-06-14 | Corephotonics Ltd. | Switchable continuous display information system above camera |
CN108965742B (zh) * | 2018-08-14 | 2021-01-22 | 京东方科技集团股份有限公司 | 异形屏显示方法、装置、电子设备及计算机可读存储介质 |
US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
US10805534B2 (en) * | 2018-11-01 | 2020-10-13 | Korea Advanced Institute Of Science And Technology | Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
KR102664705B1 (ko) | 2019-02-19 | 2024-05-09 | 삼성전자주식회사 | 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법 |
US11315276B2 (en) | 2019-03-09 | 2022-04-26 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
JP2020167517A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
US11134185B2 (en) | 2019-04-01 | 2021-09-28 | Grass Valley Canada | System and method of partial matching of control settings across cameras |
KR102193984B1 (ko) | 2019-05-31 | 2020-12-22 | 주식회사 아이디스 | 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법 |
US11196943B2 (en) * | 2019-05-31 | 2021-12-07 | Apple Inc. | Video analysis and management techniques for media capture and retention |
KR102515482B1 (ko) | 2019-07-31 | 2023-03-29 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
CN112399033B (zh) * | 2019-08-14 | 2022-04-15 | 杭州海康威视数字技术股份有限公司 | 摄像机组件和监控摄像机 |
CN110636294B (zh) * | 2019-09-27 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置,视频编码方法及装置 |
KR102314941B1 (ko) * | 2019-10-08 | 2021-10-21 | 한국전자통신연구원 | 사생활 보호를 위한 카메라 보조 장치 및 이를 이용한 사생활 보호 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11601605B2 (en) | 2019-11-22 | 2023-03-07 | Thermal Imaging Radar, LLC | Thermal imaging camera device |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11893795B2 (en) | 2019-12-09 | 2024-02-06 | Google Llc | Interacting with visitors of a connected home environment |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
RU2723640C1 (ru) * | 2019-12-09 | 2020-06-17 | Вячеслав Михайлович Смелков | Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью |
CN111355884B (zh) * | 2019-12-23 | 2021-11-02 | 深圳市鸿合创新信息技术有限责任公司 | 监控方法、装置、系统、电子设备及存储介质 |
US10969047B1 (en) | 2020-01-29 | 2021-04-06 | Quick Fitting Holding Company, Llc | Electrical conduit fitting and assembly |
US11035510B1 (en) | 2020-01-31 | 2021-06-15 | Quick Fitting Holding Company, Llc | Electrical conduit fitting and assembly |
US12007668B2 (en) | 2020-02-22 | 2024-06-11 | Corephotonics Ltd. | Split screen feature for macro photography |
KR20220003550A (ko) | 2020-04-26 | 2022-01-10 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
CN114651275B (zh) | 2020-05-17 | 2023-10-27 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
EP4191332B1 (en) | 2020-05-30 | 2024-07-03 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11481884B2 (en) * | 2020-06-04 | 2022-10-25 | Nuro, Inc. | Image quality enhancement for autonomous vehicle remote operations |
US11910089B2 (en) | 2020-07-15 | 2024-02-20 | Corephotonics Lid. | Point of view aberrations correction in a scanning folded camera |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
CN116626960A (zh) | 2020-08-12 | 2023-08-22 | 核心光电有限公司 | 用于光学防抖的方法 |
KR102772243B1 (ko) | 2020-12-26 | 2025-02-21 | 코어포토닉스 리미티드 | 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 |
KR102589548B1 (ko) | 2021-03-11 | 2023-10-13 | 코어포토닉스 리미티드 | 팝-아웃 카메라 시스템 |
KR102638173B1 (ko) | 2021-06-08 | 2024-02-19 | 코어포토닉스 리미티드 | 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라 |
EP4171022B1 (en) * | 2021-10-22 | 2023-11-29 | Axis AB | Method and system for transmitting a video stream |
US12307419B2 (en) | 2022-01-14 | 2025-05-20 | Target Brands, Inc. | Mobile apparatus with computer vision elements for inventory condition |
US12058445B2 (en) | 2022-01-14 | 2024-08-06 | Target Brands, Inc. | Mobile apparatus with computer vision elements for product identifier detection with minimal detection adjustments |
US12328505B2 (en) | 2022-03-24 | 2025-06-10 | Corephotonics Ltd. | Slim compact lens optical image stabilization |
US12167136B2 (en) | 2022-04-01 | 2024-12-10 | Honeywell International Inc. | Method and system for using a plurality of motion sensors to control a pan-tilt-zoom camera |
EP4270940B1 (en) * | 2022-04-26 | 2024-10-30 | Axis AB | Ptz masking control |
JP2025038771A (ja) * | 2023-09-07 | 2025-03-19 | キヤノン株式会社 | 撮影制御装置および撮影制御方法、ならびに撮像システム |
US20250104425A1 (en) * | 2023-09-27 | 2025-03-27 | Gamechanger Media, Inc. | Systems and Methods for Dynamic Video Generation |
JP2025056633A (ja) * | 2023-09-27 | 2025-04-08 | キヤノン株式会社 | 表示制御装置および表示制御方法、ならびに撮像システム |
US20250126346A1 (en) * | 2023-10-16 | 2025-04-17 | Honeywell International Inc. | Methods and systems for monitoring activities in a monitored space |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3505465A (en) | 1967-04-21 | 1970-04-07 | Us Army | Panoramic television viewing system |
US3725563A (en) | 1971-12-23 | 1973-04-03 | Singer Co | Method of perspective transformation in scanned raster visual display |
US4326218A (en) | 1980-11-14 | 1982-04-20 | Coutta John M | Surveillance system |
JPS59115677A (ja) | 1982-12-22 | 1984-07-04 | Hitachi Ltd | 画像処理装置 |
US4667236A (en) | 1985-04-26 | 1987-05-19 | Digital Services Corporation | Television perspective effects system |
US4763280A (en) | 1985-04-29 | 1988-08-09 | Evans & Sutherland Computer Corp. | Curvilinear dynamic image generation system |
US4821209A (en) | 1986-01-21 | 1989-04-11 | International Business Machines Corporation | Data transformation and clipping in a graphics display system |
US4728839A (en) | 1987-02-24 | 1988-03-01 | Remote Technology Corporation | Motorized pan/tilt head for remote control |
US4855823A (en) | 1988-05-05 | 1989-08-08 | Applied Engineering Products Co. | Imaging assembly and mounting for surveillance viewing under remote control |
FR2632470B1 (fr) | 1988-06-07 | 1990-08-03 | Thomson Video Equip | Dispositif de traitement numerique d'images pour l'obtention d'effets speciaux geometriques |
US4992866A (en) | 1989-06-29 | 1991-02-12 | Morgan Jack B | Camera selection and positioning system and method |
KR920003198A (ko) | 1990-07-06 | 1992-02-29 | 카가야세이치 | 화상처리에 의한 이동물체검출방법 및 그 장치와 이 장치를 사용한 거리측정 장치 |
US5384588A (en) | 1991-05-13 | 1995-01-24 | Telerobotics International, Inc. | System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters |
US5359363A (en) | 1991-05-13 | 1994-10-25 | Telerobotics International, Inc. | Omniview motionless camera surveillance system |
US5313306A (en) | 1991-05-13 | 1994-05-17 | Telerobotics International, Inc. | Omniview motionless camera endoscopy system |
US5185667A (en) | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
US5164827A (en) * | 1991-08-22 | 1992-11-17 | Sensormatic Electronics Corporation | Surveillance system with master camera control of slave cameras |
CA2068022C (en) | 1991-09-17 | 2002-07-09 | Norbert M. Stiepel | Surveillance device with eyeball assembly and pivotably mountable carriage assembly |
US5321776A (en) | 1992-02-26 | 1994-06-14 | General Electric Company | Data compression system including successive approximation quantizer |
US5311305A (en) | 1992-06-30 | 1994-05-10 | At&T Bell Laboratories | Technique for edge/corner detection/tracking in image frames |
US5530650A (en) | 1992-10-28 | 1996-06-25 | Mcdonnell Douglas Corp. | Computer imaging system and method for remote in-flight aircraft refueling |
US5563650A (en) | 1992-11-24 | 1996-10-08 | Geeris Holding Nederland B.V. | Method and device for producing panoramic images, and a method and device for consulting panoramic images |
US5684937A (en) | 1992-12-14 | 1997-11-04 | Oxaal; Ford | Method and apparatus for performing perspective transformation on visible stimuli |
US6243099B1 (en) | 1996-11-14 | 2001-06-05 | Ford Oxaal | Method for interactive viewing full-surround image data and apparatus therefor |
CA2148231C (en) | 1993-01-29 | 1999-01-12 | Michael Haysom Bianchi | Automatic tracking camera control system |
US5365597A (en) | 1993-06-11 | 1994-11-15 | United Parcel Service Of America, Inc. | Method and apparatus for passive autoranging using relaxation |
US5396284A (en) | 1993-08-20 | 1995-03-07 | Burle Technologies, Inc. | Motion detection system |
US5495292A (en) | 1993-09-03 | 1996-02-27 | Gte Laboratories Incorporated | Inter-frame wavelet transform coder for color video compression |
US5627616A (en) | 1994-06-22 | 1997-05-06 | Philips Electronics North America Corporation | Surveillance camera system |
US5610391A (en) | 1994-08-25 | 1997-03-11 | Owens-Brockway Glass Container Inc. | Optical inspection of container finish dimensional parameters |
CA2155719C (en) | 1994-11-22 | 2005-11-01 | Terry Laurence Glatt | Video surveillance system with pilot and slave cameras |
US5666157A (en) | 1995-01-03 | 1997-09-09 | Arc Incorporated | Abnormality detection and surveillance system |
US5654750A (en) | 1995-02-23 | 1997-08-05 | Videorec Technologies, Inc. | Automatic recording system |
US5589901A (en) | 1995-05-15 | 1996-12-31 | Means; Kevin P. | Apparatus and method for synchronizing search and surveillance devices |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US6147709A (en) * | 1997-04-07 | 2000-11-14 | Interactive Pictures Corporation | Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience |
US6215519B1 (en) | 1998-03-04 | 2001-04-10 | The Trustees Of Columbia University In The City Of New York | Combined wide angle and narrow angle imaging system and method for surveillance and monitoring |
US6049281A (en) | 1998-09-29 | 2000-04-11 | Osterweil; Josef | Method and apparatus for monitoring movements of an individual |
US6344852B1 (en) | 1999-03-17 | 2002-02-05 | Nvidia Corporation | Optimized system and method for binning of graphics data |
US20020063711A1 (en) * | 1999-05-12 | 2002-05-30 | Imove Inc. | Camera system with high resolution image inside a wide angle view |
US6509926B1 (en) | 2000-02-17 | 2003-01-21 | Sensormatic Electronics Corporation | Surveillance apparatus for camera surveillance system |
US6853809B2 (en) | 2001-01-30 | 2005-02-08 | Koninklijke Philips Electronics N.V. | Camera system for providing instant switching between wide angle and full resolution views of a subject |
US20030210329A1 (en) * | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
US6763068B2 (en) | 2001-12-28 | 2004-07-13 | Nokia Corporation | Method and apparatus for selecting macroblock quantization parameters in a video encoder |
JP4100934B2 (ja) | 2002-02-28 | 2008-06-11 | シャープ株式会社 | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
US6757434B2 (en) | 2002-11-12 | 2004-06-29 | Nokia Corporation | Region-of-interest tracking method and device for wavelet-based video coding |
GB2413720B (en) * | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
US7529424B2 (en) | 2003-05-02 | 2009-05-05 | Grandeye, Ltd. | Correction of optical distortion by image processing |
US7450165B2 (en) | 2003-05-02 | 2008-11-11 | Grandeye, Ltd. | Multiple-view processing in wide-angle video camera |
US20050007453A1 (en) | 2003-05-02 | 2005-01-13 | Yavuz Ahiska | Method and system of simultaneously displaying multiple views for video surveillance |
US7528881B2 (en) | 2003-05-02 | 2009-05-05 | Grandeye, Ltd. | Multiple object processing in wide-angle video camera |
US7366359B1 (en) | 2004-07-08 | 2008-04-29 | Grandeye, Ltd. | Image processing of regions in a wide angle video camera |
US7796154B2 (en) * | 2005-03-07 | 2010-09-14 | International Business Machines Corporation | Automatic multiscale image acquisition from a steerable camera |
US8238695B1 (en) * | 2005-12-15 | 2012-08-07 | Grandeye, Ltd. | Data reduction techniques for processing wide-angle video |
US8264524B1 (en) * | 2008-09-17 | 2012-09-11 | Grandeye Limited | System for streaming multiple regions deriving from a wide-angle camera |
-
2005
- 2005-07-19 US US11/184,720 patent/US7990422B2/en not_active Expired - Fee Related
- 2005-07-19 JP JP2007522071A patent/JP2008507229A/ja active Pending
- 2005-07-19 WO PCT/IB2005/003504 patent/WO2006040687A2/en active Application Filing
-
2007
- 2007-01-19 GB GB0701038A patent/GB2431312A/en not_active Withdrawn
-
2011
- 2011-06-17 US US13/163,194 patent/US8405732B2/en not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009142332A1 (en) * | 2008-05-23 | 2009-11-26 | Advas Co., Ltd. | Hybrid video camera syste |
JP2012520650A (ja) * | 2009-05-29 | 2012-09-06 | ヨングク エレクトロニクス シーオー., エルティーディー | 知能型監視カメラ装置及びこれを採用した映像監視システム |
JP2012109733A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 監視システム及び監視装置 |
US11627271B2 (en) | 2013-06-17 | 2023-04-11 | Samsung Electronics Co., Ltd. | Image adjustment apparatus and image sensor for synchronous image and asynchronous image |
KR20140146337A (ko) * | 2013-06-17 | 2014-12-26 | 삼성전자주식회사 | 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 |
US12250480B2 (en) | 2013-06-17 | 2025-03-11 | Samsung Electronics Co., Ltd. | Image adjustment apparatus and image sensor for synchronous image and asynchronous image |
US12108177B2 (en) | 2013-06-17 | 2024-10-01 | Samsung Electronics Co., Ltd. | Image adjustment apparatus and image sensor for synchronous image and asynchronous image |
KR102081087B1 (ko) * | 2013-06-17 | 2020-02-25 | 삼성전자주식회사 | 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 |
US10674104B2 (en) | 2013-06-17 | 2020-06-02 | Samsung Electronics Co., Ltd. | Image adjustment apparatus and image sensor for synchronous image and asynchronous image |
US11863894B2 (en) | 2013-06-17 | 2024-01-02 | Samsung Electronics Co., Ltd. | Image adjustment apparatus and image sensor for synchronous image and asynchronous image |
US11670159B2 (en) | 2015-02-17 | 2023-06-06 | Nec Corporation | System for monitoring event related data |
JP2018510398A (ja) * | 2015-02-17 | 2018-04-12 | 日本電気株式会社 | 事象関連データ監視システム |
US10970995B2 (en) | 2015-02-17 | 2021-04-06 | Nec Corporation | System for monitoring event related data |
US12272230B2 (en) | 2015-02-17 | 2025-04-08 | Nec Corporation | System for monitoring event related data |
WO2018207664A1 (ja) * | 2017-05-11 | 2018-11-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法、並びにプログラム |
JP7062386B2 (ja) | 2017-08-04 | 2022-05-06 | 株式会社カーメイト | カメラ並びに撮影システムおよび画像処理方法 |
JP2019029978A (ja) * | 2017-08-04 | 2019-02-21 | 株式会社カーメイト | カメラ並びに撮影システムおよび画像処理方法 |
WO2022168481A1 (ja) * | 2021-02-02 | 2022-08-11 | ソニーグループ株式会社 | 画像処理装置、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
GB2431312A (en) | 2007-04-18 |
US8405732B2 (en) | 2013-03-26 |
US20120038776A1 (en) | 2012-02-16 |
GB0701038D0 (en) | 2007-02-28 |
US20060056056A1 (en) | 2006-03-16 |
WO2006040687A2 (en) | 2006-04-20 |
WO2006040687A3 (en) | 2006-06-15 |
US7990422B2 (en) | 2011-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008507229A (ja) | 広角ビデオカメラのズーム機能の自動拡張 | |
US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
US8139896B1 (en) | Tracking moving objects accurately on a wide-angle video | |
US8145007B2 (en) | Image processing of regions in a wide angle video camera | |
US9602700B2 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
US8427538B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
US20150244991A1 (en) | Monitoring camera system and control method of monitoring camera system | |
US20030103139A1 (en) | System and method for tracking objects and obscuring fields of view under video surveillance | |
KR20050051575A (ko) | 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체 | |
US10735659B2 (en) | Rotation-adaptive video analytics camera and method | |
JPH11261868A (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法 | |
JP2002064812A (ja) | 移動物体追尾装置 | |
GB2459033A (en) | Resolution reduced video monitoring method to enable real time video processing | |
US20040179729A1 (en) | Measurement system | |
KR101778744B1 (ko) | 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템 | |
EP2648406B1 (en) | Method for switching viewing modes in a camera | |
Lin et al. | Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system | |
JP4373645B2 (ja) | 映像配信システム、プログラム及び記録媒体 | |
Nicolescu et al. | Segmentation, tracking and interpretation using panoramic video | |
KR100457302B1 (ko) | 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 | |
KR102474697B1 (ko) | 촬상 장치 및 영상 처리 방법 | |
Nicolescu et al. | Electronic pan-tilt-zoom: a solution for intelligent room systems | |
KR20170055455A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
JP2002314984A (ja) | 監視カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080718 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20081202 |