[go: up one dir, main page]

TW201913245A - 使用目標識別碼的智能目標追蹤 - Google Patents

使用目標識別碼的智能目標追蹤 Download PDF

Info

Publication number
TW201913245A
TW201913245A TW107124850A TW107124850A TW201913245A TW 201913245 A TW201913245 A TW 201913245A TW 107124850 A TW107124850 A TW 107124850A TW 107124850 A TW107124850 A TW 107124850A TW 201913245 A TW201913245 A TW 201913245A
Authority
TW
Taiwan
Prior art keywords
light
light source
image
image sequence
scene
Prior art date
Application number
TW107124850A
Other languages
English (en)
Other versions
TWI716707B (zh
Inventor
錢昊
Original Assignee
大陸商杭州他若信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商杭州他若信息科技有限公司 filed Critical 大陸商杭州他若信息科技有限公司
Publication of TW201913245A publication Critical patent/TW201913245A/zh
Application granted granted Critical
Publication of TWI716707B publication Critical patent/TWI716707B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/041—Allowing quick release of the apparatus
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/04—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or holding steady relative to, a person, e.g. by chains, e.g. rifle butt or pistol grip supports, supports attached to the chest or head
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2042—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints
    • F16M11/205—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2064—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction for tilting and panning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/242—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by spreading of the legs
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/041—Balancing means for balancing rotational movement of the head
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/044—Balancing means for balancing rotational movement of the undercarriage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種用於目標追蹤的方法。該方法包括：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式，通過硬體處理器檢測場景中的光源；回應於檢測到光源，通過該硬體處理器將該圖像序列中至少一個圖像的光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果，通過該硬體處理器生成控制信號以改變該相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中該光源被配置為產生目標識別碼。

Description

使用目標識別碼的智能目標追蹤
本發明涉及一種用於目標追蹤的方法、追蹤控制器及非暫態電腦可讀儲存介質。
視場(FOV)是由相機成像的場景的範圍。視場內的物體將出現在由該相機抓取及/或輸出的圖像中。例如，視場可對應於一立體角(solid angle)，相機鏡頭在該立體角內投射光輸入至該相機的光學感測器。
一般而言，一方面，本發明涉及一種用於目標追蹤的方法。該方法包括：抓取場景的圖像序列；基於沿(across)該圖像序列的局部光變化(local light change)的模式，通過硬體處理器，檢測場景中的光源；回應於檢測到光源，通過該硬體處理器，將該圖像序列中至少一個圖像的光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果，通過該硬體處理器，生成控制信號以改變該相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中該光源被配置為產生目標識別碼。
一般而言，一方面，本發明涉及一種用於相機裝置的追蹤控 制器。該追蹤控制器包括電腦處理器和儲存指令的記憶體。運行該指令可使該電腦處理器：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式、檢測該場景中的光源；回應於檢測到光源，將該圖像序列中至少一個圖像的光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果生成控制信號以改變該相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中該光源被配置為產生目標識別碼。
一般而言，一方面，本發明涉及一種非暫態電腦可讀儲存介質，其儲存用於目標追蹤的指令。當由電腦處理器運行時，該指令包括以下功能：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式，檢測該場景中的光源；回應於檢測到光源，將該圖像序列中至少一個圖像的光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果生成控制信號以改變該相機裝置的視場，從而使得該光源與該視場內的該目標位置實質地對準，其中該光源被配置為產生目標識別碼。
本發明的其他方面將通過以下說明和隨附申請專利範圍而明顯易懂。
100‧‧‧系統
114‧‧‧光發射器
115‧‧‧頻閃光A
116‧‧‧物體反射光
117‧‧‧頻閃光B
142a‧‧‧物體A
142b‧‧‧物體B
143a‧‧‧光源A
143b‧‧‧光源B
141‧‧‧視場(FOV)
140‧‧‧場景
111‧‧‧相機鏡頭
120‧‧‧追蹤控制器
110‧‧‧相機裝置
130‧‧‧相機裝置支座
121‧‧‧硬體處理器
122‧‧‧記憶體
126a‧‧‧圖像A
127a‧‧‧位置A
126‧‧‧圖像序列
124a‧‧‧目標識別碼
123‧‧‧資源庫
124‧‧‧光變化模式
125‧‧‧位移
128‧‧‧運動參數
127‧‧‧目標位置
120‧‧‧追蹤控制器
201‧‧‧相機移動裝置
213b‧‧‧背面
209-1‧‧‧旋轉軸線
220‧‧‧相機鏡頭
203‧‧‧傾斜軸
203-1‧‧‧傾斜軸線
221‧‧‧支座
213‧‧‧傾斜電機
220-1‧‧‧視場(FOV)
222‧‧‧手柄
219‧‧‧旋轉電機
800‧‧‧相機移動裝置手柄
213‧‧‧傾斜電機
201‧‧‧相機移動裝置
222‧‧‧手柄
800‧‧‧相機移動裝置手柄
321‧‧‧手持位置A
322‧‧‧手持位置B
323‧‧‧傾斜運動
201‧‧‧相機移動裝置
221‧‧‧支座
331‧‧‧額外的旋轉電機
209-2‧‧‧額外的旋轉軸線
203-1‧‧‧傾斜軸線
213‧‧‧傾斜電機
219‧‧‧旋轉電機
222‧‧‧手柄
209-1‧‧‧旋轉軸線
800‧‧‧相機移動裝置手柄
401a‧‧‧時間點A
401b‧‧‧時間點B
401c‧‧‧時間點C
124‧‧‧光變化模式
400a‧‧‧亮級
400b‧‧‧暗級
410‧‧‧時間週期A
420‧‧‧時間週期B
430‧‧‧時間週期C
401‧‧‧標頭
403‧‧‧標尾
402a‧‧‧目標識別碼A
402b‧‧‧目標識別碼B
126‧‧‧圖像序列
126a‧‧‧圖像A
126b‧‧‧圖像B
126c‧‧‧圖像C
125‧‧‧位移
127‧‧‧目標位置
143a‧‧‧光源A
143b‧‧‧光源B
126d‧‧‧差值結果
600‧‧‧錄影
143a‧‧‧光源A
143b‧‧‧光源B
142a‧‧‧物體A
142b‧‧‧物體B
126a‧‧‧圖像A
126x‧‧‧圖像X
126‧‧‧圖像序列
700‧‧‧計算系統
708‧‧‧輸出裝置
704‧‧‧非永久記憶體
702‧‧‧電腦處理器
706‧‧‧永久記憶體
712‧‧‧通訊介面
710‧‧‧輸入裝置
720‧‧‧網路
722‧‧‧節點X
724‧‧‧節點Y
726‧‧‧客戶端裝置
圖1.1和1.2示出了根據本發明的一個或多個實施例的系統的示意性框圖；圖2示出了根據本發明的一個或多個實施例的方法流程圖；圖3.1、3.2、3.3、4、5和6示出了根據本發明的一個或多個實施例的各種不同示例；以及 圖7.1和7.2示出了根據本發明的一個或多個實施例的計算系統。
現在將參照附圖詳細描述本發明的具體實施例。各個附圖中相同的元件可由相同的參考數字表示，以確保一致性。
在本發明的實施例的以下詳細說明中，陳述了若干具體細節以提供對本發明更通透的理解。然而，所屬技術領域中具有通常知識者應理解的是，本發明無需這些具體細節也可實施。在其他實例中，為了避免不必要地複雜化該說明，省略了已知特徵的詳細描述。
在以下說明中，在本發明的各種不同實施例中關於一幅圖描述的任意組件可等同於關於任意其他附圖描述的具有相同命名的組件。為簡潔起見，這些組件的至少一部分是通過各種不同的標記而隱含識別的。而且，將不會針對每個附圖重複這些組件的說明。因此，每個附圖中組件的每個實施例通過引用而併入，並且被視為可選地存在於具有一個或多個類似命名的組件的每個其他附圖中。此外，根據本發明的若干實施例，附圖中組件的任意描述應被解讀為是可選的實施例，其可相對於關於其他附圖中對應的具有相同命名的組件而描述的實施例而添加、結合或替換。在各附圖中，黑色實心共線點表示可選地可存在與該黑色實心共線點之前或之後的組件類似的額外的組件。而且，連接附圖中各組件的實線或虛線表示相連組件之間的關係。虛線表示該關係可能不包括任何物理連接或物理元件，或者可能不與任何物理連接或物理元件相關聯。
在整個說明書中，使用了序數(例如，第一、第二、第三等) 作為元件(即，本申請中的任何名詞)的形容詞。這些序數的使用並非暗示或構成該元件的特定順序、也非將任何元件限定為僅具有單個，除非另外通過使用術語“之前”、“之後”、“單個”以及其他此類措辭明確指明。相反，這些序數的使用是為了區分不同的元件。示意性地，第一元件不同於第二元件，並且第一元件可包括多於一個的元件，而且第一元件在元件順序方面可以在該第二元件之後(或之前)。
在本發明的一個或多個實施例中，光源附接在物體上，並且同時抓取對應於該視場的圖像序列。在一個或多個實施例中，光源產生沿該圖像序列的局部光變化模式。基於該局部光變化模式，檢測視場中的光源。回應於檢測到光源，將該光源的位置與圖像內的目標位置進行比較以生成結果，比如位移或運動參數。相應地，基於該結果生成控制信號以控制相機裝置支座。具體地，相機裝置支座基於該控制信號調節視場，使得該光源與該目標位置在視場內實質地對準。在一個或多個實施例中，多個光源附接在場景中的多個物體上，並且其中每個光源在各自的局部光變化模式中產生有區別的目標識別碼。相應地，可同時追蹤多個物體。在一個或多個實施例中，該圖像序列是錄影的一部分，並且該控制信號使該物體在該錄影中顯現於該視場內的該目標位置處。
圖1.1示出了根據一個或多個實施例的系統100。在一個或多個實施例中，可省略、重複/或替換圖1.1中示出的一個或多個模組和元件。相應地，本發明的實施例不應被視為受限於圖1.1所示模組的具體佈置。
如圖1.1所示，系統100包括具有相機鏡頭111的相機裝置110、追蹤控制器120、相機裝置支座130、場景140、相機鏡頭111的視場141、 顯現於視場141內的物體(例如，物體A 142a、物體B 142b)以及附接在該物體上的光源(例如，光源A 143a、光源B 143b)。光源是由該相機裝置110抓取的光的光源。例如，光源A 143a被示出為是附接在物體A 142a上的反射光源，其具有遠程光發射器114，遠程光發射器114發射頻閃光A 115，頻閃光A 115照射在該反射光源A 143a上以生成物體反射光116。此外，光源B 143b是附接在物體B 142b上的局部光發射器並且發射頻閃光B 117。相應地，由該相機裝置110經由該相機鏡頭111抓取該物體發射光116和頻閃光B 117，從而貢獻於一個或多個圖像。此外，外界光(未示出)也是貢獻於該相機裝置110抓取的該圖像的光源。術語“光源”還可指由抓取的圖像中的光源產生的對應光斑。在整個說明書中，遠程光發射器和局部光發射器可被稱為光發射器，並且該頻閃光可由該遠程光發射器或該局部光發射器發射。而且，相機裝置110、追蹤控制器120和相機裝置支座130可通訊地彼此連接。在本發明的一個或多個實施例中，該遠程光發射器114、相機裝置110、追蹤控制器120和相機裝置支座130中的兩個或更多個整合在一個裝置內。例如，追蹤控制器120的至少一部分可包含在該相機裝置110內。在另一示例中，追蹤控制器120的至少一部分可包含在相機裝置支座130內。在又一示例中，追蹤控制器120的一部分包含在相機裝置110內，而追蹤控制器120的另一部分包含在相機裝置支座130內。類似地，遠程光發射器114可與該相機裝置110、追蹤控制器120或相機裝置支座130整合在一起。
在本發明的一個或多個實施例中，光發射器(例如，光源B 143b的該遠程光發射器114或局部光發射器)是可發光的任意裝置。例如，該光發射器可發射沿較大角度(例如，超過45度的平面角、1平方弧度立體 角等)的光，以作為泛光發射器。在另一示例中，光可發射准直光束，以作為准直光發射器。遠程光發射器114可與物體A 142a間隔例如特定距離，比如1米或更多。在一個或多個實施例中，光發射器包括發光二極體(LED)。在一個或多個實施例中，頻閃光(例如，頻閃光A 115、頻閃光B 117)的強度和/或波長隨時間而變化。例如，頻閃光可根據特定占空比(即，光模式具有亮級的時間所占的百分比)和重複率(即，單位時間週期內強度變化的次數)產生不同步的光變化模式(free-running light change pattern)。在此使用的“光變化模式”是一種光的強度和/或波長變化的模式。在一個或多個實施例中，光發射器產生的光變化模式與相機110的幀率相比具有低重複率(例如，10赫茲、20赫茲等等)。幀率是單位時間內由相機裝置110抓取的圖像數量(一串靜態圖像或錄影)。在一個或多個實施例中，光發射器產生的光變化模式與相機裝置110的幀率同步。在一個或多個實施例中，光發射器發射紅外光。換言之，該頻閃光具有紅外光波長，例如，介於700nm和1mm之間。在整個說明書中，術語“紅外光波長”指的是介於700nm和1mm之間的波長。在一個或多個實施例中，由頻閃光產生的光變化模式代表編碼數位數據。例如，由紅外光頻閃光產生的編碼數位數據可能類似於紅外光遠程控制碼。
在本發明的一個或多個實施例中，反射光源A 143a是物體A 142a的反射區域，其反射頻閃光A 115，以生成物體反射光116。在此上下文中，反射光源A 143a被稱為發射該物體反射光116。在一個或多個實施例中，該反射區域對紅外光波長的反射比大於對可見光波長的反射比。例如，更大的反射比可能基於反射材料對紅外光波長的反射率大於對可見光波長的 反射率。如果頻閃光A 115和外界光(未示出)均照射在該反射區域上，則該物體反射光116具有的來自頻閃光A 115的紅外光反射內容可能多於來自外界可見光的可見反射內容。在一個或多個實施例中，物體A 142a為人類、動物、機器人或任意其他運動物品，並且該反射光源A 143a包括附接在物體A 142a上的反射材料。例如，該反射材料可為由人類、動物、機器人或者其他運動物品穿戴的護腕、臂章、腰帶、戒指、吊墜、項鏈、帽子、手套、衣服等的一部分或者可附接於其上。在一個或多個實施例中，該反射材料可包括金屬、介電材料或者金屬與介電材料的組合。在一個或多個實施例中，該反射材料可為前述護腕、臂章、腰帶、戒指、吊墜、項鏈、帽子、手套、衣服等表面上的塗層或漆膜。例如，該塗層或漆膜可包括紅外光顏料，比如二氧化鈦。具體地，二氧化鈦對紅外光波長的反射比可超出75%。
在一個或多個實施例中，該反射材料包括幾何圖案，該幾何圖案對紅外光波長具有按幾何級數變化的反射率，以產生幾何光變化模式。具體地，該反射材料的幾何圖案產生由相機鏡頭抓取的物體反射光的空間變化(spatial variation)，作為與外界光的附加區別。換言之，該幾何圖案增強了反射光源的檢測準確度。在此使用的幾何光變化模式是光強度隨幾何圖案變化的模式。例如，該幾何圖案可由使用前述比如二氧化鈦的紅外光反射顏料的表面塗層/漆膜創建。在一個或多個實施例中，來自反射光源A 143a的物體反射光116包括基於前述源自遠程光發射器114的光變化模式的時間調製和/或基於反射光源A 143a的幾何光變化模式的空間調製。
在本發明的一個或多個實施例中，相機裝置110是具有相機鏡頭(例如，相機鏡頭111)以及用於拍攝照片和/或錄影的相關元件的裝置。 相機裝置110的一個示例為具有通訊功能的專用相機。在一個或多個實施例中，相機裝置110是移動裝置，比如具有內置相機的手機，通常被稱為智慧型手機。智慧型手機可具有帶使用者圖形界面的顯示器，其佔據大部分(例如，70%或更多)主表面。相機鏡頭111可位於智慧型手機的主表面或背面。
在一個或多個實施例中，場景140是由相機裝置110成像的動作或事件發生的地點。具體地，該動作或事件可與該物體(例如，物體A 142a、物體B 142b)相關聯。而且，一個或多個物體可以是靜止的、隨時間運動的或者在該場景140內持續運動的。視場(FOV)141是由相機裝置110使用該相機鏡頭111成像的場景140的範圍。換言之，視場141內的物體(例如，物體A 142a、物體B 142b)將顯現於相機裝置110所抓取和/或輸出的圖像中。例如，視場141可對應於一立體角，相機鏡頭111在該立體角內投射光輸入至與相機裝置110相關聯的光學感測器(未示出)中。在一個或多個實施例中，根據相機鏡頭111關於場景140如何取向、關於場景140如何縮放或者關於場景140如何定位，視場141對應於場景140的不同部分。在一個或多個實施例中，該物體(例如，物體A 142a、物體B 142b)可在該動作或事件過程中沿著該場景140移動。目標追蹤是該動作引起相機鏡頭111關於場景140取向、關於場景140縮放或者關於場景140定位，從而使得該物體(例如，物體A 142a、物體B 142b)在圖像抓取過程中持續地處於該視場141內，或者持續地處於該視場141內的目標位置中。在本公開中，術語“目標追蹤”和“追蹤”可互換地使用。在一個或多個實施例中，相機裝置110包括硬體組件、軟體組件或其組合。在一個或多個實施例中，相機裝置110可包括以下參照圖7.1和7.2描述的計算系統700和網路720的至少一部分，或者使 用其實施。
在本發明的一個或多個實施例中，相機裝置支座130被配置為機械地支撐相機裝置110，並且回應於來自追蹤控制器120的控制信號而調節相機鏡頭111的視場141。例如，相機裝置支座130可包括電動傾斜及旋轉裝置，用於調節相機鏡頭111的相機角度。在另一示例中，相機裝置支座130可包括電動水平及垂直滑動裝置，用於調節相機鏡頭111相對於場景140的位置。該滑動裝置可包括機械臺，用於支撐並移動該相機裝置110。下文中參照圖3.1、3.2和3.3描述相機裝置支座130的示例。
在一個或多個實施例中，追蹤控制器120包括被配置為調節相機鏡頭111的視場141的硬體組件、軟體組件或其組合。例如，追蹤控制器120可通過控制相機裝置支座130而控制視場141。在另一示例中，追蹤控制器120還可通過控制相機鏡頭111的縮放等級而控制視場141。在一個或多個實施例中，追蹤控制器120控制視場141，使得物體A 142a和/或物體B 142b顯現於視場141內的目標位置。在一個或多個實施例中，追蹤控制器120使用下文中參照圖2描述的方法控制視場141。在一個或多個實施例中，追蹤控制器120包括下文中參照圖1.2描述的組件。
儘管圖1.1所示的光源既包括局部光發射器也包括反射光源，但其他僅使用局部光發射器或僅使用反射光源的配置也是可能的。例如，光源A 143a和光源B 143b均可為局部光發射器。在另一示例中，光源A 143a和光源B 143b均可為由單個遠程光發射器114照射的反射光源。
儘管圖1.1中示出的系統100僅包括一個相機裝置以及相機裝置支座，但多個相機裝置和多個相機裝置支座也是可能的。例如，多個 相機裝置可被配置為同時追蹤具有不同編碼光源的不同物體，而不會發生衝突。
圖1.2示出了根據一個或多個實施例的追蹤控制器120的細節。圖1.2的以下描述涉及上文中圖1.1所描繪的各種組件。在一個或多個實施例中，可省略、重複/或替換圖1.2中示出的一個或多個模組和元件。相應地，本發明的實施例不應被視為受限於圖1.2所示模組的具體佈置。
如圖1.2所示，追蹤控制器120包括硬體處理器121、記憶體122和資源庫123。在本發明的一個或多個實施例中，硬體處理器121對應於下文中圖7.1所描繪的電腦處理器702。類似地，記憶體122和資源庫123對應於下文中圖7.1所描繪的非永久記憶體704和/或永久記憶體706。例如，記憶體122可儲存軟體指令，運行該軟體指令時可使硬體處理器121執行上文中圖1.1所描繪的相機裝置110的視場調節功能。在一個或多個實施例中，追蹤控制器120根據下文中參照圖2描述的方法流程執行視場調節功能。在一個或多個實施例中，記憶體122儲存指令以執行下文中參照圖2描述的方法流程的一個或多個部分。在一個或多個實施例中，追蹤控制器120和相機裝置110整合在一個裝置中。在此類實施例中，用於執行參照圖2描述的方法流程的一個或多個部分的該指令為移動應用程式或移動app的一部分，移動應用程式或移動app為使用者可安裝的軟體應用程式，其被設計以在智慧型手機或其他移動裝置上運行。
而且，如圖1.2所示，資源庫123包括圖像序列126、光變化模式124、位移125、運動參數128和目標位置127。具體地，圖像序列126包括由相機裝置111抓取的連貫的圖像(例如，圖像A 126a)。例如，圖像A 126a 對應於在特定時間點由視場141覆蓋的場景140的一部分。光變化模式124是沿該圖像序列126的、光強度和/或波長在不同強度等級和/或波長之間交替的模式。
在一個或多個實施例中，光變化模式124對應於該圖像序列126中每個圖像上的光斑。例如，光斑可由每個圖像中的像素位置限定或由相連的像素位置的集合限定。在此情況下，光變化模式124被稱為由相機裝置111抓取的局部光變化模式。在一個或多個實施例中，光變化模式124是由頻閃光(例如，頻閃光A 115、頻閃光B 117)引起的，表示該光源(例如，光源A 143a、光源B 143b)在每個圖像內的位置。換言之，光源(例如，光源A 143a、光源B 143b)在每個圖像內的位置可基於沿該圖像序列126的該光變化模式124出現在何處而確定。例如，光變化模式124表示光源在圖像A 126a中位於位置A 127a。類似地，該圖像序列126中的每個其他圖像與該光源的位置相關聯。目標位置127是該追蹤控制器120被配置為追蹤物體(例如，物體A 142a、物體B 142b)的預定位置。例如，目標位置127可被定義為是視場141的中心，該中心對應於該圖像序列126中每個圖像的中心。換言之，追蹤控制器120被配置為調節視場141，以使得調節後所追蹤的該物體顯現於圖像的中心(即，目標位置127)。在其他示例中，目標位置127可被定義為是偏離視場141中心的不同位置。位移125為目標位置127與圖像內光源的位置(例如，位置A 127a)之間的距離。在一個或多個實施例中，位移125包括水平方向距離和垂直距離。位移125可通過像素的數量或任意其他適當的距離度量來表示。在一個或多個實施例中，物體可為移動物體，使得光源的位置(例如，位置A 127a)可隨該圖像序列126中圖像的不同而 變化。在此類實施例中，運動參數128是光源的位置(例如，位置A 127a)隨時間的變化率。例如，運動參數128可包括光源的位置(例如，位置A 127a)隨該圖像序列126中不同圖像的變化。取決於所追蹤的物體的運動方向，該運動參數128可包括水平部分和垂直部分。從數學角度，運動參數128對應於位移125隨時間的導數。
在一個或多個實施例中，光變化模式124包括光強度變化和/或光波長變化。具體地，光強度變化和/或光波長變化與變化的重複率相關聯。在一個或多個實施例中，具有相關聯的重複率的該光強度變化和/或光波長變化定義數位碼。例如，該數位碼可包括標頭(header)和隨後的數位模式，並且其中該標頭和隨後的數位模式可在該光變化模式124內重現。該場景140內的每個光源的數位碼可存在區別，並且用於識別與該光源附接的物體。在此上下文中，由具有該光變化模式124的相關聯的重複率的該光強度變化和/或光波長變化定義的該數位碼被稱為目標識別碼124a。在一個或多個實施例中，該光強度變化和/或光波長變化是由光發射器產生的暫時變化。在一個或多個實施例中，該光強度變化和/或光波長變化還包括由前述反射光源的幾何圖案產生的空間變化。
在一個或多個實施例中，追蹤控制器120基於上述圖像序列126、光變化模式124、位移125、運動參數128和目標位置127執行視場調節功能。具體地，追蹤控制器120使用下文中參照圖2描述的方法執行視場調節功能。下文中參照圖4-6描述該圖像序列126、光變化模式124、目標識別碼124a、位移125和運動參數128的示例。
圖2示出了根據一個或多個實施例的流程圖。圖2中所示程序 可通過例如上文中參照圖1.1和1.2描述的一個或多個組件執行。可省略、重複圖2中示出的一個或多個步驟和/或可在本發明的多個實施例之間以不同的順序執行圖2中示出的一個或多個步驟。相應地，本發明的實施例不應被視為受限於圖2所示步驟的特定數量和佈置。
首先，在步驟S201中，啟動場景內的光源。在本發明的一個或多個實施例中，光源是附接在場景中的物體上的反射區域。在此類實施例中，反射光源是通過使用遠程光發射器向該反射區域發射並投射頻閃光而啟動的。例如，當打開遠程光發射器時，發射具有不同步光模式的頻閃光。其結果是，該頻閃光由該反射區域反射，以生成具有相同的不同步光模式的物體反射光。在本發明的一個或多個實施例中，該光源是附接在該場景內的物體上的局部光發射器。在此類實施例中，該光源是通過啟動該局部光發射器以發射頻閃光而啟動的。例如，當開啟局部光發射器時，發射具有不同步光模式的頻閃光。
在一個或多個實施例中，頻閃光和物體反射光與相機裝置的幀率相比具有低重複率(例如，10赫茲、20赫茲等等)。在一個或多個實施例中，頻閃光和物體反射光與相機裝置的幀率同步。例如，可基於發自追蹤控制器和/或相機裝置的觸發信號而啟動和/或同步該頻閃光。在一個或多個實施例中，該頻閃光和/或該物體反射光的強度和/或波長的變化具有相關聯的重複率以定義該目標識別碼。
在步驟S202中，通過相機裝置抓取該場景的圖像序列。具體地，物體位於相機鏡頭的視場(FOV)內並且顯現於該圖像序列中。例如，該圖像序列可包括一串(a burst of)靜態圖像或者可為一串靜態圖像的 一部分。在另一示例中，該圖像序列可包括錄影或為錄影的一部分。在一個或多個實施例中，該場景的該圖像序列是在光源發射物體反射光或頻閃光的同時抓取的。在一個或多個實施例中，該圖像序列的幀率是基於光源的占空比和/或重複率而選定的，以使得連貫的圖像(或者是該圖像序列中具有固定間隔的一對圖像)包括交替的亮級和暗級，和/或與光發射器交替的波長。例如，遠程或局部光發射器可為不同步的，並且幀率是基於該不同步的光源的占空比和/或重複率而選定的。在一個或多個實施例中，光發射器的占空比和/或重複率是基於該圖像序列的幀率而選定的，以使得連貫的圖像(或者是該圖像序列中具有固定間隔的一對圖像)包括交替的亮級和暗級，和/或與光發射器交替的波長。例如，幀率可為預定的，並且該光發射器例如基於來自相機裝置的觸發信號而與該幀率同步。
在步驟S203中，基於沿該圖像序列的局部光變化模式、檢測場景中的光源。具體地，來自該光源的物體反射光或頻閃光引起該相機裝置的光學感測器接收到的光強度和/或波長的變化，產生了沿該圖像序列的局部光變化模式。在一個或多個實施例中，調節光源的強度，以控制每個圖像中該局部光變化模式所在位置的尺寸。例如，位置尺寸可限於視場的水平和垂直尺寸的百分比(例如，1%、3%等)。在一個或多個實施例中，在由相機裝置的光學感測器識別出的、連貫的圖像中交替的亮級和暗級和/或交替的波長的差異超出預定閾值處定義該位置和尺寸。在一個或多個實施例中，該位置被稱為是圖像中光源的位置。
在一個或多個實施例中，通過將對應像素的光強度值和/或波長值相減，對圖像序列中的一對圖像進行比較。具體地，光強度值和/或 波長值是通過光學感測器生成的。例如，該光強度值可對應於單色CMOS(互補金屬氧化物半導體)感測器的像素輸出值。在另一示例中，可分析RGB CMOS感測器的輸出值以確定每個像素的波長值。具體地，將一個圖像中像素的光強度值和/或波長值與另一圖像中對應像素的光強度值和/或波長值相減，以生成差值。將差值中存在交替的亮級和暗級差異和/或存在交替的波長差異的像素選定為該圖像中光源位置的一部分。取決於光源的占空比/重複率與該圖像序列的幀率的比值，這對圖像可為連貫的圖像或者由特定數量的圖像(比如每三個圖像)分隔的兩個圖像。
在一個或多個實施例中，從該局部光變化模式中提取目標識別碼，以從該場景內的多個光源中識別出該光源。在一個或多個實施例中，分析該局部光變化模式，以檢測預定的標頭模式。一旦被檢測到，提取該預定的標頭模式之後的模式作為識別特定光源或物體的區別碼。在一個或多個實施例中，該區別碼具有用於界定該目標識別碼的預定長度或數位位元數。在其他實施例中，該目標識別碼可基於其他準則而界定。
在一個或多個實施例中，同時追蹤該場景內的多個物體，並且其中每個物體上附接有具有有區別的目標識別碼的單獨的光源。換言之，沿著該圖像序列的多個位置存在多個光變化模式，並且其中每個光變化模式包括與其他光變化模式的任意目標識別碼不同的區別目標識別碼。相應地，基於各自的光變化模式，每個光源被識別為區別於其他光源。由於每個光源唯一地與其所附接的物體相關聯，基於各自的目標識別碼、沿著該圖像序列、單獨地追蹤每個物體。
在一個或多個實施例中，通過重複步驟S202-S204來檢測並 識別多個光源。例如，每次重複可基於由使用者輸入指定的特定目標識別碼。在一個或多個實施例中，在使用者介面視窗中呈現該圖像序列中的圖像，使用者可通過點擊或者選定檢測到的多個光源中的一個光源而在該視窗中選定物體。一旦選定，該選定的光源的目標識別碼就用於確定對應於該選定的物體的該選定的光源的位置。相應地，追蹤該選定的物體以繼續在步驟S205-S209中進行圖像抓取。不時地，使用者可使用該使用者介面選定不同的物體，一旦從所追蹤的物體切換到不同的物體，最新選定的光源的不同的目標識別碼就用於確定對應於該最新選定的物體的該最新選定的光源的位置。相應地，追蹤該最新選定的物體，以繼續在步驟S205-S209中進行圖像抓取。
在步驟S204中，分析該圖像序列，以確定至少一個圖像中檢測到並且識別出的光源的位置以及沿該圖像序列的該光源的運動。在一個或多個實施例中，光源的位置是基於由相機裝置的光學感測器識別出的圖像序列中交替的亮級和暗級和/或交替的波長的差異超出預定閾值處而確定的。在一個或多個實施例中，光源的運動是基於沿該圖像序列的該位置的變化率而確定的。
在步驟S205中，回應於檢測到並且識別出該光源、將至少一個圖像內該光源的位置和目標位置進行比較以生成結果。在一個或多個實施例中，該結果包括從該位置到該目標位置的位移。在一個或多個實施例中，該位移可隨該圖像序列中圖像的不同而變化，這表示物體是移動物體。在此類實施例中，計算位移隨時間例如在不同圖像之間的變化率，並將其作為運動參數。
在步驟S206中，基於該結果生成控制信號，以用於定向該相機裝置。在一個或多個裝置中，控制信號被配置為將相機鏡頭的取向調節為與位移相對(opposite)的方向。在一個或多個實施例中，控制信號被配置為將相機關於場景的相對位置調節為與位移相對(opposite)的方向。在一個或多個實施例中，運動參數被視為是由控制信號引起的調節量的微調。
在步驟S207中，將控制信號發送給安裝有相機裝置的相機裝置支座(例如，相機手柄、傾斜及旋轉裝置等)。相應地，將相機鏡頭的取向或相機裝置的相對位置調節至與位移相對(opposite)的方向。
在步驟S208中，在相機裝置的視場內檢測目標位置與光源之間的實質對準。具體地，該實質對準是通過將相機鏡頭的取向或相機裝置的相對位置調節至與位移相對(opposite)的方向而實現的。
在步驟S209中，回應於檢測到該實質對準，抓取該場景的額外圖像。在一個或多個實施例中，通過相機裝置、以規律的重複率(即，幀率)持續地抓取並輸出連貫的圖像。在此類實施例中，被分析以生成控制信號的該圖像序列只限於該額外圖像之前的滾動時窗(例如，兩個連貫圖像、五個連貫圖像、十個連貫圖像等的滾動序列)。隨著時間的流逝，該額外圖像成為更新的圖像序列的一部分，用於生成更新的控制信號，從而持續地追蹤視場中的物體。
在一個或多個實施例中，被分析以生成控制信號的該圖像序列被指定為是控制資訊而無需由相機裝置輸出。與之相反，在光源(並且因此該物體)與目標位置實質地對準時、通過該相機裝置輸出該額外圖像。 例如，該控制資訊可與該額外圖像分開儲存，直至該控制信號被丟棄或從相機裝置中移除。
在步驟S210中，確定是否繼續進行圖像抓取。如果結果是肯定的，即繼續進行圖像抓取，則該方法繼續進行至步驟S211。如果結果是否定的，即不繼續進行圖像抓取，則該方法結束。
在步驟S211中，確定是通過追蹤同一物體還是通過追蹤不同物體繼續進行圖像抓取。如上所示，步驟S211中的該確定可基於引起步驟S211的該步驟S202-S209的重複過程中接收到的使用者輸入。如果確定結果指示通過追蹤同一物體繼續進行圖像抓取，則該方法返回至步驟S202。如果確定結果指示通過追蹤不同物體繼續進行圖像抓取，則該方法返回至步驟S203。
圖3.1、3.2、3.3、4、5和6示出了根據本發明的一個或多個實施例的各種不同示例。圖3.1、3.2、3.3、4、5和6中所示的示例例如可基於上文中圖1.1和1.2所描繪的一個或多個組件以及上文中圖2所描繪的方法流程。在一個或多個實施例中，可省略、重複/或替換圖3.1、3.2、3.3、4、5和6中示出的一個或多個模組和元件。相應地，本發明的實施例不應被視為受限於圖3.1、3.2、3.3、4、5和6所示模組的具體佈置。
圖3.1示出了相機移動裝置手柄800，其為上文中圖1.1所描繪的相機裝置支座130的示例。此外，由該相機移動裝置手柄800機械地支撐的相機移動裝置201(例如，具有相機鏡頭220的智慧型手機)是上文中圖1.1所描繪的相機裝置110的示例。在本發明的一個或多個實施例中，相機移動裝置手柄800是一種電機組件，包括支座221、傾斜軸203、傾斜電機213、 旋轉軸209、旋轉電機219和手柄222。支座221被配置為機械地支撐相機移動裝置201，並且機械地連接至傾斜軸203。手柄222被配置為在由觀察者握持的同時、維持該相機移動裝置手柄800的機械穩定。雖然未明確示出，手柄222包括被配置為與上文中圖1.1所描繪的相機裝置110和/或追蹤控制器120通訊的通訊介面。例如，通訊介面可基於藍牙、NFC、USB或其他無線/有線通訊介面。在一個或多個實施例中，旋轉軸209可回應於經由通訊介面從該追蹤控制器120接收到控制信號、通過該旋轉電機219、圍繞旋轉軸線209-1旋轉。類似地，傾斜軸203可回應於經由通訊介面從該追蹤控制器120接收到控制信號、通過該傾斜電機213、圍繞傾斜軸線203-1旋轉。回應於該支座221關於該傾斜軸線203-1的傾斜和/或該支座221連同該傾斜軸203和傾斜電機213一起圍繞該旋轉軸線209-1的旋轉，可調節相機鏡頭220的取向。相應地，相機鏡頭220的視場220-1是根據相機鏡頭220的取向而調節的。儘管圖3.1中所示的示例是基於與兩個機械軸相關聯的兩個電機，在不脫離本發明的範圍的前提下，其他示例可基於與三個機械軸相關聯的三個電機，其中第三電機可為額外的旋轉電機，比如圖3.3中所示的具有額外的旋轉軸線209-2的額外的旋轉電機331。具體地，圖3.3示出了具有三個電機的相機移動裝置手柄800，其為上文中圖1.1所描繪的相機裝置支座130的示例。
圖3.2示出了使上文中圖3.1所描繪的相機移動裝置手柄800穩定化的示例。例如，當相機移動裝置手柄800從手持位置A 321變為手持位置B 322時，或者從手持位置B 322變為手持位置A 321時，該相機移動裝置201的定向是穩定的。如圖3.2所示，手持位置A 321對應於手柄222的垂直定向(即，沿著地球引力方向)。在手持位置A 321中，傾斜電機213維持該 相機移動裝置201指向地球地平線(即，與地球引力方向正交)。換言之，相機移動裝置201的成像平面與地球地平線正交。
手持位置B 322對應於手柄222的傾斜定向(即，偏離於地球引力方向)。例如，手柄222的傾斜運動323是通過使用者的手施加的。在該手持位置B 322中，傾斜電機213維持該相機移動裝置201指向地球地平線，與該手持位置A 321中一樣。
圖4示出了上文中圖1.1和1.2所描繪的光源(例如，光源A 143a、光源B 143b)的光變化模式124的示例。如圖4所示，水平軸對應於時間，而垂直軸對應於光強度。具體地，光變化模式124是光強度隨時間在亮級400a和暗級400b之間交替的模式。例如，在時間週期A 410中維持亮級400a光強度，並且可以以特定重複率隨時間重現亮級400a光強度。當光強度隨時間在亮級400a和暗級400b之間交替時，通過相機裝置週期性地抓取圖像序列。例如，可在時間點A 401a、時間點B 401b、時間點C 401c等處抓取圖像序列中的連貫圖像，這些時間點以時間週期B 420、時間週期C 430等彼此間隔。具體地，時間週期A 410包含至少一個圖像抓取時間點，比如時間點B 401b。在時間點A 401a抓取的暗級400b、在時間點B 401b抓取的亮級400a、在時間點C 401c抓取的暗級400b等的交替序列構成前述由相機裝置抓取的局部光變化模式。雖然圖4中描繪的光變化模式124是一種光強度變化的模式，但在其他示例中該光變化模式124還可包括波長變化。換言之，可用不同的波長來表示波長變化，從而作為亮級400a和暗級400b的替代或補充方案。
圖4中描繪的光變化模式124可沿著時間點和圖像序列、在時 間軸方向上延伸，以定義目標識別碼。例如，在圖4中使用不同的時間標度在該光變化模式124下方示出了目標識別碼A 402a和目標識別碼B 402b。在一個或多個實施例中，每個圖像中的光強度級別和/或波長值定義數位數據位元。在其他實施例中，光強度級別和/或波長值沿多個重現的圖像集中的每一個圖像集不變，並且其中每個圖像集對應於一個數位數據位元。換言之，數位數據位元可對應於一個圖像或圖像集。在目標識別碼A 402a和目標識別碼B 402b中的每一個中，由標頭401和標尾403界定有區別的數位數據位元模式。例如，標頭401和標尾403各自可包含八個連貫的“0”數位數據位元。插置在標頭401與標尾403之間的是：目標識別碼A 402包括“1010101010101010”的數位數據位元模式，而目標識別碼B 402b包括“1010010101011010”的數位數據位元模式。相應地，“1010101010101010”的數位數據位元模式和“1010010101011010”的數位數據位元模式用於識別或選擇附接在上文中圖1.1和圖1.2所描繪的場景140內的兩個有區別的物體上的兩個有區別的光源。
圖5示出了上文中圖1.1和1.2所描繪的場景140的圖像序列126的示例。如圖5所示，該圖像序列126包括在上文中圖4所描述的在時間點A 401a、時間點B 401b、時間點C 401c等處抓取的圖像A 126a、圖像B 126b和圖像C 126c等等。根據上文中參照圖4描繪的光變化模式124的示例，光源(例如，光源A 143a、光源B 143b)顯現為圖像A 126a、圖像B 126b和圖像C 126c等中標記為“a1”的位置或標記為“a2”的位置處的交替的暗斑和亮斑。與之相反，在圖像A 126a、圖像B 126b和圖像C 126c等中標記為“b”的其他位置處的光強度維持實質地不變。例如，標記為“a1”的位置可通過圖像 A 126a和圖像B 126b中對應像素的光強度值相減得到的差值結果126d確定。類似地，標記為“a1”的位置還可通過圖像B 126b和圖像C 126c中對應像素的光強度值相減得到的差值結果126d確定。在差值結果126d中，黑色表示無差別，而白色表示非零的差值或差值超出前述預定閾值。相應地，光源(例如，光源A 143a)的位置對應於差值結果126d中的白斑。在另一示例中，標記為“a2”的位置可通過類似的方式確定，以檢測圖像內不同光源(例如，光源B 143b)的位置。
而且，如圖5所示，每個圖像的中心被定義為是目標位置127。相應地，從標記為“a1”的位置到目標位置127之間的距離對應於位移125。圖5中所示的該標記為“a1”的位置、該目標位置127以及該位移125分別為上文中圖1.2所描繪的位置A 127a、目標位置127以及位移125的示例。在一個或多個實施例中，該標記為“a1”的位置隨圖像A 126a、圖像B 126b和圖像C 126c等的不同而變化。該標記為“a1”的位置隨圖像A 126a、圖像B 126b和圖像C 126c等而變化的變化率對應於上文中圖1.2所描繪的運動參數128。儘管未明確示出，在不同示例中，該位移125和/或運動參數128也可對應於標記為“a2”的位置。
圖6示出了一種示例性錄影600，其包括上文中參照圖4描述的圖像序列126的示例。在示例性情景中，目標位置是圖像的中心。如圖6所示，當圖4中描繪的目標識別碼A 402a用於目標追蹤時，光源A 143a被識別為位於圖像序列126中各圖像(例如，圖像A 126a)的左部的位置中。具體地，光源A 143a是包含在由男性(即，物體A 142a)穿戴的戒指或者護腕的一部分中的反射材料。例如，光源A 143a的位置是基於上文中圖5所描繪 的圖像A 126a、圖像B 126b和圖像C 126c等中交替的暗斑和亮斑“a1”而識別的。具體地，圖像A 126a、圖像B 126b和圖像C 126c等中交替的暗斑和亮斑“a1”展現出定義與該光源A 143a相關聯的目標識別碼A 402a的暫時和/或空間變化。由於目標位置(即，圖像中心)在光源位置的右方，追蹤控制器120被配置為將相機裝置110朝左側取向，使得支撐/穿戴該光源A 143a的該男性(即，物體A 142a)顯現於圖像的中心。相應地，基於識別出的光源A 143a的位置“a1”而調節該相機裝置110的取向，以使得物體A 142a顯現於圖像X 126x的中心。
而且，如圖6中所示，當圖4中描繪的目標識別碼B 402b用於目標追蹤時，光源B 143b被識別為位於圖像序列126中各圖像(例如，圖像A 126a)的左部的位置中。具體地，光源B 143b是由女性(即，物體B 142b)穿戴的戒指或者護腕的一部分。例如，光源B 143b的位置是基於上文中圖5所描繪的圖像A 126a、圖像B 126b和圖像C 126c等中交替的暗斑和亮斑“a2”而識別的。具體地，圖像A 126a、圖像B 126b和圖像C 126c等中交替的暗斑和亮斑“a2”展現出定義與該光源B 143b相關聯的目標識別碼B 402b的暫時和/或空間變化。由於目標位置(即，圖像中心)在光源位置的右方，追蹤控制器120被配置為將相機裝置110朝左側取向，使得支撐/穿戴該光源B 143b的該女性(即，物體B 142b)顯現於圖像的中心。相應地，使用該目標識別碼B 402b，基於識別出的光源B 143b的位置“a2”而調節該相機裝置110的取向，以使得物體B 142b顯現於圖像X 126x的中心。通過將具有有區別的目標識別碼的不同光源附接在場景中的多個物體上，可方便地在該場景中的不同物體之間進行目標追蹤的切換。例如，如上所述，當所追 蹤的目標從女性切換為男性時，可繼續錄影而無需中斷。
為了改善目標追蹤的準確度，除了上文圖5中描繪的基於圖像A 126a、圖像B 126b和圖像C 126c等中交替的暗斑和亮斑而檢測該反射光源143的位置之外，還基於匹配包含在由男性(即，物體A 142a)穿戴的戒指或護腕的一部分中的反射材料的幾何形狀而判斷該交替的暗斑和亮斑的幾何形狀符合要求。換言之，在識別反射光源143時，排除掉圖像A 126a、圖像B 126b和圖像C 126c等中不與該反射圖案的幾何形狀相匹配的、任意交替的暗斑和亮斑。
在一個或多個實施方式中，可以通過畫面裁幅的方式，使得被追蹤的物體出現在相機拍攝的畫面的目標位置。在這種情況下，由硬體處理器生成用於改變相機設備的視場的控制信號，可以通過畫面裁幅的方式，使得物體出現在相機拍攝的畫面的目標位置。具體而言，如果檢測到的光源位置位於相機視場的靠右位置，通過將相機拍攝畫面中的靠左側部分切割出來，或者提取畫面靠右的部分，使得物體出現在保留后的畫面的目標位置。在一個或多個實施方式中，通過畫面裁幅的方式，控制信號可以虛擬地改變相機呈現給使用者的視場，從而使得在視場中目標位置和反射光源實質地對準。在一個或多個實施方式中，控制信號可以通過畫面裁幅和調整相機設備支架兩種方式的結合，使得物體出現在畫面的目標位置。在一個或多個實施方式中，追蹤控制器可以包括在運動相機、傾斜和旋轉設備、智慧型手機手持握桿、單鏡頭反射(SLR)相機支架、畫面裁幅模組以及控制模組中的至少一個之內。在一個或多個實施方式中，畫面裁幅模組和控制模組獨立於運動相機、傾斜和旋轉設備、智慧型手機手持握 桿和SLR相機支架。
本發明的實施例可在計算系統上實施。可使用移動、桌上型、伺服器、路由器、交換器、嵌入式裝置或其他類型的硬體的任意組合。例如，如圖7.1所示，計算系統700可包括一個或多個電腦處理器702、非永久記憶體704(例如，易失性記憶體，比如隨機存取記憶體(RAM)、快取記憶體)、永久記憶體706(例如，硬碟、比如光碟機或多功能數位光碟(DVD)機的光學驅動器、快閃記憶體等等)、通訊介面712(例如，藍牙介面、紅外光介面、網路介面、光介面等等)以及若干其他元件和功能。
電腦處理器702可為用於處理指令的積體電路。例如，電腦處理器可為處理器的一個或多個內核或微內核。計算系統700還可包括一個或多個輸入裝置710，比如觸控螢幕、鍵盤、滑鼠、麥克風、觸空板、光筆或任意其他類型的輸入裝置。
通訊介面712可包括用於將計算系統700連接至網路(未示出)(例如，區域網路(LAN)、比如互連網的廣域網路(WAN)、行動網路或任意其他類型的網路)和/或其他裝置(比如其他計算裝置)的積體電路。
而且，計算系統700可包括一個或多個輸出裝置708，比如螢幕(例如，液晶顯示器(LCD)、等離子顯示器、觸控螢幕、陰極射線管(CRT)監視器、投影機或其他顯示裝置)、印表機、外部儲存或任意其他輸出裝置。一個或多個該輸出裝置可與該輸入裝置相同或不同。該輸入及輸出裝置可以以本地或遠端方式連接至電腦處理器702、非永久記憶體704和永久記憶體706。存在許多不同類型的計算系統，並且前述輸入和輸出裝置可採取其 他形式。
以用於執行本發明實施例的電腦可讀程式代碼的形式存在的軟體指令可整體或部分地、暫時或永久地儲存在非暫態電腦可讀介質中，比如CD、DVD、儲存裝置、軟碟、磁帶、快閃記憶體、物理記憶體或任意其他電腦可讀儲存介質。具體地，軟體指令可對應於電腦可讀程式代碼，當由處理器運行時，其被配置為執行本發明的一個或多個實施例。
圖7.1中的計算系統700可連接至網路或為網路的一部分。例如，如圖7.2所示，網路720可包括多個節點(例如，節點X722、節點Y724)。每個節點可對應於計算系統，比如如圖7.1所示的計算系統，或節點的組可對應於圖7.1所示的計算系統。示意性地，本發明的實施例可在分佈式系統中的節點上實施，該節點連接至其他節點。示意性地，本發明的實施例可在具有多個節點的分佈式計算系統上實施，其中本發明的每個部分可位於該分佈式計算系統內的不同節點上。而且，前述計算系統700的一個或多個元件可位於遠端位置並且通過網路連接至其他元件。
儘管圖7.2中未示出，但該節點可對應於伺服器機箱中的葉片(blade)，其經由背板連接至其他節點。示意性地，該節點可對應於數據中心的伺服器。示意性地，該節點可對應於電腦處理器或者具有共用記憶體和/或資源的電腦處理器的微內核。
網路720中的節點(例如，節點X722、節點Y724)可被配置為向客戶端裝置726提供服務。例如，該節點可為雲端計算系統的一部分。該節點可包括從客戶端裝置726接收請求並且向客戶端裝置726發送回應的功能。客戶端裝置726可為計算系統，比如圖7.1所示的計算系統。而且，客 戶端裝置726可包括和/或執行本發明的一個或多個實施例的全部或一部分。
圖7.1和圖7.2中描繪的計算系統或計算系統的組可包括執行在此公開的各種操作的功能。例如，該計算系統可執行相同或不同系統上程序之間的通訊。採用相同形式的被動或主動通訊的各種各樣的機構可利於相同裝置上程序之間的數據交換。這些程序間通訊的代表性示例包括但不限於：檔案、信號、插口、消息佇列、傳輸線路、信號(semaphore)、共用記憶體、消息傳遞以及記憶體映射檔的實施方式。
圖7.1中的計算系統可實施和/或可被連接至數據儲存庫。例如，數據儲存庫的一個示例為數據庫。資料庫是被配置為易於數據檢索、修改、重新組織和/或刪除的資訊的集合。資料庫管理系統(DBMS)是一種向使用者提供定義、創建、查詢、更新或管理資料庫的介面的軟體應用程式。
使用者或軟體應用程式可向DBMS提交敘述或查詢。然後，DBMS解讀該敘述。該敘述可為用於請求資訊的選擇敘述、更新敘述、創建敘述、刪除敘述等等。此外，該敘述可包括指定數據或數據容器(資料庫、表格、記錄、欄、視圖等等)、識別字、狀態(比較運算符)、函數(例如，聯集、全聯集、計數、取平均等等)、排序(例如，昇冪、降序)等等的參數。DBMS可運行該敘述。例如，DBMS可訪問記憶體緩衝、參照或索引檔以進行讀取、寫入、刪除或其組合，以用於應答該敘述。DBMS可從永久或非永久記憶體加載數據，並且執行運算以應答該查詢。DBMS可將結果返回給使用者或軟體應用程式。
上述功能描述僅為圖7.1中計算系統和圖7.2中節點和/或客 戶端裝置執行的功能的少數示例。使用本發明的一個或多個實施例，還可執行其他功能。
雖然已參照有限的實施例描述了本發明，但受益於本公開的所屬技術領域中具有通常知識者在不脫離在此公開的本發明的範圍的前提下還可構想出其他實施例。因此，本發明的範圍應僅由隨附申請專利範圍限定。

Claims (20)

  1. 一種用於目標追蹤的方法，包括：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式，通過硬體處理器檢測該場景中的光源；回應於檢測到該光源，通過該硬體處理器將該圖像序列中至少一個圖像中光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果，通過該硬體處理器生成控制信號以改變相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中，該光源被配置為產生目標識別碼。
  2. 如申請專利範圍第1項所述的方法，其中，該光源是選自由以下群組中的至少一個：附接在該場景中物體上的局部光發射器，以及回應於與該物體分離的遠程光發射器而發射物體反射光的該物體的反射區域，及其中，沿該圖像序列的該局部光變化的模式是通過選自由以下群組中的至少一個產生的：該局部光發射器、該遠程光發射器，以及該反射區域的幾何反射圖案。
  3. 如申請專利範圍第1項所述的方法，其中，該局部光變化的模式包括選自由以下群組中的至少一個：光強度變化、光波長變化、光強度變化的重複率，以及光波長變化的重複率。
  4. 如申請專利範圍第1項所述的方法，所述方法還包括：從該局部光變化的模式中提取該目標識別碼；以及從與該場景中的多個物體相關聯的多個光源中，基於該提取的目標識別碼 識別該檢測到的光源，從而從該些物體中選定該物體。
  5. 如申請專利範圍第4項所述的方法：將該控制信號發送給安裝有該相機裝置的相機裝置支座；回應於發送該控制信號，檢測該目標位置與該光源在該視場內的實質對準；以及使用該相機裝置並且回應於檢測到該實質對準，進一步抓取該場景的額外圖像，其中，該選定的物體在該額外圖像中顯現於該目標位置。
  6. 如申請專利範圍第1項所述的方法，所述方法還包括：分析該圖像序列以確定該至少一個圖像中該光源的位置以及該光源沿該圖像序列的運動，其中，還基於該運動生成該控制信號。
  7. 如申請專利範圍第5項所述的方法，其中，該圖像序列和該額外圖像是錄影中視頻幀序列的一部分。
  8. 一種用於相機裝置的追蹤控制器，包括：電腦處理器；以及記憶體，該記憶體儲存指令，當執行該指令時，引起該電腦處理器：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式，檢測該場景中的光源；回應於檢測到該光源，將該圖像序列中至少一個圖像中光源的位置與 該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果生成控制信號以改變相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中，該光源被配置為產生目標識別碼。
  9. 如申請專利範圍第8項所述的系統，其中，該光源是選自由以下群組中的至少一個：附接在該場景中物體上的局部光發射器，以及回應於與該物體分離的遠程光發射器而發射物體反射光的該物體的反射區域，及其中，沿該圖像序列的該局部光變化的模式是通過選自由以下群組中的至少一個產生的：該局部光發射器、該遠程光發射器，以及該反射區域的幾何反射圖案。
  10. 如申請專利範圍第8項所述的系統，其中，該局部光變化的模式包括選自由以下群組中的至少一個：光強度變化、光波長變化、光強度變化的重複率，以及光波長變化的重複率。
  11. 如申請專利範圍第8項所述的系統，其中，當執行該指令時，還使該電腦處理器：從該局部光變化的模式中提取該目標識別碼；以及從與該場景中的多個物體相關聯的多個光源中，基於該提取的目標識別碼識別該檢測到的光源，從而從該些物體中選定該物體。
  12. 如申請專利範圍第11項所述的系統，其中，當執行該指令時，還使該電腦處理器： 將該控制信號發送給安裝有該相機裝置的相機裝置支座；回應於發送該控制信號檢測該目標位置與該光源在該視場內的實質對準；以及使用該相機裝置並且回應於檢測到該實質對準，進一步抓取該場景的額外圖像，其中，該選定的物體在該額外圖像中顯現於該目標位置。
  13. 如申請專利範圍第8項所述的系統，其中，當執行該指令時，還使該電腦處理器：分析該圖像序列以確定該至少一個圖像中該光源的位置，以及該光源沿該圖像序列的運動，其中，還基於該運動生成該控制信號。
  14. 如申請專利範圍第12項所述的系統，其中，該圖像序列和該額外圖像是錄影中視頻幀序列的一部分。
  15. 一種非暫態電腦可讀介質，儲存用於目標追蹤的指令，當由電腦處理器運行時，該指令包括以下功能：抓取場景的圖像序列；基於沿該圖像序列的局部光變化的模式，檢測該場景中的光源；回應於檢測到該光源，將該圖像序列中至少一個圖像中光源的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果生成控制信號以改變相機裝置的視場，從而使得該光源與該目標位置在該視場內實質地對準，其中，該光源被配置為產生目標識別碼。
  16. 如申請專利範圍第15項所述的非暫態電腦可讀介質，其中，該光源是選自由以下群組中的至少一個：附接在該場景中物體上的局部光發射器，以及回應於與該物體分離的遠程光發射器而發射物體反射光的該物體的反射區域，並且其中，沿該圖像序列的該局部光變化的模式是通過選自由以下群組中的至少一個產生的：該局部光發射器、該遠程光發射器，以及該反射區域的幾何反射圖案。
  17. 如申請專利範圍第15項所述的非暫態電腦可讀介質，其中，該局部光變化的模式包括選自由以下群組中的至少一個：光強度變化、光波長變化、光強度變化的重複率，以及光波長變化的重複率。
  18. 如申請專利範圍第15項所述的非暫態電腦可讀介質，其中，當由電腦處理器運行時，該指令還包括以下功能：從該局部光變化的模式中提取該目標識別碼；以及從與該場景中的多個物體相關聯的多個光源中，基於該提取的目標識別碼識別該檢測到的光源，從而從該些物體中選定該物體。
  19. 如申請專利範圍第18項所述的非暫態電腦可讀介質，其中，當由電腦處理器運行時，該指令還包括以下功能：將該控制信號發送給安裝有該相機裝置的相機裝置支座；回應於發送該控制信號檢測該目標位置與該光源在該視場內的實質對準；以及使用該相機裝置並且回應於檢測到該實質對準，進一步抓取該場景的額外圖像， 其中，該選定的物體在該額外圖像中顯現於該目標位置。
  20. 如申請專利範圍第15項所述的非暫態電腦可讀介質，其中，當由電腦處理器運行時，該指令還包括以下功能：分析該圖像序列以確定該至少一個圖像中該光源的位置以及該光源沿該圖像序列的運動，其中，還基於該運動生成該控制信號。
TW107124850A 2017-07-18 2018-07-18 使用目標識別碼的智能目標追蹤 TWI716707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/093439 WO2019014861A1 (en) 2017-07-18 2017-07-18 INTELLIGENT FOLLOWING OF OBJECTS
WOPCT/CN2017/093439 2017-07-18
??PCT/CN2017/093439 2017-07-18

Publications (2)

Publication Number Publication Date
TW201913245A true TW201913245A (zh) 2019-04-01
TWI716707B TWI716707B (zh) 2021-01-21

Family

ID=63633645

Family Applications (3)

Application Number Title Priority Date Filing Date
TW107124848A TWI721290B (zh) 2017-07-18 2018-07-18 使用反射光源的智能物體追蹤
TW107124856A TWI716708B (zh) 2017-07-18 2018-07-18 智能目標追蹤
TW107124850A TWI716707B (zh) 2017-07-18 2018-07-18 使用目標識別碼的智能目標追蹤

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW107124848A TWI721290B (zh) 2017-07-18 2018-07-18 使用反射光源的智能物體追蹤
TW107124856A TWI716708B (zh) 2017-07-18 2018-07-18 智能目標追蹤

Country Status (6)

Country Link
US (3) US10587813B2 (zh)
EP (1) EP3656118A4 (zh)
JP (1) JP6856914B2 (zh)
CN (3) CN108605081B (zh)
TW (3) TWI721290B (zh)
WO (3) WO2019014861A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11364637B2 (en) * 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
EP3656118A4 (en) 2017-07-18 2021-03-03 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
TWM560035U (zh) * 2017-11-13 2018-05-11 鄭宇傑 影像追蹤裝置
US11402730B2 (en) * 2018-06-19 2022-08-02 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device holder with stablization
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
WO2020118624A1 (en) * 2018-12-13 2020-06-18 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
US11831906B2 (en) * 2019-01-02 2023-11-28 Hangzhou Taro Positioning Technology Co., Ltd. Automated film-making using image-based object tracking
US11900616B2 (en) 2019-01-08 2024-02-13 Hangzhou Taro Positioning Technology Co., Ltd. Determining region-of-interest of an object using image-based object tracking
CN113196737B (zh) * 2019-01-09 2022-10-11 杭州他若定位科技有限公司 使用基于图像的对象跟踪进行定向声音捕获
CN111213368B (zh) * 2019-05-23 2021-07-13 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、系统及终端设备
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
KR102216968B1 (ko) * 2019-09-06 2021-02-18 주식회사 원더풀플랫폼 크래들을 이용한 도우미 시스템
KR102303268B1 (ko) * 2020-01-20 2021-09-17 주식회사 원더풀플랫폼 크래들의 구동패턴을 이용한 도우미 시스템
TWI772830B (zh) * 2020-07-02 2022-08-01 黑快馬股份有限公司 具有畫面穩定功能的跟拍系統及具有畫面穩定功能的跟拍方法
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法
CN111830520B (zh) * 2020-07-09 2023-08-04 广东诚浩工程项目管理有限公司 一种工程建设监理质量验收实测实量装置及方法
US11165969B1 (en) * 2020-08-03 2021-11-02 Sky Castle Toys LLC System and method for adding auxiliary lights to a camera to create fluorescence in selected features of a captured image
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
WO2022188733A1 (en) * 2021-03-08 2022-09-15 Hangzhou Taro Positioning Technology Co., Ltd. Scenario triggering and interaction based on target positioning and identification
CN114964183B (zh) * 2022-07-28 2022-10-25 金田产业发展(山东)集团有限公司 一种便携式定位导航工程勘测装置
US12242672B1 (en) 2022-10-21 2025-03-04 Meta Platforms Technologies, Llc Triggering actions based on detected motions on an artificial reality device

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
WO1994029670A1 (fr) * 1993-06-10 1994-12-22 Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho Appareil pour mesurer la position d'un objet en mouvement
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
US6587183B1 (en) * 1998-05-25 2003-07-01 Matsushita Electric Industrial Co., Ltd. Range finder and camera
JP2000165850A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd 移動体追尾装置
JP2001305645A (ja) * 2000-04-21 2001-11-02 Fuji Photo Film Co Ltd カメラ及び雲台装置
TW543323B (en) * 2000-10-03 2003-07-21 Jestertek Inc Multiple camera control system
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
US6771306B2 (en) * 2001-03-28 2004-08-03 Koninklijke Philips Electronics N.V. Method for selecting a target in an automated video tracking system
US20020171754A1 (en) * 2001-05-18 2002-11-21 I-Jen Lai Digital camera with multi-illuminating source
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR100459179B1 (ko) * 2002-04-16 2004-12-03 엘지전자 주식회사 횡류팬
CN1204417C (zh) * 2002-07-05 2005-06-01 北京创先泰克科技有限公司 自动跟踪运动目标的系统和实现方法
JP4284949B2 (ja) * 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
US7847234B2 (en) * 2003-08-06 2010-12-07 The United States Of America As Represented By The Secretary Of The Army Method and system for observing a subject at a first location based upon quantum properties measured at a second location
KR100565318B1 (ko) * 2003-12-15 2006-03-30 엘지전자 주식회사 카메라폰의 촬영 안내 방법 및 장치
US7078672B2 (en) * 2004-01-16 2006-07-18 Tong Xie Method and system for optically tracking a target using interferometric technique
WO2005109859A2 (en) * 2004-05-01 2005-11-17 Eliezer Jacob Digital camera with non-uniform image resolution
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
WO2006085834A1 (en) * 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
EP2186337A4 (en) * 2007-08-08 2011-09-28 Tony Mayer NONTRETRO-REFLECTIVE NUMBER PLATE PICTURE SYSTEM
WO2009046763A1 (en) * 2007-10-10 2009-04-16 Trimble Jena Gmbh Surveying apparatus for tracking and surveying an object
CN100538723C (zh) * 2007-10-26 2009-09-09 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别系统
JP5261684B2 (ja) * 2007-11-27 2013-08-14 スタンレー電気株式会社 ストロボ装置
JP5150229B2 (ja) 2007-12-07 2013-02-20 株式会社トプコン 測量システム
JP5060358B2 (ja) * 2008-03-25 2012-10-31 株式会社トプコン 測量システム
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP4725821B2 (ja) * 2008-08-05 2011-07-13 アイシン精機株式会社 ターゲット位置特定装置
EP2194399A1 (de) * 2008-12-03 2010-06-09 Leica Geosystems AG Positionsbestimmungsverfahren und geodätisches Vermessungssystem
CN101494737B (zh) * 2009-03-09 2011-04-20 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
CN106774880B (zh) * 2010-12-22 2020-02-21 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
JP2012149888A (ja) * 2011-01-14 2012-08-09 Ricoh Co Ltd 光検出装置及び光検出方法
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控系统
US8605205B2 (en) * 2011-08-15 2013-12-10 Microsoft Corporation Display as lighting for photos or video
EP2570769A1 (de) * 2011-09-13 2013-03-20 Hexagon Technology Center GmbH Geodätisches Vermessungssystem und Verfahren mit multipler Zielverfolgungsfunktionalität
CN102360423A (zh) * 2011-10-19 2012-02-22 丁泉龙 一种人体智能跟踪方法
US8953094B2 (en) * 2011-11-10 2015-02-10 Apple Inc. Illumination system
US8653427B2 (en) * 2011-12-17 2014-02-18 Raytheon Company Digital semi-active laser receiver tracking of multiple line-of-sight (LOS) objects
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
US9283677B2 (en) * 2012-04-05 2016-03-15 Rethink Robotics, Inc. Visual indication of target tracking
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CN103634509A (zh) * 2012-08-30 2014-03-12 苏州翔合智能科技有限公司 自动追踪录制方法及系统
WO2014046968A1 (en) * 2012-09-19 2014-03-27 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
CN103677237B (zh) * 2012-09-20 2016-12-21 原相科技股份有限公司 对象追踪装置及其控制方法
US9697427B2 (en) * 2014-01-18 2017-07-04 Jigabot, LLC. System for automatically tracking a target
CN103810695B (zh) * 2012-11-15 2017-03-22 浙江大华技术股份有限公司 一种光源定位方法及装置
EP2765388B1 (de) * 2013-02-08 2018-10-17 Hexagon Technology Center GmbH Mobiler Feld-Controller zur Messung und Fernsteuerung
CN103383446B (zh) * 2013-04-09 2017-07-07 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
EP2827099A1 (de) * 2013-07-16 2015-01-21 Leica Geosystems AG Lasertracker mit Zielsuchfunktionalität
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN106537252B (zh) * 2014-05-06 2020-03-06 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
US11041718B2 (en) * 2014-07-08 2021-06-22 Basf Se Detector for determining a position of at least one object
DE102014109701A1 (de) * 2014-07-10 2016-01-14 Epcos Ag Sensor
US10455137B2 (en) * 2014-07-28 2019-10-22 Orbotech Ltd. Auto-focus system
US10609273B2 (en) * 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
US9992396B1 (en) * 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
EP3064898B1 (de) 2015-03-04 2019-12-18 Leica Geosystems AG Vermessungsgerät mit Feinanzielungs- bzw. Zielverfolgungsfunktionalität
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104834903B (zh) * 2015-04-24 2018-04-27 深圳先牛信息技术有限公司 用于移动设备的双眼虹膜图像采集装置
CN105169717B (zh) * 2015-07-22 2017-10-03 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法
CN105184776B (zh) * 2015-08-17 2018-09-28 中国测绘科学研究院 目标跟踪方法
WO2017070629A1 (en) * 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
JP7210280B2 (ja) * 2015-11-04 2023-01-23 マジック リープ， インコーポレイテッド ライトフィールドディスプレイの計測
JP6604509B2 (ja) * 2015-12-17 2019-11-13 カシオ計算機株式会社 撮像装置、被写体追尾方法、及びプログラム
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN105611127A (zh) * 2015-12-28 2016-05-25 天津鼎视汇达科技有限公司 红外球机智能补光系统
US10341629B2 (en) * 2016-06-30 2019-07-02 Hipcam Ltd. Touch screen WiFi camera
CN106412324B (zh) * 2016-10-17 2020-02-14 深圳市爱派赛科技有限公司 提示对焦对象的装置及方法
CN106341610A (zh) * 2016-11-25 2017-01-18 广东欧珀移动通信有限公司 拍照方法及移动终端
EP3656118A4 (en) * 2017-07-18 2021-03-03 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking

Also Published As

Publication number Publication date
US11190701B2 (en) 2021-11-30
WO2019014861A1 (en) 2019-01-24
US11122210B2 (en) 2021-09-14
EP3656118A1 (en) 2020-05-27
TWI716708B (zh) 2021-01-21
US20200151887A1 (en) 2020-05-14
EP3656118A4 (en) 2021-03-03
WO2019015614A1 (en) 2019-01-24
CN110915194B (zh) 2021-06-25
US20190082112A1 (en) 2019-03-14
TWI716707B (zh) 2021-01-21
TWI721290B (zh) 2021-03-11
TW201908859A (zh) 2019-03-01
US20200154036A1 (en) 2020-05-14
CN110915194A (zh) 2020-03-24
CN110914638B (zh) 2021-11-26
TW201913171A (zh) 2019-04-01
JP2020526853A (ja) 2020-08-31
JP6856914B2 (ja) 2021-04-14
WO2019015616A1 (en) 2019-01-24
CN108605081A (zh) 2018-09-28
CN110914638A (zh) 2020-03-24
CN108605081B (zh) 2020-09-01
US10587813B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
TWI716707B (zh) 使用目標識別碼的智能目標追蹤
US11831906B2 (en) Automated film-making using image-based object tracking
CN112313576B (zh) 具有稳定功能的相机移动设备支架
US11900616B2 (en) Determining region-of-interest of an object using image-based object tracking
CN112292686B (zh) 检测双波段红外光源以进行对象跟踪
US11991445B2 (en) Camera mobile device stabilization using a high frame rate auxiliary imaging element
WO2022188733A1 (en) Scenario triggering and interaction based on target positioning and identification
US11364637B2 (en) Intelligent object tracking
US20200213524A1 (en) Intelligent object tracking
US11902737B2 (en) Directional sound capture using image-based object tracking