[go: up one dir, main page]

CN110915194B - 使用目标识别码的智能目标追踪 - Google Patents

使用目标识别码的智能目标追踪 Download PDF

Info

Publication number
CN110915194B
CN110915194B CN201880046775.9A CN201880046775A CN110915194B CN 110915194 B CN110915194 B CN 110915194B CN 201880046775 A CN201880046775 A CN 201880046775A CN 110915194 B CN110915194 B CN 110915194B
Authority
CN
China
Prior art keywords
light
images
light source
sequence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880046775.9A
Other languages
English (en)
Other versions
CN110915194A (zh
Inventor
钱昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Taro Positioning Technology Co Ltd
Original Assignee
Hangzhou Taro Positioning Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Taro Positioning Technology Co Ltd filed Critical Hangzhou Taro Positioning Technology Co Ltd
Publication of CN110915194A publication Critical patent/CN110915194A/zh
Application granted granted Critical
Publication of CN110915194B publication Critical patent/CN110915194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/041—Allowing quick release of the apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/04—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or holding steady relative to, a person, e.g. by chains, e.g. rifle butt or pistol grip supports, supports attached to the chest or head
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2042—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints
    • F16M11/205—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2064—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction for tilting and panning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/242—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by spreading of the legs
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/041—Balancing means for balancing rotational movement of the head
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/044—Balancing means for balancing rotational movement of the undercarriage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种用于目标追踪的方法。该方法包括：抓取场景的图像序列；基于沿该图像序列的局部光变化的模式，通过硬件处理器检测场景中的光源；回应于检测到光源，通过该硬件处理器将该图像序列中至少一个图像的光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果，通过该硬件处理器生成控制信号以改变该相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，其中该光源被配置为产生目标识别码。

Description

使用目标识别码的智能目标追踪
技术领域
本发明涉及一种用于目标追踪的方法、追踪控制器及非瞬时计算机可读储存介质。
背景技术
视场(FOV)是由相机成像的场景的范围。视场内的物体将出现在由该相机抓取及/或输出的图像中。例如，视场可对应于一立体角(solid angle)，相机镜头在该立体角内投射光输入至该相机的光学传感器。
发明内容
一般而言，一方面，本发明涉及一种用于目标追踪的方法。该方法包括：抓取场景的图像序列；基于沿(across)该图像序列的局部光变化(local light change)的模式，通过硬件处理器，检测场景中的光源；回应于检测到光源，通过该硬件处理器，将该图像序列中至少一个图像的光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果，通过该硬件处理器，生成控制信号以改变该相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，其中该光源被配置为产生目标识别码。
一般而言，一方面，本发明涉及一种用于相机装置的追踪控制器。该追踪控制器包括计算机处理器和储存指令的存储器。运行该指令可使该计算机处理器：抓取场景的图像序列；基于沿该图像序列的局部光变化的模式、检测该场景中的光源；回应于检测到光源，将该图像序列中至少一个图像的光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果生成控制信号以改变该相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，其中该光源被配置为产生目标识别码。
一般而言，一方面，本发明涉及一种非瞬时计算机可读储存介质，其储存用于目标追踪的指令。当由计算机处理器运行时，该指令包括以下功能：抓取场景的图像序列；基于沿该图像序列的局部光变化的模式，检测该场景中的光源；回应于检测到光源，将该图像序列中至少一个图像的光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果生成控制信号以改变该相机装置的视场，从而使得该光源与该视场内的该目标位置实质地对准，其中该光源被配置为产生目标识别码。
本发明的其他方面将通过以下说明和随附权利要求而明显易懂。
附图说明
图1.1和1.2示出了根据本发明的一个或多个实施例的系统的示意性框图；
图2示出了根据本发明的一个或多个实施例的方法流程图；
图3.1、3.2、3.3、4、5和6示出了根据本发明的一个或多个实施例的各种不同示例；以及
图7.1和7.2示出了根据本发明的一个或多个实施例的计算系统。
具体实施方式
现在将参照附图详细描述本发明的具体实施例。各个附图中相同的元件可由相同的参考数字表示，以确保一致性。
在本发明的实施例的以下详细说明中，陈述了若干具体细节以提供对本发明更通透的理解。然而，所属技术领域中具有通常知识者应理解的是，本发明无需这些具体细节也可实施。在其他实例中，为了避免不必要地复杂化该说明，省略了已知特征的详细描述。
在以下说明中，在本发明的各种不同实施例中关于一幅图描述的任意组件可等同于关于任意其他附图描述的具有相同命名的组件。为简洁起见，这些组件的至少一部分是通过各种不同的标记而隐含识别的。而且，将不会针对每个附图重复这些组件的说明。因此，每个附图中组件的每个实施例通过引用而并入，并且被视为可选地存在于具有一个或多个类似命名的组件的每个其他附图中。此外，根据本发明的若干实施例，附图中组件的任意描述应被解读为是可选的实施例，其可相对于关于其他附图中对应的具有相同命名的组件而描述的实施例而添加、结合或替换。在各附图中，黑色实心共线点表示可选地可存在与该黑色实心共线点之前或之后的组件类似的额外的组件。而且，连接附图中各组件的实线或虚线表示相连组件之间的关系。虚线表示该关系可能不包括任何物理连接或物理元件，或者可能不与任何物理连接或物理元件相关联。
在整个说明书中，使用了序数(例如，第一、第二、第三等)作为元件(即，本申请中的任何名词)的形容词。这些序数的使用并非暗示或构成该元件的特定顺序、也非将任何元件限定为仅具有单个，除非另外通过使用术语“之前”、“之后”、“单个”以及其他此类措辞明确指明。相反，这些序数的使用是为了区分不同的元件。示意性地，第一元件不同于第二元件，并且第一元件可包括多于一个的元件，而且第一元件在元件顺序方面可以在该第二元件之后(或之前)。
在本发明的一个或多个实施例中，光源附接在物体上，并且同时抓取对应于该视场的图像序列。在一个或多个实施例中，光源产生沿该图像序列的局部光变化模式。基于该局部光变化模式，检测视场中的光源。回应于检测到光源，将该光源的位置与图像内的目标位置进行比较以生成结果，比如位移或运动参数。相应地，基于该结果生成控制信号以控制相机装置支座。具体地，相机装置支座基于该控制信号调节视场，使得该光源与该目标位置在视场内实质地对准。在一个或多个实施例中，多个光源附接在场景中的多个物体上，并且其中每个光源在各自的局部光变化模式中产生有区别的目标识别码。相应地，可同时追踪多个物体。在一个或多个实施例中，该图像序列是录像的一部分，并且该控制信号使该物体在该录像中显现于该视场内的该目标位置处。
图1.1示出了根据一个或多个实施例的系统100。在一个或多个实施例中，可省略、重复/或替换图1.1中示出的一个或多个模块和元件。相应地，本发明的实施例不应被视为受限于图1.1所示模块的具体布置。
如图1.1所示，系统100包括具有相机镜头111的相机装置110、追踪控制器120、相机装置支座130、场景140、相机镜头111的视场141、显现于视场141内的物体(例如，物体A142a、物体B142b)以及附接在该物体上的光源(例如，光源A143a、光源B143b)。光源是由该相机装置110抓取的光的光源。例如，光源A143a被示出为是附接在物体A142a上的反射光源，其具有远程光发射器114，远程光发射器114发射频闪光A115，频闪光A115照射在该反射光源A143a上以生成物体反射光116。此外，光源B143b是附接在物体B142b上的局部光发射器并且发射频闪光B117。相应地，由该相机装置110经由该相机镜头111抓取该物体发射光116和频闪光B117，从而贡献于一个或多个图像。此外，外界光(未示出)也是贡献于该相机装置110抓取的该图像的光源。术语“光源”还可指由抓取的图像中的光源产生的对应光斑。在整个说明书中，远程光发射器和局部光发射器可被称为光发射器，并且该频闪光可由该远程光发射器或该局部光发射器发射。而且，相机装置110、追踪控制器120和相机装置支座130可通讯地彼此连接。在本发明的一个或多个实施例中，该远程光发射器114、相机装置110、追踪控制器120和相机装置支座130中的两个或更多个整合在一个装置内。例如，追踪控制器120的至少一部分可包含在该相机装置110内。在另一示例中，追踪控制器120的至少一部分可包含在相机装置支座130内。在又一示例中，追踪控制器120的一部分包含在相机装置110内，而追踪控制器120的另一部分包含在相机装置支座130内。类似地，远程光发射器114可与该相机装置110、追踪控制器120或相机装置支座130整合在一起。
在本发明的一个或多个实施例中，光发射器(例如，光源B143b的该远程光发射器114或局部光发射器)是可发光的任意装置。例如，该光发射器可发射沿较大角度(例如，超过45度的平面角、1平方弧度立体角等)的光，以作为泛光发射器。在另一示例中，光可发射准直光束，以作为准直光发射器。远程光发射器114可与物体A142a间隔例如特定距离，比如1米或更多。在一个或多个实施例中，光发射器包括发光二极管(LED)。在一个或多个实施例中，频闪光(例如，频闪光A115、频闪光B117)的强度和/或波长随时间而变化。例如，频闪光可根据特定占空比(即，光模式具有亮级的时间所占的百分比)和重复率(即，单位时间周期内强度变化的次数)产生不同步的光变化模式(free-running light change pattern)。在此使用的“光变化模式”是一种光的强度和/或波长变化的模式。在一个或多个实施例中，光发射器产生的光变化模式与相机110的帧率相比具有低重复率(例如，10赫兹、20赫兹等等)。帧率是单位时间内由相机装置110抓取的图像数量(一串静态图像或录像)。在一个或多个实施例中，光发射器产生的光变化模式与相机装置110的帧率同步。在一个或多个实施例中，光发射器发射红外光。换言之，该频闪光具有红外光波长，例如，介于700nm和1mm之间。在整个说明书中，术语“红外光波长”指的是介于700nm和1mm之间的波长。在一个或多个实施例中，由频闪光产生的光变化模式代表编码数位数据。例如，由红外光频闪光产生的编码数位数据可能类似于红外光远程控制码。
在本发明的一个或多个实施例中，反射光源A143a是物体A142a的反射区域，其反射频闪光A115，以生成物体反射光116。在此上下文中，反射光源A143a被称为发射该物体反射光116。在一个或多个实施例中，该反射区域对红外光波长的反射比大于对可见光波长的反射比。例如，更大的反射比可能基于反射材料对红外光波长的反射率大于对可见光波长的反射率。如果频闪光A115和外界光(未示出)均照射在该反射区域上，则该物体反射光116具有的来自频闪光A115的红外光反射内容可能多于来自外界可见光的可见反射内容。在一个或多个实施例中，物体A142a为人类、动物、机器人或任意其他运动物品，并且该反射光源A143a包括附接在物体A142a上的反射材料。例如，该反射材料可为由人类、动物、机器人或者其他运动物品穿戴的护腕、臂章、腰带、戒指、吊坠、项链、帽子、手套、衣服等的一部分或者可附接于其上。在一个或多个实施例中，该反射材料可包括金属、介电材料或者金属与介电材料的组合。在一个或多个实施例中，该反射材料可为前述护腕、臂章、腰带、戒指、吊坠、项链、帽子、手套、衣服等表面上的涂层或漆膜。例如，该涂层或漆膜可包括红外光颜料，比如二氧化钛。具体地，二氧化钛对红外光波长的反射比可超出75％。
在一个或多个实施例中，该反射材料包括几何图案，该几何图案对红外光波长具有按几何级数变化的反射率，以产生几何光变化模式。具体地，该反射材料的几何图案产生由相机镜头抓取的物体反射光的空间变化(spatial variation)，作为与外界光的附加区别。换言之，该几何图案增强了反射光源的检测准确度。在此使用的几何光变化模式是光强度随几何图案变化的模式。例如，该几何图案可由使用前述比如二氧化钛的红外光反射颜料的表面涂层/漆膜创建。在一个或多个实施例中，来自反射光源A143a的物体反射光116包括基于前述源自远程光发射器114的光变化模式的时间调制和/或基于反射光源A143a的几何光变化模式的空间调制。
在本发明的一个或多个实施例中，相机装置110是具有相机镜头(例如，相机镜头111)以及用于拍摄照片和/或录像的相关元件的装置。相机装置110的一个示例为具有通讯功能的专用相机。在一个或多个实施例中，相机装置110是移动装置，比如具有内置相机的手机，通常被称为智能型手机。智能型手机可具有带使用者图形界面的显示器，其占据大部分(例如，70％或更多)主表面。相机镜头111可位于智能型手机的主表面或背面。
在一个或多个实施例中，场景140是由相机装置110成像的动作或事件发生的地点。具体地，该动作或事件可与该物体(例如，物体A142a、物体B142b)相关联。而且，一个或多个物体可以是静止的、随时间运动的或者在该场景140内持续运动的。视场(FOV)141是由相机装置110使用该相机镜头111成像的场景140的范围。换言之，视场141内的物体(例如，物体A142a、物体B142b)将显现于相机装置110所抓取和/或输出的图像中。例如，视场141可对应于一立体角，相机镜头111在该立体角内投射光输入至与相机装置110相关联的光学传感器(未示出)中。在一个或多个实施例中，根据相机镜头111关于场景140如何取向、关于场景140如何缩放或者关于场景140如何定位，视场141对应于场景140的不同部分。在一个或多个实施例中，该物体(例如，物体A142a、物体B142b)可在该动作或事件过程中沿着该场景140移动。目标追踪是该动作引起相机镜头111关于场景140取向、关于场景140缩放或者关于场景140定位，从而使得该物体(例如，物体A142a、物体B142b)在图像抓取过程中持续地处于该视场141内，或者持续地处于该视场141内的目标位置中。在本公开中，术语“目标追踪”和“追踪”可互换地使用。在一个或多个实施例中，相机装置110包括硬件组件、软件组件或其组合。在一个或多个实施例中，相机装置110可包括以下参照图7.1和7.2描述的计算系统700和网络720的至少一部分，或者使用其实施。
在本发明的一个或多个实施例中，相机装置支座130被配置为机械地支撑相机装置110，并且回应于来自追踪控制器120的控制信号而调节相机镜头111的视场141。例如，相机装置支座130可包括电动倾斜及旋转装置，用于调节相机镜头111的相机角度。在另一示例中，相机装置支座130可包括电动水平及垂直滑动装置，用于调节相机镜头111相对于场景140的位置。该滑动装置可包括机械台，用于支撑并移动该相机装置110。下文中参照图3.1、3.2和3.3描述相机装置支座130的示例。
在一个或多个实施例中，追踪控制器120包括被配置为调节相机镜头111的视场141的硬件组件、软件组件或其组合。例如，追踪控制器120可通过控制相机装置支座130而控制视场141。在另一示例中，追踪控制器120还可通过控制相机镜头111的缩放等级而控制视场141。在一个或多个实施例中，追踪控制器120控制视场141，使得物体A142a和/或物体B142b显现于视场141内的目标位置。在一个或多个实施例中，追踪控制器120使用下文中参照图2描述的方法控制视场141。在一个或多个实施例中，追踪控制器120包括下文中参照图1.2描述的组件。
尽管图1.1所示的光源既包括局部光发射器也包括反射光源，但其他仅使用局部光发射器或仅使用反射光源的配置也是可能的。例如，光源A143a和光源B 143b均可为局部光发射器。在另一示例中，光源A143a和光源B143b均可为由单个远程光发射器114照射的反射光源。
尽管图1.1中示出的系统100仅包括一个相机装置以及相机装置支座，但多个相机装置和多个相机装置支座也是可能的。例如，多个相机装置可被配置为同时追踪具有不同编码光源的不同物体，而不会发生冲突。
图1.2示出了根据一个或多个实施例的追踪控制器120的细节。图1.2的以下描述涉及上文中图1.1所描绘的各种组件。在一个或多个实施例中，可省略、重复/或替换图1.2中示出的一个或多个模块和元件。相应地，本发明的实施例不应被视为受限于图1.2所示模块的具体布置。
如图1.2所示，追踪控制器120包括硬件处理器121、存储器122和资源库123。在本发明的一个或多个实施例中，硬件处理器121对应于下文中图7.1所描绘的计算机处理器702。类似地，存储器122和资源库123对应于下文中图7.1所描绘的非永久存储器704和/或永久存储器706。例如，存储器122可储存软件指令，运行该软件指令时可使硬件处理器121执行上文中图1.1所描绘的相机装置110的视场调节功能。在一个或多个实施例中，追踪控制器120根据下文中参照图2描述的方法流程执行视场调节功能。在一个或多个实施例中，存储器122储存指令以执行下文中参照图2描述的方法流程的一个或多个部分。在一个或多个实施例中，追踪控制器120和相机装置110整合在一个装置中。在此类实施例中，用于执行参照图2描述的方法流程的一个或多个部分的该指令为移动应用程序或移动app的一部分，移动应用程序或移动app为使用者可安装的软件应用程序，其被设计以在智能型手机或其他移动装置上运行。
而且，如图1.2所示，资源库123包括图像序列126、光变化模式124、位移125、运动参数128和目标位置127。具体地，图像序列126包括由相机装置111抓取的连贯的图像(例如，图像A126a)。例如，图像A126a对应于在特定时间点由视场141覆盖的场景140的一部分。光变化模式124是沿该图像序列126的、光强度和/或波长在不同强度等级和/或波长之间交替的模式。
在一个或多个实施例中，光变化模式124对应于该图像序列126中每个图像上的光斑。例如，光斑可由每个图像中的像素位置限定或由相连的像素位置的集合限定。在此情况下，光变化模式124被称为由相机装置111抓取的局部光变化模式。在一个或多个实施例中，光变化模式124是由频闪光(例如，频闪光A115、频闪光B117)引起的，表示该光源(例如，光源A143a、光源B143b)在每个图像内的位置。换言之，光源(例如，光源A143a、光源B143b)在每个图像内的位置可基于沿该图像序列126的该光变化模式124出现在何处而确定。例如，光变化模式124表示光源在图像A126a中位于位置A127a。类似地，该图像序列126中的每个其他图像与该光源的位置相关联。目标位置127是该追踪控制器120被配置为追踪物体(例如，物体A142a、物体B142b)的预定位置。例如，目标位置127可被定义为是视场141的中心，该中心对应于该图像序列126中每个图像的中心。换言之，追踪控制器120被配置为调节视场141，以使得调节后所追踪的该物体显现于图像的中心(即，目标位置127)。在其他示例中，目标位置127可被定义为是偏离视场141中心的不同位置。位移125为目标位置127与图像内光源的位置(例如，位置A127a)之间的距离。在一个或多个实施例中，位移125包括水平方向距离和垂直距离。位移125可通过像素的数量或任意其他适当的距离度量来表示。在一个或多个实施例中，物体可为移动物体，使得光源的位置(例如，位置A127a)可随该图像序列126中图像的不同而变化。在此类实施例中，运动参数128是光源的位置(例如，位置A127a)随时间的变化率。例如，运动参数128可包括光源的位置(例如，位置A127a)随该图像序列126中不同图像的变化。取决于所追踪的物体的运动方向，该运动参数128可包括水平部分和垂直部分。从数学角度，运动参数128对应于位移125随时间的导数。
在一个或多个实施例中，光变化模式124包括光强度变化和/或光波长变化。具体地，光强度变化和/或光波长变化与变化的重复率相关联。在一个或多个实施例中，具有相关联的重复率的该光强度变化和/或光波长变化定义数位码。例如，该数位码可包括标头(header)和随后的数位模式，并且其中该标头和随后的数位模式可在该光变化模式124内重现。该场景140内的每个光源的数位码可存在区别，并且用于识别与该光源附接的物体。在此上下文中，由具有该光变化模式124的相关联的重复率的该光强度变化和/或光波长变化定义的该数位码被称为目标识别码124a。在一个或多个实施例中，该光强度变化和/或光波长变化是由光发射器产生的暂时变化。在一个或多个实施例中，该光强度变化和/或光波长变化还包括由前述反射光源的几何图案产生的空间变化。
在一个或多个实施例中，追踪控制器120基于上述图像序列126、光变化模式124、位移125、运动参数128和目标位置127执行视场调节功能。具体地，追踪控制器120使用下文中参照图2描述的方法执行视场调节功能。下文中参照图4-6描述该图像序列126、光变化模式124、目标识别码124a、位移125和运动参数128的示例。
图2示出了根据一个或多个实施例的流程图。图2中所示程序可通过例如上文中参照图1.1和1.2描述的一个或多个组件执行。可省略、重复图2中示出的一个或多个步骤和/或可在本发明的多个实施例之间以不同的顺序执行图2中示出的一个或多个步骤。相应地，本发明的实施例不应被视为受限于图2所示步骤的特定数量和布置。
首先，在步骤S201中，启动场景内的光源。在本发明的一个或多个实施例中，光源是附接在场景中的物体上的反射区域。在此类实施例中，反射光源是通过使用远程光发射器向该反射区域发射并投射频闪光而启动的。例如，当打开远程光发射器时，发射具有不同步光模式的频闪光。其结果是，该频闪光由该反射区域反射，以生成具有相同的不同步光模式的物体反射光。在本发明的一个或多个实施例中，该光源是附接在该场景内的物体上的局部光发射器。在此类实施例中，该光源是通过启动该局部光发射器以发射频闪光而启动的。例如，当开启局部光发射器时，发射具有不同步光模式的频闪光。
在一个或多个实施例中，频闪光和物体反射光与相机装置的帧率相比具有低重复率(例如，10赫兹、20赫兹等等)。在一个或多个实施例中，频闪光和物体反射光与相机装置的帧率同步。例如，可基于发自追踪控制器和/或相机装置的触发信号而启动和/或同步该频闪光。在一个或多个实施例中，该频闪光和/或该物体反射光的强度和/或波长的变化具有相关联的重复率以定义该目标识别码。
在步骤S202中，通过相机装置抓取该场景的图像序列。具体地，物体位于相机镜头的视场(FOV)内并且显现于该图像序列中。例如，该图像序列可包括一串(aburst of)静态图像或者可为一串静态图像的一部分。在另一示例中，该图像序列可包括录像或为录像的一部分。在一个或多个实施例中，该场景的该图像序列是在光源发射物体反射光或频闪光的同时抓取的。在一个或多个实施例中，该图像序列的帧率是基于光源的占空比和/或重复率而选定的，以使得连贯的图像(或者是该图像序列中具有固定间隔的一对图像)包括交替的亮级和暗级，和/或与光发射器交替的波长。例如，远程或局部光发射器可为不同步的，并且帧率是基于该不同步的光源的占空比和/或重复率而选定的。在一个或多个实施例中，光发射器的占空比和/或重复率是基于该图像序列的帧率而选定的，以使得连贯的图像(或者是该图像序列中具有固定间隔的一对图像)包括交替的亮级和暗级，和/或与光发射器交替的波长。例如，帧率可为预定的，并且该光发射器例如基于来自相机装置的触发信号而与该帧率同步。
在步骤S203中，基于沿该图像序列的局部光变化模式、检测场景中的光源。具体地，来自该光源的物体反射光或频闪光引起该相机装置的光学传感器接收到的光强度和/或波长的变化，产生了沿该图像序列的局部光变化模式。在一个或多个实施例中，调节光源的强度，以控制每个图像中该局部光变化模式所在位置的尺寸。例如，位置尺寸可限于视场的水平和垂直尺寸的百分比(例如，1％、3％等)。在一个或多个实施例中，在由相机装置的光学传感器识别出的、连贯的图像中交替的亮级和暗级和/或交替的波长的差异超出预定阈值处定义该位置和尺寸。在一个或多个实施例中，该位置被称为是图像中光源的位置。
在一个或多个实施例中，通过将对应像素的光强度值和/或波长值相减，对图像序列中的一对图像进行比较。具体地，光强度值和/或波长值是通过光学传感器生成的。例如，该光强度值可对应于单色CMOS(互补金属氧化物半导体)传感器的像素输出值。在另一示例中，可分析RGB CMOS传感器的输出值以确定每个像素的波长值。具体地，将一个图像中像素的光强度值和/或波长值与另一图像中对应像素的光强度值和/或波长值相减，以生成差值。将差值中存在交替的亮级和暗级差异和/或存在交替的波长差异的像素选定为该图像中光源位置的一部分。取决于光源的占空比/重复率与该图像序列的帧率的比值，这对图像可为连贯的图像或者由特定数量的图像(比如每三个图像)分隔的两个图像。
在一个或多个实施例中，从该局部光变化模式中提取目标识别码，以从该场景内的多个光源中识别出该光源。在一个或多个实施例中，分析该局部光变化模式，以检测预定的标头模式。一旦被检测到，提取该预定的标头模式之后的模式作为识别特定光源或物体的区别码。在一个或多个实施例中，该区别码具有用于界定该目标识别码的预定长度或数位位元数。在其他实施例中，该目标识别码可基于其他准则而界定。
在一个或多个实施例中，同时追踪该场景内的多个物体，并且其中每个物体上附接有具有有区别的目标识别码的单独的光源。换言之，沿着该图像序列的多个位置存在多个光变化模式，并且其中每个光变化模式包括与其他光变化模式的任意目标识别码不同的区别目标识别码。相应地，基于各自的光变化模式，每个光源被识别为区别于其他光源。由于每个光源唯一地与其所附接的物体相关联，基于各自的目标识别码、沿着该图像序列、单独地追踪每个物体。
在一个或多个实施例中，通过重复步骤S202-S204来检测并识别多个光源。例如，每次重复可基于由使用者输入指定的特定目标识别码。在一个或多个实施例中，在使用者界面视窗中呈现该图像序列中的图像，使用者可通过点击或者选定检测到的多个光源中的一个光源而在该视窗中选定物体。一旦选定，该选定的光源的目标识别码就用于确定对应于该选定的物体的该选定的光源的位置。相应地，追踪该选定的物体以继续在步骤S205-S209中进行图像抓取。不时地，使用者可使用该使用者界面选定不同的物体，一旦从所追踪的物体切换到不同的物体，最新选定的光源的不同的目标识别码就用于确定对应于该最新选定的物体的该最新选定的光源的位置。相应地，追踪该最新选定的物体，以继续在步骤S205-S209中进行图像抓取。
在步骤S204中，分析该图像序列，以确定至少一个图像中检测到并且识别出的光源的位置以及沿该图像序列的该光源的运动。在一个或多个实施例中，光源的位置是基于由相机装置的光学传感器识别出的图像序列中交替的亮级和暗级和/或交替的波长的差异超出预定阈值处而确定的。在一个或多个实施例中，光源的运动是基于沿该图像序列的该位置的变化率而确定的。
在步骤S205中，回应于检测到并且识别出该光源、将至少一个图像内该光源的位置和目标位置进行比较以生成结果。在一个或多个实施例中，该结果包括从该位置到该目标位置的位移。在一个或多个实施例中，该位移可随该图像序列中图像的不同而变化，这表示物体是移动物体。在此类实施例中，计算位移随时间例如在不同图像之间的变化率，并将其作为运动参数。
在步骤S206中，基于该结果生成控制信号，以用于定向该相机装置。在一个或多个装置中，控制信号被配置为将相机镜头的取向调节为与位移相对(opposite)的方向。在一个或多个实施例中，控制信号被配置为将相机关于场景的相对位置调节为与位移相对(opposite)的方向。在一个或多个实施例中，运动参数被视为是由控制信号引起的调节量的微调。
在步骤S207中，将控制信号发送给安装有相机装置的相机装置支座(例如，相机手柄、倾斜及旋转装置等)。相应地，将相机镜头的取向或相机装置的相对位置调节至与位移相对(opposite)的方向。
在步骤S208中，在相机装置的视场内检测目标位置与光源之间的实质对准。具体地，该实质对准是通过将相机镜头的取向或相机装置的相对位置调节至与位移相对(opposite)的方向而实现的。
在步骤S209中，回应于检测到该实质对准，抓取该场景的额外图像。在一个或多个实施例中，通过相机装置、以规律的重复率(即，帧率)持续地抓取并输出连贯的图像。在此类实施例中，被分析以生成控制信号的该图像序列只限于该额外图像之前的滚动时窗(例如，两个连贯图像、五个连贯图像、十个连贯图像等的滚动序列)。随着时间的流逝，该额外图像成为更新的图像序列的一部分，用于生成更新的控制信号，从而持续地追踪视场中的物体。
在一个或多个实施例中，被分析以生成控制信号的该图像序列被指定为是控制信息而无需由相机装置输出。与之相反，在光源(并且因此该物体)与目标位置实质地对准时、通过该相机装置输出该额外图像。例如，该控制信息可与该额外图像分开储存，直至该控制信号被丢弃或从相机装置中移除。
在步骤S210中，确定是否继续进行图像抓取。如果结果是肯定的，即继续进行图像抓取，则该方法继续进行至步骤S211。如果结果是否定的，即不继续进行图像抓取，则该方法结束。
在步骤S211中，确定是通过追踪同一物体还是通过追踪不同物体继续进行图像抓取。如上所示，步骤S211中的该确定可基于引起步骤S211的该步骤S202-S209的重复过程中接收到的使用者输入。如果确定结果指示通过追踪同一物体继续进行图像抓取，则该方法返回至步骤S202。如果确定结果指示通过追踪不同物体继续进行图像抓取，则该方法返回至步骤S203。
图3.1、3.2、3.3、4、5和6示出了根据本发明的一个或多个实施例的各种不同示例。图3.1、3.2、3.3、4、5和6中所示的示例例如可基于上文中图1.1和1.2所描绘的一个或多个组件以及上文中图2所描绘的方法流程。在一个或多个实施例中，可省略、重复/或替换图3.1、3.2、3.3、4、5和6中示出的一个或多个模块和元件。相应地，本发明的实施例不应被视为受限于图3.1、3.2、3.3、4、5和6所示模块的具体布置。
图3.1示出了相机移动装置手柄800，其为上文中图1.1所描绘的相机装置支座130的示例。此外，由该相机移动装置手柄800机械地支撑的相机移动装置201(例如，具有相机镜头220的智能型手机)是上文中图1.1所描绘的相机装置110的示例。在本发明的一个或多个实施例中，相机移动装置手柄800是一种电机组件，包括支座221、倾斜轴203、倾斜电机213、旋转轴209、旋转电机219和手柄222。支座221被配置为机械地支撑相机移动装置201，并且机械地连接至倾斜轴203。手柄222被配置为在由观察者握持的同时、维持该相机移动装置手柄800的机械稳定。虽然未明确示出，手柄222包括被配置为与上文中图1.1所描绘的相机装置110和/或追踪控制器120通讯的通讯界面。例如，通讯界面可基于蓝牙、NFC、USB或其他无线/有线通讯界面。在一个或多个实施例中，旋转轴209可回应于经由通讯界面从该追踪控制器120接收到控制信号、通过该旋转电机219、围绕旋转轴线209-1旋转。类似地，倾斜轴203可回应于经由通讯界面从该追踪控制器120接收到控制信号、通过该倾斜电机213、围绕倾斜轴线203-1旋转。回应于该支座221关于该倾斜轴线203-1的倾斜和/或该支座221连同该倾斜轴203和倾斜电机213一起围绕该旋转轴线209-1的旋转，可调节相机镜头220的取向。相应地，相机镜头220的视场220-1是根据相机镜头220的取向而调节的。尽管图3.1中所示的示例是基于与两个机械轴相关联的两个电机，在不脱离本发明的范围的前提下，其他示例可基于与三个机械轴相关联的三个电机，其中第三电机可为额外的旋转电机，比如图3.3中所示的具有额外的旋转轴线209-2的额外的旋转电机331。具体地，图3.3示出了具有三个电机的相机移动装置手柄800，其为上文中图1.1所描绘的相机装置支座130的示例。
图3.2示出了使上文中图3.1所描绘的相机移动装置手柄800稳定化的示例。例如，当相机移动装置手柄800从手持位置A 321变为手持位置B 322时，或者从手持位置B 322变为手持位置A 321时，该相机移动装置201的定向是稳定的。如图3.2所示，手持位置A 321对应于手柄222的垂直定向(即，沿着地球引力方向)。在手持位置A 321中，倾斜电机213维持该相机移动装置201指向地球地平线(即，与地球引力方向正交)。换言之，相机移动装置201的成像平面与地球地平线正交。
手持位置B 322对应于手柄222的倾斜定向(即，偏离于地球引力方向)。例如，手柄222的倾斜运动323是通过使用者的手施加的。在该手持位置B 322中，倾斜电机213维持该相机移动装置201指向地球地平线，与该手持位置A 321中一样。
图4示出了上文中图1.1和1.2所描绘的光源(例如，光源A143a、光源B143b)的光变化模式124的示例。如图4所示，水平轴对应于时间，而垂直轴对应于光强度。具体地，光变化模式124是光强度随时间在亮级400a和暗级400b之间交替的模式。例如，在时间周期A410中维持亮级400a光强度，并且可以以特定重复率随时间重现亮级400a光强度。当光强度随时间在亮级400a和暗级400b之间交替时，通过相机装置周期性地抓取图像序列。例如，可在时间点A401a、时间点B 401b、时间点C 401c等处抓取图像序列中的连贯图像，这些时间点以时间周期B 420、时间周期C 430等彼此间隔。具体地，时间周期A410包含至少一个图像抓取时间点，比如时间点B 401b。在时间点A 401a抓取的暗级400b、在时间点B 401b抓取的亮级400a、在时间点C 401c抓取的暗级400b等的交替序列构成前述由相机装置抓取的局部光变化模式。虽然图4中描绘的光变化模式124是一种光强度变化的模式，但在其他示例中该光变化模式124还可包括波长变化。换言之，可用不同的波长来表示波长变化，从而作为亮级400a和暗级400b的替代或补充方案。
图4中描绘的光变化模式124可沿着时间点和图像序列、在时间轴方向上延伸，以定义目标识别码。例如，在图4中使用不同的时间标度在该光变化模式124下方示出了目标识别码A402a和目标识别码B 402b。在一个或多个实施例中，每个图像中的光强度级别和/或波长值定义数位数据位元。在其他实施例中，光强度级别和/或波长值沿多个重现的图像集中的每一个图像集不变，并且其中每个图像集对应于一个数位数据位元。换言之，数位数据位元可对应于一个图像或图像集。在目标识别码A402a和目标识别码B 402b中的每一个中，由标头401和标尾403界定有区别的数位数据位元模式。例如，标头401和标尾403各自可包含八个连贯的“0”数位数据位元。插置在标头401与标尾403之间的是：目标识别码A402包括“1010101010101010”的数位数据位元模式，而目标识别码B 402b包括“1010010101011010”的数位数据位元模式。相应地，“1010101010101010”的数位数据位元模式和“1010010101011010”的数位数据位元模式用于识别或选择附接在上文中图1.1和图1.2所描绘的场景140内的两个有区别的物体上的两个有区别的光源。
图5示出了上文中图1.1和1.2所描绘的场景140的图像序列126的示例。如图5所示，该图像序列126包括在上文中图4所描述的在时间点A401a、时间点B 401b、时间点C401c等处抓取的图像A126a、图像B126b和图像C126c等等。根据上文中参照图4描绘的光变化模式124的示例，光源(例如，光源A143a、光源B143b)显现为图像A126a、图像B126b和图像C126c等中标记为“a1”的位置或标记为“a2”的位置处的交替的暗斑和亮斑。与之相反，在图像A126a、图像B126b和图像C126c等中标记为“b”的其他位置处的光强度维持实质地不变。例如，标记为“a1”的位置可通过图像A126a和图像B126b中对应像素的光强度值相减得到的差值结果126d确定。类似地，标记为“a1”的位置还可通过图像B126b和图像C126c中对应像素的光强度值相减得到的差值结果126d确定。在差值结果126d中，黑色表示无差别，而白色表示非零的差值或差值超出前述预定阈值。相应地，光源(例如，光源A143a)的位置对应于差值结果126d中的白斑。在另一示例中，标记为“a2”的位置可通过类似的方式确定，以检测图像内不同光源(例如，光源B143b)的位置。
而且，如图5所示，每个图像的中心被定义为是目标位置127。相应地，从标记为“a1”的位置到目标位置127之间的距离对应于位移125。图5中所示的该标记为“a1”的位置、该目标位置127以及该位移125分别为上文中图1.2所描绘的位置A127a、目标位置127以及位移125的示例。在一个或多个实施例中，该标记为“a1”的位置随图像A126a、图像B126b和图像C126c等的不同而变化。该标记为“a1”的位置随图像A126a、图像B126b和图像C126c等而变化的变化率对应于上文中图1.2所描绘的运动参数128。尽管未明确示出，在不同示例中，该位移125和/或运动参数128也可对应于标记为“a2”的位置。
图6示出了一种示例性录像600，其包括上文中参照图4描述的图像序列126的示例。在示例性情景中，目标位置是图像的中心。如图6所示，当图4中描绘的目标识别码A402a用于目标追踪时，光源A143a被识别为位于图像序列126中各图像(例如，图像A126a)的左部的位置中。具体地，光源A143a是包含在由男性(即，物体A142a)穿戴的戒指或者护腕的一部分中的反射材料。例如，光源A143a的位置是基于上文中图5所描绘的图像A126a、图像B126b和图像C126c等中交替的暗斑和亮斑“a1”而识别的。具体地，图像A126a、图像B126b和图像C126c等中交替的暗斑和亮斑“a1”展现出定义与该光源A143a相关联的目标识别码A402a的暂时和/或空间变化。由于目标位置(即，图像中心)在光源位置的右方，追踪控制器120被配置为将相机装置110朝左侧取向，使得支撑/穿戴该光源A143a的该男性(即，物体A142a)显现于图像的中心。相应地，基于识别出的光源A143a的位置“a1”而调节该相机装置110的取向，以使得物体A142a显现于图像X126x的中心。
而且，如图6中所示，当图4中描绘的目标识别码B 402b用于目标追踪时，光源B143b被识别为位于图像序列126中各图像(例如，图像A126a)的左部的位置中。具体地，光源B143b是由女性(即，物体B142b)穿戴的戒指或者护腕的一部分。例如，光源B143b的位置是基于上文中图5所描绘的图像A126a、图像B126b和图像C126c等中交替的暗斑和亮斑“a2”而识别的。具体地，图像A126a、图像B126b和图像C126c等中交替的暗斑和亮斑“a2”展现出定义与该光源B143b相关联的目标识别码B 402b的暂时和/或空间变化。由于目标位置(即，图像中心)在光源位置的右方，追踪控制器120被配置为将相机装置110朝左侧取向，使得支撑/穿戴该光源B143b的该女性(即，物体B142b)显现于图像的中心。相应地，使用该目标识别码B 402b，基于识别出的光源B143b的位置“a2”而调节该相机装置110的取向，以使得物体B142b显现于图像X126x的中心。通过将具有有区别的目标识别码的不同光源附接在场景中的多个物体上，可方便地在该场景中的不同物体之间进行目标追踪的切换。例如，如上所述，当所追踪的目标从女性切换为男性时，可继续录像而无需中断。
为了改善目标追踪的准确度，除了上文图5中描绘的基于图像A126a、图像B126b和图像C126c等中交替的暗斑和亮斑而检测该反射光源143的位置之外，还基于匹配包含在由男性(即，物体A142a)穿戴的戒指或护腕的一部分中的反射材料的几何形状而判断该交替的暗斑和亮斑的几何形状符合要求。换言之，在识别反射光源143时，排除掉图像A126a、图像B126b和图像C126c等中不与该反射图案的几何形状相匹配的、任意交替的暗斑和亮斑。
在一个或多个实施方式中，可以通过画面裁幅的方式，使得被追踪的物体出现在相机拍摄的画面的目标位置。在这种情况下，由硬件处理器生成用于改变相机设备的视场的控制信号，可以通过画面裁幅的方式，使得物体出现在相机拍摄的画面的目标位置。具体而言，如果检测到的光源位置位于相机视场的靠右位置，通过将相机拍摄画面中的靠左侧部分切割出来，或者提取画面靠右的部分，使得物体出现在保留后的画面的目标位置。在一个或多个实施方式中，通过画面裁幅的方式，控制信号可以虚拟地改变相机呈现给使用者的视场，从而使得在视场中目标位置和反射光源实质地对准。在一个或多个实施方式中，控制信号可以通过画面裁幅和调整相机设备支架两种方式的结合，使得物体出现在画面的目标位置。在一个或多个实施方式中，追踪控制器可以包括在运动相机、倾斜和旋转设备、智能型手机手持握杆、单镜头反射(SLR)相机支架、画面裁幅模块以及控制模块中的至少一个之内。在一个或多个实施方式中，画面裁幅模块和控制模块独立于运动相机、倾斜和旋转设备、智能型手机手持握杆和SLR相机支架。
本发明的实施例可在计算系统上实施。可使用移动、桌上型、服务器、路由器、交换器、嵌入式装置或其他类型的硬件的任意组合。例如，如图7.1所示，计算系统700可包括一个或多个计算机处理器702、非永久存储器704(例如，易失性存储器，比如随机存取存储器(RAM)、快取存储器)、永久存储器706(例如，硬盘、比如光盘机或多功能数位光盘(DVD)机的光学驱动器、快闪存储器等等)、通讯界面712(例如，蓝牙界面、红外光界面、网络界面、光界面等等)以及若干其他元件和功能。
计算机处理器702可为用于处理指令的集成电路。例如，计算机处理器可为处理器的一个或多个内核或微内核。计算系统700还可包括一个或多个输入装置710，比如触控荧幕、键盘、鼠标、麦克风、触空板、光笔或任意其他类型的输入装置。
通讯界面712可包括用于将计算系统700连接至网络(未示出)(例如，区域网络(LAN)、比如互连网的广域网路(WAN)、行动网络或任意其他类型的网络)和/或其他装置(比如其他计算装置)的集成电路。
而且，计算系统700可包括一个或多个输出装置708，比如荧幕(例如，液晶显示器(LCD)、等离子显示器、触控荧幕、阴极射线管(CRT)监视器、投影机或其他显示装置)、打印机、外部储存或任意其他输出装置。一个或多个该输出装置可与该输入装置相同或不同。该输入及输出装置可以以本地或远端方式连接至计算机处理器702、非永久存储器704和永久存储器706。存在许多不同类型的计算系统，并且前述输入和输出装置可采取其他形式。
以用于执行本发明实施例的计算机可读程序代码的形式存在的软件指令可整体或部分地、暂时或永久地储存在非瞬时计算机可读介质中，比如CD、DVD、储存装置、软盘、磁带、快闪存储器、物理存储器或任意其他计算机可读储存介质。具体地，软件指令可对应于计算机可读程序代码，当由处理器运行时，其被配置为执行本发明的一个或多个实施例。
图7.1中的计算系统700可连接至网络或为网络的一部分。例如，如图7.2所示，网络720可包括多个节点(例如，节点X722、节点Y724)。每个节点可对应于计算系统，比如如图7.1所示的计算系统，或节点的组可对应于图7.1所示的计算系统。示意性地，本发明的实施例可在分布式系统中的节点上实施，该节点连接至其他节点。示意性地，本发明的实施例可在具有多个节点的分布式计算系统上实施，其中本发明的每个部分可位于该分布式计算系统内的不同节点上。而且，前述计算系统700的一个或多个元件可位于远端位置并且通过网络连接至其他元件。
尽管图7.2中未示出，但该节点可对应于服务器机箱中的叶片(blade)，其经由背板连接至其他节点。示意性地，该节点可对应于数据中心的服务器。示意性地，该节点可对应于计算机处理器或者具有共享存储器和/或资源的计算机处理器的微内核。
网络720中的节点(例如，节点X722、节点Y724)可被配置为向客户端装置726提供服务。例如，该节点可为云端计算系统的一部分。该节点可包括从客户端装置726接收请求并且向客户端装置726发送回应的功能。客户端装置726可为计算系统，比如图7.1所示的计算系统。而且，客户端装置726可包括和/或执行本发明的一个或多个实施例的全部或一部分。
图7.1和图7.2中描绘的计算系统或计算系统的组可包括执行在此公开的各种操作的功能。例如，该计算系统可执行相同或不同系统上程序之间的通讯。采用相同形式的被动或主动通讯的各种各样的机构可利于相同装置上程序之间的数据交换。这些程序间通讯的代表性示例包括但不限于：档案、信号、插口、消息队列、传输线路、信号(semaphore)、共享存储器、消息传递以及存储器映射档的实施方式。
图7.1中的计算系统可实施和/或可被连接至数据储存库。例如，数据储存库的一个示例为数据库。数据库是被配置为易于数据检索、修改、重新组织和/或删除的信息的集合。数据库管理系统(DBMS)是一种向使用者提供定义、创建、查询、更新或管理数据库的界面的软件应用程序。
使用者或软件应用程序可向DBMS提交叙述或查询。然后，DBMS解读该叙述。该叙述可为用于请求信息的选择叙述、更新叙述、创建叙述、删除叙述等等。此外，该叙述可包括指定数据或数据容器(数据库、表格、记录、栏、视图等等)、标识符、状态(比较运算符)、函数(例如，联集、全联集、计数、取平均等等)、排序(例如，升序、降序)等等的参数。DBMS可运行该叙述。例如，DBMS可访问记忆体缓冲、参照或索引档以进行读取、写入、删除或其组合，以用于应答该叙述。DBMS可从永久或非永久存储器加载数据，并且执行运算以应答该查询。DBMS可将结果返回给使用者或软件应用程序。
上述功能描述仅为图7.1中计算系统和图7.2中节点和/或客户端装置执行的功能的少数示例。使用本发明的一个或多个实施例，还可执行其他功能。
虽然已参照有限的实施例描述了本发明，但受益于本公开的所属技术领域中具有通常知识者在不脱离在此公开的本发明的范围的前提下还可构想出其他实施例。因此，本发明的范围应仅由随附权利要求限定。

Claims (20)

1.一种用于目标追踪的方法，包括：
周期性地抓取场景的图像序列，所述图像序列的帧率与光源的占空比和/或重复率相配合，所述图像序列包含连贯的图像或具有固定间隔的一对图像，且图像序列中包含设定的特定局部光变化，以使得连贯的图像或者具有固定间隔的一对图像包括交替的亮级和暗级，和/或交替的光波长；
基于沿该图像序列的设定的特定局部光变化的模式，通过硬件处理器检测该场景中的光源，所述光源的检测方式为对图像序列中包含的连贯图像或具有固定间隔的一对图像进行比较，将存在交替的亮级和暗级差异，和/或存在交替的波长差异的像素选定为该图像中光源位置的一部分；
回应于检测到该光源，通过该硬件处理器将该图像序列中至少一个图像中光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及
基于该结果，通过该硬件处理器生成控制信号以改变相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，
其中，该光源被配置为产生目标识别码。
2.如权利要求1所述的方法，
其中，该光源是选自由以下群组中的至少一个：附接在该场景中物体上的局部光发射器，以及回应于与该物体分离的远程光发射器而发射物体反射光的该物体的反射区域，及
其中，沿该图像序列的该局部光变化的模式是通过选自由以下群组中的至少一个产生的：该局部光发射器、该远程光发射器，以及该反射区域的几何反射图案。
3.如权利要求1所述的方法，其中，该局部光变化的模式包括选自由以下群组中的至少一个：光强度变化、光波长变化、光强度变化的重复率，以及光波长变化的重复率。
4.如权利要求1所述的方法，所述方法还包括：
从该局部光变化的模式中提取该目标识别码；以及
从与该场景中的多个物体相关联的多个光源中，基于该提取的目标识别码识别该检测到的光源，从而从该些物体中选定该物体。
5.如权利要求4所述的方法：
将该控制信号发送给安装有该相机装置的相机装置支座；
回应于发送该控制信号，检测该目标位置与该光源在该视场内的实质对准；以及
使用该相机装置并且回应于检测到该实质对准，进一步抓取该场景的额外图像，
其中，该选定的物体在该额外图像中显现于该目标位置。
6.如权利要求1所述的方法，所述方法还包括：
分析该图像序列以确定该至少一个图像中该光源的位置以及该光源沿该图像序列的运动，
其中，还基于该运动生成该控制信号。
7.如权利要求5所述的方法，其中，该图像序列和该额外图像是录像中视频帧序列的一部分。
8.一种用于相机装置的追踪控制系统，包括：
计算机处理器；以及
存储器，该存储器储存指令，当执行该指令时，引起该计算机处理器：
周期性地抓取场景的图像序列，所述图像序列的帧率与光源的占空比和/或重复率相配合，所述图像序列包含连贯的图像或具有固定间隔的一对图像，且图像序列中包含设定的特定局部光变化，以使得连贯的图像或者具有固定间隔的一对图像包括交替的亮级和暗级，和/或交替的光波长；
基于沿该图像序列的设定的特定局部光变化的模式，检测该场景中的光源，所述光源的检测方式为对图像序列中包含的连贯图像或具有固定间隔的一对图像进行比较，将存在交替的亮级和暗级差异，和/或存在交替的波长差异的像素选定为该图像中光源位置的一部分；
回应于检测到该光源，将该图像序列中至少一个图像中光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及
基于该结果生成控制信号以改变相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，
其中，该光源被配置为产生目标识别码。
9.如权利要求8所述的系统，
其中，该光源是选自由以下群组中的至少一个：附接在该场景中物体上的局部光发射器，以及回应于与该物体分离的远程光发射器而发射物体反射光的该物体的反射区域，及
其中，沿该图像序列的该局部光变化的模式是通过选自由以下群组中的至少一个产生的：该局部光发射器、该远程光发射器，以及该反射区域的几何反射图案。
10.如权利要求8所述的系统，其中，该局部光变化的模式包括选自由以下群组中的至少一个：光强度变化、光波长变化、光强度变化的重复率，以及光波长变化的重复率。
11.如权利要求8所述的系统，其中，当执行该指令时，还使该计算机处理器：
从该局部光变化的模式中提取该目标识别码；以及
从与该场景中的多个物体相关联的多个光源中，基于该提取的目标识别码识别该检测到的光源，从而从该些物体中选定该物体。
12.如权利要求11所述的系统，其中，当执行该指令时，还使该计算机处理器：
将该控制信号发送给安装有该相机装置的相机装置支座；
回应于发送该控制信号，检测该目标位置与该光源在该视场内的实质对准；以及
使用该相机装置并且回应于检测到该实质对准，进一步抓取该场景的额外图像，
其中，该选定的物体在该额外图像中显现于该目标位置。
13.如权利要求8所述的系统，其中，当执行该指令时，还使该计算机处理器：
分析该图像序列以确定该至少一个图像中该光源的位置，以及该光源沿该图像序列的运动，
其中，还基于该运动生成该控制信号。
14.如权利要求12所述的系统，其中，该图像序列和该额外图像是录像中视频帧序列的一部分。
15.一种非瞬时计算机可读介质，储存用于目标追踪的指令，当由计算机处理器运行时，该指令包括以下功能：
周期性地抓取场景的图像序列，所述图像序列的帧率与光源的占空比和/或重复率相配合，所述图像序列包含连贯的图像或具有固定间隔的一对图像，且图像序列中包含设定的特定局部光变化，以使得连贯的图像或者具有固定间隔的一对图像包括交替的亮级和暗级，和/或交替的光波长；
基于沿该图像序列的设定的特定局部光变化的模式，检测该场景中的光源，所述光源的检测方式为对图像序列中包含的连贯图像或具有固定间隔的一对图像进行比较，将存在交替的亮级和暗级差异，和/或存在交替的波长差异的像素选定为该图像中光源位置的一部分；
回应于检测到该光源，将该图像序列中至少一个图像中光源的位置与该至少一个图像内的目标位置进行比较以生成结果；以及
基于该结果生成控制信号以改变相机装置的视场，从而使得该光源与该目标位置在该视场内实质地对准，
其中，该光源被配置为产生目标识别码。
16.如权利要求15所述的非瞬时计算机可读介质，
其中，该光源是选自由以下群组中的至少一个：附接在该场景中物体上的局部光发射器，以及回应于与该物体分离的远程光发射器而发射物体反射光的该物体的反射区域，并且
其中，沿该图像序列的该局部光变化的模式是通过选自由以下群组中的至少一个产生的：该局部光发射器、该远程光发射器，以及该反射区域的几何反射图案。
17.如权利要求15所述的非瞬时计算机可读介质，其中，该局部光变化的模式包括选自由以下群组中的至少一个：光强度变化、光波长变化、光强度变化的重复率，以及光波长变化的重复率。
18.如权利要求15所述的非瞬时计算机可读介质，其中，当由计算机处理器运行时，该指令还包括以下功能：
从该局部光变化的模式中提取该目标识别码；以及
从与该场景中的多个物体相关联的多个光源中，基于该提取的目标识别码识别该检测到的光源，从而从该些物体中选定该物体。
19.如权利要求18所述的非瞬时计算机可读介质，其中，当由计算机处理器运行时，该指令还包括以下功能：
将该控制信号发送给安装有该相机装置的相机装置支座；
回应于发送该控制信号，检测该目标位置与该光源在该视场内的实质对准；以及
使用该相机装置并且回应于检测到该实质对准，进一步抓取该场景的额外图像，
其中，该选定的物体在该额外图像中显现于该目标位置。
20.如权利要求15所述的非瞬时计算机可读介质，其中，当由计算机处理器运行时，该指令还包括以下功能：
分析该图像序列以确定该至少一个图像中该光源的位置以及该光源沿该图像序列的运动，
其中，还基于该运动生成该控制信号。
CN201880046775.9A 2017-07-18 2018-07-18 使用目标识别码的智能目标追踪 Active CN110915194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/093439 WO2019014861A1 (en) 2017-07-18 2017-07-18 INTELLIGENT FOLLOWING OF OBJECTS
CNPCT/CN2017/093439 2017-07-18
PCT/CN2018/096166 WO2019015616A1 (en) 2017-07-18 2018-07-18 INTELLIGENT OBJECT TRACKING USING AN OBJECT IDENTIFICATION CODE

Publications (2)

Publication Number Publication Date
CN110915194A CN110915194A (zh) 2020-03-24
CN110915194B true CN110915194B (zh) 2021-06-25

Family

ID=63633645

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780006137.XA Active CN108605081B (zh) 2017-07-18 2017-07-18 智能目标追踪
CN201880046775.9A Active CN110915194B (zh) 2017-07-18 2018-07-18 使用目标识别码的智能目标追踪
CN201880046774.4A Active CN110914638B (zh) 2017-07-18 2018-07-18 使用反射光源的智能物体追踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780006137.XA Active CN108605081B (zh) 2017-07-18 2017-07-18 智能目标追踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880046774.4A Active CN110914638B (zh) 2017-07-18 2018-07-18 使用反射光源的智能物体追踪

Country Status (6)

Country Link
US (3) US10587813B2 (zh)
EP (1) EP3656118A4 (zh)
JP (1) JP6856914B2 (zh)
CN (3) CN108605081B (zh)
TW (3) TWI721290B (zh)
WO (3) WO2019014861A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11364637B2 (en) * 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
EP3656118A4 (en) 2017-07-18 2021-03-03 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
TWM560035U (zh) * 2017-11-13 2018-05-11 鄭宇傑 影像追蹤裝置
US11402730B2 (en) * 2018-06-19 2022-08-02 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device holder with stablization
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
WO2020118624A1 (en) * 2018-12-13 2020-06-18 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
US11831906B2 (en) * 2019-01-02 2023-11-28 Hangzhou Taro Positioning Technology Co., Ltd. Automated film-making using image-based object tracking
US11900616B2 (en) 2019-01-08 2024-02-13 Hangzhou Taro Positioning Technology Co., Ltd. Determining region-of-interest of an object using image-based object tracking
CN113196737B (zh) * 2019-01-09 2022-10-11 杭州他若定位科技有限公司 使用基于图像的对象跟踪进行定向声音捕获
CN111213368B (zh) * 2019-05-23 2021-07-13 深圳市瑞立视多媒体科技有限公司 刚体识别方法、装置、系统及终端设备
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
KR102216968B1 (ko) * 2019-09-06 2021-02-18 주식회사 원더풀플랫폼 크래들을 이용한 도우미 시스템
KR102303268B1 (ko) * 2020-01-20 2021-09-17 주식회사 원더풀플랫폼 크래들의 구동패턴을 이용한 도우미 시스템
TWI772830B (zh) * 2020-07-02 2022-08-01 黑快馬股份有限公司 具有畫面穩定功能的跟拍系統及具有畫面穩定功能的跟拍方法
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法
CN111830520B (zh) * 2020-07-09 2023-08-04 广东诚浩工程项目管理有限公司 一种工程建设监理质量验收实测实量装置及方法
US11165969B1 (en) * 2020-08-03 2021-11-02 Sky Castle Toys LLC System and method for adding auxiliary lights to a camera to create fluorescence in selected features of a captured image
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
WO2022188733A1 (en) * 2021-03-08 2022-09-15 Hangzhou Taro Positioning Technology Co., Ltd. Scenario triggering and interaction based on target positioning and identification
CN114964183B (zh) * 2022-07-28 2022-10-25 金田产业发展(山东)集团有限公司 一种便携式定位导航工程勘测装置
US12242672B1 (en) 2022-10-21 2025-03-04 Meta Platforms Technologies, Llc Triggering actions based on detected motions on an artificial reality device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460187A (zh) * 2001-03-28 2003-12-03 皇家菲利浦电子有限公司 用于在自动视频跟踪系统中选择目标的方法
CN1466372A (zh) * 2002-07-05 2004-01-07 北京创先泰克科技有限公司 自动跟踪运动目标的系统和实现方法
CN102360423A (zh) * 2011-10-19 2012-02-22 丁泉龙 一种人体智能跟踪方法
CN103634509A (zh) * 2012-08-30 2014-03-12 苏州翔合智能科技有限公司 自动追踪录制方法及系统
CN103677237A (zh) * 2012-09-20 2014-03-26 原相科技股份有限公司 对象追踪装置及其控制方法
CN103810695A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种光源定位方法及装置
CN105169717A (zh) * 2015-07-22 2015-12-23 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
WO1994029670A1 (fr) * 1993-06-10 1994-12-22 Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho Appareil pour mesurer la position d'un objet en mouvement
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
US6587183B1 (en) * 1998-05-25 2003-07-01 Matsushita Electric Industrial Co., Ltd. Range finder and camera
JP2000165850A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd 移動体追尾装置
JP2001305645A (ja) * 2000-04-21 2001-11-02 Fuji Photo Film Co Ltd カメラ及び雲台装置
TW543323B (en) * 2000-10-03 2003-07-21 Jestertek Inc Multiple camera control system
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
US20020171754A1 (en) * 2001-05-18 2002-11-21 I-Jen Lai Digital camera with multi-illuminating source
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR100459179B1 (ko) * 2002-04-16 2004-12-03 엘지전자 주식회사 횡류팬
JP4284949B2 (ja) * 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
US7847234B2 (en) * 2003-08-06 2010-12-07 The United States Of America As Represented By The Secretary Of The Army Method and system for observing a subject at a first location based upon quantum properties measured at a second location
KR100565318B1 (ko) * 2003-12-15 2006-03-30 엘지전자 주식회사 카메라폰의 촬영 안내 방법 및 장치
US7078672B2 (en) * 2004-01-16 2006-07-18 Tong Xie Method and system for optically tracking a target using interferometric technique
WO2005109859A2 (en) * 2004-05-01 2005-11-17 Eliezer Jacob Digital camera with non-uniform image resolution
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
WO2006085834A1 (en) * 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
EP2186337A4 (en) * 2007-08-08 2011-09-28 Tony Mayer NONTRETRO-REFLECTIVE NUMBER PLATE PICTURE SYSTEM
WO2009046763A1 (en) * 2007-10-10 2009-04-16 Trimble Jena Gmbh Surveying apparatus for tracking and surveying an object
CN100538723C (zh) * 2007-10-26 2009-09-09 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别系统
JP5261684B2 (ja) * 2007-11-27 2013-08-14 スタンレー電気株式会社 ストロボ装置
JP5150229B2 (ja) 2007-12-07 2013-02-20 株式会社トプコン 測量システム
JP5060358B2 (ja) * 2008-03-25 2012-10-31 株式会社トプコン 測量システム
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP4725821B2 (ja) * 2008-08-05 2011-07-13 アイシン精機株式会社 ターゲット位置特定装置
EP2194399A1 (de) * 2008-12-03 2010-06-09 Leica Geosystems AG Positionsbestimmungsverfahren und geodätisches Vermessungssystem
CN101494737B (zh) * 2009-03-09 2011-04-20 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
CN106774880B (zh) * 2010-12-22 2020-02-21 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
JP2012149888A (ja) * 2011-01-14 2012-08-09 Ricoh Co Ltd 光検出装置及び光検出方法
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控系统
US8605205B2 (en) * 2011-08-15 2013-12-10 Microsoft Corporation Display as lighting for photos or video
EP2570769A1 (de) * 2011-09-13 2013-03-20 Hexagon Technology Center GmbH Geodätisches Vermessungssystem und Verfahren mit multipler Zielverfolgungsfunktionalität
US8953094B2 (en) * 2011-11-10 2015-02-10 Apple Inc. Illumination system
US8653427B2 (en) * 2011-12-17 2014-02-18 Raytheon Company Digital semi-active laser receiver tracking of multiple line-of-sight (LOS) objects
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
US9283677B2 (en) * 2012-04-05 2016-03-15 Rethink Robotics, Inc. Visual indication of target tracking
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
WO2014046968A1 (en) * 2012-09-19 2014-03-27 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
US9697427B2 (en) * 2014-01-18 2017-07-04 Jigabot, LLC. System for automatically tracking a target
EP2765388B1 (de) * 2013-02-08 2018-10-17 Hexagon Technology Center GmbH Mobiler Feld-Controller zur Messung und Fernsteuerung
CN103383446B (zh) * 2013-04-09 2017-07-07 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
EP2827099A1 (de) * 2013-07-16 2015-01-21 Leica Geosystems AG Lasertracker mit Zielsuchfunktionalität
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN106537252B (zh) * 2014-05-06 2020-03-06 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
US11041718B2 (en) * 2014-07-08 2021-06-22 Basf Se Detector for determining a position of at least one object
DE102014109701A1 (de) * 2014-07-10 2016-01-14 Epcos Ag Sensor
US10455137B2 (en) * 2014-07-28 2019-10-22 Orbotech Ltd. Auto-focus system
US10609273B2 (en) * 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
US9992396B1 (en) * 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
EP3064898B1 (de) 2015-03-04 2019-12-18 Leica Geosystems AG Vermessungsgerät mit Feinanzielungs- bzw. Zielverfolgungsfunktionalität
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104834903B (zh) * 2015-04-24 2018-04-27 深圳先牛信息技术有限公司 用于移动设备的双眼虹膜图像采集装置
CN105184776B (zh) * 2015-08-17 2018-09-28 中国测绘科学研究院 目标跟踪方法
WO2017070629A1 (en) * 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
JP7210280B2 (ja) * 2015-11-04 2023-01-23 マジック リープ， インコーポレイテッド ライトフィールドディスプレイの計測
JP6604509B2 (ja) * 2015-12-17 2019-11-13 カシオ計算機株式会社 撮像装置、被写体追尾方法、及びプログラム
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN105611127A (zh) * 2015-12-28 2016-05-25 天津鼎视汇达科技有限公司 红外球机智能补光系统
US10341629B2 (en) * 2016-06-30 2019-07-02 Hipcam Ltd. Touch screen WiFi camera
CN106412324B (zh) * 2016-10-17 2020-02-14 深圳市爱派赛科技有限公司 提示对焦对象的装置及方法
CN106341610A (zh) * 2016-11-25 2017-01-18 广东欧珀移动通信有限公司 拍照方法及移动终端
EP3656118A4 (en) * 2017-07-18 2021-03-03 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460187A (zh) * 2001-03-28 2003-12-03 皇家菲利浦电子有限公司 用于在自动视频跟踪系统中选择目标的方法
CN1466372A (zh) * 2002-07-05 2004-01-07 北京创先泰克科技有限公司 自动跟踪运动目标的系统和实现方法
CN102360423A (zh) * 2011-10-19 2012-02-22 丁泉龙 一种人体智能跟踪方法
CN103634509A (zh) * 2012-08-30 2014-03-12 苏州翔合智能科技有限公司 自动追踪录制方法及系统
CN103677237A (zh) * 2012-09-20 2014-03-26 原相科技股份有限公司 对象追踪装置及其控制方法
CN103810695A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种光源定位方法及装置
CN105169717A (zh) * 2015-07-22 2015-12-23 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法

Also Published As

Publication number Publication date
US11190701B2 (en) 2021-11-30
WO2019014861A1 (en) 2019-01-24
US11122210B2 (en) 2021-09-14
EP3656118A1 (en) 2020-05-27
TWI716708B (zh) 2021-01-21
US20200151887A1 (en) 2020-05-14
EP3656118A4 (en) 2021-03-03
WO2019015614A1 (en) 2019-01-24
US20190082112A1 (en) 2019-03-14
TWI716707B (zh) 2021-01-21
TWI721290B (zh) 2021-03-11
TW201908859A (zh) 2019-03-01
US20200154036A1 (en) 2020-05-14
TW201913245A (zh) 2019-04-01
CN110915194A (zh) 2020-03-24
CN110914638B (zh) 2021-11-26
TW201913171A (zh) 2019-04-01
JP2020526853A (ja) 2020-08-31
JP6856914B2 (ja) 2021-04-14
WO2019015616A1 (en) 2019-01-24
CN108605081A (zh) 2018-09-28
CN110914638A (zh) 2020-03-24
CN108605081B (zh) 2020-09-01
US10587813B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
CN110915194B (zh) 使用目标识别码的智能目标追踪
US11831906B2 (en) Automated film-making using image-based object tracking
CN112313576B (zh) 具有稳定功能的相机移动设备支架
US11900616B2 (en) Determining region-of-interest of an object using image-based object tracking
CN112292686B (zh) 检测双波段红外光源以进行对象跟踪
US11991445B2 (en) Camera mobile device stabilization using a high frame rate auxiliary imaging element
WO2022188733A1 (en) Scenario triggering and interaction based on target positioning and identification
US11364637B2 (en) Intelligent object tracking
US20200213524A1 (en) Intelligent object tracking
CN113196737B (zh) 使用基于图像的对象跟踪进行定向声音捕获

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant