[go: up one dir, main page]

CN108734739A - 用于时间对齐标定、事件标注、数据库生成的方法及装置 - Google Patents

用于时间对齐标定、事件标注、数据库生成的方法及装置 Download PDF

Info

Publication number
CN108734739A
CN108734739A CN201710278061.8A CN201710278061A CN108734739A CN 108734739 A CN108734739 A CN 108734739A CN 201710278061 A CN201710278061 A CN 201710278061A CN 108734739 A CN108734739 A CN 108734739A
Authority
CN
China
Prior art keywords
target object
time
template
event
event stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710278061.8A
Other languages
English (en)
Inventor
刘伟恒
邹冬青
石峰
李佳
柳贤锡
禹周延
王强
李贤九
朴根柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201710278061.8A priority Critical patent/CN108734739A/zh
Priority to US15/665,222 priority patent/US20180308253A1/en
Priority to KR1020180032861A priority patent/KR20180119476A/ko
Publication of CN108734739A publication Critical patent/CN108734739A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提供一种用于时间对齐标定、事件标注、数据库生成的方法及装置。所述时间对齐标定方法包括：(A)获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；(B)从所述视频图像中确定表现目标对象显著运动的关键帧；(C)将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板；(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。

Description

用于时间对齐标定、事件标注、数据库生成的方法及装置
技术领域
本发明总体说来涉及动态视觉传感器(Dynamic vision sensor，DVS)领域，更具体地讲，涉及一种时间对齐标定方法及装置、一种事件标注方法及装置、一种数据库生成方法及装置。
背景技术
和传统的基于帧的视觉传感器不同，DVS是一种时域上连续成像的视觉传感器，其时间分辨率能够达到1us。DVS的输出是一系列事件(event)，包括事件在成像平面上的水平坐标、垂直坐标、极性(polarity)和时间戳(timestamp)。同时DVS是一种差分成像传感器，仅对光线变化有响应，因此，其能耗相对于普通视觉传感器要低，同时其光照敏感度相对于普通视觉传感器要高。基于上述特点，DVS可以解决传统视觉传感器不能解决的问题，也带来新的挑战。
不同的视觉传感器之间存在相对位置和相对时间的偏差，这种偏差会破坏多视觉传感器时空一致性的假设。所以多视觉传感器间的时空标定是分析和融合不同视觉传感器的信号的基础。
发明内容
本发明的示例性实施例在于提供一种用于时间对齐标定、事件标注、数据库生成的方法及装置，其能够实现动态视觉传感器与基于图像帧的视觉传感器之间的时间对齐标定、实现对动态视觉传感器输出的事件流中的事件进行标注、生成面向动态视觉传感器的数据库。
根据本发明的示例性实施例，提供一种时间对齐标定方法，包括：(A)获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；(B)从所述视频图像中确定表现目标对象显著运动的关键帧；(C)按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
可选地，所述时间对齐标定方法还包括：(F)在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，或者，(G)在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。
可选地，与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
可选地，在步骤(F)中，利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
可选地，所述预定时间长度小于等于所述视频图像的相邻帧间的时间间隔，其中，所述时间对齐标定方法还包括：沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，或者，根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
可选地，所述目标对象的有效像素位置是目标对象在帧中所占的像素位置，或者是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
可选地，步骤(D)包括：确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板，或者，将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
可选地，所述辅助视觉传感器是深度视觉传感器，所述视频图像是深度图像。
可选地，动态视觉传感器的镜头被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
可选地，动态视觉传感器与辅助视觉传感器之间的空间相对关系，基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定。
根据本发明的另一示例性实施例，提供一种事件标注方法，包括：(A)通过上述时间对齐标定方法来标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系；(B)获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像；(C)针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板；(D)将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点附近的时间段。
可选地，将事件按照所对应的标签模板进行标注的步骤包括：按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。
可选地，标签模板所对应的时间段是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点为中间时刻，具有预定时间长度的时间段。
可选地，当预定时间长度小于视频图像的相邻帧间的时间间隔时，步骤(D)还包括：针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
可选地，步骤(C)还包括：预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。
根据本发明的另一示例性实施例，提供一种数据库生成方法，包括：(A)通过上述事件标注方法来对拍摄的待标注对象的事件流中的事件进行标注；(B)存储标注后的事件流，以形成面向动态视觉传感器的数据库。
根据本发明的另一示例性实施例，提供一种时间对齐标定装置，包括：获取单元，获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；关键帧确定单元，从所述视频图像中确定表现目标对象显著运动的关键帧；模板形成单元，按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；确定单元，从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；标定单元，将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
可选地，确定单元在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，或者，确定单元在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。
可选地，与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
可选地，确定单元利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
可选地，所述预定时间长度小于等于所述视频图像的相邻帧间的时间间隔，其中，所述时间对齐标定装置还包括：事件流段获取单元，沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，或者，根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
可选地，所述目标对象的有效像素位置是目标对象在帧中所占的像素位置，或者是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
可选地，确定单元确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板，或者，确定单元将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
可选地，所述辅助视觉传感器是深度视觉传感器，所述视频图像是深度图像。
可选地，动态视觉传感器的镜头被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
可选地，动态视觉传感器与辅助视觉传感器之间的空间相对关系，基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定。
根据本发明的另一示例性实施例，提供一种事件标注装置，包括：上述时间对齐标定装置，标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系；获取单元，获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像；模板形成单元，针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板；标注单元，将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点附近的时间段。
可选地，标注单元按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。
可选地，标签模板所对应的时间段是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点为中间时刻，具有预定时间长度的时间段。
可选地，当预定时间长度小于视频图像的相邻帧间的时间间隔时，标注单元还针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
可选地，模板形成单元还预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。
根据本发明的另一示例性实施例，提供一种数据库生成装置，包括：上述事件标注装置，对拍摄的待标注对象的事件流中的事件进行标注；存储单元，存储标注后的事件流，以形成面向动态视觉传感器的数据库。
在根据本发明示例性实施例的用于时间对齐标定、事件标注、数据库生成的方法及装置中，能够实现动态视觉传感器与基于图像帧的视觉传感器之间的时间对齐标定、实现对动态视觉传感器输出的事件流中的事件进行标注、生成面向动态视觉传感器的数据库。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的时间对齐标定方法的流程图；
图2示出根据本发明示例性实施例的确定第一目标对象模板的示例；
图3示出根据本发明的另一示例性实施例的时间对齐标定方法的流程图；
图4示出根据本发明的另一示例性实施例的时间对齐标定方法的流程图；
图5示出根据本发明示例性实施例的确定第二目标对象模板的示例；
图6示出根据本发明示例性实施例的第二目标对象模板相较于第一目标对象模板覆盖事件的效果；
图7示出根据本发明示例性实施例的第二目标对象模板相较于第一目标对象模板覆盖事件的效果；
图8示出根据本发明示例性实施例的事件标注方法的流程图；
图9示出根据本发明示例性实施例的数据库生成方法的流程图；
图10示出根据本发明示例性实施例的时间对齐标定装置的框图；
图11示出根据本发明示例性实施例的事件标注装置的框图；
图12示出根据本发明示例性实施例的数据库生成装置的框图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1示出根据本发明示例性实施例的时间对齐标定方法的流程图。
参照图1，在步骤S101，获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像。同时使用动态视觉传感器和辅助视觉传感器来拍摄目标对象，获取动态视觉传感器拍摄的事件流和辅助视觉传感器拍摄的视频图像。
应该理解，辅助视觉传感器可以是各种类型的基于图像帧的视觉传感器。作为优选示例，辅助视觉传感器可以是深度视觉传感器，拍摄的视频图像可以是深度图像。
进一步地，作为优选示例，动态视觉传感器的镜头可被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。例如，如果同时拍摄目标对象时辅助视觉传感器的红外光发射器对动态视觉传感器的成像质量造成影响，则动态视觉传感器的镜头可被附着红外滤波器。
在步骤S102，从所述视频图像中确定表现目标对象显著运动的关键帧。
应该理解，可使用各种适合的方法来确定视频图像中目标对象显著运动时的关键帧。作为示例，可基于视频图像(例如，各帧中目标对象的位置)来确定各帧中目标对象的运动状态，然后确定表现目标对象显著运动的关键帧。
作为示例，可从辅助视觉传感器获知视频图像中表现目标对象显著运动的关键帧(即，由辅助视觉传感器来确定关键帧)，然后从视频图像中确定表现目标对象显著运动的关键帧。或者，可从辅助视觉传感器获知视频图像中目标对象的运动状态(即，由辅助视觉传感器来检测视频图像中目标对象的运动状态)，然后基于获知的视频图像中目标对象的运动状态来确定表现目标对象显著运动的关键帧。例如，当辅助视觉传感器是深度视觉传感器时，辅助视觉传感器可根据拍摄的目标对象的深度图像来计算视频图像中目标对象的运动状态。
在步骤S103，按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板。
应该理解，每个目标对象模板与一个帧对应，每个目标对象模板所覆盖的成像平面中的像素位置包括：对应的帧中目标对象的有效像素位置映射到动态视觉传感器的成像平面上，所对应的像素位置。
作为示例，目标对象的有效像素位置可以是目标对象在帧中所占的像素位置。作为另一示例，目标对象的有效像素位置可以是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。作为示例，可根据各种适合的算法来检测在各帧中目标对象的有效像素位置，也可从辅助视觉传感器获知在各帧中目标对象的有效像素位置(即，由辅助视觉传感器检测在各帧中目标对象的有效像素位置)。
作为示例，关键帧的邻近帧可以是关键帧以前的第一预定数量的帧和/或关键帧以后的第二预定数量的帧，其中，第一预定数量和第二预定数量可以相同或不同。
作为示例，可基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定动态视觉传感器与辅助视觉传感器之间的空间相对关系。例如，可通过张正友标定法等各种适合的标定方式来标定动态视觉传感器与辅助视觉传感器之间的空间相对关系。
在步骤S104，从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段。作为示例，所述预定时间长度可小于等于所述视频图像的相邻帧间的时间间隔。
作为示例，可沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段。作为另一示例，可根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系(即，动态视觉传感器与辅助视觉传感器之间的时间对齐关系的初始值)，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
作为示例，可先确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，然后确定对应的事件的数量最多的目标对象模板为第一目标对象模板。具体说来，每个事件可对应动态视觉传感器的成像平面上的一个像素位置，每个目标对象模板所覆盖的成像平面中的像素位置可包括：对应的帧中目标对象的有效像素位置映射到动态视觉传感器的成像平面上，所对应的像素位置，从而可确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量。
作为另一示例，可首先将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；然后确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
图2示出根据本发明示例性实施例的确定第一目标对象模板的示例。如图2所示，将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置，图2中的(A)-(F)分别示出关键帧及其邻近帧对应的目标对象模板所覆盖的像素位置与该投影位置的重叠情况，可以看出，图2中的(C)中的目标对象模板与投影位置的重叠最多，因此可确定该目标对象模板为第一目标对象模板；图2中的(F)中的目标对象模板与投影位置不发生重叠。
在步骤S105，将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。换言之，确定第一事件流段的中间时刻与覆盖第一事件流段中的事件最多的第一目标对象模板对应的帧的时间戳在时域上对齐，并将第一事件流段的中间时刻与第一目标对象模板对应的帧的时间戳的时间对齐关系作为动态视觉传感器与辅助视觉传感器之间时间对齐标定，从而对动态视觉传感器与辅助视觉传感器之间的时间差异进行标定。
这里，第一事件流段的中间时刻即第一事件流段的起始时间点(第一事件流段的起始事件的时间戳)和终止时间点(第一事件流段的终止事件的时间戳)的均值。
应该理解，在步骤S102，可从所述视频图像中确定表现目标对象显著运动的一个关键帧或多个关键帧。如果确定的是多个关键帧，则可分别针对每个关键帧执行步骤S103和步骤S104，然后在步骤S105中，基于针对每个关键帧确定的第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，来确定动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
根据本发明示例性实施例的时间对齐标定方法，考虑到动态视觉传感器仅对光照变化有响应，因此表现目标对象显著运动的关键帧的时间戳附近的事件流段会有强响应，该事件流段的事件会比较密集，从而能够提高时间对齐标定的精度。
作为优选示例，在步骤S104之后还可进一步进行时间精确对齐，以提高时间对齐的精度，从而提高时间对齐标定的精度。作为优选方式，以下将参照图3和图4来描述根据本发明的另一示例性实施例的时间对齐标定方法。
参照图3，根据本发明的另一示例性实施例的时间对齐标定方法除包括图1所示的步骤S101、步骤S102、步骤S103、步骤S104和步骤S105之外，还可包括步骤S106。步骤S101、步骤S102、步骤S103、步骤S104和步骤S105可参照根据图1描述的具体实施方式来实现，在此不再赘述。
在步骤S101，获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像。
在步骤S102，从所述视频图像中确定表现目标对象显著运动的关键帧。
在步骤S103，按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板。
在步骤S104，从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板。
在步骤S106，在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板。换言之，可先初步确定在时域上与第一事件流段粗略对齐的第一目标对象模板，然后再基于第一目标对象模板进行微调，来进一步确定与第一事件流段精确对齐的第二目标对象模板。
作为示例，与第一目标对象模板所对应的帧的时间戳邻近的时间点可包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
作为示例，可根据第一目标对象模板所对应的帧及其邻近帧中目标对象的有效像素位置，来预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时所生成的各个帧中目标对象的有效像素位置，然后再将预测的目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上以形成各个目标对象模板。作为另一示例，可根据第一目标对象模板及其所对应的帧的邻近帧的目标对象模板，来直接预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板。
作为优选示例，可利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
如图5所示，将第一事件流段中的事件转换到图像-时间三维坐标系下显示，图中的点即指示事件，T1为：目标对象模板(初始为第一目标对象模板)所对应的帧的时间戳，T2为：该目标对象模板所覆盖的第一事件流段中的事件(图5中的实线框内的点即指示被覆盖的事件)的时间戳的平均值，时间戳Meanshift的值为：T1-T2；第二次迭代时，将T2的值赋给T1：T1＇＝T2，T2＇为：时间戳为T1＇的帧所对应的目标对象模板所覆盖的第一事件流段中的事件的时间戳的平均值，循环迭代，直至时间戳Meanshift＝0，迭代停止；此时的T1值即为第二目标对象模板所对应的帧的时间戳。
图6和图7示出根据本发明示例性实施例的第二目标对象模板相较于第一目标对象模板覆盖事件的效果。如图6所示，将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置，目标对象为人手，可以看出，图6中的(B)示出的第二目标对象模板相较于图6中的(A)示出第一目标对象模板，能够与投影位置更好的重叠。图7中的(A)和(B)分别示出在图像-时间坐标系下，第一目标对象模板和第二目标对象模板覆盖第一事件流段中的事件的情况，可以看出，第二目标对象模板能够更好地覆盖第一事件流段中的事件。
在步骤S105，将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
如图4所示，根据本发明的另一示例性实施例的时间对齐标定方法除包括图1所示的步骤S101、步骤S102、步骤S103、步骤S104和步骤S105之外，还可包括步骤S107。步骤S101、步骤S102、步骤S103、步骤S104和步骤S105可参照根据图1描述的具体实施方式来实现，在此不再赘述。
在步骤S101，获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像。
在步骤S102，从所述视频图像中确定表现目标对象显著运动的关键帧。
在步骤S103，按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板。
在步骤S104，从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板。
在步骤S107，在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。换言之，先初步确定在时域上与第一目标对象模板粗略对齐的第一事件流段，然后再基于第一事件流段进行微调，来进一步确定与第一目标对象模板精确对齐的第二事件流段。
这里，与第一事件流段邻近的事件流段可以是与第一事件流段部分重叠的事件流段，也可以是第一事件流段附件的事件流段。
在步骤S105，将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
根据图3和图4示出的根据本发明的另一示例性实施例的时间对齐标定方法，能够进一步提高时域对齐的精度，达到微秒级(即，DVS的时间分辨率)时域对齐，从而能够满足事件级标注的需求。
图8示出根据本发明示例性实施例的事件标注方法的流程图。
参照图8，在步骤S201，通过上述示例性实施例之中的任一示例性实施例的时间对齐标定方法来标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
在步骤S202，获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像。应该理解，这里的动态视觉传感器和辅助视觉传感器为在步骤S201中被标定的同一动态视觉传感器和同一辅助视觉传感器。
在步骤S203，针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板。
作为示例，待标注对象的有效像素位置可以是待标注对象在帧中所占的像素位置。作为另一示例，待标注对象的有效像素位置可以是待标注对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
作为示例，待标注对象的各个有效像素位置的标签数据能够指示该有效像素位置对应于待标注对象或对应于待标注对象的某一具体部分。例如，如果待标注对象是人体，则有效像素位置的标签数据可指示该有效像素位置对应于人体或人体的具体部位(例如，手、头部等)。
作为示例，可根据各种适合的算法来检测在各帧中待标注对象的有效像素位置，也可从辅助视觉传感器获知在各帧中待标注对象的有效像素位置及各个有效像素位置的标签数据(即，由辅助视觉传感器检测在各帧中待标注对象的有效像素位置)。例如，当辅助视觉传感器是深度视觉传感器时，辅助视觉传感器可根据拍摄的人体的深度图像和人体骨骼数据，检测图像中的人手(待标注对象)的有效像素位置，并可赋予各个有效像素位置标签数据，以指示各个有效像素位置对应于人手。
此外，作为示例，还可预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。这里，每两个相邻帧的时间戳之间的各时间点可以是：每两个相邻帧的时间戳之间相隔一定时间间隔的各时间点。
在步骤S204，将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对应的时间点附近的时间段。
作为示例，标签模板所对应的时间段可以是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对应的时间点为中间时刻，具有预定时间长度的时间段。这里，预定时间长度即参照图1、图3、图4描述的示例性实施例的时间对齐标定方法中的预定时间长度。
具体说来，每个事件可对应动态视觉传感器的成像平面上的一个像素位置，每个标签模板所覆盖的成像平面中的像素位置可包括：对应的帧中待标注对象的有效像素位置映射到动态视觉传感器的成像平面上，所对应的像素位置，从而可确定像素位置被标签模板所覆盖的事件。
此外，作为示例，可当预定时间长度小于视频图像的相邻帧间的时间间隔时，针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
作为示例，将事件按照所对应的标签模板进行标注的步骤可包括：按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。例如，可直接将事件标注为所对应的标签模板中与该事件相同的像素位置的标签数据。
作为示例，在上述示例性实施例中，目标对象可以是待标注对象本身。即，可先基于待标注对象进行动态视觉传感器与辅助视觉传感器之间的时间对齐标定，然后直接基于待标注对象进行事件标注。也可先基于目标对象进行动态视觉传感器与辅助视觉传感器之间的时间对齐标定，然后再基于待标注对象进行事件标注。
根据本发明示例性实施例的事件标注方法，能够实现自动标注事件，且相较于现有的事件标注方式速度更快、精度更高。
图9示出根据本发明示例性实施例的数据库生成方法的流程图。
参照图9，在步骤S301，通过上述示例性实施例之中的任一示例性实施例的事件标注方法来对拍摄的待标注对象的事件流中的事件进行标注。
在步骤S302，存储标注后的事件流，以形成面向动态视觉传感器的数据库。
作为示例，可使用多个动态视觉传感器和一个辅助视觉传感器来同时拍摄待标注对象，以更快速有效地形成面向动态视觉传感器的数据库。具体说来，不同的动态视觉传感器的镜头上可附着不同的光线衰减器，以分别模拟不同光照环境下拍摄的待标注对象的事件流，然后针对每个动态视觉传感器和辅助视觉传感器，分别执行步骤S301和步骤S302。此外，应该理解，也可使用多个动态视觉传感器和多个辅助视觉传感器来同时拍摄待标注对象、使用一个动态视觉传感器和多个辅助视觉传感器来同时拍摄待标注对象，以更快速有效地形成面向动态视觉传感器的数据库。
根据本发明示例性实施例的数据库生成方法，利用DVS和现有成熟视觉传感器进行组合，通过自动时域对齐和自动事件标注，可以快速、准确地生成面向DVS的事件流数据库。
图10示出根据本发明示例性实施例的时间对齐标定装置的框图。
如图10所示，根据本发明示例性实施例的时间对齐标定装置100包括：获取单元101、关键帧确定单元102、模板形成单元103、确定单元104和标定单元105。
获取单元101用于获取同时由动态视觉传感器拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像。
作为示例，所述辅助视觉传感器可以是深度视觉传感器，所述视频图像可以是深度图像。
作为示例，动态视觉传感器的镜头可被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
此外，作为示例，获取单元101还可使用滤波器对获取的事件流进行滤波处理，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
关键帧确定单元102用于从所述视频图像中确定表现目标对象显著运动的关键帧。
模板形成单元103用于按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板。
作为示例，所述目标对象的有效像素位置可以是目标对象在帧中所占的像素位置，或者可以是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
作为示例，动态视觉传感器与辅助视觉传感器之间的空间相对关系，可基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定。
确定单元104用于从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段。作为示例，所述预定时间长度可小于等于所述视频图像的相邻帧间的时间间隔。
作为示例，根据本发明示例性实施例的时间对齐标定装置100还可包括：事件流段获取单元(未示出)，事件流段获取单元用于沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，或者，根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
作为示例，确定单元104可确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板。
作为另一示例，确定单元104可将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
标定单元105用于将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
作为示例，确定单元104还可在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板。
作为示例，与第一目标对象模板所对应的帧的时间戳邻近的时间点可包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
作为示例，确定单元104可利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
作为另一示例，确定单元104还可在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。
应该理解，根据本发明示例性实施例的时间对齐标定装置100的具体实现方式可参照结合图1-7描述的相关具体实现方式来实现，在此不再赘述。
图11示出根据本发明示例性实施例的事件标注装置的框图。如图11所示，根据本发明示例性实施例的事件标注装置200包括：时间对齐标定装置100、获取单元201、模板形成单元202、标注单元203。
时间对齐标定装置100用于标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
获取单元201用于获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像。
模板形成单元202用于针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板。
作为示例，模板形成单元202还可预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。
标注单元203用于将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点附近的时间段。
作为示例，标签模板所对应的时间段可以是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点为中间时刻，具有预定时间长度的时间段。
作为示例，当预定时间长度小于视频图像的相邻帧间的时间间隔时，标注单元203还可针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
作为示例，标注单元203可按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。
应该理解，根据本发明示例性实施例的事件标注装置200的具体实现方式可参照结合图8描述的相关具体实现方式来实现，在此不再赘述。
图12示出根据本发明示例性实施例的数据库生成装置的框图。如图12所示，根据本发明示例性实施例的数据库生成装置300包括：事件标注装置200、存储单元301。
事件标注装置200用于对拍摄的待标注对象的事件流中的事件进行标注。
存储单元301用于存储标注后的事件流，以形成面向动态视觉传感器的数据库。
应该理解，根据本发明示例性实施例的数据库生成装置300的具体实现方式可参照结合图9描述的相关具体实现方式来实现，在此不再赘述。
根据本发明示例性实施例的用于时间对齐标定、事件标注、数据库生成的方法及装置，能够实现动态视觉传感器与基于图像帧的视觉传感器之间的时间对齐标定、实现对动态视觉传感器输出的事件流中的事件进行标注、生成面向动态视觉传感器的数据库。
此外，应该理解，根据本发明示例性实施例的时间对齐标定装置、事件标注装置、数据库生成装置中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
此外，根据本发明示例性实施例的时间对齐标定方法、事件标注方法、数据库生成方法可以被实现为计算机可读记录介质中的计算机代码。本领域技术人员可以根据对上述方法的描述来实现所述计算机代码。当所述计算机代码在计算机中被执行时实现本发明的上述方法。
虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (32)

1.一种时间对齐标定方法，包括：
(A)获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；
(B)从所述视频图像中确定表现目标对象显著运动的关键帧；
(C)按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；
(D)从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；
(E)将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
2.根据权利要求1所述的时间对齐标定方法，还包括：
(F)在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，
或者，
(G)在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。
3.根据权利要求2所述的时间对齐标定方法，其中，
与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
4.根据权利要求2所述的时间对齐标定方法，其中，
在步骤(F)中，利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
5.根据权利要求1所述的时间对齐标定方法，其中，所述预定时间长度小于等于所述视频图像的相邻帧间的时间间隔，其中，所述时间对齐标定方法还包括：
沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，
或者，
根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
6.根据权利要求1所述的时间对齐标定方法，其中，所述目标对象的有效像素位置是目标对象在帧中所占的像素位置，或者是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
7.根据权利要求1所述的时间对齐标定方法，其中，步骤(D)包括：
确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板，
或者，
将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
8.根据权利要求1所述的时间对齐标定方法，其中，所述辅助视觉传感器是深度视觉传感器，所述视频图像是深度图像。
9.根据权利要求1所述的时间对齐标定方法，其中，动态视觉传感器的镜头被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
10.根据权利要求1所述的时间对齐标定方法，其中，动态视觉传感器与辅助视觉传感器之间的空间相对关系，基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定。
11.一种事件标注方法，包括：
(A)通过权利要求1-10之中任意一项所述的时间对齐标定方法来标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系；
(B)获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像；
(C)针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板；
(D)将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点附近的时间段。
12.根据权利要求11所述的事件标注方法，其中，将事件按照所对应的标签模板进行标注的步骤包括：按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。
13.根据权利要求11所述的事件标注方法，其中，标签模板所对应的时间段是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点为中间时刻，具有预定时间长度的时间段。
14.根据权利要求13所述的事件标注方法，其中，当预定时间长度小于视频图像的相邻帧间的时间间隔时，步骤(D)还包括：针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
15.根据权利要求11所述的事件标注方法，其中，步骤(C)还包括：
预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。
16.一种数据库生成方法，包括：
(A)通过权利要求11-15之中任意一项所述的事件标注方法来对拍摄的待标注对象的事件流中的事件进行标注；
(B)存储标注后的事件流，以形成面向动态视觉传感器的数据库。
17.一种时间对齐标定装置，包括：
获取单元，获取同时由动态视觉传感器(Dynamic vision sensor)拍摄的目标对象的事件流和由辅助视觉传感器拍摄的目标对象的视频图像；
关键帧确定单元，从所述视频图像中确定表现目标对象显著运动的关键帧；
模板形成单元，按照动态视觉传感器与辅助视觉传感器之间的空间相对关系，将关键帧中目标对象的有效像素位置和关键帧的邻近帧中目标对象的有效像素位置分别映射到动态视觉传感器的成像平面上，以形成多个目标对象模板；
确定单元，从所述多个目标对象模板中确定覆盖第一事件流段中的事件最多的第一目标对象模板，其中，第一事件流段是沿时间轴截取的所述事件流之中处于关键帧的时间戳附近的预定时间长度的事件流段；
标定单元，将第一事件流段的中间时刻与第一目标对象模板所对应的帧的时间戳的时间对齐关系，作为动态视觉传感器与辅助视觉传感器之间的时间对齐关系。
18.根据权利要求17所述的时间对齐标定装置，其中，
确定单元在确定第一目标对象模板之后，预测辅助视觉传感器在与第一目标对象模板所对应的帧的时间戳邻近的时间点时，所生成的各个帧中目标对象的有效像素位置按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被分别映射到动态视觉传感器的成像平面上而形成的各个目标对象模板，从所述各个目标对象模板和第一目标对象模板中确定覆盖第一事件流段中的事件最多的第二目标对象模板，并使用确定的第二目标对象模板更新第一目标对象模板，
或者，
确定单元在确定第一目标对象模板之后，从与第一事件流段邻近的预定时间长度的多个事件流段以及第一事件流段中确定，被第一目标对象模板所覆盖的事件最多的第二事件流段，并使用确定的第二事件流段更新第一事件流段。
19.根据权利要求18所述的时间对齐标定装置，其中，
与第一目标对象模板所对应的帧的时间戳邻近的时间点包括：第一目标对象模板所对应的帧的时间戳及上一帧的时间戳之间相隔预定时间间隔的各时间点，和/或第一目标对象模板所对应的帧的时间戳及下一帧的时间戳之间相隔预定时间间隔的各时间点。
20.根据权利要求18所述的时间对齐标定装置，其中，
确定单元利用时域meanshift算法，基于第一目标对象模板和第一事件流段来确定第二目标对象模板。
21.根据权利要求17所述的时间对齐标定装置，其中，所述预定时间长度小于等于所述视频图像的相邻帧间的时间间隔，其中，所述时间对齐标定装置还包括：
事件流段获取单元，沿时间轴截取所述事件流之中以关键帧的时间戳为中间时刻的预定时间长度的事件流段作为第一事件流段，或者，根据动态视觉传感器与辅助视觉传感器之间的初始的时间对齐关系，确定动态视觉传感器与关键帧的时间戳对齐的拍摄时间点；并沿时间轴截取所述事件流之中以对齐的拍摄时间点为中间时刻的预定时间长度的事件流段作为第一事件流段。
22.根据权利要求17所述的时间对齐标定装置，其中，所述目标对象的有效像素位置是目标对象在帧中所占的像素位置，或者是目标对象在帧中所占的像素位置向外扩展预定范围后所占的像素位置。
23.根据权利要求17所述的时间对齐标定装置，其中，
确定单元确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置所对应的第一事件流段中的事件的数量，并确定对应的事件的数量最多的目标对象模板为第一目标对象模板，
或者，
确定单元将第一事件流段中的事件按照时间积分的方式投影到成像平面以得到投影位置；确定所述多个目标对象模板之中的每一个目标对象模板所覆盖的成像平面中的像素位置；并确定所覆盖的像素位置与所述投影位置重叠最多的目标对象模板为第一目标对象模板。
24.根据权利要求17所述的时间对齐标定装置，其中，所述辅助视觉传感器是深度视觉传感器，所述视频图像是深度图像。
25.根据权利要求17所述的时间对齐标定装置，其中，动态视觉传感器的镜头被附着滤波器，以滤除辅助视觉传感器同时拍摄目标对象对动态视觉传感器的拍摄所造成的影响。
26.根据权利要求17所述的时间对齐标定装置，其中，动态视觉传感器与辅助视觉传感器之间的空间相对关系，基于动态视觉传感器的镜头的内参数和外参数以及辅助视觉传感器的镜头的内参数和外参数来标定。
27.一种事件标注装置，包括：
权利要求17-26之中任意一项所述的时间对齐标定装置，标定动态视觉传感器与辅助视觉传感器之间的时间对齐关系；
获取单元，获取同时由动态视觉传感器拍摄的待标注对象的事件流和由辅助视觉传感器拍摄的待标注对象的视频图像；
模板形成单元，针对每帧待标注对象的视频图像，获取待标注对象的有效像素位置及各个有效像素位置的标签数据，并按照动态视觉传感器与辅助视觉传感器之间的空间相对关系将各个有效像素位置及标签数据映射到动态视觉传感器的成像平面上，以形成分别与所述每帧对应的标签模板；
标注单元，将待标注对象的事件流之中，与标签模板对应的事件按照所对应的标签模板进行标注，其中，与标签模板对应的事件是时间戳被一标签模板所对应的时间段覆盖，且像素位置被所述一标签模板所覆盖的事件，其中，标签模板所对应的时间段是：标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点附近的时间段。
28.根据权利要求27所述的事件标注装置，其中，标注单元按照事件所对应的标签模板中与所述事件相同的像素位置的标签数据，来标注所述事件。
29.根据权利要求27所述的事件标注装置，其中，标签模板所对应的时间段是：以标签模板所对应的帧的时间戳按照动态视觉传感器与辅助视觉传感器之间的时间对齐关系所对齐的时间点为中间时刻，具有预定时间长度的时间段。
30.根据权利要求29所述的事件标注装置，其中，当预定时间长度小于视频图像的相邻帧间的时间间隔时，标注单元还针对待标注对象的事件流之中时间戳不被任一标签模板所对应的时间段覆盖的事件，利用时域最近邻算法确定对应的标签模板，并按照对应的标签模板进行标注。
31.根据权利要求27所述的事件标注装置，其中，模板形成单元还预测辅助视觉传感器在视频图像的每两个相邻帧的时间戳之间的各时间点时，所生成的各个帧中待标注对象的有效像素位置及各个有效像素位置的标签数据按照动态视觉传感器与辅助视觉传感器之间的空间相对关系被映射到动态视觉传感器的成像平面上而分别形成的各个标签模板。
32.一种数据库生成装置，包括：
权利要求27-31之中任意一项所述的事件标注装置，对拍摄的待标注对象的事件流中的事件进行标注；
存储单元，存储标注后的事件流，以形成面向动态视觉传感器的数据库。
CN201710278061.8A 2017-04-25 2017-04-25 用于时间对齐标定、事件标注、数据库生成的方法及装置 Pending CN108734739A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710278061.8A CN108734739A (zh) 2017-04-25 2017-04-25 用于时间对齐标定、事件标注、数据库生成的方法及装置
US15/665,222 US20180308253A1 (en) 2017-04-25 2017-07-31 Method and system for time alignment calibration, event annotation and/or database generation
KR1020180032861A KR20180119476A (ko) 2017-04-25 2018-03-21 시간 정렬 보정, 이벤트 주석 및/또는 데이터베이스 생성을 위한 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710278061.8A CN108734739A (zh) 2017-04-25 2017-04-25 用于时间对齐标定、事件标注、数据库生成的方法及装置

Publications (1)

Publication Number Publication Date
CN108734739A true CN108734739A (zh) 2018-11-02

Family

ID=63854603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710278061.8A Pending CN108734739A (zh) 2017-04-25 2017-04-25 用于时间对齐标定、事件标注、数据库生成的方法及装置

Country Status (3)

Country Link
US (1) US20180308253A1 (zh)
KR (1) KR20180119476A (zh)
CN (1) CN108734739A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503686A (zh) * 2019-07-31 2019-11-26 三星（中国）半导体有限公司 基于深度学习的物体位姿估计方法及电子设备
CN110841287A (zh) * 2019-11-22 2020-02-28 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
US10593059B1 (en) * 2018-11-13 2020-03-17 Vivotek Inc. Object location estimating method with timestamp alignment function and related object location estimating device
CN111179305A (zh) * 2018-11-13 2020-05-19 晶睿通讯股份有限公司 对象位置估算方法及其对象位置估算装置
CN111951312A (zh) * 2020-08-06 2020-11-17 北京灵汐科技有限公司 图像配准、图像采集时间配准方法、装置、设备及介质
CN112642149A (zh) * 2020-12-30 2021-04-13 北京像素软件科技股份有限公司 游戏动画更新方法、装置及计算机可读存储介质
CN113449554A (zh) * 2020-03-25 2021-09-28 北京灵汐科技有限公司 一种目标检测识别方法及系统
WO2022028576A1 (zh) * 2020-08-06 2022-02-10 北京灵汐科技有限公司 图像配准方法及装置、计算机设备、介质
CN114565665A (zh) * 2022-02-28 2022-05-31 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
KR102739422B1 (ko) 2019-07-08 2024-12-06 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112199978B (zh) * 2019-07-08 2024-07-26 北京地平线机器人技术研发有限公司 视频物体检测方法和装置、存储介质和电子设备
CN110689572B (zh) * 2019-08-13 2023-06-16 中山大学 一种三维空间中移动机器人定位系统及方法
WO2021033251A1 (ja) * 2019-08-20 2021-02-25 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US11501462B2 (en) * 2019-12-13 2022-11-15 Sony Group Corporation Multi-view three-dimensional positioning
CN111710001B (zh) * 2020-05-26 2023-04-07 东南大学 一种多介质条件下物像映射关系标定方法及标定装置
CN111951313B (zh) * 2020-08-06 2024-04-26 北京灵汐科技有限公司 图像配准方法、装置、设备及介质
CN112270319B (zh) * 2020-11-10 2023-09-05 杭州海康威视数字技术股份有限公司 一种事件标注方法、装置及电子设备
WO2022122156A1 (en) * 2020-12-10 2022-06-16 Huawei Technologies Co., Ltd. Method and system for reducing blur
WO2022133346A1 (en) * 2020-12-18 2022-06-23 Fasetto, Inc. Systems and methods for simultaneous multiple point of view video
US20240153291A1 (en) * 2021-03-26 2024-05-09 Harman International Industries, Incorporated Method, apparatus and system for auto-labeling
CN115580737A (zh) * 2021-06-21 2023-01-06 华为技术有限公司 用于视频插帧的方法、装置及设备
CN113506321B (zh) * 2021-07-15 2024-07-16 清华大学 图像处理方法及装置、电子设备和存储介质
KR20230070091A (ko) * 2021-11-12 2023-05-22 삼성전자주식회사 다이나믹 비전 센서 시스템의 동작 방법
CN114501061B (zh) * 2022-01-25 2024-03-15 上海影谱科技有限公司 一种基于物体检测的视频帧对齐方法及系统
WO2024057469A1 (ja) * 2022-09-15 2024-03-21 日本電気株式会社 映像処理システム、映像処理装置および映像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154452A1 (en) * 2010-08-26 2015-06-04 Blast Motion Inc. Video and motion event integration system
US20150170370A1 (en) * 2013-11-18 2015-06-18 Nokia Corporation Method, apparatus and computer program product for disparity estimation
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
US20170055877A1 (en) * 2015-08-27 2017-03-02 Intel Corporation 3d camera system for infant monitoring

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US10321208B2 (en) * 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154452A1 (en) * 2010-08-26 2015-06-04 Blast Motion Inc. Video and motion event integration system
US20150170370A1 (en) * 2013-11-18 2015-06-18 Nokia Corporation Method, apparatus and computer program product for disparity estimation
US20170055877A1 (en) * 2015-08-27 2017-03-02 Intel Corporation 3d camera system for infant monitoring
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREA CENSI，DAVIDE SCARAMUZZA: "Low-Latency Event-Based Visual Odometry", 《IEEE INTERNATIONAL CONFERENCE ON ROBOTICS & AUTOMATION (ICRA)》 *
周杰等: "飞行时间深度相机和彩色相机的联合标定", 《信号处理》 *
程相正等: "基于标定信息的高低分辨率图像配准方法", 《激光与红外》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593059B1 (en) * 2018-11-13 2020-03-17 Vivotek Inc. Object location estimating method with timestamp alignment function and related object location estimating device
CN111179305A (zh) * 2018-11-13 2020-05-19 晶睿通讯股份有限公司 对象位置估算方法及其对象位置估算装置
CN111179305B (zh) * 2018-11-13 2023-11-14 晶睿通讯股份有限公司 对象位置估算方法及其对象位置估算装置
CN110503686A (zh) * 2019-07-31 2019-11-26 三星（中国）半导体有限公司 基于深度学习的物体位姿估计方法及电子设备
CN110841287A (zh) * 2019-11-22 2020-02-28 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110841287B (zh) * 2019-11-22 2023-09-26 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN113449554A (zh) * 2020-03-25 2021-09-28 北京灵汐科技有限公司 一种目标检测识别方法及系统
CN113449554B (zh) * 2020-03-25 2024-03-08 北京灵汐科技有限公司 一种目标检测识别方法及系统
WO2022028576A1 (zh) * 2020-08-06 2022-02-10 北京灵汐科技有限公司 图像配准方法及装置、计算机设备、介质
CN111951312A (zh) * 2020-08-06 2020-11-17 北京灵汐科技有限公司 图像配准、图像采集时间配准方法、装置、设备及介质
CN111951312B (zh) * 2020-08-06 2024-08-02 北京灵汐科技有限公司 图像配准、图像采集时间配准方法、装置、设备及介质
CN112642149A (zh) * 2020-12-30 2021-04-13 北京像素软件科技股份有限公司 游戏动画更新方法、装置及计算机可读存储介质
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质
CN114565665A (zh) * 2022-02-28 2022-05-31 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法
CN114565665B (zh) * 2022-02-28 2024-05-14 华中科技大学 一种选择性辅助加工视觉系统的时空标定方法

Also Published As

Publication number Publication date
US20180308253A1 (en) 2018-10-25
KR20180119476A (ko) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734739A (zh) 用于时间对齐标定、事件标注、数据库生成的方法及装置
US20220272313A1 (en) Methods for automatic registration of 3d image data
KR101221449B1 (ko) 카메라간 영상 보정 장치 및 방법
EP3518146B1 (en) Image processing apparatus and image processing method
US10157474B2 (en) 3D recording device, method for producing a 3D image, and method for setting up a 3D recording device
US11514606B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN113160327A (zh) 一种点云补全的实现方法和系统
JP2008176504A (ja) 物体検出装置及びその方法
JP2016177388A (ja) 移動体位置姿勢計測装置
CN108592886B (zh) 图像采集设备和图像采集方法
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
CN110636202B (zh) 全景相机控制方法、装置及存储介质
JP6969739B2 (ja) 位置情報取得システム、位置情報取得方法及びプログラム
JP2011095131A (ja) 画像処理方法
KR101578891B1 (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법
KR101996169B1 (ko) 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치
JP6299319B2 (ja) 自己位置算出装置及び自己位置算出方法
KR101649181B1 (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
KR101456861B1 (ko) 다중 카메라 시스템에서의 오브젝트의 동적 정보를 이용한시공간 교정 추적 방법 및 그 장치
TW201415882A (zh) Ptz攝影機自動追蹤之方法
JP2004347488A (ja) 現場作業支援装置
JP2009193274A (ja) 飛行経路計測システム
KR101677394B1 (ko) 영상 획득 시스템 및 그 영상 획득 방법
JP2005184266A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230929

AD01 Patent right deemed abandoned