[go: up one dir, main page]

CN105681787A - 对时空信号进行编码的方法和装置 - Google Patents

对时空信号进行编码的方法和装置 Download PDF

Info

Publication number
CN105681787A
CN105681787A CN201610045011.0A CN201610045011A CN105681787A CN 105681787 A CN105681787 A CN 105681787A CN 201610045011 A CN201610045011 A CN 201610045011A CN 105681787 A CN105681787 A CN 105681787A
Authority
CN
China
Prior art keywords
signal
filter
pulse
time
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610045011.0A
Other languages
English (en)
Other versions
CN105681787B (zh
Inventor
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulse Vision Beijing Technology Co ltd
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610045011.0A priority Critical patent/CN105681787B/zh
Publication of CN105681787A publication Critical patent/CN105681787A/zh
Priority to ES17741117T priority patent/ES2922251T3/es
Priority to JP2018538118A priority patent/JP6754434B2/ja
Priority to KR1020187022875A priority patent/KR102260457B1/ko
Priority to PCT/CN2017/072038 priority patent/WO2017125086A1/zh
Priority to DK17741117.0T priority patent/DK3407602T3/da
Priority to EP17741117.0A priority patent/EP3407602B1/en
Priority to US16/042,225 priority patent/US10523972B2/en
Application granted granted Critical
Publication of CN105681787B publication Critical patent/CN105681787B/zh
Priority to US16/724,906 priority patent/US11228758B2/en
Priority to JP2020088332A priority patent/JP7085764B2/ja
Priority to US17/577,528 priority patent/US11800098B2/en
Priority to US18/371,213 priority patent/US20240015285A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/02—Arrangements for detecting or preventing errors in the information received by diversity reception
    • H04L1/06—Arrangements for detecting or preventing errors in the information received by diversity reception using space diversity
    • H04L1/0618—Space-time coding
    • H04L1/0625—Transmitter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/02—Arrangements for detecting or preventing errors in the information received by diversity reception
    • H04L1/06—Arrangements for detecting or preventing errors in the information received by diversity reception using space diversity
    • H04L1/0618—Space-time coding
    • H04L1/0675—Space-time coding characterised by the signaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种对时空信号进行编码的方法和装置。该方法包括：采集监测区域中各局部空间位置的时空信号，并对时空信号按照时间进行累积，得到信号累积强度值；通过滤波器对信号累积强度值进行变换，在变换结果超过特定阈值时输出脉冲信号；将局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对监测区域的动态时空信号的编码。本发明实施例通过先在时域进行脉冲式编码，再按照空间位置进行空域编码，充分保留了时域和空域信息，不仅能够重构任意时刻的静态图像，而且保留了高速运动场景的精细运动过程。

Description

对时空信号进行编码的方法和装置
技术领域
本发明涉及信息编码技术领域，尤其涉及一种对时空信号进行编码的方法和装置。
背景技术
在一定时间和空间内中存在的形式是信息的来源，例如光在空间中的传播形成动态影像，大量水分子的流动产生海洋信息，空气分子和其他漂浮物的动态运动形成气候信息。就动态影像来说，人类和生物通过眼睛捕捉光子来感知世界，现代摄像机采用CCD(Charge-coupledDevice，电荷耦合元件)或CMOS((ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)来捕获光子来记录动态变化的世界，产生了大量的图像和视频数据。
对动态影像进行表达的传统方法是二维图像和作为图像序列的视频。传统的图像是二维的信息形态，狭义的图像是光在物理世界中经过反射、漫反射、折射、散射等过程后在摄影平面上投影的结果，广义的图像则包括在二维平面上分布的任何信息形式。数字形式表示的图像更便于处理、传输和存储，这就需要把以模拟信号形式存在的图像转化为以数字形式表示的图像，即数字图像。图像数字化的过程主要包括三个步骤：采样、量化和编码。采样是将图像分布的空间进行离散化的过程，对于二维图像来说，最常见的方式是将图像覆盖的矩形区域等间隔地划分成大小相同的采样点，这样划分得到的采样点行数和每行的采样点数就是通常所谓的数字图像分辨率(更准确的分辨率是指单位物理尺寸上的采样点数)。量化是对各采样点上图像的颜色(或其它物理量)进行离散化的过程，一般用量化级别来表征。每个采样点及其颜色(或其它物理量)的量化值形成图像的一个像素，所有像素按照行列形式排列成数字图像。
传统的视频概念是按一定时间间隔获取的图像序列，序列中的一幅图像也被称为一帧图像，因此视频也成为图像序列，图像之间的时间间隔划分也是采样的一部分，通常也采用等间隔划分，每秒采集的图像数称为帧率。为了保证在数字化过程中信息不丢失，即能够在恢复为模拟形式时做到完全复原，按照采样定理，需要用至少两倍于图像空间信号频率进行采样。
按照传统方式采集的视频，经过数字化后产生了大量数据。以高清晰度视频为例，每秒钟的数据量为1920×1080×24比特×30帧每秒＝1492992000比特每秒，约1.5Gbps。如果以这样的数据量通过广播通信网络进行传输，或者在互联网对成千上万的用户提供视频服务，或者想存储城市中上百万的摄像头24小时产生的视频数据，这是网络和存储技术几乎不可能做到的。高精度数字化的视频数据中存在这大量的冗余需要去除，这是数字视频编码的中心目标，因此数字视频编码也称为数字视频压缩。从19世纪40年代末50年代初的霍夫曼编码、差值脉冲编码调制等技术的研究开始，视频编码技术经历了近60年的发展。在这一过程中，逐渐形成了变换编码、预测编码、熵编码三类经典技术，分别用于去除视频信号的空间冗余、时间冗余以及信息熵冗余。
基于30多年的技术积累和信息技术发展的需要，上世纪80年代各种视频编码技术开始汇聚，逐渐形成了以块为单元的预测加变换的混合编码框架，并由标准化组织形成标准，开始在产业得到大规模应用。国际上主要有两大国际组织专门进行视频编码标准的制定工作，即ISO/IEC下的MPEG(MotionPictureExpertsGroup，动态图像专家组)组织与ITU-T的VCEG(VideoCodingExpertsGroup，视频编码专家组)组织。成立于1986年的MPEG专门负责制定多媒体领域内的相关标准，主要应用于存储、广播电视、因特网或无线网上的流媒体等。国际电信联盟ITU则主要制定面向实时视频通信领域的视频编码标准，如视频电话、视频会议等应用。中国于2002年6月成立的AVS工作组负责为国内多媒体工业界制定相应的数字音视频编码标准。
MPEG组织在1992制定了面向VCD(影音光碟，VideoCompactDisk)应用的MPEG-1标准(启动于1988年，是ITUH.261的一个超集)，数据速率在1.5Mbps左右；1994年发布了面向DVD，数字视频广播等应用的MPEG-2标准(启动于1990年)，适用于1.5-60Mbps甚至更高码率；1998年制定了面向低码率传输的MPEG-4标准(于1993年启动，以MPEG-2，H.263为基础)。国际电信联盟ITU基本上与MPEG的发展同步，也制定了一系列的H.26x标准。开始于1984年的H.261标准是MPEG-1标准的前驱，于1989年基本完成，主要是为了在ISDN上实现可视电话、视频会议而制定的。在H.261的基础上，1996年ITU-T制定了H.263编码标准(启动于1992年)，相继又推出了H.263+,H.263++等。
2001年ITU-T和MPEG联合成立了JVT(JointVideoTeam)工作组制定了一个新的视频编码标准，2003年完成第一版，标准在ISO中称为MPEG-4标准的第10部分(MPEG-4Part10AVC)，在ITU中称为H.264标准。。4个月后，微软主导的VC-1视频编码标准由美国电影电视工程师协会(TheSocietyofMotionPictureandTelevisionEngineers，SMPTE)颁布为行业标准。我国在2004年制定出了具有自主知识产权的国家标准，并经过芯片实现等产业化验证后，于2006年2月颁布为《信息技术先进音视频编码第二部分视频》国家标准(国标号GB/T20090.2-2006，通常简称为AVS视频编码标准)。这三个标准通常被称为第二代视频编码标准，其编码效率均比第一代翻了一番，压缩比达到150倍左右，即可以把高清视频(在质量达到广播要求的情况下)压缩到10Mbps以下。
2013年上半年，第三代视频编码国际标准ITU-TH.265和ISO/IECHEVC(HighEfficiencyVideoCoding，高效视频编码)颁布，编码效率比H.264又提高一倍。与此同步，我国制定了第二代AVS标准AVS2，称为《信息技术高效多媒体编码》。与第一代AVS标准相比，AVS2码率降低超过50％，即编码效率提高了一倍。对于监控视频等场景类视频，AVS2压缩效率又翻了一番，达到AVC/H.264的四倍，即压缩效率达到600倍。
尽管现代视频编码技术已经取得显著效果并得到广泛应用，压缩效率实现了“十年翻一番”，但还远未达到理想程度。根据现有的研究报告，2012年全球数据总量达到2.84ZB，到2020年，这个数字将上升到40ZB，约两年翻一番，其中监控视频占到了44％，在其他健康数据、交易数据、网络媒体、影视娱乐等数据中，图像和视频也占了很大部分。就我国来说，在公共场合安装的摄像机已经超过3000万支，这些摄像机产生了近百EB的视频，存储需要数千亿元。因此，视频编码效率“十年翻一番”的技术进步已经远远不能满足视频大数据“两年翻一番”的高速增长，如何提高视频的编码效率已经信息时代的重大挑战。
如上所述，视频概念的形成源于电影的发明，以图像序列表示视频这种技术方案背后的依据是人类视觉的视觉暂留现象，电影采用每秒24帧，电视采用25帧或30帧，可以基本满足人眼获得连续感的需要，这种技术设定也就随着电影电视和个人摄像设备的广泛应用而固化为技术定式。然而，其缺点也是显然的，这种表达动态影像的方法记录不了更高速运动，例如旋转的车轮、高速运动的乒乓球甚至足球，在视频监控中也捕捉不到运动细节，更不能支持科学研究和高精度检测等特种需要。新的高清和超高清电视也在尝试将帧率提高到每秒60帧甚至更高，以更好地表示高速运动的乒乓球等。但是这样的视频帧率并不能表示变化更快的物理现象，因而出现了高频率摄像机，其帧频可以达到每秒一千帧乃至一万帧甚至更高，带来的问题是数据量的大规模增长，相应的采集和处理电路设计代价高昂甚至不可能，更重要的是，帧率的增加意味着单帧曝光时间的降低，采集的单帧影像曝光量严重不足，作为弥补的办法是增加像素尺寸，而这又带来了空间分辨率的降低。所有这些问题，归根结题是视频采集和表示采用“先空间、后时间”的等时间间隔采集方法造成的，而这种方法只是电影出现时基于人类视觉暂留特性所做的一个技术选择，并不意味着就是表达动态影像的最佳方案。
因此，开发一种同时兼顾时间信息和空间信息的有效视频编码方法是一个亟待解决的问题。
发明内容
本发明的实施例提供了一种对时空信号进行编码的方法和装置，以提供一种同时兼顾时间信息和空间信息的时空信号的编码方法。
为了实现上述目的，本发明采取了如下技术方案。
根据本发明的一个方面，提供了一种对时空信号进行编码的方法，包括：
采集监测区域中的各局部空间位置的时空信号，对局部空间位置的时空信号按照时间进行累积，得到信号累积强度值；通过滤波器对所述信号累积强度值进行变换，在变换结果超过特定阈值时，输出一个脉冲信号；
将所述局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达所述局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
进一步地，所述的采集监测区域中的局部空间位置的时空信号包括：
每个信号采集器从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列互相配合，覆盖整个监测区域，完成对监测区域的空域采样。
进一步地，所述的对局部空间位置的时空信号进行累积，得到信号累积强度值，包括：
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；将一个信号采集器和一个或多个信号累积器连接，所述信号采集器将信号强度值传递给其所连接的信号累积器；
信号累积器对在过去一个时段内的信号进行累积，其输出端为累积信号强度；将一个信号累积器和一个滤波器连接，所述信号累积器将所述信号累积强度值传递给其连接的滤波器；所述滤波器以一个或多个累积器作为输入，按照特定滤波函数对输入的累积强值度进行变换。
进一步地，当所述信号采集器和多个信号累积器连接时，所述信号采集器将同一信号强度值同时输出给下游的所有信号累积器；或者，将信号强度值平均分配给下游的所有信号累积器；或者，或者将信号强度值按照一定的权重分配给下游的所有信号累积器，所述权重是信号累积器相对于信号采集器之间的空间位置距离的函数。
进一步地，所述信号累积器是限时滚动累积器或不限时累积器，所述限时滚动累积器只累积当前时刻之前一个特定时段内的信号，更早的信号自动清零；所述不限时累积器持续累积。
进一步地，所述的通过滤波函数对所述信号累积强度值进行变换，输出局部空间位置对应的脉冲信号，包括：
所述滤波器的滤波函数根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
所述滤波器按照设定的滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数，当变换系数超过设定阈值时，则所述滤波器输出一个脉冲信号，所述脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系；
所述滤波器输出脉冲信号后，对所述滤波器的所有输入累积器进行清零复位。
进一步地，所述的滤波器为二值滤波器，所述滤波函数为阈值函数；
当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号；
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
进一步地，所述的方法还包括:
采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生，同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种表达。
进一步地，所述的方法还包括:
所述二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种二进制表达；
进一步地，所述的方法还包括:
所述采集器、累积器和滤波器按照一对一形式构成采集-累积-变换三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器到的信号强度的累计值，当该信号强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示；通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔，表示累积后一个1所需要的时间；全1的二进制序列表示相应信号采集器对应局部空间位置的信号一直处于最高强度状态；
所有采集器-信号累积器-滤波器组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种二进制表达。
进一步地，时刻t0的重构图像为I在位置(i,j)的像素值，为相应二进制序列在过去的Δt内出现的1的个数，其中Δt为根据需要设定。
进一步地，所述的方法还包括:对所述二进制序列，根据所述二进制序列前后的统计相关性用更少的比特进行紧凑表示。
进一步地，所述的方法还包括:对所述二进制序列阵列，根据空间上相邻和相近序列之间的统计相关性进行再编码。
进一步地，所述的方法还包括:根据紧凑比特流生成过程的逆过程恢复所述二进制序列阵列。
根据本发明的另一个方面，提供了一种对时空信号进行编码的装置，包括：信号采集器、信号累积器和滤波器；
所述的信号采集器，用于采集监测区域中的各局部空间位置的时空信号，将所述的时空信号传输给所述信号累积器；
所述的信号累积器，用于对局部空间位置的时空信号按照时间进行累积，得到信号累积强度值，将所述的信号累积强度值传输给所述的滤波器；
所述的滤波器，用于对所述信号累积强度值进行变换，在变换结果超过特定阈值时，输出一个脉冲信号；
将所述局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达所述局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
进一步地，所述的信号采集器，具体用于从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列互相配合，覆盖整个监测区域，完成对监测区域的空域采样；
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；将一个信号采集器和一个或多个信号累积器连接，将信号强度值传递给其所连接的信号累积器；
所述的信号累积器，用于对在过去一个时段内的信号进行累积，其输出端为累积信号强度；将一个信号累积器和一个滤波器连接，将所述信号累积强度值传递给其连接的滤波器。
进一步地，所述的滤波器，用于根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
按照设定的滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数，当变换系数超过设定阈值时，则所述滤波器输出一个脉冲信号，所述脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系；
所述滤波器输出脉冲信号后，对所述滤波器的所有输入信号累积器进行清零复位。
进一步地，所述的滤波器为二值滤波器，所述滤波函数为阈值函数；
当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号；
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
进一步地，采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生，同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种表达。
进一步地，所述二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种二进制表达。
进一步地，所述采集器、累积器和滤波器按照一对一形式构成采集-累积-变换三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器到的信号强度的累计值，当该信号强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示；通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔，表示累积后一个1所需要的时间；全1的二进制序列表示相应信号采集器对应的局部空间位置的信号一直处于最高强度状态；
所有采集-累积-变换三元组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种二进制表达。
进一步地，所述采集器为光敏器件，所有采集器排列成感光阵列，所述累积器为具有时积功能的光点转换电路，所述滤波器为二值脉冲滤波器，累积器和滤波器组成时滞二值脉冲滤波器，所述装置为新型摄像装置，其中的成像单元独立工作，在收集的光强达到阈值时通过输出一个脉冲来表示对应局部空间位置的信号强度。
进一步地，所述滤波器的工作频率高于1000Hz。
进一步地，所述采集器为高灵敏度光敏器件，所述累积器为高灵敏度转换器件，所述采集器和所述累积器配合对采集的光子数量进行精确计量，所述滤波器脉冲发放时间间隔在皮秒级，输出的二进制序列阵列表示了监测区域中光子照射的数量。
上述本发明的实施例提供的技术方案可以看出，本发明实施例通过先进行时域编码再进行空域编码的思路，提出了对局部空间位置的时空信号按照时间段进行累积，根据空间稀疏性对局部空间位置的信号累积强度值进行变换，输出局部空间位置对应的脉冲信号。从而使得每个局部空间位置的变化过程得到保留，能够精细地重构出高速运动对象的运动过程，为后续的运动分析、对象检测跟踪提供了更为丰富的信息源，而传统视频保留的变化信息以帧率为上限。可以重构任何一个时刻的图像，而传统视频只保留了帧采样时刻的图像。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种对时空信号进行编码的方法的处理流程图；
图2为本发明实施例二提供了一种对时空信号进行编码的装置的具体实现结构图，图中，信号采集器21、信号累积器22和滤波器23。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一
为了从根本上解决视频等时空信号的高效编码问题，本发明从视频的表示方式和编码方法两个层面提出了全新方案。与电影电视出现以来把动态影像表示成图像序列(这里的“图像”也称为“帧”)的方法不同，本发明先将每个局部空间位置的信号变化(对于影像来说是一个像素的变化过程)按照时间次序分别编码，对于动态影像来说这种时序信号称为“像素流”，再把时序信号组成的序列矩阵根据空间稀疏性进行空间编码。需要特别说明的是，多个像素流虽然仍然按照空间相对位置排列成阵列，但是各像素流之间并不像传统视频那样进行等间隔采样和“帧级对齐”，而是保留了变化信息和时域稀疏性，对像素流阵列的空间编码也不是简单的图像编码，而是对该空间范围内过去一个时段内信号累积进行编码，因而这种方法能够在高精度保留时域过程信息的同时实现高效率的空间信息编码，颠覆了时空信号编码的传统方法。
该实施例提供了一种对时空信号进行编码的方法的处理流程如图1所示，包括如下的处理步骤：
步骤S110、通过信号采集器采集监测区域中的光信号，计算出光信号的信号强度值并传输给信号累积器。
每个信号采集器从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列，互相配合覆盖整个监测区域，完成对监测区域的空域采样。
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；每个光敏器件负责一个小正方形局部区域，所有器件按行列排列成整齐的方阵。也可以采用蜂巢模式(六边形分割)或三角形分割或其他排列方式，这时采集器的中心位置可以不在一条直线上。每个信号采集器都对应特定的局部空间位置，因此信号采集器本身就标识了所输出的光信号的局部空间位置。
每个信号采集器按照设定的采集时间间隔采集局部空间位置的时空信号，当前常用摄像机的帧率为24到120(帧/秒)，也就是时间间隔为数十毫秒。本发明采用的时间间隔明显更短，根据需要可以为毫秒、微妙、纳秒乃至皮秒。
将一个信号采集器和一个或多个信号累积器连接，所述信号采集器将信号强度值传递给其所连接的信号累积器。
步骤S120、通过信号累积器计算出每个局部空间位置在过去一个时段内的信号累积强度值，并输出给一个滤波器。
信号累积器对过去一个时段内的信号进行累积，其输出端为累积信号强度。
一个信号采集器可以输出到一个或多个信号累积器。
一个信号累积器只连接到一个滤波器，作为该滤波器的输入。
一个滤波器可以接收一个或多个信号累积器的输入。即信号累积器的扇出为1，而滤波器的扇入可以是1或大于1。
最简单的情形是信号采集器、信号累积器和滤波器是一一对应关系：一个信号采集器作为且只作为一个信号累积器的输入，该信号累积器再连接到一个滤波器，作为且只作为该滤波器的输入。而该滤波器只接受该信号累积器的输入，不接受其他信号累积器的输入。
当一个信号采集器扇出多个信号累积器时，传递信号强度值至少有三种方式：当所述信号采集器和多个信号累积器连接时，所述信号采集器将同一信号强度值同时输出给下游的所有信号累积器；或者，将信号强度值平均分配给下游的所有信号累积器；或者，或者将信号强度值按照一定的权重分配给下游的所有信号累积器，所述权重是信号累积器相对于信号采集器之间的空间位置距离的函数。
所述信号累积器是限时滚动累积器或不限时累积器，所述限时滚动累积器只累积当前时刻之前一个特定时段内的信号，更早的信号自动清零；所述不限时累积器持续累积。
信号累积器将所述信号累积强度值传递给其连接的滤波器；所述滤波器以一个或多个累积器作为输入，按照特定滤波函数对输入的累积强值度进行变换。
步骤S130、滤波器按照特定滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数,当变换系数超过设定阈值时，则滤波器输出一次局部空间位置对应的用数值表示的脉冲信号。脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系，滤波器根据所连接的信号累积器获得输入信号的局部空间位置信息。
滤波器输出脉冲信号后，对滤波器的所有输入累积器进行清零复位。
为了尽可能捕捉的任意位置、任意尺度的空间稀疏模式，滤波器的滤波函数根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
最简单的情形是一个滤波器只接受一个信号累积器的输入。滤波器也可以接收来自多个信号累积器的输入。每个滤波器按照特定滤波函数对来自各个信号累积器的局部空间位置对应的累积信号强度值进行变换，获得局部空间位置对应的变换系数。
一种简单的滤波器形式是二值滤波器，即滤波函数是一个阈值函数。当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。在累积信号强度值的加权累积过程中，采集时间越早的信号权值越低。
二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种高效二进制表达。
所述采集器、累积器和滤波器按照一对一形式构成“采集-累积-变换”三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器采集到的信号强度的累计值，当该强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示。通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔表示累积后一个1所需要的时间；全1的二进制序列表示相应采集器对应局部空间位置的信号一直处于最高强度状态。
所有“采集-累积-变换”三元组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种高效二进制表达。
所述采集器为光敏器件，所有采集器排列成感光阵列，所述累积器为具有时积功能的光点转换电路，所述滤波器为二值脉冲滤波器，信号累积器和滤波器组成时滞二值脉冲滤波器，所述装置为新型摄像装置，其中的成像单元(即上述一组“采集器-累积器-滤波器”)独立工作，在收集的光强达到阈值时通过输出一个脉冲(二进制1)来表示对应局部空间位置的信号强度。
滤波函数可以更为复杂，例如高斯-拉普拉斯(LoG，LaplacianofGaussian)滤波器，它对斑点类输入最为敏感。滤波器组的滤波函数可能是满足一定关系的函数族，典型例子是小波变换函数族。
当滤波器计算出的某个局部空间位置对应的变换系数超过一个设定的阈值时，则滤波器输出反映相应局部空间信号强度的一次脉冲信号，上述脉冲信号中可以携带脉冲强度信息，脉冲强度和累积信号强度值对应。当某个局部空间位置对应的变换系数没有超过一个设定的阈值时，则滤波器不输出脉冲信号，可以选择输出低电平信号。
滤波器输出脉冲信号后，对滤波器的所有输入累积器进行复位。
步骤S140、将局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
滤波器阵列中各滤波器根据各自阈值设定各自输出脉冲信号，滤波器之间的输出可以不同步，通过这种方式实现对局部空间位置对应的累积信号强度值的时域特性的编码。
在实际应用中，滤波器可以为模拟滤波器，输出为脉冲序列阵列。
在实际应用中，滤波器输出的脉冲信号可以只携带一个比特的信息，即0(无脉冲输出)或1(有脉冲输出)，脉冲序列矩阵退化为比特序列阵列，简称位流阵列。
在实际应用中，累积器输出为一定范围内的数值，所述滤波器为数字滤波器，输出一定范围内的数值。滤波器输出的数值可以只有两种状态：0(无输出)或1(有输出)。
采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生。同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种高效表达。
所述滤波器的工作频率高于1000Hz，即允许滤波器输出的离散时间间隔为小于1毫秒，可以达到微妙、纳秒乃至皮秒级别。
所述采集器为高灵敏度光敏器件，所述累积器为高灵敏度转换器件，两者配合能够对采集的光子数量进行精确计量，所述滤波器脉冲发放时间间隔在皮秒级，输出的二进制序列阵列表示了监测区域中光子照射的数量。
在任何一个时刻，用与滤波器对应的反变换器组对过去一段时间内的变换系数阵列进行反变换，重构出当前时刻的时空信号。
在上一时刻已经排布好的系数阵列基础上，用当前时刻到来的变换系数更换同样位置的既有变换系数，重构出当前时刻的空间信号，以此类推，重构出动态信号。
时刻t0的重构图像为I在位置(i,j)的像素值，该像素值为相应二进制序列在过去的Δt内出现的1的个数。其中Δt可以根据需要任意设定。
对所述二进制序列，根据序列前后的统计相关性用更少的比特进行紧凑表示，包括但不限于采用游程编码或算术编码等。
对所述二进制序列阵列，根据空间上相邻和相近序列之间的统计相关性进行再编码，例如算术编码，以减少所用比特数量。
根据紧凑比特流生成过程的逆过程恢复所述二进制序列阵列。
根据上述变换系数阵列或者脉冲序列矩阵的规律性，采用预测编码、游程编码、熵编码等方法进行压缩，形成更为高效的压缩比特流，对于压缩比特流采用相应的解码算法获得原始的系数序列阵列。
对脉冲序列阵列的时序特性进行分析，可以获得输入信号中包含的物体运动信息，得到物体位置和运动过程的描述；对系数序列阵列进行分析，可以对时空信号中包括的物体进行检测和属性描述。
实施例二
该实施例提供了一种对时空信号进行编码的装置，该装置的具体实现结构如图2所示，具体可以包括如下的模块：信号采集器21、信号累积器22和滤波器23；
所述的信号采集器，用于采集监测区域中的各局部空间位置的时空信号，将所述的时空信号传输给所述信号累积器；
所述的信号累积器，用于对局部空间位置的时空信号按照时间进行累积，得到信号累积强度值，将所述的信号累积强度值传输给所述的滤波器；
所述的滤波器，用于对所述信号累积强度值进行变换，在变换结果超过特定阈值时，输出一个脉冲信号；
将所述局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达所述局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
进一步地，所述的信号采集器，具体用于从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列互相配合，覆盖整个监测区域，完成对监测区域的空域采样；
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；将一个信号采集器和一个或多个信号累积器连接，将信号强度值传递给其所连接的信号累积器；
所述的信号累积器，用于对在过去一个时段内的信号进行累积，其输出端为累积信号强度；将一个信号累积器和一个滤波器连接，将所述信号累积强度值传递给其连接的滤波器。
进一步地，所述的滤波器，用于根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
按照设定的滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数，当变换系数超过设定阈值时，则所述滤波器输出一个脉冲信号，所述脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系；
所述滤波器输出脉冲信号后，对所述滤波器的所有输入信号累积器进行清零复位。
进一步地，所述的滤波器为二值滤波器，所述滤波函数为阈值函数；
当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号；
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
进一步地，采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生，同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种表达。
进一步地，所述二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种二进制表达。
进一步地，所述采集器、累积器和滤波器按照一对一形式构成采集-累积-变换三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器到的信号强度的累计值，当该信号强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示；通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔，表示累积后一个1所需要的时间；全1的二进制序列表示相应信号采集器对应的局部空间位置的信号一直处于最高强度状态；
所有采集-累积-变换三元组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种二进制表达。
进一步地，所述采集器为光敏器件，所有采集器排列成感光阵列，所述累积器为具有时积功能的光点转换电路，所述滤波器为二值脉冲滤波器，累积器和滤波器组成时滞二值脉冲滤波器，所述装置为新型摄像装置，其中的成像单元独立工作，在收集的光强达到阈值时通过输出一个脉冲来表示对应局部空间位置的信号强度。所述滤波器的工作频率高于1000Hz。
进一步地，所述采集器为高灵敏度光敏器件，所述累积器为高灵敏度转换器件，所述采集器和所述累积器配合对采集的光子数量进行精确计量，所述滤波器脉冲发放时间间隔在皮秒级，输出的二进制序列阵列表示了监测区域中光子照射的数量。
用本发明实施例的装置进行对时空信号进行编码的具体过程与前述方法实施例类似，此处不再赘述。
综上所述，本发明实施例通过先进行时域编码再进行空域编码的思路，提出了对局部空间位置的时空信号按照时间段进行累积，根据空间稀疏性对局部空间位置的信号累积强度值进行变换，输出局部空间位置对应的脉冲信号，进而得到局部空间位置的时序信号，将所有局部空间位置的时序信号组成脉冲序列矩阵，从而提供了一种同时兼顾时间信息和空间信息的时空信号的编码方法。
本发明的有益效果至少包括：
1)每个局部空间位置的变化过程得到保留，能够精细地重构出高速运动对象的运动过程，为后续的运动分析、对象检测跟踪提供了更为丰富的信息源，而传统视频保留的变化信息以帧率为上限；
2)可以根据重构任何时刻的图像：一个特定时刻的静态图像是过去一段时间变化过程的累积，利用本发明，可以重构任何一个时刻的图像，而传统视频只保留了帧采样时刻的图像；
3)可以重构任何时刻、任何空间窗口内的高动态图像：传统视频记录的是两帧之间光照变化的累积，相应的动态范围往往是有限的和固定的，利用本发明，可以对任意时段和任意空间窗口范围内的光照进行累积，得到的动态范围取决于该时段和该空间范围内的光照情况，是动态的，可以是高动态；
4)有利于时域压缩算法设计：传统视频压缩中帧间预测涉及到复杂的运动估计和运动补偿计算，而本发明将时域信息直接隐含在原始码流中，不需要刻意设计帧间预测等复杂算法以及编码运动矢量等数据，而且由于本发明的码流在时域上是“连续的”(离散模式下时间间隔也特别小，例如毫秒级甚至更小)，相关性更强，因此更容易设计高效的编码算法；
5)有利于提高空域压缩效率：传统视频把一段时间(两帧之间)内的光照变化强行“挤压”在一幅图像上，提高了图像的复杂度，也就提高了传统视频压缩中空域编码(主要指变换编码)的难度，残差表示代价较大，本发明中使用时序阵列表示动态影像，可以继续使用变换编码方法进行压缩(对应于滤波器组的滤波函数及函数族)，由于并不像传统方法那样“强求”在同一时刻同步进行变换编码，而是各滤波器根据自己的输入模式随时决定是否输出，因此能够更好地捕捉空域中的信号模式，提高空域压缩效率。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (24)

1.一种对时空信号进行编码的方法，其特征在于，包括：
采集监测区域中的各局部空间位置的时空信号，对局部空间位置的时空信号按照时间进行累积，得到信号累积强度值；通过滤波器对所述信号累积强度值进行变换，在变换结果超过特定阈值时，输出一个脉冲信号；
将所述局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达所述局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
2.根据权利要求1所述的对时空信号进行编码的方法，其特征在于，所述的采集监测区域中的局部空间位置的时空信号包括：
每个信号采集器从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列互相配合，覆盖整个监测区域，完成对监测区域的空域采样。
3.根据权利要求2所述的对时空信号进行编码的方法，其特征在于，所述的对局部空间位置的时空信号进行累积，得到信号累积强度值，包括：
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；将一个信号采集器和一个或多个信号累积器连接，所述信号采集器将信号强度值传递给其所连接的信号累积器；
信号累积器对在过去一个时段内的信号进行累积，其输出端为累积信号强度；将一个信号累积器和一个滤波器连接，所述信号累积器将所述信号累积强度值传递给其连接的滤波器；所述滤波器以一个或多个累积器作为输入，按照特定滤波函数对输入的累积强值度进行变换。
4.根据权利要求3所述的对时空信号进行编码的方法，其特征在于，当所述信号采集器和多个信号累积器连接时，所述信号采集器将同一信号强度值同时输出给下游的所有信号累积器；或者，将信号强度值平均分配给下游的所有信号累积器；或者，或者将信号强度值按照一定的权重分配给下游的所有信号累积器，所述权重是信号累积器相对于信号采集器之间的空间位置距离的函数。
5.根据权利要求4所述的对时空信号进行编码的方法，其特征在于，所述信号累积器是限时滚动累积器或不限时累积器，所述限时滚动累积器只累积当前时刻之前一个特定时段内的信号，更早的信号自动清零；所述不限时累积器持续累积。
6.根据权利要求3所述的对时空信号进行编码的方法，其特征在于，所述的通过滤波函数对所述信号累积强度值进行变换，输出局部空间位置对应的脉冲信号，包括：
所述滤波器的滤波函数根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
所述滤波器按照设定的滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数，当变换系数超过设定阈值时，则所述滤波器输出一个脉冲信号，所述脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系；
所述滤波器输出脉冲信号后，对所述滤波器的所有输入累积器进行清零复位。
7.根据权利要求6所述的对时空信号进行编码的方法，其特征在于，所述的滤波器为二值滤波器，所述滤波函数为阈值函数；
当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号；
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
8.根据权利要求6所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:
采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生，同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种表达。
9.根据权利要求7和8所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:
所述二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种二进制表达。
10.根据权利要求3和9所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:
所述采集器、累积器和滤波器按照一对一形式构成采集-累积-变换三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器到的信号强度的累计值，当该信号强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示；通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔，表示累积后一个1所需要的时间；全1的二进制序列表示相应信号采集器对应局部空间位置的信号一直处于最高强度状态；
所有采集器-信号累积器-滤波器组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种二进制表达。
11.根据权利要求10所述的对时空信号进行编码的方法，其特征在于:
时刻t0的重构图像为I在位置(i,j)的像素值，为相应二进制序列在过去的Δt内出现的1的个数，其中Δt为根据需要设定。
12.根据权利要求10所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:对所述二进制序列，根据所述二进制序列前后的统计相关性用更少的比特进行紧凑表示。
13.根据权利要求10所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:对所述二进制序列阵列，根据空间上相邻和相近序列之间的统计相关性进行再编码。
14.根据权利要求12和13所述的对时空信号进行编码的方法，其特征在于，所述的方法还包括:根据紧凑比特流生成过程的逆过程恢复所述二进制序列阵列。
15.一种对时空信号进行编码的装置，其特征在于，包括：信号采集器、信号累积器和滤波器；
所述的信号采集器，用于采集监测区域中的各局部空间位置的时空信号，将所述的时空信号传输给所述信号累积器；
所述的信号累积器，用于对局部空间位置的时空信号按照时间进行累积，得到信号累积强度值，将所述的信号累积强度值传输给所述的滤波器；
所述的滤波器，用于对所述信号累积强度值进行变换，在变换结果超过特定阈值时，输出一个脉冲信号；
将所述局部空间位置对应的脉冲信号按照时间先后排列成序列，得到表达所述局部空间位置信号及其变化过程的脉冲序列；将所有局部空间位置的脉冲序列按照空间位置相互关系排列成脉冲序列阵列，作为对所述监测区域的动态时空信号的一种编码。
16.根据权利要求15所述的对时空信号进行编码的装置，其特征在于：
所述的信号采集器，具体用于从指定的局部空间位置采集时空信号，生成脉冲序列，完成时域采样；多个信号采集器排列成阵列互相配合，覆盖整个监测区域，完成对监测区域的空域采样；
所述时空信号为光信号，所述信号采集器为光敏器件，实现光电转换，其输出端的电信号强度与采集的光强正相关；将一个信号采集器和一个或多个信号累积器连接，将信号强度值传递给其所连接的信号累积器；
所述的信号累积器，用于对在过去一个时段内的信号进行累积，其输出端为累积信号强度；将一个信号累积器和一个滤波器连接，将所述信号累积强度值传递给其连接的滤波器。
17.根据权利要求15所述的对时空信号进行编码的装置，其特征在于：
所述的滤波器，用于根据滤波器需要捕捉的空间位置的稀疏性而设定，滤波器需要捕捉的空间位置的稀疏性根据该滤波器关联的信号采集器所负责采集信号的局部空间范围而确定；通过冗余设计用多个滤波器覆盖监测区域，所述监测区域中的各空间位置的稀疏模式都可被相应的滤波器捕捉到；多个滤波器在空间尺度覆盖上采用多级冗余设计，不同级别的滤波器对相应空间尺度的空间稀疏性敏感，多级滤波器配合实现对监测区域中的任意尺度稀疏性的有效捕捉；
按照设定的滤波函数对来自信号累积器的信号累积强度值进行变换，获得一个与局部空间位置内信号分布相关的变换系数，当变换系数超过设定阈值时，则所述滤波器输出一个脉冲信号，所述脉冲信号携带脉冲强度，该脉冲强度和累积信号强度值有对应关系；
所述滤波器输出脉冲信号后，对所述滤波器的所有输入信号累积器进行清零复位。
18.根据权利要求17所述的对时空信号进行编码的装置，其特征在于，所述的滤波器为二值滤波器，所述滤波函数为阈值函数；
当输入二值滤波器的输入累积器只有一个时，若累积器输入的累积信号强度值超过指定阈值时，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号；
当输入二值滤波器的输入累积器有多个时，则所述二值滤波器对多个累积器输入的累积信号强度值进行简单累加或按照一定规则进行加权累加和滤波变换，若变换结果超过指定阈值，则所述二值滤波器输出一个脉冲信号，否则不输出脉冲信号。
19.根据权利要求18所述的对时空信号进行编码的装置，其特征在于，采用高频时钟对所述滤波器的脉冲输出进行时域离散表示，使得滤波器脉冲输出只在等间隔的时刻发生，同一时刻所有滤波器输出的变换系数组成一个稀疏阵列，该时刻没有输出的滤波器对应的变换系数为0，所述稀疏阵列按照等时间间隔顺序排列成变换系数阵列，作为对所监测区域时空信号的一种表达。
20.根据权利要求18和19所述的对时空信号进行编码的装置，其特征在于，所述二值滤波器的输出脉冲用二进制数字表示，当滤波器输出脉冲时，用1表示，否则用0表示；同一时刻有脉冲发放的滤波器输出1，没有输出的滤波器输出0，同一时刻的所有这些输出按照滤波器阵列构成一个二值稀疏阵列，各时刻的二值系数阵列按照时钟规定的等时间间隔顺序排列成为二值稀疏序列阵列，作为对监测区域时空信号的一种二进制表达。
21.根据权利要求18和19所述的对时空信号进行编码的装置，其特征在于，所述采集器、累积器和滤波器按照一对一形式构成采集-累积-变换三元组，即每个信息采集器都只输出到一个信号累积器，每个信号累积器只输出到一个滤波器，该信号累积器输出端的信号强度代表了过去一段时间信号采集器到的信号强度的累计值，当该信号强度超过指定阈值时，滤波器发放一个脉冲，并用二进制1表示；通过这种方式，该采集器对应局部空间位置的动态信号被转化为一个1间歇式出现的二进制序列，序列中的两个1之间的时间间隔，表示累积后一个1所需要的时间；全1的二进制序列表示相应信号采集器对应的局部空间位置的信号一直处于最高强度状态；
所有采集-累积-变换三元组产生的二进制序列按照对应局部空间位置排列成二进制序列阵列，作为对监测区域时空信号的一种二进制表达。
22.根据权利要求15所述的对时空信号进行编码的装置，其特征在于，所述采集器为光敏器件，所有采集器排列成感光阵列，所述累积器为具有时积功能的光点转换电路，所述滤波器为二值脉冲滤波器，累积器和滤波器组成时滞二值脉冲滤波器，所述装置为新型摄像装置，其中的成像单元独立工作，在收集的光强达到阈值时通过输出一个脉冲来表示对应局部空间位置的信号强度。
23.根据权利要求15所述的对时空信号进行编码的装置，其特征在于，所述滤波器的工作频率高于1000Hz。
24.根据权利要求15所述的对时空信号进行编码的装置，其特征在于，所述采集器为高灵敏度光敏器件，所述累积器为高灵敏度转换器件，所述采集器和所述累积器配合对采集的光子数量进行精确计量，所述滤波器脉冲发放时间间隔在皮秒级，输出的二进制序列阵列表示了监测区域中光子照射的数量。
CN201610045011.0A 2016-01-22 2016-01-22 对时空信号进行编码的方法和装置 Active CN105681787B (zh)

Priority Applications (12)

Application Number Priority Date Filing Date Title
CN201610045011.0A CN105681787B (zh) 2016-01-22 2016-01-22 对时空信号进行编码的方法和装置
DK17741117.0T DK3407602T3 (da) 2016-01-22 2017-01-22 Fremgangsmåde og apparat til kodning af rum-tid-signaler
EP17741117.0A EP3407602B1 (en) 2016-01-22 2017-01-22 Method and apparatus for encoding space-time signals
JP2018538118A JP6754434B2 (ja) 2016-01-22 2017-01-22 時空間信号を符号化する方法及び装置
KR1020187022875A KR102260457B1 (ko) 2016-01-22 2017-01-22 시공간 신호 코딩 방법 및 장치
PCT/CN2017/072038 WO2017125086A1 (zh) 2016-01-22 2017-01-22 对时空信号进行编码的方法和装置
ES17741117T ES2922251T3 (es) 2016-01-22 2017-01-22 Método y aparato para codificar señales de espacio-tiempo
US16/042,225 US10523972B2 (en) 2016-01-22 2018-07-23 Method and device for encoding space-time signals
US16/724,906 US11228758B2 (en) 2016-01-22 2019-12-23 Imaging method and device
JP2020088332A JP7085764B2 (ja) 2016-01-22 2020-05-20 時空間信号を符号化する方法及び装置
US17/577,528 US11800098B2 (en) 2016-01-22 2022-01-18 Imaging method and device
US18/371,213 US20240015285A1 (en) 2016-01-22 2023-09-21 Generating image based on pulse sequences obtained from encoded information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610045011.0A CN105681787B (zh) 2016-01-22 2016-01-22 对时空信号进行编码的方法和装置

Publications (2)

Publication Number Publication Date
CN105681787A true CN105681787A (zh) 2016-06-15
CN105681787B CN105681787B (zh) 2019-01-18

Family

ID=56302226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610045011.0A Active CN105681787B (zh) 2016-01-22 2016-01-22 对时空信号进行编码的方法和装置

Country Status (8)

Country Link
US (1) US10523972B2 (zh)
EP (1) EP3407602B1 (zh)
JP (2) JP6754434B2 (zh)
KR (1) KR102260457B1 (zh)
CN (1) CN105681787B (zh)
DK (1) DK3407602T3 (zh)
ES (1) ES2922251T3 (zh)
WO (1) WO2017125086A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106643562A (zh) * 2016-10-27 2017-05-10 天津大学 基于时域空域混合编码的结构光条纹投射方法
WO2017125086A1 (zh) * 2016-01-22 2017-07-27 北京大学 对时空信号进行编码的方法和装置
CN108511916A (zh) * 2018-02-12 2018-09-07 东南大学 一种数字式可编程时空编码超材料
CN108710112A (zh) * 2018-01-26 2018-10-26 西安电子科技大学 空时编码阵列空间平滑解相干谱估计方法
CN108881906A (zh) * 2017-05-15 2018-11-23 北京大学 一种图像重构方法及装置
CN108965873A (zh) * 2018-07-24 2018-12-07 北京大学 一种脉冲阵列编码的自适应划分方法
CN109039980A (zh) * 2018-07-12 2018-12-18 北京大学 一种时空脉冲阵列信号进行量化的方法
CN109068024A (zh) * 2018-06-29 2018-12-21 北京大学 一种对时空信号进行滤波的方法
CN109101884A (zh) * 2018-07-10 2018-12-28 北京大学 一种脉冲阵列预测方法
CN109525848A (zh) * 2018-10-16 2019-03-26 北京大学 一种脉冲序列的压缩方法及装置
CN109561313A (zh) * 2018-10-16 2019-04-02 北京大学 一种基于分块的脉冲序列压缩方法及装置
CN109584137A (zh) * 2018-10-24 2019-04-05 北京大学 一种脉冲序列格式转换方法及系统
CN109803096A (zh) * 2019-01-11 2019-05-24 北京大学 一种基于脉冲信号的显示方法和系统
CN109819251A (zh) * 2019-01-10 2019-05-28 北京大学 一种脉冲阵列信号的编解码方法
CN109831672A (zh) * 2019-01-09 2019-05-31 北京大学 一种时空脉冲阵列的运动估计方法
CN109905131A (zh) * 2019-02-27 2019-06-18 中国科学院半导体研究所 一种脉冲序列压缩编码方法和装置
CN111709967A (zh) * 2019-10-28 2020-09-25 北京大学 一种目标检测方法、目标跟踪方法、装置及可读存储介质
CN112384748A (zh) * 2018-05-15 2021-02-19 轻物质公司 光子处理系统和方法
CN114050891A (zh) * 2021-07-22 2022-02-15 东南大学 一种时空二维信道编码方法
CN114077856A (zh) * 2020-08-13 2022-02-22 阿里巴巴集团控股有限公司 处理单元、相关方法和数据中心
CN114466187A (zh) * 2021-12-30 2022-05-10 北京大学 时空信号的采样方法、重构方法及其装置
CN115225898A (zh) * 2021-04-21 2022-10-21 北京大学 时序信号的编码方法、解码方法及装置
US11671182B2 (en) 2019-07-29 2023-06-06 Lightmatter, Inc. Systems and methods for analog computing using a linear photonic processor
CN116456202A (zh) * 2023-04-25 2023-07-18 北京大学 脉冲相机及其彩色成像方法及装置
US11709520B2 (en) 2019-02-25 2023-07-25 Lightmatter, Inc. Path-number-balanced universal photonic network
CN116800912A (zh) * 2023-06-28 2023-09-22 脉冲视觉(北京)科技有限公司 脉冲信号的编码方法和装置、电子设备和存储介质
CN116879699A (zh) * 2023-09-08 2023-10-13 北京大学 目标对象确定方法、装置、电弧检测系统以及存储介质
US11800098B2 (en) 2016-01-22 2023-10-24 Spike Vision (Beijing) Technology Co., Ltd. Imaging method and device
CN117793543A (zh) * 2023-12-18 2024-03-29 脉冲视觉(北京)科技有限公司 时空信号的编码方法、装置和设备
CN118214821A (zh) * 2022-12-15 2024-06-18 脉冲视觉(北京)科技有限公司 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质
CN118214487A (zh) * 2022-12-15 2024-06-18 脉冲视觉(北京)科技有限公司 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质
CN119383475A (zh) * 2024-12-30 2025-01-28 南昌航空大学 一种面向监控场景的脉冲相机数据编码方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107709921B (zh) * 2015-06-04 2021-01-08 乐敏科德公司 自由空间定位仪
CN112687222B (zh) * 2020-12-28 2021-12-17 北京大学 基于脉冲信号的显示方法、装置、电子设备及介质
CN113112521B (zh) * 2021-03-09 2023-10-10 北京大学 一种基于脉冲阵列的运动检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004032402A1 (en) * 2002-10-02 2004-04-15 Nortel Networks Limited Combined space-time decoding
CN1784008A (zh) * 2004-12-02 2006-06-07 北京凯诚高清电子技术有限公司 高清晰视频超强压缩编码方法及解码方法
CN1969559A (zh) * 2004-06-11 2007-05-23 日本电气株式会社 移动图像编码装置和移动图像译码装置、其方法和程序
US20110235698A1 (en) * 2010-03-26 2011-09-29 Csaba Petre Systems and methods for invariant pulse latency coding
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器
CN104952470A (zh) * 2009-09-10 2015-09-30 苹果公司 用于数字视频记录器的视频格式

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6343465A (ja) * 1986-08-09 1988-02-24 Fujitsu Ltd 密着型イメ−ジセンサの駆動方式
US5461425A (en) * 1994-02-15 1995-10-24 Stanford University CMOS image sensor with pixel level A/D conversion
JP2879670B2 (ja) * 1997-03-28 1999-04-05 広島大学長 ２次元情報処理装置
US6642503B2 (en) * 2001-06-13 2003-11-04 Texas Instruments Incorporated Time domain sensing technique and system architecture for image sensor
CN1875544A (zh) * 2003-07-14 2006-12-06 罗切斯特大学 用于象素级模数转换的复用输入分离型增量－累加模数转换器
US8422585B2 (en) * 2004-04-01 2013-04-16 Research In Motion Limited Space-time block coding systems and methods
CN1691539A (zh) * 2004-04-30 2005-11-02 皇家飞利浦电子股份有限公司 用于多入多出无线通信系统的通用多入多出－联合检测方法和装置
US8396153B1 (en) * 2004-12-07 2013-03-12 Adaptix, Inc. Cooperative MIMO in multicell wireless networks
US20080217546A1 (en) 2005-01-06 2008-09-11 Koninklijke Philips Electronics N.V. Pixel Implemented Current to Frequency Converter
WO2011032297A1 (en) * 2009-09-21 2011-03-24 Nortel Networks Limited Signaling and channel estimation for uplink transmit diversity
JP2013211771A (ja) 2012-03-30 2013-10-10 Sony Corp Δσａｄ変換器および信号処理システム
CN105681787B (zh) * 2016-01-22 2019-01-18 北京大学 对时空信号进行编码的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004032402A1 (en) * 2002-10-02 2004-04-15 Nortel Networks Limited Combined space-time decoding
CN1969559A (zh) * 2004-06-11 2007-05-23 日本电气株式会社 移动图像编码装置和移动图像译码装置、其方法和程序
CN1784008A (zh) * 2004-12-02 2006-06-07 北京凯诚高清电子技术有限公司 高清晰视频超强压缩编码方法及解码方法
CN104952470A (zh) * 2009-09-10 2015-09-30 苹果公司 用于数字视频记录器的视频格式
US20110235698A1 (en) * 2010-03-26 2011-09-29 Csaba Petre Systems and methods for invariant pulse latency coding
CN104113754A (zh) * 2014-07-17 2014-10-22 四川大学 基于时域相关性的高性能视频帧间编码方法及其转码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEN QIN WANG: "space-time coding MIMO-OFDM SAR for High-Resolution Imaging", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800098B2 (en) 2016-01-22 2023-10-24 Spike Vision (Beijing) Technology Co., Ltd. Imaging method and device
WO2017125086A1 (zh) * 2016-01-22 2017-07-27 北京大学 对时空信号进行编码的方法和装置
US10523972B2 (en) 2016-01-22 2019-12-31 Peking University Method and device for encoding space-time signals
CN106643562A (zh) * 2016-10-27 2017-05-10 天津大学 基于时域空域混合编码的结构光条纹投射方法
CN106643562B (zh) * 2016-10-27 2019-05-03 天津大学 基于时域空域混合编码的结构光条纹投射方法
CN108881906A (zh) * 2017-05-15 2018-11-23 北京大学 一种图像重构方法及装置
CN108710112A (zh) * 2018-01-26 2018-10-26 西安电子科技大学 空时编码阵列空间平滑解相干谱估计方法
CN108710112B (zh) * 2018-01-26 2021-08-20 西安电子科技大学 空时编码阵列空间平滑解相干谱估计方法
CN108511916A (zh) * 2018-02-12 2018-09-07 东南大学 一种数字式可编程时空编码超材料
US11626931B2 (en) 2018-05-15 2023-04-11 Lightmatter, Inc. Photonic processing systems and methods
CN112384748B (zh) * 2018-05-15 2022-06-17 轻物质公司 光子处理系统和方法
US12113581B2 (en) 2018-05-15 2024-10-08 Lightmatter, Inc. Photonic processing systems and methods
CN112384748A (zh) * 2018-05-15 2021-02-19 轻物质公司 光子处理系统和方法
CN109068024B (zh) * 2018-06-29 2020-07-21 北京大学 一种对时空信号进行滤波的方法
CN109068024A (zh) * 2018-06-29 2018-12-21 北京大学 一种对时空信号进行滤波的方法
CN109101884A (zh) * 2018-07-10 2018-12-28 北京大学 一种脉冲阵列预测方法
CN109039980A (zh) * 2018-07-12 2018-12-18 北京大学 一种时空脉冲阵列信号进行量化的方法
CN109039980B (zh) * 2018-07-12 2020-09-25 北京大学 一种时空脉冲阵列信号进行量化的方法
CN108965873A (zh) * 2018-07-24 2018-12-07 北京大学 一种脉冲阵列编码的自适应划分方法
CN109525848A (zh) * 2018-10-16 2019-03-26 北京大学 一种脉冲序列的压缩方法及装置
CN109561313A (zh) * 2018-10-16 2019-04-02 北京大学 一种基于分块的脉冲序列压缩方法及装置
CN109561313B (zh) * 2018-10-16 2020-04-24 北京大学 一种基于分块的脉冲序列压缩方法及装置
CN109584137B (zh) * 2018-10-24 2021-02-02 北京大学 一种脉冲序列格式转换方法及系统
CN109584137A (zh) * 2018-10-24 2019-04-05 北京大学 一种脉冲序列格式转换方法及系统
CN109831672B (zh) * 2019-01-09 2020-10-27 北京大学 一种时空脉冲阵列的运动估计方法、电子设备及存储介质
CN109831672A (zh) * 2019-01-09 2019-05-31 北京大学 一种时空脉冲阵列的运动估计方法
CN109819251A (zh) * 2019-01-10 2019-05-28 北京大学 一种脉冲阵列信号的编解码方法
US10937132B2 (en) 2019-01-11 2021-03-02 Peking University Spike signal-based display method and system
CN109803096B (zh) * 2019-01-11 2020-08-25 北京大学 一种基于脉冲信号的显示方法和系统
CN109803096A (zh) * 2019-01-11 2019-05-24 北京大学 一种基于脉冲信号的显示方法和系统
US11709520B2 (en) 2019-02-25 2023-07-25 Lightmatter, Inc. Path-number-balanced universal photonic network
CN109905131A (zh) * 2019-02-27 2019-06-18 中国科学院半导体研究所 一种脉冲序列压缩编码方法和装置
US12244354B2 (en) 2019-07-29 2025-03-04 Lightmatter, Inc. Systems and methods for analog computing using a linear photonic processor
US11936434B2 (en) 2019-07-29 2024-03-19 Lightmatter, Inc. Systems and methods for analog computing using a linear photonic processor
US11671182B2 (en) 2019-07-29 2023-06-06 Lightmatter, Inc. Systems and methods for analog computing using a linear photonic processor
CN111709967B (zh) * 2019-10-28 2023-04-07 脉冲视觉(北京)科技有限公司 一种目标检测方法、目标跟踪方法、装置及可读存储介质
CN111709967A (zh) * 2019-10-28 2020-09-25 北京大学 一种目标检测方法、目标跟踪方法、装置及可读存储介质
CN114077856A (zh) * 2020-08-13 2022-02-22 阿里巴巴集团控股有限公司 处理单元、相关方法和数据中心
CN115225898A (zh) * 2021-04-21 2022-10-21 北京大学 时序信号的编码方法、解码方法及装置
CN114050891B (zh) * 2021-07-22 2024-02-27 东南大学 一种时空二维信道编码方法
US12323242B2 (en) 2021-07-22 2025-06-03 Southeast University Method for coding on time space two dimensional channel
WO2023000836A1 (zh) * 2021-07-22 2023-01-26 东南大学 一种时空二维信道编码方法
CN114050891A (zh) * 2021-07-22 2022-02-15 东南大学 一种时空二维信道编码方法
CN114466187B (zh) * 2021-12-30 2024-03-15 北京大学 时空信号的采样方法、重构方法及其装置
CN114466187A (zh) * 2021-12-30 2022-05-10 北京大学 时空信号的采样方法、重构方法及其装置
CN118214487B (zh) * 2022-12-15 2024-11-19 脉冲视觉(北京)科技有限公司 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质
CN118214821A (zh) * 2022-12-15 2024-06-18 脉冲视觉(北京)科技有限公司 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质
CN118214487A (zh) * 2022-12-15 2024-06-18 脉冲视觉(北京)科技有限公司 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质
CN116456202B (zh) * 2023-04-25 2023-12-15 北京大学 脉冲相机及其彩色成像方法及装置
CN116456202A (zh) * 2023-04-25 2023-07-18 北京大学 脉冲相机及其彩色成像方法及装置
CN116800912A (zh) * 2023-06-28 2023-09-22 脉冲视觉(北京)科技有限公司 脉冲信号的编码方法和装置、电子设备和存储介质
CN116800912B (zh) * 2023-06-28 2025-01-28 脉冲视觉(北京)科技有限公司 脉冲信号的编码方法和装置、电子设备和存储介质
CN116879699B (zh) * 2023-09-08 2023-12-15 北京大学 目标对象确定方法、装置、电弧检测系统以及存储介质
CN116879699A (zh) * 2023-09-08 2023-10-13 北京大学 目标对象确定方法、装置、电弧检测系统以及存储介质
CN117793543B (zh) * 2023-12-18 2024-11-15 脉冲视觉(北京)科技有限公司 时空信号的编码方法、装置和设备
CN117793543A (zh) * 2023-12-18 2024-03-29 脉冲视觉(北京)科技有限公司 时空信号的编码方法、装置和设备
CN119383475A (zh) * 2024-12-30 2025-01-28 南昌航空大学 一种面向监控场景的脉冲相机数据编码方法
CN119383475B (zh) * 2024-12-30 2025-05-13 南昌航空大学 一种面向监控场景的脉冲相机数据编码方法

Also Published As

Publication number Publication date
KR102260457B1 (ko) 2021-06-03
US20180332310A1 (en) 2018-11-15
CN105681787B (zh) 2019-01-18
JP2019506802A (ja) 2019-03-07
JP2020145725A (ja) 2020-09-10
JP7085764B2 (ja) 2022-06-17
DK3407602T3 (da) 2022-07-04
US10523972B2 (en) 2019-12-31
EP3407602A4 (en) 2018-11-28
EP3407602A1 (en) 2018-11-28
WO2017125086A1 (zh) 2017-07-27
JP6754434B2 (ja) 2020-09-09
ES2922251T3 (es) 2022-09-12
KR20180105668A (ko) 2018-09-28
EP3407602B1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
JP7085764B2 (ja) 時空間信号を符号化する方法及び装置
US11800098B2 (en) Imaging method and device
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN106254868B (zh) 视频编码码率控制方法、装置及系统
CN108881906B (zh) 一种图像重构方法及装置
US20240015285A1 (en) Generating image based on pulse sequences obtained from encoded information
CN105959705B (zh) 一种面向可穿戴设备的视频直播方法
CN101729891B (zh) 一种多视点深度视频的编码方法
US20160050440A1 (en) Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN105357523B (zh) 一种基于hosvd算法视频压缩系统及方法
CN108347612A (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
CN110177282A (zh) 一种基于srcnn的帧间预测方法
Zhang et al. Compressive acquisition CMOS image sensor: from the algorithm to hardware implementation
CN115002482B (zh) 使用结构性保持运动估计的端到端视频压缩方法及系统
CN104125430B (zh) 视频运动目标检测方法、装置以及视频监控系统
Liu et al. A low power multi-mode CMOS image sensor with integrated on-chip motion detection
CN117692808A (zh) 基于三维堆叠技术的时空差分视觉传感器芯片及成像系统
CN110012289A (zh) 一种基于h.264的人群异常检测方法
JP6135865B2 (ja) 撮像システム、撮像装置、および撮像方法
Uhrina et al. Impact of compression on the video quality
CN115661452A (zh) 一种基于事件相机和rgb图像的图片去遮挡方法
CN103155566B (zh) 动态图像编码方法以及动态图像编码装置
CN103297705B (zh) 大型场馆专业级网络音视频实时处理方法及其系统
Chauhan et al. A novel approach to video compression Technique using variable block sizes in motion estimation process
CN118214821A (zh) 脉冲信号的编码处理方法和装置、脉冲相机、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220129

Address after: 100084 b501b-2, 5th floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing

Patentee after: Pulse vision (Beijing) Technology Co.,Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Haidian District, Beijing, Zhongguancun

Patentee before: Peking University

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160615

Assignee: Shida Future Technology (Beijing) Co.,Ltd.

Assignor: Pulse vision (Beijing) Technology Co.,Ltd.

Contract record no.: X2023980040531

Denomination of invention: Method and device for encoding spatiotemporal signals

Granted publication date: 20190118

License type: Exclusive License

Record date: 20230825

EE01 Entry into force of recordation of patent licensing contract