CN104349163A - 端到端视频传输延迟测量显示装置及测量系统 - Google Patents
端到端视频传输延迟测量显示装置及测量系统 Download PDFInfo
- Publication number
- CN104349163A CN104349163A CN201410691825.2A CN201410691825A CN104349163A CN 104349163 A CN104349163 A CN 104349163A CN 201410691825 A CN201410691825 A CN 201410691825A CN 104349163 A CN104349163 A CN 104349163A
- Authority
- CN
- China
- Prior art keywords
- display
- timestamp
- video
- display unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 75
- 230000005540 biological transmission Effects 0.000 title claims abstract description 57
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 11
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种端到端视频传输延迟测量显示装置及测量系统,装置包括时间戳高速发生器、至少两个显示控制器,所述至少两个显示控制器各自分别连接一个显示单元,所述显示单元阵列排布构成显示阵列;所述时间戳高速发生器每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,依次发送不同时间产生的所述时间戳到所述至少两个显示控制器;所述至少两个显示控制器获取来自所述时间戳高速发生器发送的时间戳从而驱动所述显示阵列;所示显示阵列依次在每个显示单元分别显示不同时间产生的所述时间戳。本发明提高了时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求,同时本发明的测量系统设备简单,成本大大降低。
Description
技术领域
本发明涉及视频传输系统时间延迟测量领域,特别涉及一种端到端视频传输延迟测量显示装置及测量系统。
背景技术
时间延迟是视频处理系统输入与输出之间的时间先后顺序。视频处理系统的每个组成单元,如视频采集、编码、传输、解码、显示,以及接口和缓存都会产生延迟。端到端的时间延迟又称为CDL(Capture-to-Display Latency),是指从发送端采集视频画面到接收端显示视频画面所经历的时间差。CDL是衡量视频传输系统服务质量的重要指标之一,定量的表征了系统的实时性。测量端到端视频的延迟方法较多,国内外的研究人员、专业设备提供商都给出了相关的解决方案。这些方案主要分为两大类,具体如下:
第一类称为侵入式测量方法,主要原理为,发送端定制产生的特殊的视频音频信号,并送入编码和传输系统,由专门的测量设备在接收端或者指定的测量点接收这些信号,计算时间差作为两点之间的时延。采用这类方案的通常是专业设备厂商,比如罗德与施瓦茨公司、泰克公司等提供的相关测量设备。其优点是测量精度高,支持较多的待测点。缺点是需要有专业的、昂贵的设备,因为涉及图像的采集和显示,这些专业设备无法替代用户使用的采集和显示设备,因此侵入式方法难以精确地测量端到端的时延CDL,特别是发送端和接收端不在同一个地点,分属于远程异地的情况。
第二类称为非侵入式测量方法,其主要原理是,发送端在视频画面上嵌入可以表示时间戳的符号,即发送时间戳,在接收端显示出带有发送时间戳的视频画面时,提取发送时间戳并与接收端的本地时间戳进行比较,从而获得时延CDL。现有的常见方法是在计算机屏幕上显示时间戳,用摄像机对着计算机屏幕采集视频画面,从而将时间戳融入视频图像内,发送端将带有时间戳的视频编码压缩,并传输到接收端。接收端解码并显示出带有时间戳的视频画面。现有的非入侵的测量方法,时间戳通常有数字形式、一维条码、二维码和设计的特殊符号。主要目的是希望利用已有的、比较稳定、可靠性高的码字生成器和读码器。虽然这类方法不需要昂贵的专业测试设备,但是测量的时间延迟的精度受制于计算机显示器的刷新率、显示器显像延迟、摄像机的帧率、曝光时间、收发两端时钟同步精度的影响从而使得其测量精度较低。这类方法常用于IP网络的视频时延低精度测量,其测量精度无法满足对时延高度敏感的视频处理系统的测量要求,比如地面数字电视、无人机实时侦察、红外成像制导武器、远程手术系统等。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足,提供一种端到端视频传输延迟测量显示装置及测量系统,以满足对时延高度敏感的视频处理系统的时延测量精度要求,降低成本。
为了实现上述发明目的,本发明采用的技术方案是:一种端到端视频传输延迟测量显示装置,包括时间戳高速发生器,所述时间戳高速发生器连接至少两个显示控制器,所述至少两个显示控制器各自分别连接一个显示单元,所述显示单元阵列排布构成显示阵列;
所述时间戳高速发生器,用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,依次发送不同时间产生的所述时间戳到所述至少两个显示控制器;其中所述预定时间为毫秒级;
所述至少两个显示控制器,用于获取来自所述时间戳高速发生器发送的时间戳从而驱动所述显示阵列;
所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
优选的,所述时间戳高速发生器通过总线连接所述至少两个显示控制器,所述至少两个显示控制器各自具有唯一的总线地址;
所述时间戳高速发生器具体用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,将每个所述时间戳生成带有所述总线地址的总线数据帧,依次发送所述总线数据帧到所述总线;
所述至少两个显示控制器具体用于分别根据各自的所述总线地址从所述总线上获取与各自的所述总线地址唯一对应的来自所述时间戳高速发生器发送的所述总线数据帧,解析所述总线数据帧提取其中的时间戳从而驱动所述显示阵列;
所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
优选的,若所述至少两个显示控制器中的任意一个显示控制器第二次收到所述时间戳高速发生器发送来的与其唯一的所述总线地址对应的所述总线数据帧,则所述显示阵列中与所述任意一个显示控制器连接的显示单元显示与当前的所述总线数据帧对应的时间戳,否则始终显示之前的所述时间戳。
优选的,所述显示阵列中每个显示单元按照所述显示单元从左到右、从上到下的先后排布顺序分别显示不同时间产生的所述时间戳。
优选的,所述显示阵列中的每个显示单元为LCD显示单元,多个LCD显示单元按照行列对齐构成LCD显示阵列。
本发明还提供一种端到端视频传输延迟测量系统,包括:
第一测量显示装置,即上述的端到端视频传输延迟测量显示装置,用于在发送端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第一视频采集单元,用于采集所述第一测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面,将所述图像画面编码压缩生成视频流发送到视频传输网络;
所述视频传输网络,与所述第一视频采集单元连接,用于传输所述视频流;
视频显示单元,与所述视频传输网络连接,用于接收所述视频流,对所述视频流进行解码并显示解码后的图像画面;
第二测量显示装置,与所述第一测量显示装置相同,且与所述第一测量装置同时启动,用于在接收端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第二视频采集单元,用于同时采集录制所述第二测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面和所述视频显示单元显示的解码后的图像画面的视频信息;
分析单元,用于对所述第二视频采集单元采集到的所述第二测量显示装置和所述视频显示单元的所述视频信息进行解码,将每一帧保存为一幅图像,然后在图像中的所述第二测量显示装置区域提取最大的第一时间戳,在图像中所述视频显示单元区域提取最大的第二时间戳,计算所述第一时间戳和第二时间戳的差值即为时间延迟测量值。
优选的,所述第二视频采集单元采集录制所述第二测量显示装置和所述视频显示单元的图像画面视频的时间为3-5分钟。
优选的,所述分析单元还用于对每帧图像分别计算所述时间延迟测量值,取多个所述时间延迟测量值的平均值作为传输系统端到端的时间延迟测量值。
优选的,所述第一视频采集单元的采集频率为f s,所述视频显示单元的刷新率为f d,所述第二视频采集单元的采集频率为f r,其中,f d≥f r≥f s。
优选的,所述第一视频采集单元和第二视频采集单元均为摄像机,所述视频显示单元为LCD显示器。
与现有技术相比,本发明的有益效果: 本发明测量显示装置中设计了可显示多个时间戳的显示单元构成的显示阵列,在不同的位置显示不同的时间戳,避免了在同一个位置快速显示时间戳,前后时间戳重叠,从而形成了清晰的时间戳图像,提高了时间戳识别的准确度。利用其测量端到端视频传输系统时间延迟时可生成更精确的、更清晰的时间戳图像,进而提高时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求,同时本发明的测量系统设备简单,成本大大降低。
附图说明:
图1是本发明实施例中的端到端视频传输延迟测量显示装置示意图;
图2是本发明实施例中LCD阵列示意图;
图3是本发明实施例中的端到端视频传输延迟测量系统示意图;
图4是视频采样过程和偏差示意图;
图5是本发明实施例中的端到端视频传输延迟测量系统发送端视频采集过程示意图;
图6是本发明实施例中的端到端视频传输延迟测量系统接收端视频采集过程示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
本发明测量显示装置中设计了可显示多个时间戳的显示单元构成的显示阵列,在不同的位置显示不同的时间戳,避免了在同一个位置快速显示时间戳,前后时间戳重叠,从而形成清晰的时间戳图像,提高了时间戳识别的准确度。
利用其测量端到端视频传输系统时间延迟时可生成更精确的、更清晰的时间戳图像,进而提高时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求,同时本发明的测试系统设备简单,成本大大降低。下面结合附图具体说明。
本发明的端到端视频传输延迟测量显示装置,包括时间戳高速发生器,所述时间戳高速发生器连接至少两个显示控制器,所述至少两个显示控制器各自分别连接一个显示单元,所述显示单元阵列排布构成显示阵列。
所述时间戳高速发生器,用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,依次发送不同时间产生的所述时间戳到所述至少两个显示控制器;其中所述预定时间为毫秒级,本领域技术人员可根据具体情况设置。
所述至少两个显示控制器,用于获取来自所述时间戳高速发生器发送的时间戳从而驱动所述显示阵列。
所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
具体的,参看图1,所述时间戳高速发生器通过总线连接所述至少两个显示控制器,所述至少两个显示控制器各自具有唯一的总线地址。所述时间戳高速发生器具体用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,将每个所述时间戳生成带有所述总线地址的总线数据帧,依次发送所述总线数据帧到所述总线;所述至少两个显示控制器具体用于分别根据各自的所述总线地址从所述总线上获取与各自的所述总线地址唯一对应的来自所述时间戳高速发生器发送的所述总线数据帧,解析所述总线数据帧提取其中的时间戳从而驱动所述显示阵列;所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
优选的,若所述至少两个显示控制器中的任意一个显示控制器第二次收到所述时间戳高速发生器发送来的与其唯一的所述总线地址对应的所述总线数据帧,则所述显示阵列中与所述任意一个显示控制器连接的显示单元显示与当前的所述总线数据帧对应的时间戳,否则始终显示之前的所述时间戳。也就是说每个显示单元依次始终显示各自收到的时间戳,直到重新收到一个最新产生的时间戳则开始显示最新的时间戳。
优选的,所述显示阵列中每个显示单元按照所述显示单元从左到右、从上到下的先后排布顺序分别显示不同时间产生的所述时间戳。由于所述时间戳是所述时间戳高速发生器每隔预定时间连续产生的,时间戳的时间值是不断增大的,按照阵列方式从左到右、从上到下的先后排布顺序分别显示,这样在采集图像分析时可便于快速确定有效时间戳(即最大值的时间戳),一般位于图像的右下角,提高分析处理的效率。
优选的,所述显示阵列中的每个显示单元为LCD显示单元,多个LCD显示单元按照行列对齐构成LCD显示阵列。
具体的,所述显示阵列由多个极小尺寸的LCD显示单元按照行列对齐,规则地拼接成一个紧凑的LCD阵列,图2为LCD阵列的示意图。参看图1,时间戳面板(即端到端视频传输延迟测量显示装置)由LCD阵列、GPS授时时钟、显示控制器、时间戳高速发生器、总线等五个部分组成。每个LCD显示单元具有各自独立的显示控制器,并通过总线与时间戳高速发生器连接在一起。每个显示控制器具有唯一的总线地址,从总线上获取来自时间戳高速发生器发送给本地址的时间戳,并驱动LCD显示单元显示出时间戳。GPS授时时钟获取外部GPS信号,生成同步时间。时间戳高速发生器从GPS授时时钟获取同步时间,按照LCD显示单元的显示控制器的总线地址,顺次发送产生的时间戳到对应的LCD显示单元进行显示。时间戳高速发生器每隔1/f c秒产生一个时间戳,经过总线送给指定的LCD显示单元显示。每个LCD显示单元会始终显示对应的时间戳值,直到显示控制器接收到新的时间戳或者清除显示命令。LCD阵列上的时间戳按从左到右、从上到下的先后顺序显示。时间戳显示阵列能提供的最小时间粒度为1/f c。时间戳显示阵列上会显示多个时间戳,其中的最大值的时间戳称为有效时间戳。
由于常规的非入侵的时延测量方法通常是对着时钟或者秒表采集时间戳。因为不断变化时间戳显示在一个显示装置的同一个位置或者紧邻的位置,前后不同的时间戳重叠在一起,形成模糊的时间戳图像。本发明设计了时间戳显示阵列面板,在不同的位置显示不同的时间戳,避免了在同一个位置快速显示时间戳,前后时间戳重叠,从而形成清晰的时间戳图像,提高了时间戳识别的准确度。利用其测量端到端视频传输系统时间延迟时可生成更精确的、更清晰的时间戳图像,进而提高时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求。
本发明还提供一种端到端视频传输延迟测量系统,包括:
第一测量显示装置,即上述实施例的端到端视频传输延迟测量显示装置(也称时间戳面板,下同),用于在发送端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第一视频采集单元(如摄像机),用于采集所述第一测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面,将所述图像画面编码压缩生成视频流发送到视频传输网络;
所述视频传输网络,与所述第一视频采集单元连接,用于传输所述视频流;
视频显示单元(如LCD显示器),与所述视频传输网络连接,用于接收所述视频流,对所述视频流进行解码并显示解码后的图像画面;
第二测量显示装置,与所述第一测量显示装置相同,且与所述第一测量装置同时启动,用于在接收端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第二视频采集单元(如摄像机),用于同时采集录制所述第二测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面和所述视频显示单元显示的解码后的图像画面的视频信息。
优选的,在一个示例中,所述第二视频采集单元采集录制所述第二测量显示装置和所述视频显示单元的图像画面视频的时间为3-5分钟,这样可采集足够的画面供后续处理。第二视频采集单元也可以保存采集的视频信息。
分析单元,用于对所述第二视频采集单元采集到的所述第二测量显示装置和所述视频显示单元的所述视频信息进行解码,将每一帧保存为一幅图像,然后在图像中的所述第二测量显示装置区域提取最大的第一时间戳,在图像中所述视频显示单元区域提取最大的第二时间戳,计算所述第一时间戳和第二时间戳的差值即为时间延迟测量值。所述分析单元可以是具有视频、图像处理的任何计算装置。
本发明利用所述测量显示装置测量端到端视频传输系统时间延迟,可生成更精确的、更清晰的时间戳图像,进而提高时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求,同时本发明的测量系统设备简单,成本大大降低。
为了进一步提高测量精度,在一个示例中,所述分析单元还用于对每帧图像分别计算所述时间延迟测量值,取多个所述时间延迟测量值的平均值作为传输系统端到端的时间延迟测量值。
优选的,所述第一视频采集单元的采集频率为f s,所述视频显示单元的刷新率为f d,所述第二视频采集单元的采集频率为f r,其中,f d≥f r≥f s。
下面通过一个实施例具体说明本发明的端到端视频传输延迟测量系统。
参看图3,本发明测量系统由被测系统设备和测试设备两部分组成,测试设备包括发送端时间戳面板SSTPanel(即第一测量显示装置,下同)、接收端时间戳面板RSTPanel(即第二测量显示装置,下同)、接收端摄像机RCamera(即第二视频采集单元)三个部分。被测系统设备主要为发送端设备摄像机SCamera(即第一视频采集单元)、传输网络Transmission Networks、接收端的终端设备液晶显示器DispLCD(即视频显示单元)。
发送端SSTPanel 快速生成连续的毫秒级时间戳,并顺次显示在面板的显示单元阵列上供发送端设备SCamera采集。SCamera采集视频图像画面,编码压缩生成视频流,并将视频流发送到传输网络Transmission Networks。在测量过程中,SCamera对着SSTPanel拍摄视频,记录下了SSTPanel上不断变化的时间戳,形成了带有时间戳的输入视频画面。Transmission Networks为视频流提供传输通路,将视频从发送端传输到接收端,完成视频数据流的传输。DispLCD是接收终端,实现视频接收解码显示,将解码的视频画面呈现给用户,在测量的过程中,DispLCD显示发送端送过来的带有发送时间戳的视频画面。RSTPanel与SSTPanel功能类似,主要快速生成连续的毫秒级时间戳,并顺次显示在面板上供接收端RCamera采集。RCamera 为摄像机,在接收端同时对着DispLCD和RSTPanel 快速记录来自发送端的时间戳和接收端本地时间戳。
被测传输系统的发端采集带有发送时间戳T s的视频画面,接收端解码显示带有发送时间戳的视频画面,再与接收端的本地时间戳面板显示的接收时间戳T r同时被接收端的高帧率摄像机RCamera采集显示,通过分析视频图像,提取T s和T r并计算时间差,从而获得到端到端传输延迟的测量值。本发明计算简单、精度高,测量设备简单,成本大大降低。
具体的,本实施例中SSTPanel和RSTPanel 均由500个极小尺寸的液晶显示单元组成,排列成20行,每行25个显示单元。液晶显示单元的尺寸为宽25.4毫米,高14毫米。时间显示格式为M.SS.XXX, 其中M分钟,SS为秒钟, XXX为毫秒,共8个字符,因此测量的延迟范围可达10分钟,满足现有所有的网络。所述总线使用CAN总线,总线速率为1Mbps。高速时间戳发生器主要由DSP实现,每隔2毫秒通过串行口从GPS授时时钟获取精确的时间戳值,并生成带有目的总线地址的CAN数据帧,通过CAN总线发送给指定的显示单元的显示控制器。相邻两个时间戳的差为2毫秒,因此有时钟频率f c=500Hz。
本实施例中发送端的摄像机SCamera的分辨率为1920×1080,帧率f s=60Hz,视频传输网络Transmission Networks为DVB-T无线传输系统,包括发端的调制器和功放、发端天线、接收端天线、接收端解调器、接收端解码器(图未示)。接收端的DispLCD显示屏幕的分辨率为1920×1080,刷新率f d=60Hz。接收端的摄像机RCamera的分辨率为1920×1080,帧率f r=60Hz。
具体工作过程如下:
(1) 开启被测系统
分别启动SCamera、传输网络Transmission Networks、接收端设备DispLCD。
(2) 启动测试设备
分别启动SSTPanel 和RSTPanel,直到均显示出时间戳,并将DispLCD和RSTPanel并列紧放在一起。
(3) 发送端采集时间戳视频
将SCamera 放在 SSTPanel正前面,观察SCamer取景框,适当调整距离,使得SSTPanel形成较为清晰的画面。SCamera开始录制带有时间戳的视频。
(4) 接收端采集时间戳视频
当发送端时间戳面板SSTPanel的画面在DispLCD显示出后,将RCamera放在RSTPanel和DispLCD前面,观察RCamera取景框,调整到适当距离,使得RSTPanel的画面和DsipLCD的画面同时在RCamera形成清晰的画面。RCamera录制3-5分钟视频,并保存视频文件。
(5) 分析图像计算时间延迟CDL
将RCamera录制的视频进行解码,将每帧保存为一幅图像。按照录制的先后顺序,观测每帧图像的发送时间戳画面和接收时间戳画面。由于RCamera同时采集RSTPanel和DispLCD的画面,因此在保存的每帧对应的所述图像中存在两个区域,即DispLCD成像区域和RSTPanel成像区域。在RCamera采集的视频转换的图像内,从DispLCD的区域里找到最大的时间戳T s,从RSTPanel区域里找到最大的时间戳T r,计算延迟的测量值Delay=T r-T s。
为了进一步提高测量精度,从每帧图像里计算出一个测量值Delay,取100帧图像的Delay,计算它们的算数平均值 作为传输系统端到端的时间延迟CDL。
下面对计算时间延迟CDL做出具体说明:由于受显示控制状态切换延迟的限制,一方面显示画面不是瞬间完成的,存在延迟过程;另一方面受刷新率的制约,视频显示的画面视觉上是连续的,但是实际上是离散的,相邻两幅画面之间有一定的时间间隔。在显示下一帧画面之前,上一帧画面会一直停留在屏幕上。因此,在此时间间隔内可以将其看成脉冲信号,其幅度保持不变。
视频采集过程也不是瞬态突变的完成的。受成像感光机制的制约,采集画面时需要一个曝光时间段,在整个曝光的时间内,摄像机的CCD都对拍摄的画面进行感光累积,也就是电荷累积的过程,类似于对一维曲线积分。如果被拍摄的画面没有剧烈变化时,累积的画面将会不断加强,视觉上颜色加深。如果被拍摄的画面有剧烈变化时,累积的画面存在重叠,呈现模糊的画面。
视频采集和显示的过程都是对不断变化的二维信号的采样过程。如果过程都是离散的周期性过程,因频率不能完全一致,而且无法达到精确同步,则会存在采样误差。设存在一个绝对精确的连续时间t,频率为f i的采样信号S i,周期为1/f h的高频周期离散过程P h和周期为1/f l低频周期离散过程P l。采样信号f i对高频和低频过程的采样如图4所示意。在T m时刻,S i同时对P h和P l采样。在T n时刻观察到S i采到的信号,仍然是P h在T q时刻的值,P l在T k时刻的值,由于1/f l ≥1/f h,因此显然有Δt h≤Δt l。采样保持期间,即使被采信号发生了变化,但是采样值仍然不会随之变化,因此会产生误差。从时间上看,对P h过程采集的信号更加接近T n时刻的值,因此时间误差要小一些。当f h越大,则偏离误差的范围则越小。
在测量视频传输系统时间延迟的发送端的时间戳面板SSTPanel,时钟的频率为f c,即每隔1/f c秒钟生成一个新的时间戳显示在显示阵列上最新的位置上。摄像机SCamera的帧率为f s,每隔1/f s秒钟对时间戳面板(即第一测量显示装置)采集一帧图像,记录时间戳面板上显示的最新时间。采集过程的示意图如图5所示。当相机摄像机SCamera在T m时刻对时间戳面板采集图像,则获取的最新的时间戳为面板上T s时刻显示的时间值,产生的误差为Δt s,其范围为0≤Δt s<1/f c。SCamera采集的时间戳视频经过编码压缩后,形成视频流被送入传输网络。
在测量视频传输系统时间延迟的接收端的时间戳面板RSTPanel,时钟的频率也为f c,也就是每隔1/f c秒钟生成一个新的时间戳,显示在最新的位置。接收端解码显示器DispLCD的刷新率为f d,即每隔1/f d秒钟显示一帧图像。摄像机RCamera的帧率为f r,即每隔1/f r秒钟对时间戳面板采集一帧图像,记录时间戳面板上显示的时间。通常情况下有f d≥f r≥f s,因此解码显示屏幕上的时间更新频率等效为f s。也就是说,在接收端显示的有效时间戳频率为按照发送端摄像机SCamera的采集频率f s。RCamera采集双时间戳的过程如图6所示。RCamera在T w时刻采集RSTPanel时间戳实际是在T r时刻生成的时间戳,误差为Δt r=T w-T r, 显然有0≤Δt r≤1/f c。RCamera在T w时刻采集的显示屏幕DispLCD的时间戳虽然是T u时刻刷新的时间戳,但是实际上为T p时刻解码显示的时间戳。也就是T u时刻显示的时间戳与T p时刻的时间戳是一致,因为f d≥f s,所以是属于重复显示。因此误差为Δt p=T w-T p,显然0≤Δt p≤1/f s。
接收端RCamera从RSTPanel和DispLCD同时采集接收端本地有效时间戳和解码显示有效时间戳的视频画面。因为f d≥f r≥f s,所以T w时刻从DispLCD获得的时间戳应为T u时刻刷新的画面,实为T p时刻的画面所显示的时间戳。该时间戳实际等效于发送端的发送时间戳,因此综合图5和图6可知,端到端时间延迟CDL可由下式计算:
CDL=T w -T m =(T r +Δt r)-(T p +Δt p)=(T r +Δt r)-(T s +Δt s +Δt p)
= (T r -T s )-(Δt p +Δt s -Δt r)
实际上,从采集RCamera采集画面上仅能获得发送时间戳T s和接收时间戳T r。由T s和T r计算出端到端延迟的测量值Delay:
Delay=T r-T s=CDL+δ
对比上面两个公式可以看出,误差为δ=(Δt p +Δt s -Δt r),该误差产生源于SCamera、RCamera、DispLCD没有精确同步,传输网络的变化,采样点与脉冲起始点的位置变化。理论上,该误差的范围为[-(1/f c+f s), 1/f c+1/f s)。误差δ是动态变化的,导致计算的CDL是不断变化的。为了减小误差,计算多个Delay的算数平均值作为时间延迟CDL的值。
本发明利用周期性脉冲采样理论,对时间戳的误差进行了分析,建立了测量误差范围与时间戳面板的显示时间戳的精度1/f c(1/f c越小精度越高)、发送端的摄像机的帧率f s、接收端的显示屏幕刷新率f d、接收端的摄像机的帧率f r的关系。本发明通过提高时间戳的精度,采用高帧率的发送端摄像机和接收端摄像机,接收端采用刷新率高的显示器。
本发明测量显示装置中设计了可显示多个时间戳的显示单元构成的显示阵列,在不同的位置显示不同的时间戳,避免了在同一个位置快速显示时间戳,前后时间戳重叠,从而形成清晰的时间戳图像,提高了时间戳识别的准确度。
利用其测量端到端视频传输系统时间延迟时可生成更精确的、更清晰的时间戳图像,进而提高时延测量精度,以满足对时延高度敏感的视频处理系统的时延测量精度要求,同时本发明的测量系统设备简单,成本大大降低。
上面结合附图对本发明的具体实施方式进行了详细说明,但本发明并不限制于上述实施方式,在不脱离本申请的权利要求的精神和范围情况下,本领域的技术人员可以做出各种修改或改型。
Claims (10)
1.一种端到端视频传输延迟测量显示装置,其特征在于,包括时间戳高速发生器,所述时间戳高速发生器连接至少两个显示控制器,所述至少两个显示控制器各自分别连接一个显示单元,所述显示单元阵列排布构成显示阵列;
所述时间戳高速发生器,用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,依次发送不同时间产生的所述时间戳到所述至少两个显示控制器;其中所述预定时间为毫秒级;
所述至少两个显示控制器,用于获取来自所述时间戳高速发生器发送的时间戳从而驱动所述显示阵列;
所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
2.根据权利要求1所述的端到端视频传输延迟测量显示装置,其特征在于,所述时间戳高速发生器通过总线连接所述至少两个显示控制器,所述至少两个显示控制器各自具有唯一的总线地址;
所述时间戳高速发生器具体用于每隔预定时间从GPS授时时钟获取同步时间产生一个时间戳,将每个所述时间戳生成带有所述总线地址的总线数据帧,依次发送所述总线数据帧到所述总线;
所述至少两个显示控制器具体用于分别根据各自的所述总线地址从所述总线上获取与各自的所述总线地址唯一对应的来自所述时间戳高速发生器发送的所述总线数据帧,解析所述总线数据帧提取其中的时间戳从而驱动所述显示阵列;
所示显示阵列,用于依次在每个显示单元分别显示不同时间产生的所述时间戳。
3.根据权利要求2所述的端到端视频传输延迟测量显示装置,其特征在于,若所述至少两个显示控制器中的任意一个显示控制器第二次收到所述时间戳高速发生器发送来的与其唯一的所述总线地址对应的所述总线数据帧,则所述显示阵列中与所述任意一个显示控制器连接的显示单元显示与当前的所述总线数据帧对应的时间戳,否则始终显示之前的所述时间戳。
4.根据权利要求1-3任一项所述的端到端视频传输延迟测量装置,其特征在于,所述显示阵列中每个显示单元按照所述显示单元从左到右、从上到下的先后排布顺序分别显示不同时间产生的所述时间戳。
5.根据权利要求4所述的端到端视频传输延迟测量显示装置,其特征在于,所述显示阵列中的每个显示单元为LCD显示单元,多个LCD显示单元按照行列对齐构成LCD显示阵列。
6.一种端到端视频传输延迟测量系统,其特征在于,包括:
第一测量显示装置,即上述权利要求1-5任一项的端到端视频传输延迟测量显示装置,用于在发送端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第一视频采集单元,用于采集所述第一测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面,将所述图像画面编码压缩生成视频流发送到视频传输网络;
所述视频传输网络,与所述第一视频采集单元连接,用于传输所述视频流;
视频显示单元,与所述视频传输网络连接,用于接收所述视频流,对所述视频流进行解码并显示解码后的图像画面;
第二测量显示装置,与所述第一测量显示装置相同,且与所述第一测量装置同时启动,用于在接收端生成并在所述显示阵列上按照阵列方式显示不同时间产生的时间戳;
第二视频采集单元,用于同时采集录制所述第二测量显示装置的显示阵列上显示的不同时间产生的时间戳图像画面和所述视频显示单元显示的解码后的图像画面的视频信息;
分析单元,用于对所述第二视频采集单元采集到的所述第二测量显示装置和所述视频显示单元的所述视频信息进行解码,将每一帧保存为一幅图像,然后在图像中的所述第二测量显示装置区域提取最大的第一时间戳,在图像中所述视频显示单元区域提取最大的第二时间戳,计算所述第一时间戳和第二时间戳的差值即为时间延迟测量值。
7.根据权利要求6所述的端到端视频传输延迟测量系统,其特征在于,所述第二视频采集单元采集录制所述第二测量显示装置和所述视频显示单元的图像画面视频的时间为3-5分钟。
8.根据权利要求6所述的端到端视频传输延迟测量系统,其特征在于,所述分析单元还用于对每帧图像分别计算所述时间延迟测量值,取多个所述时间延迟测量值的平均值作为传输系统端到端的时间延迟测量值。
9.根据权利要求6所述的端到端视频传输延迟测量系统,其特征在于,所述第一视频采集单元的采集频率为f s,所述视频显示单元的刷新率为f d,所述第二视频采集单元的采集频率为f r,其中,f d≥f r≥f s。
10.根据权利要求6-9任一项所述的端到端视频传输延迟测量系统,其特征在于,所述第一视频采集单元和第二视频采集单元均为摄像机,所述视频显示单元为LCD显示器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410691825.2A CN104349163B (zh) | 2014-11-26 | 2014-11-26 | 端到端视频传输延迟测量显示装置及测量系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410691825.2A CN104349163B (zh) | 2014-11-26 | 2014-11-26 | 端到端视频传输延迟测量显示装置及测量系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104349163A true CN104349163A (zh) | 2015-02-11 |
CN104349163B CN104349163B (zh) | 2016-06-08 |
Family
ID=52503847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410691825.2A Expired - Fee Related CN104349163B (zh) | 2014-11-26 | 2014-11-26 | 端到端视频传输延迟测量显示装置及测量系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104349163B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534843A (zh) * | 2016-11-14 | 2017-03-22 | 北京凌宇智控科技有限公司 | 一种延迟测量方法及装置 |
CN107221008A (zh) * | 2017-05-16 | 2017-09-29 | 西安爱生技术集团公司 | 一种察打无人机图像制导导弹目标捕获方法 |
CN107801021A (zh) * | 2017-10-27 | 2018-03-13 | 优酷网络技术(北京)有限公司 | 评估实时视频延迟的方法、装置和系统 |
CN108566316A (zh) * | 2018-04-18 | 2018-09-21 | 百度在线网络技术(北京)有限公司 | 无人车时延统计方法、装置、设备及计算机可读介质 |
CN109075882A (zh) * | 2017-07-31 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 同步方法、设备和系统 |
CN109309831A (zh) * | 2018-12-13 | 2019-02-05 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
CN110113597A (zh) * | 2019-04-08 | 2019-08-09 | 视联动力信息技术股份有限公司 | 一种视联网数据通道检测方法及系统 |
CN110493592A (zh) * | 2018-05-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 视频时延测试方法、装置、计算机设备和存储介质 |
CN110636306A (zh) * | 2018-06-22 | 2019-12-31 | 杭州海康威视数字技术股份有限公司 | 一种图像显示方法、解码设备及电视墙系统 |
CN110740227A (zh) * | 2019-10-25 | 2020-01-31 | 武汉大学 | 基于gnss授时和图像显示信息编码方式的相机时间同步装置及方法 |
CN111131768A (zh) * | 2019-11-29 | 2020-05-08 | 中国电力科学研究院有限公司 | 无人机图像回传时延的检测装置及方法 |
CN111372105A (zh) * | 2020-03-26 | 2020-07-03 | 深圳市微测检测有限公司 | 视频信息传输延迟测试方法、装置、终端及存储介质 |
CN111756465A (zh) * | 2020-05-19 | 2020-10-09 | 武汉东智科技股份有限公司 | 一种视频监控设备时间同步异常的检测方法 |
CN111787309A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种视频延时的测试方法、装置、系统、设备及存储介质 |
CN112929630A (zh) * | 2021-03-01 | 2021-06-08 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
WO2021134187A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 基于网络监测的车辆控制方法、装置和计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110169966A1 (en) * | 2009-11-03 | 2011-07-14 | Tektronix International Sales Gmbh | Method and apparatus for measuring delay within a compressed digital stream |
JP2013247489A (ja) * | 2012-05-25 | 2013-12-09 | Nec Engineering Ltd | 映像配信システムの遅延時間測定方法 |
CN103826117A (zh) * | 2014-01-17 | 2014-05-28 | 浙江大学 | 一种测量手机视频通讯应用端到端延时的方法 |
CN103905140A (zh) * | 2012-12-25 | 2014-07-02 | 上海无线通信研究中心 | 一种融合网络架构下的端到端时延测量方法及系统 |
CN104115448A (zh) * | 2011-12-16 | 2014-10-22 | 阿尔卡特朗讯公司 | 监测网络传输特性的方法与装置 |
-
2014
- 2014-11-26 CN CN201410691825.2A patent/CN104349163B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110169966A1 (en) * | 2009-11-03 | 2011-07-14 | Tektronix International Sales Gmbh | Method and apparatus for measuring delay within a compressed digital stream |
CN104115448A (zh) * | 2011-12-16 | 2014-10-22 | 阿尔卡特朗讯公司 | 监测网络传输特性的方法与装置 |
JP2013247489A (ja) * | 2012-05-25 | 2013-12-09 | Nec Engineering Ltd | 映像配信システムの遅延時間測定方法 |
CN103905140A (zh) * | 2012-12-25 | 2014-07-02 | 上海无线通信研究中心 | 一种融合网络架构下的端到端时延测量方法及系统 |
CN103826117A (zh) * | 2014-01-17 | 2014-05-28 | 浙江大学 | 一种测量手机视频通讯应用端到端延时的方法 |
Non-Patent Citations (1)
Title |
---|
董向文: "IP网络测量仪端到端时延模块的研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534843A (zh) * | 2016-11-14 | 2017-03-22 | 北京凌宇智控科技有限公司 | 一种延迟测量方法及装置 |
CN107221008A (zh) * | 2017-05-16 | 2017-09-29 | 西安爱生技术集团公司 | 一种察打无人机图像制导导弹目标捕获方法 |
CN109075882A (zh) * | 2017-07-31 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 同步方法、设备和系统 |
CN107801021A (zh) * | 2017-10-27 | 2018-03-13 | 优酷网络技术(北京)有限公司 | 评估实时视频延迟的方法、装置和系统 |
CN108566316A (zh) * | 2018-04-18 | 2018-09-21 | 百度在线网络技术(北京)有限公司 | 无人车时延统计方法、装置、设备及计算机可读介质 |
CN110493592B (zh) * | 2018-05-14 | 2021-09-10 | 腾讯科技(深圳)有限公司 | 视频时延测试方法、装置、计算机设备和存储介质 |
CN110493592A (zh) * | 2018-05-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 视频时延测试方法、装置、计算机设备和存储介质 |
CN110636306B (zh) * | 2018-06-22 | 2021-07-20 | 杭州海康威视数字技术股份有限公司 | 一种图像显示方法、解码设备及电视墙系统 |
CN110636306A (zh) * | 2018-06-22 | 2019-12-31 | 杭州海康威视数字技术股份有限公司 | 一种图像显示方法、解码设备及电视墙系统 |
CN109309831B (zh) * | 2018-12-13 | 2020-05-08 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
CN109309831A (zh) * | 2018-12-13 | 2019-02-05 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
CN110113597A (zh) * | 2019-04-08 | 2019-08-09 | 视联动力信息技术股份有限公司 | 一种视联网数据通道检测方法及系统 |
CN110740227A (zh) * | 2019-10-25 | 2020-01-31 | 武汉大学 | 基于gnss授时和图像显示信息编码方式的相机时间同步装置及方法 |
CN110740227B (zh) * | 2019-10-25 | 2021-08-10 | 武汉大学 | 基于gnss授时和图像显示信息编码方式的相机时间同步装置及方法 |
CN111131768A (zh) * | 2019-11-29 | 2020-05-08 | 中国电力科学研究院有限公司 | 无人机图像回传时延的检测装置及方法 |
WO2021134187A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 基于网络监测的车辆控制方法、装置和计算机设备 |
CN113424023A (zh) * | 2019-12-30 | 2021-09-21 | 深圳元戎启行科技有限公司 | 基于网络监测的车辆控制方法、装置和计算机设备 |
CN111372105A (zh) * | 2020-03-26 | 2020-07-03 | 深圳市微测检测有限公司 | 视频信息传输延迟测试方法、装置、终端及存储介质 |
CN111756465A (zh) * | 2020-05-19 | 2020-10-09 | 武汉东智科技股份有限公司 | 一种视频监控设备时间同步异常的检测方法 |
CN111787309A (zh) * | 2020-07-01 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 一种视频延时的测试方法、装置、系统、设备及存储介质 |
CN112929630A (zh) * | 2021-03-01 | 2021-06-08 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN104349163B (zh) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104349163A (zh) | 端到端视频传输延迟测量显示装置及测量系统 | |
CN109089064B (zh) | 一种用于处理媒体信号的装置和方法 | |
EP3291551B1 (en) | Image delay detection method and system | |
CN101668223A (zh) | 一种测量图像传输时延的方法 | |
CN105791986B (zh) | 视频时延的检测方法及装置 | |
CN101516017B (zh) | 一种会话类业务视频传输时延的测量方法、装置和系统 | |
JP4810545B2 (ja) | 映像伝送時間測定システムおよび映像伝送時間測定方法 | |
CN101616331B (zh) | 一种对视频帧率及音视频同步性能进行测试的方法 | |
JP2011182374A (ja) | 撮影時刻を静止表示するタイマを用いる実時間映像伝送の総合遅延時間測定方法 | |
CN100551086C (zh) | 一种测试图像时延的系统和方法 | |
CN109144858A (zh) | 流畅度检测方法、装置、计算设备及存储介质 | |
US9723302B2 (en) | Measurement system and measurement method for measuring video processing quality | |
WO2018040856A1 (zh) | 多屏显示装置的视频处理单元输出同步性检测方法和系统 | |
JP2008172539A (ja) | 映像伝送時間測定システムおよび映像伝送時間測定方法 | |
CN103442216B (zh) | 监控视频时间的校准装置及其校准方法 | |
CN110324609A (zh) | 输出信号同步性检测方法、装置、电子设备及存储介质 | |
CN110062223A (zh) | 一种高精度同步测试相机帧信号的方法及其电路系统 | |
CN101710430B (zh) | 一种信息系统反应时间测试的方法及设备 | |
KR20160082368A (ko) | 네트워크 기반 멀티 디스플레이에서 콘텐츠 간 동기화 방법 및 시스템 | |
CN204515158U (zh) | 海洋地震勘探仪数字包信息采集时间同步装置 | |
CN114125177B (zh) | 一种基于图像帧号的图像时间戳的标定系统及方法 | |
Gu et al. | Design of SDI video remote transmission delay measurement system based on GPS | |
Gueguen et al. | GNSS-based Time synchronisation of Stereo Images | |
HK1262396B (zh) | 一種用於處理媒體信號的裝置和方法 | |
HK1262396A1 (zh) | 一種用於處理媒體信號的裝置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160608 Termination date: 20161126 |