CN101681373B - 推导对于画面修改和帧速率转换不敏感的视频签名 - Google Patents
推导对于画面修改和帧速率转换不敏感的视频签名 Download PDFInfo
- Publication number
- CN101681373B CN101681373B CN2008800164273A CN200880016427A CN101681373B CN 101681373 B CN101681373 B CN 101681373B CN 2008800164273 A CN2008800164273 A CN 2008800164273A CN 200880016427 A CN200880016427 A CN 200880016427A CN 101681373 B CN101681373 B CN 101681373B
- Authority
- CN
- China
- Prior art keywords
- value
- signature
- video
- content
- vision signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012986 modification Methods 0.000 title abstract description 12
- 230000004048 modification Effects 0.000 title abstract description 12
- 238000006243 chemical reaction Methods 0.000 title description 6
- 239000002131 composite material Substances 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000009795 derivation Methods 0.000 claims description 3
- 208000004350 Strabismus Diseases 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 28
- 230000014509 gene expression Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000000750 progressive effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0051—Embedding of the watermark in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
通过首先计算在低分辨率合成图像中的画面元素的平均值和方差而产生可用于标识在一系列视频帧中的视频内容的签名,该低分辨率合成图像代表在所述一系列帧中的视频内容的时间和空间合成。通过将散列函数应用于从平均值和方差合成表示推导的值上而产生签名。信号的视频内容由对在信号内的多个帧系列所产生的一组签名代表。一组签名不管对于内容的有意和无意修改都可提供可靠标识。
Description
技术领域
本发明一般涉及视频信号的处理,并且更具体地涉及从视频信号提取特征以标识信号的处理。贯穿本公开,术语“视频信号”和“视频内容”是指代表意欲用于视觉感知的图像的信号和内容。
背景技术
试图探测接收信号的授权和未授权视频内容的应用(application),常常依赖于分析接收信号的内容以产生某种类型的内容标识符或签名的处理。这些应用使用基于分析的结果,以确定接收的内容是否是某种基准内容的拷贝。对于这些应用中的许多来说,重要的是,即使当接收的信号的内容已经被无意或有意地修改而使其与基准内容不同、但仍然可由人类观察者识别为与基准内容大体相同时,仍获得可靠的标识。如果在基准内容与修改内容之间的感觉差别小,那么优选地,签名产生处理应该从基准和修改内容产生彼此非常相似的签名。
对于信号内容的无意修改的例子包括噪声在传输通道中和在存储介质上插入或添加到信号。对于视频信号有意修改的例子包括亮度和颜色修改(如对比度/亮度调节、伽马校正、亮度直方图均衡、颜色饱和度调节及用于白平衡的颜色校正),包括几何修改(诸如,图像剪辑和尺寸改变、图像旋转和倒转(flip)、拉伸、斑点去除、模糊化、锐化(sharpen)及边缘加强),并且包括编码技术(诸如,有损压缩和帧速率转换)。
发明内容
本发明的目的是提供一种标识处理,即使内容已经通过诸如以上提到的那些之类的机理修改了,该标识处理也可用于获得视频内容的可靠标识。
由下面描述的本发明实现这个目的。
通过参考下面的讨论和附图可以更好地理解本发明的各种特征和其优选实施例,在附图中,类似附图标记指在几个图中的类似元素。下面的讨论和附图的内容仅作为例子被叙述,并且不应该理解成代表对本发明范围的限制。
附图说明
图1和2是视频签名产生器的示意方块图,该视频签名产生器可以用于获得视频信号的可靠标识。
图3是在图像预处理器的一种实施方式中执行的处理的示意框图。
图4是由空间域处理器获得的较低分辨率图像的示意框图。
图5是分段布置的视频帧的示意框图。
图6是处理视频内容段以产生一组视频签名的视频签名产生器的示意框图。
图7是管理用于视频内容拷贝的探测的签名数据库的系统的示意框图。
图8是可以用于实施本发明的各种方面的装置的示意框图。
具体实施方式
A.引言
本发明的各种方面可以有利地用在系统中,该系统用于通过分析该内容的段和产生对每一个段的签名来标识该内容。在信号的间隔(interval)中对这些段产生的签名形成签名组,该签名组可在该间隔中用作内容的可靠标识。如下的公开首先描述可以用于对单个段产生签名的处理,并且然后描述签名组的产生和使用。
图1是视频签名产生器100的示意框图,该视频签名产生器100分析信号段3中的视频内容,以产生视频签名193,该视频签名193标识或代表该内容。在示出的例子中,段3包括一系列视频帧3a至3d。如果视频信号传送(convey)音频内容以及视频内容,则可以通过按各种方式处理音频内容而获得代表音频内容的音频签名,这些方式包括在Regunathan Radhakrishnan等的、在2006年11月30日提交的、标题为“Extracting Features of Video and Audio Signal Contentto Provide a Reliable Identification of the Signals(提取视频和音频信号内容的特征以提供信号的可靠标识)”的美国临时专利申请第60/872,090号中公开的那些,这里通过参考并入该专利申请的全部内容。
B.视频签名提取器
视频签名产生器100的一种实施方式被示出在图2中。在这种实施方式中,图像预处理器110对在帧3a、3b、3c、3d中传送的画面获得一系列格式独立的图像,空间域处理器130下取样(down-samples)格式独立的图像以产生格式独立的图像的一系列较低分辨率表示(representation),时间域处理器150产生代表较低分辨率表示的一系列的合成的值,并且视频签名处理器170将散列函数应用到合成值上,以产生代表和标识段3的内容的视频签名193。可以按各种方式实施由处理器110、130、150及170执行的处理。下面描述这些处理的优选实施方式。
1.图像预处理器
对于一种示例性实施方式,段3中的每一个视频帧3a、3b、3c、3d传送由像素D的阵列代表的画面。图像预处理器110对每一个帧推导(derive)画面的格式独立的图像。格式独立的图像由像素F的阵列代表。可以按各种方式进行格式独立的图像的推导。下面描述少量例子。
在一种应用中,视频签名产生器100产生对电视视频信号的签名,这些电视视频信号按各种格式传送视频内容,包括480×640像素的标准-清晰度(SD)分辨率和1080×1920像素的高-清晰度(HD)分辨率逐行扫描和隔行扫描。图像预处理器110将每一个帧中的画面转换成格式独立的图像,该格式独立的图像具有对所有感兴趣的信号格式来说共同的格式。在优选实施方式中,通过下取样在帧中的像素D而获得格式独立的图像中的像素F,以减小对修改(当视频的帧在不同格式之间转换时可能发生)的敏感性。
在一个例子中,格式独立的图像的分辨率选择成具有120×160像素的分辨率,这对于电视信号是方便的选择,这些电视信号对于逐行扫描和隔行扫描格式都按HD和SD分辨率传送图像。图像预处理器110通过按因数4下取样在每一个帧画面中的像素,将SD-格式视频内容转换成格式独立的图像。图像预处理器110通过剪辑每一个帧画面以从左手边缘去除240个像素和从右手边缘去除240个像素而获得具有1080×1440像素分辨率的中间图像、并且按因数9下取样在中间图像中的像素,将HD-格式视频内容转换成格式独立的图像。
如果视频信号按其中视频的帧布置在两个字段(field)中的隔行扫描格式传送内容,则可以在获得格式独立的图像之前将所述信号转换成逐行扫描格式。可选择地,可通过仅从在逐行扫描帧中的其中一个字段获得格式独立的图像,实现与扫描格式的选择的较大独立性。例如,可仅从每一个帧中的第一字段或仅从每一个帧中的第二字段获得格式独立的图像。在其它字段中的视频内容可被忽略。此处理避免在获得格式独立的图像之前转换到逐行扫描格式的需要。
如果使用适当的剪辑和下取样,则得到的图像基本上独立于帧画面格式,从而随后的签名产生处理对于不同的格式和对于由格式之间的转换产生的修改不敏感。这种解决方案增大了从一系列格式独立的图像所产生的视频签名在即使这些画面已经进行了格式转换的情况下也将正确地标识一系列帧画面中的视频内容的可能性。
优选地,格式独立的图像排除可能由有意修改影响的画面区域。对于诸如电视之类的视频应用,例如,这可以通过剪辑以排除图像的角部和边缘而实现,在这些角部和边缘处,标志或其它图形对象可能被插入到视频内容中。
图3提供通过由图像预处理器110执行的处理112获得的结果的示意说明,该处理112包括以上描述的剪辑和下取样操作。段3内的帧3a中的画面被剪辑,以提取在画面的中央部分中的像素D。在这个中央部分中的像素D被下取样,以获得在格式独立的图像5a中的像素F。对于在段3中的每一个帧3a、3b、3c、3d,获得在一系列图像5中的格式独立的图像5a、5b、5c、5d。处理112可以表达为:
{Fm}=IP[{Dm}]对于0≤m<M (1)
其中,{Fm}=对于帧m在格式独立的图像中的像素的组;
IP[]=应用于帧m中的画面的图像预处理器操作;
{Dm}=对于帧m在画面中的像素的组;及
M=在段中的帧数量。
为了格式转换而改变画面尺寸的剪辑操作可以与排除画面可能受诸如标志插入之类的有意修改的影响的区域的剪辑操作相结合,或者被分离地执行。可以在下取样操作之前或之后执行这些剪辑操作。例如,可以通过剪辑视频内容和随后下取样剪辑的图像而获得格式独立的图像,可通过下取样视频内容和随后剪辑该下取样的图像而获得它,也可通过在以上提到的两个剪辑操作之间执行下取样操作而获得它。
如果每一个视频帧传送包括例如由红、绿及蓝(RGB)值代表的像素的彩色图像,则可以对每一个帧中的红、绿及蓝值中的每一个获得分离的格式独立的图像。优选地,对于每一个帧,可由从帧中的红、绿及蓝值推导的像素的亮度或辉度获得一个格式独立的图像。如果每一个视频帧传送单色图像,则可以从该帧中的各个像素的强度获得格式独立的图像。
2.空间域处理器
在示例性实施方式中,空间域处理器130通过将在格式独立的图像的每一个中的像素F分组成GX个像素宽和GY个像素高的区域,获得格式独立的图像的下取样的较低分辨率表示。通过计算每一个区域中的像素的平均强度,从相应格式独立的图像中的像素F的强度推导具有画面元素E的较低分辨率图像。每一个较低分辨率图像具有K×L元素的分辨率。这示意地示出在图4中。可以通过执行实施如下表达式的处理而获得画面元素E:
(2)
其中Em(k,l)=对于帧m在较低分辨率图像中的画面元素;
GX=按像素F的数量表达的像素组的宽度;
GY=按像素F的数量表达的像素组的高度;
K=较低分辨率图像的水平分辨率;
L=较低分辨率图像的垂直分辨率;及
Fm(i,j)=对于帧m在格式独立的图像中的像素。
组的水平尺寸GX被选择成使得K·GX=RH,并且组的垂直尺寸GY被选择成使得L·GY=RV,其中RH和RV分别是格式独立的图像的水平和垂直分辨率。对于产生具有120×160像素的分辨率的下取样的格式独立的图像中的元素的以上讨论的示例性实施方式,所述组的一种适当尺寸是8×8,这提供具有120/8×160/8=15×20画面元素的分辨率的较低分辨率图像。
可选择地,由空间域处理器130执行的分组可与由图像预处理器110执行的处理相组合,或者在其之前被执行。
通过使用较低分辨率画面元素E产生视频签名而不是较高分辨率像素F,产生的视频签名对于改变视频信号内容的细节但保留平均强度的处理较不敏感。
3.时间域处理器
在时间域处理器150的示例性实施方式中,由相应画面元素E的时间平均值和方差获得代表较低分辨率图像的系列的合成的值。
可以由如下表达式计算每一个相应画面元素E(k,l)的时间平均值Z(k,l):
可选择地,可以通过从如下表达式中所示的画面元素的加权和(weighted sum)计算时间平均值而给予在段3内选中的帧的视频内容较大的重要性:
其中wm=用于在从帧m的视频内容推导的较低分辨率图像中的画面元素的加权因数。
如果希望,在由表达式2代表的空间域处理之前,可以执行由表达式3a或3b代表的时间域处理。
值Z(k,l)代表在时间和空间上对每一个画面元素E(k,l)的平均强度;因此,这些平均值不传送关于可以由段3的视频内容代表的任何运动的太多信息。通过计算每一个画面元素E(k,l)的方差可以获得运动的表示。
如果如在表达式3a中示出的那样计算每一个画面元素E(k,l)的平均值Z(k,l),则每一个相应画面元素E(k,l)的方差V(k,l)可以由如下表达式计算:
如果如在表达式3b中示出的那样计算每一个画面元素的平均值,则每一个相应画面元素E(k,l)的方差V(k,l)可以由如下表达式计算:
在优选实施方式中,代表较低分辨率图像的系列的合成的值是在分别从时间平均值和方差阵列Z和V推导的两个秩矩阵Zr和Vr中的元素的值。在秩矩阵中的每一个元素的值代表其在关联阵列中的相应元素的秩顺序(rank order)。例如,如果元素Z(2,3)是在平均值阵列Z中的第四大元素,则在秩矩阵Zr中的对应Zr(2,3)的值等于4。对于这种优选实施方式,合成值QZ和QV可以表达为:
QZ(k,l)=Zr(k,l)对于0≤k<K;0≤l<L (5)
QV(k,l)=Vr(k,l)对于0≤k<K;0≤l<L (6)
秩矩阵的使用是可选的。在可选的实施方式中,代表较低分辨率图像的系列的合成的值是在时间平均值和方差阵列Z和V中的元素的值。对于这种可选的实施方式,合成值QZ和QV可以表达为:
QZ(k,l)=Z(k,l)对于0≤k<K;0≤l<L (7)
QV(k,l)=V(k,l)对于0≤k<K;0≤l<L (8)
4.视频签名处理器
视频签名处理器170将散列函数应用于合成值QZ和QV的K×L阵列,以产生两组散列位。这两组散列位的组合构成标识段3的内容的视频签名。优选地,散列函数对于合成值的变化较不敏感,并且对于在可能使用的任何散列密钥的变化较敏感。不像对于其输入的甚至单个位的变化其输出都显著地变化的典型的密码散列函数,用于这种应用的优选散列函数提供对于输入合成值的小变化仅经历小变化的输出。这允许产生的视频签名关于对视频内容的小变化仅轻微地变化。
一种适当的散列函数使用一组NZ基矩阵产生用于QZ合成值的一组NZ散列位,并且使用一组NV基矩阵产生用于QV合成值的一组NV散列位。基矩阵的每一个为元素的K×L阵列。这些元素代表优选地彼此正交或几乎正交的一组向量。在下面描述的实施方式中,在基矩阵的元素代表彼此正交或几乎正交的一组向量的假设下,这些元素由随机数产生器产生。
供合成值QZ一起使用的每一个基矩阵PZn的矩阵元素pzn(k,l)可以从如下表达式产生:
pzn(k,l)=RGN-pn对于1≤n≤NZ,0≤k<K,0≤l<L (9)
其中RNG=随机数产生器的输出;并且
pn=对于每一个矩阵由RNG产生的数的平均值。
与合成值QV一起使用的每一个基矩阵PVn的矩阵元素pvn(k,l)可以从如下表达式产生:
pvn(k,l)=RGN-pn对于1≤n≤NV,0≤k<K,0≤l<L (10)
产生器RNG产生在范围[0,1]中均匀分布的随机或伪-随机值。可以通过散列密钥初始化产生器的初始状态,这使散列函数和产生的视频签名密码上更可靠。
通过首先将合成值QZ投影到NZ基矩阵的每一个上获得一组散列位BZn,这可以表达为:
其中HZn=合成值QZ到基矩阵PZn上的投影。
然后通过将每一个投影与所有投影的中间值相比较、并且如果投影等于或超过阈值则将散列位设置为第一值以及如果投影小于阈值则将散列位设置为第二值而获得散列位的组BZn。这个处理的一个例子可以表达为:
BZn=sgn(HZn-HZ) (12)
其中并且
HZ=所有投影HZn的中间值。
如在如下表达式中示出的那样,以类似方式获得另一组散列位BVn:
BVn=sgn(HVn-HV) (14)
其中HVn=合成值QV到基矩阵PVn上的投影;并且
HV=所有投影HVn的中间值。
从两组散列位的结合(concatenation)获得视频签名,该结合形成具有等于NZ+NV的总位长度的值。用于NZ和NV的值可以被设置成:提供希望的总位长度,以及衡量(weight)合成值QZ和QV对于最终视频签名的相对贡献。在产生用于电视信号的视频签名的以上提到的一种应用中,NZ和NV都设置成等于十八。
C.应用
1.签名组
由视频签名产生器100产生的签名代表段的视频内容,从该视频内容产生签名。可通过对于在该间隔中包括的段产生一组签名而获得在比段长得多的信号的间隔中的视频内容的可靠标识。
在图5中示出的图是包括视频帧的几个段的信号的间隔的示意说明。五个段被示出。信号的第一段3包括视频帧3a至3d。每一个随后段4、5、6、7分别包括视频帧4a至4d、5a至5d、6a至6d及7a至7d。如以上描述的那样,对于这些段,通过使用视频信号产生器100处理在每一个段中的视频帧的内容,可产生一组签名。
每一个段包含整数的视频帧。优选地,在每一个段中的帧的系列在等于标定长度L的时间间隔上或在标定长度L的一个帧时段内传送视频内容。术语“帧时段”是指由一个帧传送的视频内容的持续时间。用于相继的段的标定开始时间t#彼此分离偏移ΔT。这个偏移可以设置成等于待由视频签名产生器100处理的信号的最低帧速率的帧时段。例如,如果待处理的最低速率是十二帧每秒,则偏移ΔT可以设置成等于1/12秒,或者约83.3毫秒。
可以选择标定长度L,以平衡减小随后产生的视频签名对于内容修改(如帧速率转换)的敏感性和增大由视频签名提供的表示的时间分辨率的矛盾的好处。经验研究已经表明,与视频内容的大约两秒相对应的标定段长度L为多种应用提供良好结果。
提到的段长度L和偏移量ΔT的具体值仅仅是例子。如果偏移ΔT不等于整数的帧时段,则在相继的段的实际开始时间之间的偏移可如在图中示出的那样变化不同偏移量Δ1和Δ2。如果希望,在实际开始时间之间的偏移的长度可以保持在标定偏移ΔT的一个帧时段内。
图6是示意框图,示出分别从段3至7的视频内容产生的一组视频签名193至197。参照图5和6,视频签名产生器100获得在标定开始时间t1处开始的段3的视频内容,并且处理这个视频内容以产生视频签名193。视频签名产生器100然后获得在标定开始时间t2处开始的段4的视频内容,并且处理这个视频内容以产生视频签名194。产生器继续通过分别处理在标定开始时间t3、t4及t5处开始的段5、6及7的视频内容以产生视频签名195、196及197。可以对可能希望的基本上任何数量的段产生签名。
标定开始时间不必与可能伴随视频内容的任何具体时间数据相对应。在原理上,在标定开始时间与视频内容之间的对准是任意的。例如,在一种实施方式中,标定开始时间表达为从待处理的信号的开始的相对偏移。每一个段从传送具有开始时间的视频内容的视频帧开始,该开始时间最靠近其相应标定开始时间。可选择地,每一个段可从跨(span)用于该段的标定开始时间的视频帧开始。基本上可以使用在开始帧与标定开始时间之间的任何对准。
2.拷贝的探测
从视频内容段产生的签名组可用于标识内容,即使当内容已经由包括以上提到的那些的各种处理修改时也是如此。可按各种方式使用可靠地确定规定视频内容(即使修改了)是否为基准内容的拷贝的能力,这些方式包括如下:
·未授权拷贝的探测:对等服务器的网络的使用可便利于内容的分布,但它们也能增加探测私有内容的未授权或侵权拷贝的难度,因为内容的多个拷贝可存在于对等服务器中。设施能够通过对于从网络可获得的所有内容产生签名组并且相对于基准签名组的数据库检查这些签名组,自动地确定任何未授权拷贝是否存在于网络中。
·广播的确认:与分发规定视频内容的广播网络订立合同的企业(business)能够通过从由广播接收机接收的信号产生签名组并且将这些签名组与对规定内容的基准签名组相比较,确认满足合同的条款。
·接收的标识:为广播网络提供排名(rating)的企业能够通过由接收信号产生签名组并且将这些签名组与基准签名组相比较,标识由接收机接收的内容。
图7是可以用于实施各种应用(如在前面清单中提到的那些)的系统的示意框图。视频签名产生器100由从路径31接收的视频内容的基准流产生基准视频签名组。产生的基准视频签名组被存储在签名数据库180中。基准签名组可以与可能便利于应用的实施的其它信息一起存储。例如,基准签名组可以与基础内容本身或与关于内容的信息(如内容所有者、内容许可条款、内容的标题或内容的文本描述)一起存储。每一个基准签名组具有数据库搜索密钥。可以按可能希望的任何方式推导这个密钥。优选地,密钥基于在关联基准签名组中的签名,或者从其推导。
可以相对于在签名数据库中存储的一个或多个签名组代表的基准内容检查任何规定视频内容。待检查的内容在这里被称作测试内容。通过使视频签名产生器101由从路径33接收的测试视频内容产生一个或多个测试视频签名组并且将测试视频签名组送到视频搜索引擎185,检查测试视频内容的身份。视频搜索引擎185试图在签名数据库180中找到与测试视频签名组准确或接近匹配的基准视频签名组。
在一种实施方式中,视频搜索引擎185从视频签名产生器101接收一个或多个测试签名组。每一个测试签名组包括按它们从测试内容产生的顺序定序的测试签名STEST的系列。视频搜索引擎185经路径182从签名数据库180接收基准签名组。每一个基准签名组包括按它们从对应基准内容产生的顺序定序的基准签名SREF的系列。视频搜索引擎185通过计算在用于测试内容的测试签名组与用于具体基准内容的基准签名组之间的相异性DSM的度量,确定在测试内容与具体基准内容之间的相似性。从在用于测试签名组的签名系列中的对应签名与用于具体基准内容的基准签名组之间的汉明(Hamming)距离推导相异性DSM的这种度量。可以按多种方式计算这种度量,这些方式包括如下表达式的任一种:
其中DSM=相异性的计算度量;
HD[x,y]=在签名x与y之间的汉明距离;
SREF(s)=在基准签名的系列中的第s个签名;及
STEST(s)=在测试签名的系列中的第s个签名。
视频搜索引擎185从签名数据库180中搜索产生与测试签名组的最小相异性度量的基准签名组。与这个基准签名组相关联的基准内容是在数据库中与测试内容共享共同起源的最可能的候选对象。如果相异性度量小于某个分类阈值,则认为与测试签名组相关联的测试内容和基准内容共享共同起源或者是该基准内容的拷贝,该基准内容与匹配的基准签名组相关联。经验结果建议,如果在每一个签名组中的签名的系列代表大约两秒的视频内容,那么对于使用的各种视频内容,可以获得良好的结果。
为了在如下讨论中容易解释,如果测试内容与规定基准内容共享共同起源,则说测试内容和某种规定基准内容“匹配”。
为以上提到的分类阈值选择的值影响测试和基准内容将正确地被识别为彼此匹配或不匹配的可能性。它也影响做出错误决定的可能性。当分类阈值的值减小时,匹配内容将被错误地分类为不匹配的内容的“错误否定决定”的概率增大。相反,当分类阈值的值增大时,不匹配内容将被错误地分类为匹配的内容的“错误肯定决定”的概率增大。
可以按可能希望的任何方式设置分类阈值。可以用于设置分类阈值的值的一种方法获得由在数据库180中的基准签名代表的原始视频内容,并且创建这个原始内容的多个拷贝。按各种方式修改拷贝,如通过帧速率转换和以上描述的其它有意和无意修改的任一种。该方法对于每一个拷贝产生测试签名,并且计算在测试签名组与基准签名组之间的第一组相异性度量DSM。该方法也计算在测试签名组与用于不与原始内容共享共同起源的其它视频内容的签名组之间的第二组相异性度量DSM。在两个组中的值的范围不能重叠。如果它们重叠,则重叠量典型地为每一个组中的值的范围的非常小的部分。或者如果两个范围不重叠,则将分类阈值设置为在重叠内的值或者它们之间的值。根据应用的需要可以调节这个阈值,以平衡发生错误肯定决定或错误否定决定的危险。
D.实施
包括本发明的各种方面的装置可以按各种方式实施,包括由计算机或某种其它装置执行的软件,该其它装置包括更专用的元件,如联接到与在通用计算机中存在的那些相似的元件上的数字信号处理器(DSP)。图8是可以用于实施本发明的方面的装置70的示意框图。处理器72提供计算资源。RAM 73是由用于处理的处理器72使用的系统随机存取存储器(RAM)。ROM 74代表某种形式的持久存储装置,如用于存储操作装置70和可能用于执行本发明的各种方面所需要的程序的只读存储器(ROM)。I/O控制75代表经由通信通道76、77接收和传输信号的接口电路。在示出的实施方式中,所有主要系统元件都连接到总线71上,该总线71可以代表多于一条物理或逻辑总线;然而,不要求总线体系结构来实施本发明。
在由通用计算机系统实施的实施例中,为了与诸如键盘或鼠标和显示器之类的装置进行连接、和为了控制具有诸如磁带或磁盘、或光学介质之类的存储介质的存储装置78,可以包括辅助元件。存储介质可以用于记录用于操作系统、设备和应用的指令的程序,并且可以包括实现本发明的各种方面的程序。
可由元件执行实践本发明的各种方面要求的功能,这些元件按各种各样的方式实施,包括分立逻辑元件、集成电路、一个或多个ASIC和/或程序控制处理器。实施这些元件的方式对于本发明并不重要。
本发明的软件实施可以由各种机器可读介质传送,如遍及包括从超声波到紫外线频率的频谱的基带或调制通信路径、或基本上使用任何记录技术传送信息的存储介质,该记录技术包括磁带、磁卡或磁盘、光卡或光盘、及在包括纸的介质上的可探测标记。
Claims (8)
1.一种签名导出方法,包括:
接收视频信号段,每个视频信号段包含一系列帧并且传送视频内容,所述视频内容代表具有规定的分辨率的一系列画面,其中相继的视频信号段的标定开始时间彼此偏移标定的时间偏移量,并且相继的视频信号段的实际开始时间彼此偏移的偏移量不等于标定时间偏移量但是位于等于标定时间偏移量的一个帧时段内,帧时段是由一个帧传送的视频内容的持续时间;
处理由每个视频信号段传送的视频内容,以计算相应的合成值,所述合成值表达一系列低分辨率图像中的画面元素的平均值和方差,每一个低分辨率图像代表具有比规定的分辨率低的分辨率的一系列画面中的相应画面的至少一部分;以及
通过将散列函数应用于从相应视频信号段的合成值获得的一组值,对于每个视频信号段的视频信号内容产生标识相应视频信号段的视频信号内容的相应的签名,以获得标识所述视频信号段的视频内容的签名组。
2.根据权利要求1所述的方法,其中,该一组值中的每一个值等于相应的合成值。
3.根据权利要求1所述的方法,包括:从所述合成值的秩矩阵获得该一组值。
4.根据权利要求1所述的方法,包括:
通过剪辑和下取样所述一系列画面,产生所述一系列低分辨率图像;以及,从像素组的强度的平均值产生所述画面元素。
5.根据权利要求1所述的方法,其中,将散列函数应用于从所述合成值获得的一组值包括将该一组值投影到包括随机取值向量元素的一组向量上,并且其中,相应签名的每一个分量是从该一组值到相应向量上的投影推导的。
6.根据权利要求5所述的方法,其中:
所述向量元素具有从处于零到一的范围内的均匀分布随机变量与对相应向量的所有向量元素的均匀分布随机变量的平均值之间的差获得的值;
该一组值到相应向量上的投影是从该一组值与相应向量的向量元素的内积获得的;以及
相应签名的每一个分量在该一组值到对应向量上的投影大于阈值时具有第一值,或者,在该一组值到对应向量上的投影小于阈值时具有第二值,其中,所述阈值等于该一组值到该一组向量上的投影的中值。
7.根据权利要求1所述的方法,包括:
获得标识第一视频信号的视频信号段的视频内容的第一签名组,第一视频信号的视频信号段以第一帧速率传送代表具有第一分辨率的一系列画面的帧中的视频内容,在相邻的帧之间具有第一时段;
获得标识第二视频信号的视频信号段的视频内容的第二签名组,第二视频信号的视频信号段以第二帧速率传送代表具有第二分辨率的一系列画面的帧中的视频内容,在相邻的帧之间具有第二时段,其中第二时段不等于第一时段;以及
推导在第一签名组与第二签名组之间的相异性的度量,以确定第一视频信号和第二视频信号是否传送代表源于共同画面源的相应画面系列的视频内容。
8.一种签名导出设备,包括用于执行根据权利要求1至7中任一项所述方法的步骤的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US93090507P | 2007-05-17 | 2007-05-17 | |
US60/930,905 | 2007-05-17 | ||
PCT/US2008/005588 WO2008143768A1 (en) | 2007-05-17 | 2008-05-01 | Deriving video signatures that are insensitive to picture modification and frame-rate conversion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101681373A CN101681373A (zh) | 2010-03-24 |
CN101681373B true CN101681373B (zh) | 2012-09-26 |
Family
ID=39580355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800164273A Expired - Fee Related CN101681373B (zh) | 2007-05-17 | 2008-05-01 | 推导对于画面修改和帧速率转换不敏感的视频签名 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8488061B2 (zh) |
EP (1) | EP2149098B1 (zh) |
JP (1) | JP5143896B2 (zh) |
CN (1) | CN101681373B (zh) |
AT (1) | ATE494587T1 (zh) |
DE (1) | DE602008004340D1 (zh) |
WO (1) | WO2008143768A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10116972B2 (en) | 2009-05-29 | 2018-10-30 | Inscape Data, Inc. | Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device |
US10169455B2 (en) | 2009-05-29 | 2019-01-01 | Inscape Data, Inc. | Systems and methods for addressing a media database using distance associative hashing |
US10271098B2 (en) | 2009-05-29 | 2019-04-23 | Inscape Data, Inc. | Methods for identifying video segments and displaying contextually targeted content on a connected television |
US10284884B2 (en) | 2013-12-23 | 2019-05-07 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5341095B2 (ja) * | 2007-10-05 | 2013-11-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント |
GB2457694B (en) | 2008-02-21 | 2012-09-26 | Snell Ltd | Method of Deriving an Audio-Visual Signature |
CN102124489B (zh) | 2008-08-17 | 2014-08-06 | 杜比实验室特许公司 | 图像的签名推导 |
CN102132574B (zh) * | 2008-08-22 | 2014-04-02 | 杜比实验室特许公司 | 内容识别和质量监测 |
CN102132341B (zh) * | 2008-08-26 | 2014-11-26 | 杜比实验室特许公司 | 鲁棒的媒体指纹 |
US8891813B2 (en) * | 2008-11-17 | 2014-11-18 | Dolby Laboratories Licensing Corporation | Media fingerprints that reliably correspond to media content with projection of moment invariants |
US8571255B2 (en) | 2009-01-07 | 2013-10-29 | Dolby Laboratories Licensing Corporation | Scalable media fingerprint extraction |
WO2010129630A1 (en) | 2009-05-08 | 2010-11-11 | Dolby Laboratories Licensing Corporation | Storing and searching fingerprints derived from media content based on a classification of the media content |
US9071868B2 (en) | 2009-05-29 | 2015-06-30 | Cognitive Networks, Inc. | Systems and methods for improving server and client performance in fingerprint ACR systems |
US10949458B2 (en) | 2009-05-29 | 2021-03-16 | Inscape Data, Inc. | System and method for improving work load management in ACR television monitoring system |
CN102460470B (zh) | 2009-06-11 | 2014-12-03 | 杜比实验室特许公司 | 基于指纹的内容识别趋势分析 |
ES2486670T3 (es) * | 2009-10-09 | 2014-08-19 | Adelphoi Limited | Generación de registros de metadatos |
US8521779B2 (en) | 2009-10-09 | 2013-08-27 | Adelphoi Limited | Metadata record generation |
US8786785B2 (en) | 2011-04-05 | 2014-07-22 | Microsoft Corporation | Video signature |
CN110083739B (zh) * | 2013-03-15 | 2024-04-30 | 构造数据有限责任公司 | 用于使用距离关联性散列法对媒体数据库定址的系统和方法 |
GB2527528B (en) * | 2014-06-24 | 2021-09-29 | Grass Valley Ltd | Hash-based media search |
CN118138844A (zh) | 2015-01-30 | 2024-06-04 | 构造数据有限责任公司 | 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法 |
US9846919B2 (en) | 2015-02-16 | 2017-12-19 | Samsung Electronics Co., Ltd. | Data processing device for processing multiple sensor data and system including the same |
US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
CN107431831B (zh) * | 2015-03-25 | 2020-08-11 | 思科技术公司 | 使用视频帧来标识视频序列的装置和方法 |
WO2016168556A1 (en) | 2015-04-17 | 2016-10-20 | Vizio Inscape Technologies, Llc | Systems and methods for reducing data density in large datasets |
US10080062B2 (en) | 2015-07-16 | 2018-09-18 | Inscape Data, Inc. | Optimizing media fingerprint retention to improve system resource utilization |
CN108028947B (zh) | 2015-07-16 | 2021-05-11 | 构造数据有限责任公司 | 用于改善acr电视监控系统中的工作负荷管理的系统和方法 |
CA3216076A1 (en) | 2015-07-16 | 2017-01-19 | Inscape Data, Inc. | Detection of common media segments |
KR102711752B1 (ko) | 2015-07-16 | 2024-09-27 | 인스케이프 데이터, 인코포레이티드 | 미디어 세그먼트를 식별함에 있어 향상된 효율성을 위해 검색 인덱스를 나누는 시스템 및 방법 |
CA3058975A1 (en) | 2017-04-06 | 2018-10-11 | Inscape Data, Inc. | Systems and methods for improving accuracy of device maps using media viewing data |
US9936230B1 (en) * | 2017-05-10 | 2018-04-03 | Google Llc | Methods, systems, and media for transforming fingerprints to detect unauthorized media content items |
US10685113B2 (en) * | 2017-06-28 | 2020-06-16 | Apple Inc. | Determining the similarity of binary executables |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
CN1574019A (zh) * | 2003-06-23 | 2005-02-02 | 精工爱普生株式会社 | 视频拷贝检测的方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5019899A (en) * | 1988-11-01 | 1991-05-28 | Control Data Corporation | Electronic data encoding and recognition system |
JP2003169309A (ja) * | 2001-12-04 | 2003-06-13 | Nippon Hoso Kyokai <Nhk> | コンテンツ特徴量抽出装置及びそのプログラム並びにコンテンツ認証データ生成装置及びそのプログラム並びにコンテンツ認証方法 |
JP4662779B2 (ja) * | 2003-01-06 | 2011-03-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 類似のビデオコンテンツへの乗り換えのための装置 |
US20040240562A1 (en) * | 2003-05-28 | 2004-12-02 | Microsoft Corporation | Process and system for identifying a position in video using content-based video timelines |
US7483569B2 (en) * | 2003-05-29 | 2009-01-27 | Carnegie Mellon University | Reduced complexity correlation filters |
US7382905B2 (en) * | 2004-02-11 | 2008-06-03 | Microsoft Corporation | Desynchronized fingerprinting method and system for digital multimedia data |
-
2008
- 2008-05-01 CN CN2008800164273A patent/CN101681373B/zh not_active Expired - Fee Related
- 2008-05-01 EP EP08767468A patent/EP2149098B1/en not_active Not-in-force
- 2008-05-01 US US12/600,466 patent/US8488061B2/en not_active Expired - Fee Related
- 2008-05-01 JP JP2010508364A patent/JP5143896B2/ja not_active Expired - Fee Related
- 2008-05-01 AT AT08767468T patent/ATE494587T1/de not_active IP Right Cessation
- 2008-05-01 WO PCT/US2008/005588 patent/WO2008143768A1/en active Application Filing
- 2008-05-01 DE DE602008004340T patent/DE602008004340D1/de active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
CN1574019A (zh) * | 2003-06-23 | 2005-02-02 | 精工爱普生株式会社 | 视频拷贝检测的方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10116972B2 (en) | 2009-05-29 | 2018-10-30 | Inscape Data, Inc. | Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device |
US10169455B2 (en) | 2009-05-29 | 2019-01-01 | Inscape Data, Inc. | Systems and methods for addressing a media database using distance associative hashing |
US10271098B2 (en) | 2009-05-29 | 2019-04-23 | Inscape Data, Inc. | Methods for identifying video segments and displaying contextually targeted content on a connected television |
US10284884B2 (en) | 2013-12-23 | 2019-05-07 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
US10306274B2 (en) | 2013-12-23 | 2019-05-28 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
Also Published As
Publication number | Publication date |
---|---|
EP2149098B1 (en) | 2011-01-05 |
EP2149098A1 (en) | 2010-02-03 |
JP5143896B2 (ja) | 2013-02-13 |
ATE494587T1 (de) | 2011-01-15 |
JP2010527556A (ja) | 2010-08-12 |
WO2008143768A1 (en) | 2008-11-27 |
CN101681373A (zh) | 2010-03-24 |
DE602008004340D1 (de) | 2011-02-17 |
US20100238350A1 (en) | 2010-09-23 |
US8488061B2 (en) | 2013-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101681373B (zh) | 推导对于画面修改和帧速率转换不敏感的视频签名 | |
US8351643B2 (en) | Media fingerprints that reliably correspond to media content | |
Yang et al. | Source camera identification based on content-adaptive fusion residual networks | |
Yerushalmy et al. | Digital image forgery detection based on lens and sensor aberration | |
Mstafa et al. | A video steganography algorithm based on Kanade-Lucas-Tomasi tracking algorithm and error correcting codes | |
TWI442773B (zh) | 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術 | |
KR100671772B1 (ko) | 비디오 복제 검출 방법 및 장치 | |
WO2022051080A1 (en) | Detecting a sub-image region of interest in an image using pilot signals | |
US10242287B2 (en) | Image processing apparatus, image processing method, and recording medium | |
Murali et al. | Comparision and analysis of photo image forgery detection techniques | |
Kharrazi et al. | Improving steganalysis by fusion techniques: A case study with image steganography | |
CN107133991A (zh) | 一种基于扰动失真和像素选择的二值图像隐写方法 | |
KR20140058643A (ko) | 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법 | |
CN102129549B (zh) | 基于缩略图和奇异值分解的图像Hash方法 | |
Fadhil et al. | Improved security of a deep learning-based steganography system with imperceptibility preservation | |
CN102301697B (zh) | 视频签名产生设备 | |
Rani et al. | Digital image forgery detection techniques: A comprehensive review | |
CN110490789B (zh) | 一种基于颜色与结构特征的图像摘要获取方法 | |
Kumar et al. | Feature based steganalysis using wavelet decomposition and magnitude statistics | |
RoselinKiruba et al. | Hiding data in videos using optimal selection of key-frames | |
CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
Lee et al. | Identifying color laser printer using noisy feature and support vector machine | |
Warbhe et al. | Survey on pixel and format based image forgery detection techniques | |
Choi et al. | Color laser printer forensics with noise texture analysis | |
Hu | Channel Modeling and System Design for Display-Camera Communications and Document Image Recapture Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120926 Termination date: 20170501 |