CN101918999A - 执行音频水印嵌入以及水印检测和提取的方法和设备 - Google Patents
执行音频水印嵌入以及水印检测和提取的方法和设备 Download PDFInfo
- Publication number
- CN101918999A CN101918999A CN2008801200987A CN200880120098A CN101918999A CN 101918999 A CN101918999 A CN 101918999A CN 2008801200987 A CN2008801200987 A CN 2008801200987A CN 200880120098 A CN200880120098 A CN 200880120098A CN 101918999 A CN101918999 A CN 101918999A
- Authority
- CN
- China
- Prior art keywords
- frequency
- code
- supplementary
- frequency content
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
- H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
- H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
- H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H2201/00—Aspects of broadcast communication
- H04H2201/50—Aspects of broadcast communication characterised by the use of watermarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/31—Arrangements for monitoring the use made of the broadcast services
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Security & Cryptography (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明描述了编码和解码方法以及设备。在一个实例中,一种将辅助信息嵌入到音频信号中的方法包括以下步骤:对所述音频信号进行采样以创建音频块;接收代码;确定要用于表示所述代码的频率成分,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔;确定要用于表示所述信息的频率成分的幅度,其中通过所述音频块的掩盖能力来确定所述频率成分的幅度;合成要用于表示所述信息的频率成分,其中将所述频率成分与所确定的幅度进行合成;以及将所合成的代码频率成分与所述音频块进行组合。
Description
发明领域
本公开总体上涉及媒体监视,更具体地涉及执行音频水印嵌入以及水印检测和提取的方法和设备。
背景技术
识别媒体信息,更具体而言音频流(例如音频信息)对于评定电视、无线电广播或任意其他媒体的受众暴露(audience exposure)是有用的。例如,在电视受众测量应用中,可以将代码插入到媒体的音频或视频中,随后在呈现媒体时(例如,在所监视的住宅处播放)在监视点来检测该代码。嵌入到原始信号中的代码/水印的信息有效载荷可以包括唯一源标识、广播时间、业务(transactional)或附加内容元数据。监视点通常包括诸如住宅的地点,在该地点,受众的媒体消费或受众对于媒体的暴露被监视。例如,在监视点,来自音频和/或视频的代码被捕获且可以与关联于选定频道、电台、媒体源等的媒体的音频或视频流相关联。然后,收集的代码可以被发送到中央数据收集设施进行分析。然而,与媒体暴露或消费相关的数据的收集不必限制为家庭暴露或消费。
附图说明
图1是广播受众测量系统的示意图,该系统采用了识别添加到合成电视信号的音频部分的代码的程序。
图2是图1的示例编码器的框图。
图3A-3C是例示了可以在图2的代码频率选择器中使用的不同示例代码频率配置的图表。
图4是例示了可以由图2的示例编码器来执行的示例处理的流程图。
图5是图1的示例解码器的框图。
图6是例示了可以由图4的示例解码器来执行的示例处理的流程图。
图7是示例处理器平台的示意图,该示例处理器平台可用于和/或可设计为执行此处所述的任意或全部示例系统、示例设备和/或示例方法。
具体实施方式
下面的描述参考了音频编码和解码,音频编码和解码一般还分别被称为音频水印嵌入(audio watermarking)和水印检测。应当注意,在该背景下,音频可以是频率落在正常人类听能到频谱范围内的任意类型的信号。例如,音频可以是语音、音乐、音频和/或视频节目或者作品(例如,电视节目、电影、因特网视频、无线电节目、商业广告等)的音频部分、媒体节目、噪声或任意其他声音。
一般来讲,对音频的编码是将一个或更多代码插入到音频中且理想地保持该代码不被音频的听者听见。然而,有些情况下,该代码会被某些听者听见。另外,下面将参考可编码或嵌入在音频中的代码;这些代码也可称为水印。嵌入到音频中的代码可以是任意适当的长度,且可以选择任何适当的技术将代码分配到信息中。而且,如下所述,可以将代码转换成符号,这些符号由嵌入到音频中的具有选定频率的信号来表示。可以使用任意适当的编码或纠错技术来将代码转换成符号。
下面的示例总体上关于使用诸如代码的信息对音频信号进行编码以及经由解码处理从音频中获得该信息。下面的示例编码和解码处理可以在若干不同技术应用中使用,以将信息从一个地方传递到另一个地方。
此处所述的示例编码和解码处理可用于进行广播识别。在这种示例中,在作品被广播之前,对该作品进行编码使之包括表示作品源、作品的广播时间、作品的分发频道或认为与系统运营商相关的任意其他信息的代码。当作品被呈现(例如,通过电视、无线电广播、计算装置或任意其他适当装置来播放)时,呈现区域中的个人不仅暴露给该作品,而且不为这些人所知,他们也暴露给嵌入在作品中的代码。因而,个人可以设置有在基于麦克风的平台上工作的解码器,使得作品可以由解码器使用自由场检测来获得且被处理以从中提取代码。代码然后可以被记录且向报告回中央设施以作进一步处理。基于麦克风的解码器可以是专用的独立装置,也可以利用蜂窝电话或具有麦克风和用以执行解码和代码记录操作的软件的任意其他类型的装置来实施。另选地,只要作品及其附属代码可以经由硬布线连接而获取,就可以使用有线系统。
例如,通过使用特定代码来标记版权保护的音频和/或相关视频内容,可以在涉及音频和/或视频作品的跟踪或者取证(forensics)中使用此处描述的示例编码和解码处理。该示例编码和解码过程可用于实现一种业务编码系统,其中,当某个作品被消费者购买时,将唯一代码插入到该作品中。因而,允许媒体分发来识别作品源。购买可以包括购买者物理地接收其上包括作品的有形介质(例如,光盘等),也可以包括经由诸如因特网的网络来下载作品。在业务编码系统的背景下,同一作品的每个购买者都接收该作品,但是每个购买者接收到的作品是使用不同代码来编码的。即,插入到作品中的代码对于购买者而言是因人而异的,其中该购买者购买的每个作品都包括该购买者的代码。另选地,每个作品可以用顺序分配的代码来编码。
而且,通过以隐写方式来隐藏代码,此处描述的示例编码和解码技术可被用于执行控制功能,其中隐藏的代码用于控制被设计为对代码作出响应的目标装置。例如,控制数据可以隐藏在语音信号或者任意其他音频信号中。呈现的音频信号的区域中的解码器对接收到的音频进行处理以获得隐藏的代码。获得代码之后,目标装置基于该代码执行某种预定动作。这例如在基于商店等中呈现的音频来改变商店内广告的情形下是有用的。例如,通过使用嵌入在音频广告中的代码,商店内的滚动宣传广告可以与商店内呈现的音频声音相同步。
图1中示出了示例编码和解码系统100。示例系统100例如可以是电视受众测量系统,该系统将用作进一步说明此处描述的编码和解码处理的背景。示例系统100包括向音频信号104添加代码103以产生编码后音频信号的编码器102。代码103可以表示任意选定信息。例如,在媒体监视背景下,代码103可以表示诸如电视广播、无线电广播等广播媒体节目的标识。另外,代码103可以包括表示代码103被插入到音频中的时刻或媒体广播时间的计时信息。另选地,如下所述,代码可以包括被用于控制一个或更多目标装置的行为的控制信息。
音频信号104可以是任意形式的音频,例如包括语音、音乐、噪声、商业广告音频、与电视节目相关联的音频、现场演出等。在图1的示例中,编码器102将编码后音频信号传递到发射器106。发射器106将该编码后音频信号联通与该编码后音频信号相关联的任意视频信号108一起进行发射。然而,在某些实例中,编码后音频信号可能具有关联视频信号108,编码后音频信号并不一定具有关联视频。
尽管图1中示出的示例系统100的发射侧示出了单个发射器106,但是发射侧可以更加复杂且可以包括音频信号104可以借以穿过的分发链形式的多级。例如,音频信号104可以在国家网络级产生且被传递到地方(local)网络级以进行地方分发。因此,尽管编码器102被示为在发射队列中位于发射器106之前,但是可以贯穿音频信号104的分发链而放置一个或更多个编码器。因而,音频信号104可以在多级下进行编码且可以包括与这些多级相关联的嵌入代码。下面将提供关于编码和示例编码器的进一步细节。
发射器106可以包括可通过自由空间传播(例如,经由地面或卫星通信链路)分发编码后音频信号的射频(RF)发射器或者用于通过电缆、光纤等分发编码后音频信号的发射器中的一种或更多种。在一个示例中,发射器106可用于在广阔的地理区域上广播编码后音频信号。在其他情形下,发射器106可以通过有限地理区域来分发编码后音频信号。发射可以包括将编码后音频信号升频转换至射频以实现该音频信号的传播。另选地,发射可以包括以可通过诸如因特网、广域网或局域网的一个或更多网络来发射的数位或者数位包的形式来分发编码后音频信号。因而,编码后音频信号可以通过载波信号、通过信息包或者通过用来分发音频信号的任意适当技术来载送。
当编码后音频信号被接收器110接收时(在媒体监视背景下,该接收器110可以位于以统计方式选定的测量点112),接收到的节目信号的音频信号部分被处理以恢复出代码,即使当编码后音频信号被接收器110的扬声器114呈现时代码的存在对于听者而言是不可察觉(或基本不可察觉)的。为此,解码器116直接连接到在接收器110处可用的音频输出118或连接到放置在扬声器114附近的麦克风120,由此来再现音频。接收到的音频信号可以是非立体声或立体声形式。下面将提供关于解码和示例解码器的进一步细节。
音频编码
如上所述,编码器102将一个或更多个不可听(或基本不可听)代码插入到音频104中以创建编码后音频。图2中示出了一个示例编码器102。在一种实施中,图2的示例编码器102包括接收音频104的采样器(sampler)202。采样器202耦接到掩盖(masking)估计器204,该估计器204估计采样音频在其中隐藏代码的能力。代码103被提供到代码频率选择器206,该代码频率选择器206确定用于呈现插入到音频中的代码103的音频代码频率。代码频率选择器206可以包括代码向符号的转换和/或任意适当的检测或校正编码。向掩盖估计器204传递要用于呈现代码103的指定代码频率的指示,使得掩盖估计器204获知应当确定音频104的掩盖的频率。另外,将代码频率的指示提供给代码合成器208,该代码合成器208产生具有代码频率选择器206指定的频率的正弦波信号。组合器210既接收来自代码合成器208的合成代码频率又接收提供到采样器的音频,并组合二者以产生编码后音频。
在音频104以模拟形式被提供到编码器102的一个示例中,采样器202可以使用模数(A/D)转换器或任意其他合适的数字转换器来实现。采样器202例如可以按48,000赫兹(Hz)或适于采样音频104同时满足奈奎斯特判据的任意其他采样速率来采样音频104。例如,如果音频104的频率限制在15,000Hz,则采样器102可以工作在30,000Hz。来自采样器202的每个样本都可以通过一串数位来表示,其中,串中位数表示实施采样的精度。例如,采样器202可以产生8位、16位、24位或32位。
除了采样音频104以外,示例采样器202还累积要被一起处理的很多样本(即,音频块)。例如,示例采样器202累积一次被传递到掩盖估计器204的512个样本的音频块。另选地,在一个示例中,掩盖估计器204可以包括累积器,其中很多样本(例如512个)可以在它们被处理之前累积在缓冲器中。
掩盖估计器204接收或累积样本(例如,512个样本)且确定累积的样本使人类无法听到代码频率的能力。即,掩盖估计器通过整体估计音频的每个临界频带以确定其能量并确定每个临界频带的类噪声或类音调属性并确定这些临界频带掩盖代码频率的总和能力,来确定代码频率是否可以被隐藏在由累积样本表示的音频中。通过在人类听知觉基础上实施的试验性研究而确定的临界频带可以在宽度上从频谱低端的单个频带变化为可听频谱高端的包含10个或更多相邻频率的频带。如果掩盖估计器204确定出代码频率可以被隐藏在音频104中,则掩盖估计器204指示代码频率可以插入到音频104而同时仍保持隐藏的幅度水平,并将该幅度信息提供给代码合成器208。
在一个示例中,掩盖估计器204通过确定能量Eb的最大变化或者可以在任意临界频带处发生而不使该变化可被听者察觉到的掩盖能量级,来执行掩盖估计。掩盖估计器204执行的掩盖估计例如可以如移动图像专家组一高级音频编码(MPEG-AAC)音频压缩标准ISO/IEC13818-7:1997所述那样来执行。每个临界频带中的声能都会影响其邻居的掩盖能量,并且用于计算掩盖效果的算法在诸如ISO/IEC 13818-7:1997的标准文档中进行了描述。这些分析可用于针对每个音频块确定由于类声调(例如,音频被估计为类似声调的程度)以及类噪声(音频被估计为类似噪声的程度)特征所导致的掩盖贡献。进一步分析可以估计扩展音频在短时间(典型地50-100ms)的掩盖能力的临时掩盖。掩盖估计器204所得的分析在每个临界频带的基础上提供了可被添加到音频104中而不产生任意可觉察音频衰减(例如,不会被听见)的代码频率的幅度的确定。
在一个示例中,可以使用将输入代码103与某个状态关联起来的查找表来实现代码频率选择器206,其中每个状态都由要在编码后音频信号中强调的很多代码频率来表示。例如,代码频率选择器206可以包括将符号或数据状态与冗余地表示数据状态的代码频率集关联起来的信息。当然,选择使用的状态数量可以基于输入代码的类型。例如,表示两位的输入代码可以被转换为表示4个符号或者状态(例如22)之一的代码频率。在另一个示例中,表示4位信息的输入代码可以由16个符号或状态(例如,24)之一来表示。当然,在将代码103转换为一个或更多个符号或状态时,可以使用一些其他编码来纠错。另外,在一些示例中,多于一个代码可以被嵌入在音频104中。
在图3A中用标号300示出了例示代码频率配置的一个示例图表。该图表包括值范围为360~1366的频率索引(frequency index)。这些频率索引对应于经由18,432个样本的块的傅里叶变换在频域观看时嵌入到音频信号中的正弦波的频率。参照频率索引而不是实际频率的原因在于,索引所对应的频率基于在编码器102中使用的采样率和解码器116所处理的样本数而变化。采样率越高,每个索引与其相邻索引在频率上就越接近。相反,低采样率导致相邻索引在频率方面相对间隔较宽。例如,在48,000Hz的采样率下,图3A的图表300中示出的索引之间的间隔是2.6Hz。因而,频率索引360对应于936Hz(2.6Hz×360)。
如图3A所示,图表300包括顶行302,该顶行302列出了以列的形式表示的144个不同状态或符号,其中图表300示出了前3个状态和最后一个状态。状态被选择来表示代码或代码的一部分。为简单起见,第三状态与最后一个状态之间的状态用虚线框来表示。在图表300中,每个状态都占用了相应的列。例如,状态S1占用了用标号304表示的列。每一列都包括很多频率索引,这些频率索引表示了在图表的左手列306中指示的7个不同代码带(code band)中的每一个的频率。例如,如列304所示,状态S1由频率索引360、504、648、792、936、1080和1224来表示。为了发送这144个状态之一,选定状态的列中的代码索引在18,432个样本的块中被强调。因而,为了发送状态S1,对索引360、504、648、792、936、1080和1224进行强调。在一个示例编码器102中,一次仅强调这些状态之一的索引。
如图3A所示,每个代码带都包括顺序编号的频率索引,索引之一对应于各个状态。即,代码带0包括频率索引360-503,每个频率索引都对应于图表300中示出的144个不同状态/符号之一。另外,系统中的相邻代码带间隔开一个频率索引。例如,代码带0的范围从索引360到索引503,且相邻代码带1的范围从索引504到索引647。因而,代码带0与相邻代码带1间隔了一个频率索引。有利的是,图3A中示出的代码带在频率上彼此相邻,并由此以相对相同的方式受到多路径干扰的影响。另外,图表300中的高冗余度增强了恢复代码的能力。
因而,如果代码频率选择器206基于图3A的图表300来工作,则当代码频率选择器206的输入代码被编码或映射到状态S1时,代码频率选择器206向掩盖估计器204和代码合成器208指示应在编码后信号中强调频率索引360、504、648、792、936、1080和1224,因此,代码合成器208应当生成具有对应于频率索引360、504、648、792、936、1080和1224的频率的正弦波,且该正弦波应以掩盖估计器204指定的幅度来生成,使得生成的正弦波可以被插入到音频104中但是不可被听见(或者基本不可被听见)。通过另一示例,当输入代码识别出应当把状态S144编码到音频104中时,代码频率选择器206将频率索引503、647、791、935、1079、1223和1366识别到掩盖估计器204和代码合成器208,使得对应的正弦波可以按照适当的幅度来生成。
用于选择图表300中的状态以传达信息的编码可以包括数据块和同步块。例如,要由系统使用这144个不同状态来编码的消息包括后面跟着若干数据块的同步块。通过强调图表300中的一个列中示出的频率索引,同步块和数据块均被编码到18,432个样本中且通过强调以下图表300中示出的状态之一的索引来表示。
例如,通过强调被选择来表示同步信息的16个状态之一的索引来表示同步块。即,同步块表示了16个不同消息类型之一的开始。例如,当考虑媒体监视时,网络电视台可以使用第一状态来表示同步,而地方分支机构可以使用第二状态来表示同步。因而,在发射开始时,选择16个不同状态之一来表示同步且通过强调与该状态相关联的索引进行发射。信息有效载荷数据跟随在同步数据之后。
在上述示例中,在表示同步信息的这16个状态怎样分布在144状态上这方面,在一个示例中,16个状态被选择使得包括表示这16个状态中每一个的第一代码频率的频率范围大于使该频率范围与包括也表示这16个状态中每一个的第二代码频率的相邻频率范围间隔开的频率量。例如,在上表中,表示同步信息的16个状态可以相隔9个状态,使得状态S1、S10、S19、S28、S37、S46、S54、S63、S72、S81、S90、S99、S108、S117、S126、S135表示同步信息会具备的可能状态。在代码带0和代码带1中,这对应于135个索引的频率索引的宽度。代码带0的可能性最大的同步状态(S135)与代码带1的可能性最小的同步状态(S1)之间的频率间隔是10个频率索引。因而,表示同步信息的频率索引的每个集合的范围(例如135个索引)远大于使相邻集合间隔开的量(例如10个索引)。
在该示例中,144个状态中不用于表示同步的剩余128个状态可用于发射信息数据。数据可以通过表示期望位数所需的任意数量的合适状态来表示。例如,可使用16个状态来表示每个状态4位信息,或者可使用128个状态来表示每个状态7位信息。在一个示例中,被选择来表示数据的状态是这样选择的,使得包括表示每个数据状态的第一代码频率的频率范围大于使该频率范围与包括也表示每个数据状态的第二代码频率的相邻频率范围间隔开的频率量。因而,用于表示可能数据的状态包括至少一个充分低的编号状态(例如S2)和至少一个充分高的编号状态(例如S144)。这确保了包括可用于表示数据的状态的范围占用了它们各自代码带中较宽的带宽,且相邻范围之间的间隔较窄。
编码器102可以重复该编码处理,由此使用特定代码对很多音频块进行编码。即,可以将选定代码频率插入到若干连续的512样本音频块中。在一个示例中,表示符号的代码频率可以在512个样本的36个连续音频块或者256个样本的72个交叠块中重复。因而,在接收侧,当通过傅里叶变换对18,432个样本进行处理后,所强调的代码频率将在所得频谱中可见。
图3B示出了可以被代码频率选择器208使用的示例备选图表330,其中图表330在第一行332中列出了4个状态,每个状态都包括在7个代码带334中列出的相应频率索引。这些频率索引对应于当经由512个样本块的傅里叶变换在频域观看时将被嵌入到音频信号中的正弦曲线的频率。举例而言,在要发送状态S1的情况下,代码频率选择器206指示要使用频率索引10、14、18、22、26、30和34。如上所述,将这些频率的指示传送到掩盖估计器204和代码合成器208,使得可以生成具有合适幅度且对应于所指示的频率索引的正弦波,供添加到音频104中。在根据图表330工作的示例编码器102中,对应于期望符号的代码频率被编码到256个样本的交叠块中以使其可检测。
与图3A的图表300一样,图表330表明代码带通过与表示相邻符号的频率索引相同的频率距离来间隔开。例如,代码0包括频率索引为13的代码频率成分,该频率索引与表示状态S1的代码带1频率索引14相隔一个频率索引。
图3C的图表360示出了可以被代码频率选择器208使用的另一示例,其中,图表360在第一行362中示出了24个状态,每个状态都包括在7个代码带364中列出的相应频率索引。这些频率索引对应于当经由3072个样本的块的傅里叶变换在频域观看时将被嵌入到音频信号中的正弦曲线的频率。举例而言,在要发送状态S1的情况下,代码频率选择器206指示要使用频率索引60、84、108、132、156、180和204。如上所述,将这些频率的指示传送到掩盖估计器204和代码合成器208,使得可以生成具有合适幅度且对应于所指示的频率索引的正弦波,供添加到音频104中。
在根据图3C的图表360工作的示例编码器102中,对应于期望符号的代码频率被编码到256个样本的12个交叠块中。在这种实施中,前16列可以用作数据符号而第17列可以用作同步符号。剩余的7列可用作诸如视频点播的专用数据——例如列18、19、20、21、22、23作为辅助数据符号且这些将仅当列24中存在辅助同步符号时才被解码。
与图表300和330一样,图表360表明代码带通过与表示相邻符号的频率索引相同的频率距离而间隔开。例如,代码0包括频率索引为83的代码频率成分,该频率索引与表示状态S1的代码带1频率索引84相隔一个频率索引。
现在返回图2,如上所述,代码合成器208从代码频率选择器206接收需要被包括进来以创建包括输入代码的指示的编码后音频信号的频率索引的指示。响应于频率索引的指示,代码合成器208生成具有所识别(identified)频率的很多正弦波(或者包括多个正弦波的一个合成信号)。合成可以得到正弦波信号或者表示正弦波信号的数字数据。在一个示例中,代码合成器208生成具有掩盖估计器204指定的幅度的代码频率。在另一示例中,代码合成器208产生具有固定幅度的代码频率且这些幅度可以通过位于代码合成器208内或布置在代码合成器208与组合器210之间的一个或更多增益框(未示出)来调节。
尽管上面描述了生成正弦波或表示正弦波的数据的示例代码合成器208,但是代码合成器的其他示例实现也是可行的。例如,另一示例代码合成器208可以输出用于调节提供到组合器210的音频的某些频率幅度的频域系数,而不是生成正弦波。这样,就可调节音频的频谱使之包括必需的正弦波。
组合器210接收代码合成器208的输出和音频104二者且组合它们以形成编码后音频。组合器210可以按模拟或数字形式对代码合成器208的输出和音频104进行组合。如果组合器210执行了数字组合,则代码合成器208的输出可以与采样器202的输出而不是输入到采样器202的音频104进行组合。例如,数字形式的音频块可以与数字形式的正弦波进行组合。另选地,组合可以在频域实施,其中根据表示正弦波的频率系数来调节音频的频率系数。进一步另选地,正弦波和音频可以按模拟形式进行组合。编码后音频可以按模拟或数字形式从组合器210输出。如果组合器210的输出是数字的,则它随后可以在耦合到发射器106之前被转换成模拟形式。
图4中示出了示例编码处理400。示例处理400可以由图2所示的示例编码器102或者任意其他合适的编码器来执行。示例处理400在获得要被包括在音频中的代码时开始(框402)。代码可以经由数据文件、存储器、寄存器、输入端口、网络连接或任意其他合适技术而获得。
在获得代码(框402)之后,示例处理400对将要嵌入代码的音频进行采样(框404)。采样可以在48,000Hz或任意其他合适的频率下进行。示例处理400然后将音频样本收集到音频样本块中(框406)。样本块例如可以包括512个音频样本。在一些示例中,样本块可以同时包括旧样本(例如,在将信息编码到音频之前已经使用过的)和新样本(例如,在将信息编码到音频之前未被使用国)。例如,512个音频样本的块可以包括256个旧样本和256个新样本。在随后对样本处理400进行迭代时,来自前一迭代的256个新样本可以用作样本处理400的下一迭代的256个旧样本。
示例处理400然后确定要用于将代码(在框402获得的)包括到音频块(在框406获得)的代码频率(框408)。这是一种编码处理,其中代码或代码位被转换成由频率成分来表示的符号。如上所述,示例处理400可以使用一个或更多查找表来转换那些要被编码为表示这些代码的符号的代码,其中这些符号由音频谱中的代码频率冗余地表示。如上所述,可以使用7个频率来冗余地表示音频块中的选定符号。选择符号来表示代码可以包括考虑被处理的块数目、错误编码等。
在获得了要在其中包括代码的音频(框406)以及要用于表示代码的代码频率(框408)之后,处理400计算音频块掩盖选定代码频率的能力(框410)。如上面所解释的,掩盖估计可以包括将音频块转换到频域并且考虑音频块的类声调或类噪声属性以及块中各个频率处的幅度。另选地,估计可以在时域中进行。另外,掩盖还可以包括考虑位于前一音频块中的音频。如上所述,例如,掩盖估计可以根据MPEG-AAC音频压缩标准ISO/IEC 13818-7:1997来进行。掩盖估计的结果是确定要添加到音频块中的代码频率的幅度或能量,而这种代码频率保持不可被人耳听见或基本不可被人耳听见。
确定了应生成的代码频率的幅度或能量(框410)之后,示例处理400合成具有这些代码频率的一个或更多个正弦波(框412)。合成可以实际上得到正弦波或者可以得到等价表示正弦波的数字数据。在一个示例中,可以利用掩盖估计所指定的幅度来合成正弦波。另选地,可以利用固定幅度来合成代码频率,然后可以在合成之后对这些代码频率的幅度进行调节。
示例处理400然后将合成的代码频率与音频块组合起来(框414)。组合可以通过添加表示音频块的数据和表示所合成正弦波的数据来进行,或者可以按照任意其他合适方式来进行。
在另一示例中,代码频率合成(框412)和组合(框414)可以在频域中进行,其中对于所合成正弦波的每个频域系数来调节表示频域中的音频块的频率系数。
如上面所解释的,代码频率被冗余地编码到连续音频块中。在一个示例中,一组特定代码频率被编码到36个连续块中。因而,示例处理400监视是否完成了必需的迭代次数(框416)(例如,处理400确定示例处理400是否已经重复了36次来对代码频率进行冗余编码)。如果示例处理400没有完成必需的迭代(框416),则示例处理400对音频进行采样(框404),分析音频的掩盖特性(框410),合成代码频率(框412)并将代码频率与新获取的音频块进行组合(框414),由此利用代码频率来编码另一音频块。
然而,当完成将代码频率冗余编码到音频块中的必需迭代(框416)时,示例处理400获得要被包括在音频中的下一代码(框402)且示例处理400迭代。因而,在选择下一代码将其编码到预定数目的音频块中之前,示例处理400将第一代码编码到预定数目的音频块中,依此类推。然而,也并不总是要将代码嵌入到音频中。在这种情形下,示例处理400可以被绕过。另选地,如果没有获得要被包括的代码(框402),则不会合成任何代码频率(框412),因而,不会有代码频率来变更音频块。因而,示例处理400将仍然运行,只不过音频块并不总是被修改——尤其是当没有要包括在音频中的代码时。
音频解码
一般而言,解码器116检测被插入到音频中以在编码器102处形成编码后音频的代码信号。即,解码器116查找它处理的代码频率中的强调方向图(pattern)。一旦解码器116确定了哪些代码频率是被强调的,解码器116就基于强调的代码频率来确定编码后音频中存在的符号。解码器116可以记录这些符号,或者可以将这些符号解码为曾经被提供到编码器102以插入到音频中的代码。
如图5所示,示例解码器116包括采样器502,其可以使用A/D或任意其他技术来实现,以模拟形式向其提供编码后音频。如图1所示,编码后音频可以通过有线或无线连接被提供至接收器110。采样器502例如以48,000Hz的采样频率对编码后音频进行采样。当然,可以有利地选择较低的采样频率以减小解码时的计算负载。例如,在8kHz的采样频率下,奈奎斯特频率是4kHz,因此所有的嵌入代码信号都被保留,因为其谱频率低于奈奎斯特频率。48kHz采样速率下18,432样本DFT块长度在8kHz采样率下减小到3072个样本。然而,即使在此改动后DFT块大小下,代码频率索引也等于原始的索引且范围从360到1367。
来自采样器502的样本被提供到时域-频域转换器504。时域-频域转换器504可以使用离散傅里叶变换(DFT)或任意其他合适技术来实现以将基于时间的信息转换为基于频率的信息。在一个示例中,时域-频域转换器504可以使用滑动DFT(其中在每次新样本被提供到该示例时域-频域转换器504时计算频谱)来实现。在一个示例中,时域-频域转换器504使用编码后音频的18,432个样本且据此确定频谱。时域-频域转换器504产生的频谱的分辨率随着用于产生频谱的样本数而增加。因而,时域-频域转换器504所处理的样本数应匹配于用于选择图3A、图3B或图3C的图表中的索引的分辨率。
时域-频域转换器504产生的频谱传至代码频率监视器506,该代码频率监视器506监视与可能运载了被示例编码器102插入的代码的频率索引相对应的所有频率或谱线。例如,如果示例编码器102基于图3A的图表来发送数据,则代码频率监视器506监视与索引360-1366相对应的频率。
代码频率的监视包括估计每个代码频率处的频谱能量。因而,代码频率监视器506将图3A的图表的指定行的能量归一化为该图表的该行的最大能量。例如,考虑与图3A的图表的代码带0相对应的频率索引,如果与频率索引360相对应的频率具有表示代码带0的行(例如,频率索引361、362、...503)中其他频率的最大能量,则将与代码带0中的索引相对应的其他频率处的各个能量除以与频率索引360相对应的频率的能量。因而,频率索引360的归一化能量的值将为1,而与代码带0中的频率索引相对应的所有其他频率都将具有小于1的值。针对图表300的每一行重复该归~化处理。即,图3A的图表中的每个代码带都将包括其能量被归一化为1的一个频率,而该代码带中的其他能量被归一化为小于1的某个值。
基于代码频率监视器506产生的归一化能量,符号确定器508确定编码后音频中存在的符号。在一个示例中,符号确定器508对与每个状态相对应的所有归一化能量进行求和。即,符号判决器508创建了144个和值,每个和值都对应于图表300中的一列或一个状态。具有最高归一化能量和值的列或状态被确定为被编码的符号。符号确定器可以使用查找表,该查找表类似于图3A的可用于将强调的频率映射到它们对应的符号的查找表。例如,如果状态S1被编码到音频中,则对于表示状态S1的每个频率索引,归一化能量一般将导致值为1。即,一般情况下,代码带中不对应于状态S1的所有其他频率都将具有小于1的值。然而,尽管这一般而言是正确的,但是并不是每个对应于状态S1的频率索引都具有1的值。因而,针对每个状态计算了归一化能量的和值。这样,一般而言,与表示状态S1的频率索引相对应的归一化能量将具有大于与表示其他状态的频率索引相对应的能量的和值。如果与表示S1的频率索引相对应的归一化能量的和值超过了检测阈值4.0,则状态S1被确定为嵌入在编码后音频中的最可能符号。然而,如果和值不超过该阈值,则状态S1被编码的信心不足,没有状态被确定为最可能状态。因而,符号确定器508的输出是被编码到音频的最可能符号的流。在理想条件下,S1的代码频率将得出7.0的归一化分数。
有效性检查器510对最可能符号进行处理以确定接收到的符号是否对应于有效数据。即,有效性检查器510确定在编码器102的代码频率选择器206处用于将代码转化为符号的编码方案给定的条件下,与最可能符号相对应的位是否有效。有效性检查器510的输出是代码,该代码对应于提供到图2的代码频率选择器206的代码。
图6中示出了示例解码处理600。示例处理600可以由图5中示出的示例解码器116或任意其他合适的解码器来执行。示例处理600以对音频进行采样(框602)开始。音频可以经由音频传感器、硬线连接、音频文件或通过任意其他合适的技术来获得。如上面所解释的,采样可以按48,000Hz的频率或任意其他合适的频率来进行。
获得每个样本后,对包括很多旧样本和在框602获得的新添加样本的样本集合进行滑动时域-频域转换(框604)。在一个示例中,可以使用滑动DFT来处理包括18,431个旧样本和一个新添加样本的流输入样本。在一个示例中,使用18,432个样本的DFT得到了分辨率为2.6Hz的频谱。
在通过时域-频域转换获得频谱(框604)之后,确定代码频率的能量(框606)。在一个示例中,可以通过针对可以被强调以对音频进行编码的频率成分获得时域-频域转换(框604)结果的幅度,来获得这些能量。重要的是,为了节省处理时间和最小化内存消耗,仅可以仅保留与代码频率相对应的频率信息并作进一步处理,因为这些频率是编码信息可能位于的仅有频率(only frequency)。当然,示例处理600可以使用能量的其他信息。例如,示例处理600可以保留幅度和相位信息且处理它们。
另外,通过考虑之前接收的同步符号可以进一步减少处理600中被处理的频率。例如,如果特定同步符号后面总是跟着6个不同符号之一,则在接收到该特定同步符号以后,被处理的频率可以减少为这6个不同符号。
在确定了能量(框606)之后,示例处理600基于每个代码块中的最大能量来归一化该代码块的代码频率能量(框608)。即,代码块中的代码频率的最大能量被再次用作其自身和该代码块中的所有其他能量的除数。归一化导致每个代码块都具有一个归一化能量值为1的频率成分,而该代码块中的所有其他归一化能量值都具有小于1的值。因而,参照图3A,图表300的每一行都将具有一个值为1的条目,而所有其他条目都具有小于1的值。
示例处理600然后对归一化能量值进行操作以在此基础上确定最可能符号(框610)。如前面所解释的,该确定例如包括对与每个符号相对应的归一化能量值进行求和,由此得到与符号相同数目的和值(例如,考虑图3A的图表,将存在144个和值,每个和值对应于144个符号之一)。然后将最大和值与阈值(例如4.0)进行比较,如果和值超过阈值,则与最大和值相对应的符号被确定为接收到的符号。如果最大和值未超过阈值,则没有符号被确定为接收到的符号。
确定了接收到的符号(框610)之后,示例处理600确定与接收到的符号相对应的代码(框612)。即,示例处理600对示例编码处理400进行的代码到符号的编码(例如,通过框408执行的编码)进行解码。
在完成解码且从符号确定了代码(框612)之后,示例处理600分析代码的有效性(框614)。例如,可以对接收到的符号进行检验以基于发送代码的编码处理来确定代码序列是否有效。有效代码被记录且可以在稍后的时间与表明何时接收到代码的时间和日期戳一起发送回中央处理设施。
尽管上面已经说明和描述了实施任意或所有示例编码器102和示例解码器116的示例方式,但是附图中示出和上面描述的一个或更多数据结构、元件、处理和/或装置可以进行组合、拆分、重新布置、省略、去除和/或按任意其他方式来实施。而且,示例编码器102和示例解码器116可以通过硬件、软件、固件和/或硬件、软件、固件的任意组合来实现。因而,例如,示例编码器102和示例解码器116可以通过一个或更多电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)等来实现。例如,解码器116可以使用诸如移动电话的平台装置上的软件来实现。如果任一所附权利要求被解读为涵盖纯软件实施方式,则编码器102的示例采样器202、示例掩盖估计器204、示例代码频率选择器206、示例代码合成器208和示例组合器210至少其一和/或示例解码器116的示例采样器502、示例时域-频域转换器504、示例代码频率监视器506、示例统计处理器508、示例符号确定器510和/或示例有效性检查器512中的一个或多个在此被明确定义为包括诸如存储器、DVD、CD等有形介质。并且,除了附图中示出和上面描述的或者取而代之,示例编码器102和示例解码器116可以包括数据结构、元件、处理和/或装置,并且/或者可以包括任意或所有所例示的数据结构、元件、处理和/或装置中的不止一项。
图7是示例处理器平台700的示意图,该示例处理器平台700可用于和/或可编程来实现此处所述的示例编码器102和解码器116和/或任意其他组件中的任意或全部。例如,处理器平台700可以通过一个或更多通用处理器、处理器核、微控制器等来实现。另外,处理器平台700可以实现为具有其他功能的装置的一部分。例如,处理器平台700可以使用移动电话或任意其他手持装置中提供的处理能力(processing power)来实现。
图7的示例处理器平台700包括至少一个通用可编程处理器705。处理器705执行存在于处理器705的主存储器(例如,RAM 715和/或ROM 720)中的编码指令710和/或712。处理器705可以是任意类型的处理单元,例如处理器核、处理器和/或微控制器。此外,处理器705可以执行实现此处所述处理的示例机器可存取指令。处理器705经由总线725与主存储器(包括ROM 720和/或RAM 715)进行通信。RAM 715可以通过DRAM、SDRAM和/或任意其他类型的RAM装置来实现,且ROM可以通过闪存和/或任意其他所需类型的存储器装置来实现。存储器715和720的存取可以通过存储器控制器(未示出)来控制。
处理器平台700还包括接口电路730。接口电路730可以通过诸如USB接口、蓝牙接口、外部存储器接口、串口、通用输入/输出等任意类型的接口标准来实现。一个或更多输入装置735和一个或更多输出装置740连接到接口电路730。
尽管此处描述了某些示例设备、方法和制品,但是其他实施方式也是可行的。本专利申请的涵盖范围不限于此处描述的特定示例。相反,本专利申请涵盖了落在本发明范围内的所有设备、方法和制品。
本申请要求分别于2007年11月12日和2008年4月10日提交的美国临时申请No.60/987,280和61/043,952的优先权,此处以引证的方式并入其全部内容。
Claims (51)
1.一种将辅助信息嵌入到音频信号中的方法,该方法包括以下步骤:
对所述音频信号进行采样以创建音频块;
接收代码;
确定要用于表示所述代码的频率成分,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔;
确定要用于表示所述信息的频率成分的幅度,其中通过所述音频块的掩盖能力来确定所述频率成分的幅度;
合成要用于表示所述信息的频率成分,其中将所述频率成分与所确定的幅度进行合成;以及
将所合成的代码频率成分与所述音频块进行组合。
2.根据权利要求1所述的方法,其中用于表示所述信息的所述频率成分位于可听频率范围内。
3.根据权利要求1所述的方法,其中所述多个代码带包括七个代码带。
4.根据权利要求3所述的方法,其中代码带内相邻频率成分之间的间隔包括一个频率索引。
5.根据权利要求4所述的方法,其中相邻代码带之间的间隔包括一个频率索引。
6.根据权利要求5所述的方法,其中所述不同的频率成分集合包括144个不同的频率成分集合。
7.根据权利要求6所述的方法,其中每个代码带都包括144个不同的频率索引。
8.根据权利要求7所述的方法,其中所述频率成分集合中的至少一个表示同步符号。
9.根据权利要求8所述的方法,其中所述同步符号表明了所述同步符号之后的信息的特性。
10.根据权利要求7所述的方法,其中在一个特定时刻,选择单个频率成分集合来包括在所述音频块中。
11.根据权利要求10所述的方法,其中所述单个频率成分集合被包括在多个连续音频块中。
12.一种获取先前利用存在于多个代码带中的多个频率成分嵌入到音频信号中的辅助信息的方法,该方法包括以下步骤:
对音频信号进行采样;
将所述音频信号转换成频域表示;
确定所述频域表示的每个可能包含所述辅助信息的频率的特性;
在每个代码带上,对该代码带中的所述频域表示的每个可能包含所述辅助信息的频率的特性进行归一化,其中该归一化是针对该代码带中的频率的最大特性来执行的;
对每个表示辅助信息的频率的归一化特性进行求和,以确定表示辅助信息的频率的最大和值;
确定所述最大和值表示所述辅助信息。
13.根据权利要求12所述的方法,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔。
14.根据权利要求13所述的方法,其中每个可能包含所述辅助信息的频率的所述特性是该频率的幅度。
15.根据权利要求13所述的方法,其中每个可能包含所述辅助信息的频率的所述特性是该频率的能量。
16.根据权利要求12所述的方法,该方法还包括以下步骤:在确定了辅助信息的第一部分之后减少所处理的频率的数量。
17.根据权利要求16所述的方法,其中辅助信息的所述第一部分包括同步信息。
18.一种将辅助信息嵌入到音频信号中的设备,该设备包括:
采样器,其对所述音频信号进行采样以创建音频块;
代码频率选择器,其接收代码并确定要用于表示所述代码的频率成分,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔;
掩盖估计器,其确定要用于表示所述信息的频率成分的幅度,其中通过所述音频块的掩盖能力来确定所述频率成分的幅度;
代码合成器,其合成要用于表示所述信息的频率成分,其中将所述频率成分与所确定的幅度进行合成;以及
组合器,其将所合成的代码频率成分与所述音频块进行组合。
19.根据权利要求18所述的设备,其中用于表示所述信息的所述频率成分位于可听频率范围内。
20.根据权利要求18所述的设备,其中所述多个代码带包括七个代码带。
21.根据权利要求20所述的设备,其中代码带内相邻频率成分之间的间隔包括一个频率索引。
22.根据权利要求21所述的设备,其中相邻代码带之间的间隔包括一个频率索引。
23.根据权利要求22所述的设备,其中所述不同的频率成分集合包括144个不同的频率成分集合。
24.根据权利要求23所述的设备,其中每个代码带都包括144个不同的频率索引。
25.根据权利要求24所述的设备,其中所述频率成分集合中的至少一个表示同步符号。
26.根据权利要求25所述的设备,其中所述同步符号表明了所述同步符号之后的信息的特性。
27.根据权利要求24所述的设备,其中在一个特定时刻,选择单个频率成分集合来包括在所述音频块中。
28.根据权利要求27所述的设备,其中所述单个频率成分集合被包括在多个连续音频块中。
29.一种获取先前利用存在于多个代码带中的多个频率成分嵌入到音频信号中的辅助信息的设备,该设备包括:
采样器,其对音频信号进行采样;
时域-频域转换器,其将所述音频信号转换成频域表示;
代码频率监视器,其:
确定所述频域表示的每个可能包含所述辅助信息的频率的特性;
在每个代码带上,对该代码带中的所述频域表示的每个可能包含所述辅助信息的频率的特性进行归一化,其中该归一化是针对该代码带中的频率的最大特性来执行的;
对每个表示辅助信息的频率的归一化特性进行求和,以确定表示辅助信息的频率的最大和值;
确定所述最大和值表示所述辅助信息。
30.根据权利要求29所述的设备,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔。
31.根据权利要求30所述的设备,其中每个可能包含所述辅助信息的频率的所述特性是该频率的幅度。
32.根据权利要求30所述的设备,其中每个可能包含所述辅助信息的频率的所述特性是该频率的能量。
33.根据权利要求30所述的设备,该设备还包括:在确定了辅助信息的第一部分之后减少所处理的频率的数量。
34.根据权利要求33所述的设备,其中辅助信息的所述第一部分包括同步信息。
35.一种存储有计算机可读指令的计算机可读介质,所述计算机可读指令被执行时使计算机:
对音频信号进行采样以创建音频块;
接收代码;
确定要用于表示所述代码的频率成分,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔;
确定要用于表示所述信息的频率成分的幅度,其中通过所述音频块的掩盖能力来确定所述频率成分的幅度;
合成要用于表示所述信息的频率成分,其中将所述频率成分与所确定的幅度进行合成;以及
将所合成的代码频率成分与所述音频块进行组合。
36.根据权利要求35所述的计算机可读介质,其中用于表示所述信息的所述频率成分位于可听频率范围内。
37.根据权利要求35所述的计算机可读介质,其中所述多个代码带包括七个代码带。
38.根据权利要求37所述的计算机可读介质,其中代码带内相邻频率成分之间的间隔包括一个频率索引。
39.根据权利要求38所述的计算机可读介质,其中相邻代码带之间的间隔包括一个频率索引。
40.根据权利要求39所述的计算机可读介质,其中所述不同的频率成分集合包括144个不同的频率成分集合。
41.根据权利要求40所述的计算机可读介质,其中每个代码带都包括144个不同的频率索引。
42.根据权利要求41所述的计算机可读介质,其中所述频率成分集合中的至少一个表示同步符号。
43.根据权利要求42所述的计算机可读介质,其中所述同步符号表明了所述同步符号之后的信息的特性。
44.根据权利要求41所述的计算机可读介质,其中在一个特定时刻,选择单个频率成分集合来包括在所述音频块中。
45.根据权利要求44所述的计算机可读介质,其中所述单个频率成分集合被包括在多个连续音频块中。
46.一种存储有计算机可读指令的计算机可读介质,该计算机可读指令获取先前利用存在于多个代码带中的多个频率成分嵌入到音频信号中的辅助信息,该计算机可读指令被执行时使计算机:
对音频信号进行采样;
将所述音频信号转换成频域表示;
确定所述频域表示的每个可能包含所述辅助信息的频率的特性;
在每个代码带上,对该代码带中的所述频域表示的每个可能包含所述辅助信息的频率的特性进行归一化,其中该归一化是针对该代码带中的频率的最大特性来执行的;
对每个表示辅助信息的频率的归一化特性进行求和,以确定表示辅助信息的频率的最大和值;
确定所述最大和值表示所述辅助信息。
47.根据权利要求46所述的计算机可读介质,其中不同的频率成分集合分别表示不同的信息,并且其中每个频率成分集合中的一个频率成分位于代码带中且存在多个代码带,而相邻代码带之间的间隔等于或小于每个代码带的相邻频率成分之间的间隔。
48.根据权利要求47所述的计算机可读介质,其中每个可能包含所述辅助信息的频率的所述特性是该频率的幅度。
49.根据权利要求47所述的计算机可读介质,其中每个可能包含所述辅助信息的频率的所述特性是该频率的能量。
50.根据权利要求46所述的计算机可读介质,该计算机可读介质还包括:在确定了辅助信息的第一部分之后减少所处理的频率的数量。
51.根据权利要求50所述的计算机可读介质,其中辅助信息的所述第一部分包括同步信息。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US98728007P | 2007-11-12 | 2007-11-12 | |
US60/987,280 | 2007-11-12 | ||
US4395208P | 2008-04-10 | 2008-04-10 | |
US61/043,952 | 2008-04-10 | ||
PCT/US2008/079595 WO2009064561A1 (en) | 2007-11-12 | 2008-10-10 | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101918999A true CN101918999A (zh) | 2010-12-15 |
CN101918999B CN101918999B (zh) | 2013-11-13 |
Family
ID=40097425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801200987A Expired - Fee Related CN101918999B (zh) | 2007-11-12 | 2008-10-10 | 执行音频水印嵌入以及水印检测和提取的方法和设备 |
Country Status (8)
Country | Link |
---|---|
US (8) | US8369972B2 (zh) |
EP (1) | EP2210252B1 (zh) |
JP (1) | JP5414684B2 (zh) |
CN (1) | CN101918999B (zh) |
AU (1) | AU2008321318B2 (zh) |
CA (2) | CA2858944C (zh) |
HK (1) | HK1150467A1 (zh) |
WO (1) | WO2009064561A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104284276A (zh) * | 2013-07-01 | 2015-01-14 | 美商富迪科技股份有限公司 | 多音源识别方法以及麦克风系统中使用该方法的音源装置 |
CN104599666A (zh) * | 2014-09-26 | 2015-05-06 | 威盛电子股份有限公司 | 音频文件合成方法及其所适用的音频文件合成系统 |
CN107799121A (zh) * | 2017-10-18 | 2018-03-13 | 广州珠江移动多媒体信息有限公司 | 一种无线广播音频的数字水印嵌入及检出方法 |
TWI740460B (zh) * | 2020-04-17 | 2021-09-21 | 宏碁股份有限公司 | 語音浮水印處理方法、語音系統及語音浮水印處理裝置 |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7239981B2 (en) * | 2002-07-26 | 2007-07-03 | Arbitron Inc. | Systems and methods for gathering audience measurement data |
US9711153B2 (en) | 2002-09-27 | 2017-07-18 | The Nielsen Company (Us), Llc | Activating functions in processing devices using encoded audio and detecting audio signatures |
US8959016B2 (en) | 2002-09-27 | 2015-02-17 | The Nielsen Company (Us), Llc | Activating functions in processing devices using start codes embedded in audio |
CA2511919A1 (en) | 2002-12-27 | 2004-07-22 | Nielsen Media Research, Inc. | Methods and apparatus for transcoding metadata |
AU2006279518B2 (en) | 2005-08-16 | 2010-06-10 | Nielsen Media Research, Inc. | Display device on/off detection methods and apparatus |
EP2156583B1 (en) | 2007-05-02 | 2018-06-06 | The Nielsen Company (US), LLC | Methods and apparatus for generating signatures |
CN101918999B (zh) | 2007-11-12 | 2013-11-13 | 尼尔森(美国)有限公司 | 执行音频水印嵌入以及水印检测和提取的方法和设备 |
US8457951B2 (en) | 2008-01-29 | 2013-06-04 | The Nielsen Company (Us), Llc | Methods and apparatus for performing variable black length watermarking of media |
CN102007714B (zh) | 2008-03-05 | 2013-01-02 | 尼尔森(美国)有限公司 | 生成签名的方法和装置 |
US9667365B2 (en) | 2008-10-24 | 2017-05-30 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US8359205B2 (en) | 2008-10-24 | 2013-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
US8121830B2 (en) | 2008-10-24 | 2012-02-21 | The Nielsen Company (Us), Llc | Methods and apparatus to extract data encoded in media content |
US8508357B2 (en) | 2008-11-26 | 2013-08-13 | The Nielsen Company (Us), Llc | Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking |
US9160988B2 (en) | 2009-03-09 | 2015-10-13 | The Nielsen Company (Us), Llc | System and method for payload encoding and decoding |
CN104683827A (zh) | 2009-05-01 | 2015-06-03 | 尼尔森(美国)有限公司 | 提供与主要广播媒体内容关联的辅助内容的方法和装置 |
FR2954652B1 (fr) | 2009-12-22 | 2012-02-24 | Philippe Bertrand | Procede et systeme de tatouage d'un contenu analogique ou numerique. |
WO2011119993A2 (en) | 2010-03-25 | 2011-09-29 | Mehul Shah | Systems and methods for providing access to resources through enhanced audio signals |
US8355910B2 (en) | 2010-03-30 | 2013-01-15 | The Nielsen Company (Us), Llc | Methods and apparatus for audio watermarking a substantially silent media content presentation |
US8676570B2 (en) * | 2010-04-26 | 2014-03-18 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to perform audio watermark decoding |
US8863165B2 (en) * | 2010-11-01 | 2014-10-14 | Gracenote, Inc. | Method and system for presenting additional content at a media system |
US9380356B2 (en) | 2011-04-12 | 2016-06-28 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a tag for media content |
US9209978B2 (en) | 2012-05-15 | 2015-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
US9210208B2 (en) | 2011-06-21 | 2015-12-08 | The Nielsen Company (Us), Llc | Monitoring streaming media content |
US9049496B2 (en) | 2011-09-01 | 2015-06-02 | Gracenote, Inc. | Media source identification |
JP2015506158A (ja) | 2011-12-19 | 2015-02-26 | ザ ニールセン カンパニー (ユーエス) エルエルシー | メディア提示装置をクレジットするための方法及び装置 |
US9692535B2 (en) | 2012-02-20 | 2017-06-27 | The Nielsen Company (Us), Llc | Methods and apparatus for automatic TV on/off detection |
US9282366B2 (en) | 2012-08-13 | 2016-03-08 | The Nielsen Company (Us), Llc | Methods and apparatus to communicate audience measurement information |
US9305559B2 (en) | 2012-10-15 | 2016-04-05 | Digimarc Corporation | Audio watermark encoding with reversing polarity and pairwise embedding |
US9401153B2 (en) * | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
US10366419B2 (en) | 2012-11-27 | 2019-07-30 | Roland Storti | Enhanced digital media platform with user control of application data thereon |
US10339936B2 (en) | 2012-11-27 | 2019-07-02 | Roland Storti | Method, device and system of encoding a digital interactive response action in an analog broadcasting message |
US9313544B2 (en) | 2013-02-14 | 2016-04-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
US9093064B2 (en) | 2013-03-11 | 2015-07-28 | The Nielsen Company (Us), Llc | Down-mixing compensation for audio watermarking |
US9693117B2 (en) | 2013-03-15 | 2017-06-27 | The Nielsen Company (Us), Llc | Systems, methods, and apparatus to identify linear and non-linear media presentations |
US9294815B2 (en) | 2013-03-15 | 2016-03-22 | The Nielsen Company (Us), Llc | Methods and apparatus to discriminate between linear and non-linear media |
US9679053B2 (en) | 2013-05-20 | 2017-06-13 | The Nielsen Company (Us), Llc | Detecting media watermarks in magnetic field data |
US9711152B2 (en) | 2013-07-31 | 2017-07-18 | The Nielsen Company (Us), Llc | Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio |
US20150039321A1 (en) | 2013-07-31 | 2015-02-05 | Arbitron Inc. | Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device |
US9324089B2 (en) * | 2013-08-01 | 2016-04-26 | The Nielsen Company (Us), Llc | Methods and apparatus for metering media feeds in a market |
US9231921B2 (en) * | 2013-08-20 | 2016-01-05 | Janus Technologies, Inc. | System and architecture for secure computer devices |
US9380059B2 (en) | 2013-10-16 | 2016-06-28 | Spotify Ab | Systems and methods for configuring an electronic device |
US9420323B2 (en) | 2013-12-19 | 2016-08-16 | The Nielsen Company (Us), Llc | Methods and apparatus to verify and/or correct media lineup information |
GB2524993A (en) * | 2014-04-08 | 2015-10-14 | China Ind Ltd | Interactive combat gaming system |
US9699499B2 (en) | 2014-04-30 | 2017-07-04 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
US10410643B2 (en) | 2014-07-15 | 2019-09-10 | The Nielson Company (Us), Llc | Audio watermarking for people monitoring |
US9747906B2 (en) | 2014-11-14 | 2017-08-29 | The Nielson Company (Us), Llc | Determining media device activation based on frequency response analysis |
US9418395B1 (en) | 2014-12-31 | 2016-08-16 | The Nielsen Company (Us), Llc | Power efficient detection of watermarks in media signals |
US9747656B2 (en) | 2015-01-22 | 2017-08-29 | Digimarc Corporation | Differential modulation for robust signaling and synchronization |
US9924224B2 (en) | 2015-04-03 | 2018-03-20 | The Nielsen Company (Us), Llc | Methods and apparatus to determine a state of a media presentation device |
US9762965B2 (en) | 2015-05-29 | 2017-09-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
US10043527B1 (en) | 2015-07-17 | 2018-08-07 | Digimarc Corporation | Human auditory system modeling with masking energy adaptation |
JP6891942B2 (ja) * | 2015-12-25 | 2021-06-18 | 株式会社リコー | 出力装置、出力方法、及び出力システム |
CN105897360B (zh) * | 2016-05-18 | 2018-12-11 | 国家新闻出版广电总局监管中心 | 一种广播质量和效果判别方法及系统 |
WO2018155331A1 (ja) * | 2017-02-23 | 2018-08-30 | 日本電信電話株式会社 | 電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、電子透かし検出方法、及びプログラム |
US10347262B2 (en) | 2017-10-18 | 2019-07-09 | The Nielsen Company (Us), Llc | Systems and methods to improve timestamp transition resolution |
US10276175B1 (en) | 2017-11-28 | 2019-04-30 | Google Llc | Key phrase detection with audio watermarking |
US11166054B2 (en) | 2018-04-06 | 2021-11-02 | The Nielsen Company (Us), Llc | Methods and apparatus for identification of local commercial insertion opportunities |
KR102502140B1 (ko) | 2018-11-27 | 2023-02-21 | 더 닐슨 컴퍼니 (유에스) 엘엘씨 | 플렉서블 광고 모니터링 |
US20200275168A1 (en) | 2019-02-22 | 2020-08-27 | The Nielsen Company (Us), Llc | Use of Watermarking to Trigger Fingerprint-Related Action |
CN110047497B (zh) * | 2019-05-14 | 2021-06-11 | 腾讯科技(深圳)有限公司 | 背景音频信号滤除方法、装置及存储介质 |
US11234050B2 (en) | 2019-06-18 | 2022-01-25 | Roku, Inc. | Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis |
US11082730B2 (en) | 2019-09-30 | 2021-08-03 | The Nielsen Company (Us), Llc | Methods and apparatus for affiliate interrupt detection |
US11501786B2 (en) | 2020-04-30 | 2022-11-15 | The Nielsen Company (Us), Llc | Methods and apparatus for supplementing partially readable and/or inaccurate codes in media |
US11978461B1 (en) | 2021-08-26 | 2024-05-07 | Alex Radzishevsky | Transient audio watermarks resistant to reverberation effects |
Family Cites Families (166)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3004104A (en) * | 1954-04-29 | 1961-10-10 | Muzak Corp | Identification of sound and like signals |
US3845391A (en) | 1969-07-08 | 1974-10-29 | Audicom Corp | Communication including submerged identification signal |
US3919479A (en) | 1972-09-21 | 1975-11-11 | First National Bank Of Boston | Broadcast signal identification system |
DE2536640C3 (de) | 1975-08-16 | 1979-10-11 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Anordnung zur Erkennung von Geräuschen |
US4025851A (en) | 1975-11-28 | 1977-05-24 | A.C. Nielsen Company | Automatic monitor for programs broadcast |
US4053710A (en) | 1976-03-01 | 1977-10-11 | Ncr Corporation | Automatic speaker verification systems employing moment invariants |
JPS5525150A (en) | 1978-08-10 | 1980-02-22 | Nec Corp | Pattern recognition unit |
US4230990C1 (en) | 1979-03-16 | 2002-04-09 | John G Lert Jr | Broadcast program identification method and system |
US4624009A (en) | 1980-05-02 | 1986-11-18 | Figgie International, Inc. | Signal pattern encoder and classifier |
US4450531A (en) | 1982-09-10 | 1984-05-22 | Ensco, Inc. | Broadcast signal recognition system and method |
US4533926A (en) | 1982-12-23 | 1985-08-06 | American Home Products Corporation (Del.) | Strip chart recorder and medium status |
US4639779A (en) | 1983-03-21 | 1987-01-27 | Greenberg Burton L | Method and apparatus for the automatic identification and verification of television broadcast programs |
US4967273A (en) | 1983-03-21 | 1990-10-30 | Vidcode, Inc. | Television program transmission verification method and apparatus |
US4805020A (en) | 1983-03-21 | 1989-02-14 | Greenberg Burton L | Television program transmission verification method and apparatus |
US4547804A (en) | 1983-03-21 | 1985-10-15 | Greenberg Burton L | Method and apparatus for the automatic identification and verification of commercial broadcast programs |
US4703476A (en) | 1983-09-16 | 1987-10-27 | Audicom Corporation | Encoding of transmitted program material |
US4520830A (en) | 1983-12-27 | 1985-06-04 | American Home Products Corporation (Del.) | Ultrasonic imaging device |
FR2559002B1 (fr) | 1984-01-27 | 1986-09-05 | Gam Steffen | Procede et dispositif de detection d'une information audiovisuelle diffusee par un emetteur |
US4697209A (en) | 1984-04-26 | 1987-09-29 | A. C. Nielsen Company | Methods and apparatus for automatically identifying programs viewed or recorded |
US4677466A (en) | 1985-07-29 | 1987-06-30 | A. C. Nielsen Company | Broadcast program identification method and apparatus |
US4739398A (en) | 1986-05-02 | 1988-04-19 | Control Data Corporation | Method, apparatus and system for recognizing broadcast segments |
GB8611014D0 (en) | 1986-05-06 | 1986-06-11 | Emi Plc Thorn | Signal identification |
US4783660A (en) | 1986-09-29 | 1988-11-08 | Signatron, Inc. | Signal source distortion compensator |
GB8630118D0 (en) | 1986-12-17 | 1987-01-28 | British Telecomm | Speaker identification |
US4834724A (en) | 1987-04-06 | 1989-05-30 | Geiss Alan C | Device for aspirating fluids from a body cavity or hollow organ |
US4843562A (en) | 1987-06-24 | 1989-06-27 | Broadcast Data Systems Limited Partnership | Broadcast information classification system and method |
US5121428A (en) | 1988-01-20 | 1992-06-09 | Ricoh Company, Ltd. | Speaker verification system |
US4931871A (en) | 1988-06-14 | 1990-06-05 | Kramer Robert A | Method of and system for identification and verification of broadcasted program segments |
US4945412A (en) | 1988-06-14 | 1990-07-31 | Kramer Robert A | Method of and system for identification and verification of broadcasting television and radio program segments |
US5023929A (en) | 1988-09-15 | 1991-06-11 | Npd Research, Inc. | Audio frequency based market survey method |
GB8824969D0 (en) * | 1988-10-25 | 1988-11-30 | Emi Plc Thorn | Identification codes |
KR900015473A (ko) | 1989-03-02 | 1990-10-27 | 하라 레이노스께 | 음성 신호의 코딩 방법 |
US5210820A (en) | 1990-05-02 | 1993-05-11 | Broadcast Data Systems Limited Partnership | Signal recognition system and method |
US5488418A (en) | 1991-04-10 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Encoder and decoder |
FR2681997A1 (fr) | 1991-09-30 | 1993-04-02 | Arbitron Cy | Procede et dispositif d'identification automatique d'un programme comportant un signal sonore. |
US5319735A (en) | 1991-12-17 | 1994-06-07 | Bolt Beranek And Newman Inc. | Embedded signalling |
US5436653A (en) | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
CA2628654C (en) | 1992-04-30 | 2009-12-01 | Arbitron Inc. | Method and system for updating a broadcast segment recognition database |
US5437050A (en) | 1992-11-09 | 1995-07-25 | Lamb; Robert G. | Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection |
US7316025B1 (en) | 1992-11-16 | 2008-01-01 | Arbitron Inc. | Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto |
DE69333661T2 (de) | 1992-11-16 | 2006-02-23 | Arbitron Inc. | Verfahren und vorrichtung zur kodierung/dekodierung von gesendeten oder aufgezeichneten ausschnitten und überwachung der zuhörerreaktion darauf |
DE59310346D1 (de) | 1992-11-19 | 2003-08-14 | Liechti Ag Kriegstetten | Verfahren zur Ermittlung von Radiohörerverhalten und Vorrichtung dazu |
US7171016B1 (en) | 1993-11-18 | 2007-01-30 | Digimarc Corporation | Method for monitoring internet dissemination of image, video and/or audio files |
CA2116043C (en) | 1994-02-21 | 1997-09-23 | Alexander F. Tulai | Programmable digital call progress tone detector |
GB2302000B (en) | 1994-03-31 | 1999-01-27 | Arbitron Company The | Apparatus and methods for including codes in audio signals |
US5450490A (en) | 1994-03-31 | 1995-09-12 | The Arbitron Company | Apparatus and methods for including codes in audio signals and decoding |
CA2136054C (en) | 1994-11-17 | 2005-06-21 | Liechti Ag | Method and device for the determination of radio and television users behaviour |
US7362775B1 (en) | 1996-07-02 | 2008-04-22 | Wistaria Trading, Inc. | Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management |
US5629739A (en) | 1995-03-06 | 1997-05-13 | A.C. Nielsen Company | Apparatus and method for injecting an ancillary signal into a low energy density portion of a color television frequency spectrum |
US5650943A (en) | 1995-04-10 | 1997-07-22 | Leak Detection Services, Inc. | Apparatus and method for testing for valve leaks by differential signature method |
US7486799B2 (en) | 1995-05-08 | 2009-02-03 | Digimarc Corporation | Methods for monitoring audio and images on the internet |
FR2734977B1 (fr) | 1995-06-02 | 1997-07-25 | Telediffusion Fse | Systeme de diffusion de donnees. |
US6002433A (en) | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
US5822360A (en) | 1995-09-06 | 1998-10-13 | Solana Technology Development Corporation | Method and apparatus for transporting auxiliary data in audio signals |
JP3283413B2 (ja) * | 1995-11-30 | 2002-05-20 | 株式会社日立製作所 | 符号化復号方法、符号化装置および復号装置 |
US5687191A (en) | 1995-12-06 | 1997-11-11 | Solana Technology Development Corporation | Post-compression hidden data transport |
US6205249B1 (en) | 1998-04-02 | 2001-03-20 | Scott A. Moskowitz | Multiple transform utilization and applications for secure digital watermarking |
US6904404B1 (en) * | 1996-07-01 | 2005-06-07 | Matsushita Electric Industrial Co., Ltd. | Multistage inverse quantization having the plurality of frequency bands |
US6061793A (en) | 1996-08-30 | 2000-05-09 | Regents Of The University Of Minnesota | Method and apparatus for embedding data, including watermarks, in human perceptible sounds |
US6002443A (en) | 1996-11-01 | 1999-12-14 | Iggulden; Jerry | Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time |
US6317703B1 (en) | 1996-11-12 | 2001-11-13 | International Business Machines Corporation | Separation of a mixture of acoustic sources into its components |
AUPO521897A0 (en) | 1997-02-20 | 1997-04-11 | Telstra R & D Management Pty Ltd | Invisible digital watermarks |
US5941822A (en) | 1997-03-17 | 1999-08-24 | Polartechnics Limited | Apparatus for tissue type recognition within a body canal |
US5792053A (en) | 1997-03-17 | 1998-08-11 | Polartechnics, Limited | Hybrid probe for tissue type recognition |
US6026323A (en) | 1997-03-20 | 2000-02-15 | Polartechnics Limited | Tissue diagnostic system |
ATE231666T1 (de) | 1997-06-23 | 2003-02-15 | Liechti Ag | Verfahren für die kompression der aufnahmen von umgebungsgeräuschen, verfahren für die erfassung von programmelementen darin, vorrichtung und computer-programm dafür |
JPH11110913A (ja) * | 1997-10-01 | 1999-04-23 | Sony Corp | 音声情報伝送装置及び方法、並びに音声情報受信装置及び方法、並びに記録媒体 |
US6170060B1 (en) | 1997-10-03 | 2001-01-02 | Audible, Inc. | Method and apparatus for targeting a digital information playback device |
US6286005B1 (en) | 1998-03-11 | 2001-09-04 | Cannon Holdings, L.L.C. | Method and apparatus for analyzing data and advertising optimization |
US6115689A (en) | 1998-05-27 | 2000-09-05 | Microsoft Corporation | Scalable audio coder and decoder |
US7006555B1 (en) | 1998-07-16 | 2006-02-28 | Nielsen Media Research, Inc. | Spectral audio encoding |
US6272176B1 (en) | 1998-07-16 | 2001-08-07 | Nielsen Media Research, Inc. | Broadcast encoding system and method |
JP4424769B2 (ja) | 1998-09-10 | 2010-03-03 | 興和株式会社 | 電子透かしの埋め込み装置 |
US6711540B1 (en) * | 1998-09-25 | 2004-03-23 | Legerity, Inc. | Tone detector with noise detection and dynamic thresholding for robust performance |
IL142315A0 (en) * | 1998-09-29 | 2002-03-10 | Sun Microsystems Inc | Superposition of data over voice |
US6188987B1 (en) | 1998-11-17 | 2001-02-13 | Dolby Laboratories Licensing Corporation | Providing auxiliary information with frame-based encoded audio information |
AUPP767898A0 (en) | 1998-12-14 | 1999-01-14 | Carter (New Zealand) Limited | Spinal monitor apparatus and method |
US6442283B1 (en) | 1999-01-11 | 2002-08-27 | Digimarc Corporation | Multimedia data embedding |
US6226608B1 (en) | 1999-01-28 | 2001-05-01 | Dolby Laboratories Licensing Corporation | Data framing for adaptive-block-length coding system |
EP1043687B1 (en) | 1999-04-09 | 2006-11-22 | Canon Kabushiki Kaisha | Method for inserting a watermark and associated decoding method |
US6246345B1 (en) | 1999-04-16 | 2001-06-12 | Dolby Laboratories Licensing Corporation | Using gain-adaptive quantization and non-uniform symbol lengths for improved audio coding |
US7302574B2 (en) | 1999-05-19 | 2007-11-27 | Digimarc Corporation | Content identifiers triggering corresponding responses through collaborative processing |
US6871180B1 (en) * | 1999-05-25 | 2005-03-22 | Arbitron Inc. | Decoding of information in audio signals |
AU2006203639C1 (en) * | 1999-05-25 | 2009-01-08 | Arbitron Inc. | Decoding of information in audio signals |
US7284255B1 (en) | 1999-06-18 | 2007-10-16 | Steven G. Apel | Audience survey system, and system and methods for compressing and correlating audio signals |
US7194752B1 (en) | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
DE19947877C2 (de) | 1999-10-05 | 2001-09-13 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals |
US6469749B1 (en) | 1999-10-13 | 2002-10-22 | Koninklijke Philips Electronics N.V. | Automatic signature-based spotting, learning and extracting of commercials and other video content |
US6571144B1 (en) | 1999-10-20 | 2003-05-27 | Intel Corporation | System for providing a digital watermark in an audio signal |
CA2809775C (en) | 1999-10-27 | 2017-03-21 | The Nielsen Company (Us), Llc | Audio signature extraction and correlation |
US6725372B1 (en) | 1999-12-02 | 2004-04-20 | Verizon Laboratories Inc. | Digital watermarking |
US7426750B2 (en) | 2000-02-18 | 2008-09-16 | Verimatrix, Inc. | Network-based content distribution system |
US6968564B1 (en) * | 2000-04-06 | 2005-11-22 | Nielsen Media Research, Inc. | Multi-band spectral audio encoding |
FR2807796B1 (fr) | 2000-04-17 | 2002-06-28 | Pascal Guidetti | Dispositif de blocage de deux elements allonges telescopiques |
US6879652B1 (en) | 2000-07-14 | 2005-04-12 | Nielsen Media Research, Inc. | Method for encoding an input signal |
US7058223B2 (en) | 2000-09-14 | 2006-06-06 | Cox Ingemar J | Identifying works for initiating a work-based action, such as an action on the internet |
US7031921B2 (en) | 2000-11-03 | 2006-04-18 | International Business Machines Corporation | System for monitoring audio content available over a network |
US6604072B2 (en) | 2000-11-03 | 2003-08-05 | International Business Machines Corporation | Feature-based audio content identification |
US7085613B2 (en) | 2000-11-03 | 2006-08-01 | International Business Machines Corporation | System for monitoring audio content in a video broadcast |
US6483927B2 (en) | 2000-12-18 | 2002-11-19 | Digimarc Corporation | Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes |
WO2002051063A1 (en) | 2000-12-21 | 2002-06-27 | Digimarc Corporation | Methods, apparatus and programs for generating and utilizing content signatures |
US7016502B2 (en) * | 2000-12-22 | 2006-03-21 | Sony Corporation | Encoder and decoder |
US20020114299A1 (en) | 2000-12-27 | 2002-08-22 | Daozheng Lu | Apparatus and method for measuring tuning of a digital broadcast receiver |
US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
CN1235408C (zh) | 2001-02-12 | 2006-01-04 | 皇家菲利浦电子有限公司 | 生成和匹配多媒体内容的散列 |
US6785401B2 (en) | 2001-04-09 | 2004-08-31 | Tektronix, Inc. | Temporal synchronization of video watermark decoding |
US7461002B2 (en) * | 2001-04-13 | 2008-12-02 | Dolby Laboratories Licensing Corporation | Method for time aligning audio signals using characterizations based on auditory events |
US6807528B1 (en) | 2001-05-08 | 2004-10-19 | Dolby Laboratories Licensing Corporation | Adding data to a compressed data frame |
DE10129239C1 (de) | 2001-06-18 | 2002-10-31 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal |
US8572640B2 (en) | 2001-06-29 | 2013-10-29 | Arbitron Inc. | Media data use measurement with remote decoding/pattern matching |
AU2002346116A1 (en) | 2001-07-20 | 2003-03-03 | Gracenote, Inc. | Automatic identification of sound recordings |
JP3469567B2 (ja) * | 2001-09-03 | 2003-11-25 | 三菱電機株式会社 | 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法 |
US6862355B2 (en) | 2001-09-07 | 2005-03-01 | Arbitron Inc. | Message reconstruction from partial detection |
US20030054757A1 (en) | 2001-09-19 | 2003-03-20 | Kolessar Ronald S. | Monitoring usage of media data with non-program data elimination |
US6814123B2 (en) | 2001-12-21 | 2004-11-09 | 3M Innovative Properties Company | Method and apparatus for applying a splicing tape to a roll of sheet material |
US20030131350A1 (en) | 2002-01-08 | 2003-07-10 | Peiffer John C. | Method and apparatus for identifying a digital audio signal |
US7013030B2 (en) | 2002-02-14 | 2006-03-14 | Wong Jacob Y | Personal choice biometric signature |
US7013468B2 (en) | 2002-02-26 | 2006-03-14 | Parametric Technology Corporation | Method and apparatus for design and manufacturing application associative interoperability |
US7194630B2 (en) * | 2002-02-27 | 2007-03-20 | Canon Kabushiki Kaisha | Information processing apparatus, information processing system, information processing method, storage medium and program |
US7035700B2 (en) | 2002-03-13 | 2006-04-25 | The United States Of America As Represented By The Secretary Of The Air Force | Method and apparatus for embedding data in audio signals |
AUPS322602A0 (en) | 2002-06-28 | 2002-07-18 | Cochlear Limited | Coil and cable tester |
US7003131B2 (en) | 2002-07-09 | 2006-02-21 | Kaleidescape, Inc. | Watermarking and fingerprinting digital content using alternative blocks to embed information |
US7239981B2 (en) | 2002-07-26 | 2007-07-03 | Arbitron Inc. | Systems and methods for gathering audience measurement data |
US7454331B2 (en) | 2002-08-30 | 2008-11-18 | Dolby Laboratories Licensing Corporation | Controlling loudness of speech in signals that contain speech and other types of audio material |
US7433824B2 (en) | 2002-09-04 | 2008-10-07 | Microsoft Corporation | Entropy coding by adapting coding between level and run-length/level modes |
US7330812B2 (en) | 2002-10-04 | 2008-02-12 | National Research Council Of Canada | Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel |
JP2006505821A (ja) | 2002-11-12 | 2006-02-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 指紋情報付マルチメディアコンテンツ |
US6845360B2 (en) | 2002-11-22 | 2005-01-18 | Arbitron Inc. | Encoding multiple messages in audio data and detecting same |
US7483835B2 (en) | 2002-12-23 | 2009-01-27 | Arbitron, Inc. | AD detection using ID code and extracted signature |
US7174151B2 (en) | 2002-12-23 | 2007-02-06 | Arbitron Inc. | Ensuring EAS performance in audio signal encoding |
US7460684B2 (en) | 2003-06-13 | 2008-12-02 | Nielsen Media Research, Inc. | Method and apparatus for embedding watermarks |
GB0317571D0 (en) | 2003-07-26 | 2003-08-27 | Koninkl Philips Electronics Nv | Content identification for broadcast media |
US7592908B2 (en) | 2003-08-13 | 2009-09-22 | Arbitron, Inc. | Universal display exposure monitor using personal locator service |
KR100554680B1 (ko) | 2003-08-20 | 2006-02-24 | 한국전자통신연구원 | 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법 |
AU2003279935A1 (en) | 2003-08-29 | 2005-04-14 | Nielsen Media Research, Inc. | Methods and apparatus for embedding and recovering an image for use with video content |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7369677B2 (en) | 2005-04-26 | 2008-05-06 | Verance Corporation | System reactions to the detection of embedded watermarks in a digital host content |
EP1542226A1 (en) | 2003-12-11 | 2005-06-15 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for transmitting watermark data bits using a spread spectrum, and for regaining watermark data bits embedded in a spread spectrum |
US20050203798A1 (en) | 2004-03-15 | 2005-09-15 | Jensen James M. | Methods and systems for gathering market research data |
US7420464B2 (en) | 2004-03-15 | 2008-09-02 | Arbitron, Inc. | Methods and systems for gathering market research data inside and outside commercial establishments |
US7463143B2 (en) | 2004-03-15 | 2008-12-09 | Arbioran | Methods and systems for gathering market research data within commercial establishments |
US7443292B2 (en) | 2004-03-19 | 2008-10-28 | Arbitron, Inc. | Gathering data concerning publication usage |
US7483975B2 (en) | 2004-03-26 | 2009-01-27 | Arbitron, Inc. | Systems and methods for gathering data concerning usage of media data |
US8738763B2 (en) * | 2004-03-26 | 2014-05-27 | The Nielsen Company (Us), Llc | Research data gathering with a portable monitor and a stationary device |
CN101002217A (zh) | 2004-05-18 | 2007-07-18 | 西尔弗布鲁克研究有限公司 | 医药产品跟踪 |
DE102004036154B3 (de) | 2004-07-26 | 2005-12-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm |
CN101077014B (zh) | 2004-08-09 | 2013-09-25 | 尼尔森(美国)有限公司 | 用于监视来自各种源的音频/视觉内容的方法及装置 |
WO2006023770A2 (en) | 2004-08-18 | 2006-03-02 | Nielsen Media Research, Inc. | Methods and apparatus for generating signatures |
US7895034B2 (en) | 2004-09-17 | 2011-02-22 | Digital Rise Technology Co., Ltd. | Audio encoding system |
EP1667106B1 (en) | 2004-12-06 | 2009-11-25 | Sony Deutschland GmbH | Method for generating an audio signature |
PL1684265T3 (pl) * | 2005-01-21 | 2009-01-30 | Unlimited Media Gmbh | Sposób wstawiania cyfrowego znaku wodnego w sygnale użytecznym |
US7555432B1 (en) | 2005-02-10 | 2009-06-30 | Purdue Research Foundation | Audio steganography method and apparatus using cepstrum modification |
JP5461835B2 (ja) | 2005-05-26 | 2014-04-02 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の符号化/復号化方法及び符号化/復号化装置 |
US8050446B2 (en) | 2005-07-12 | 2011-11-01 | The Board Of Trustees Of The University Of Arkansas | Method and system for digital watermarking of multimedia signals |
US7684981B2 (en) | 2005-07-15 | 2010-03-23 | Microsoft Corporation | Prediction of spectral coefficients in waveform coding and decoding |
US7599840B2 (en) | 2005-07-15 | 2009-10-06 | Microsoft Corporation | Selectively using multiple entropy models in adaptive coding and decoding |
US7311016B2 (en) | 2005-10-25 | 2007-12-25 | Dana Corporation | Park lock system |
EP1826932B1 (en) | 2006-02-22 | 2011-07-06 | Media Evolution Technologies Inc. | Method and apparatus for generating digital audio signatures |
GB2460773B (en) | 2007-02-20 | 2010-10-27 | Nielsen Co | Methods and apparatus for characterizing media |
EP2156583B1 (en) | 2007-05-02 | 2018-06-06 | The Nielsen Company (US), LLC | Methods and apparatus for generating signatures |
CN101918999B (zh) | 2007-11-12 | 2013-11-13 | 尼尔森(美国)有限公司 | 执行音频水印嵌入以及水印检测和提取的方法和设备 |
US8457951B2 (en) | 2008-01-29 | 2013-06-04 | The Nielsen Company (Us), Llc | Methods and apparatus for performing variable black length watermarking of media |
US9160988B2 (en) | 2009-03-09 | 2015-10-13 | The Nielsen Company (Us), Llc | System and method for payload encoding and decoding |
WO2017008271A1 (en) | 2015-07-15 | 2017-01-19 | Shenzhen New Degree Technology Co., Ltd. | Composite material and force sensing film made thereof |
CN107464735A (zh) | 2017-06-28 | 2017-12-12 | 中国地质科学院水文地质环境地质研究所 | 一种新型氯/溴同位素质谱仪及其分析方法 |
JP7015937B2 (ja) | 2018-09-26 | 2022-02-03 | 株式会社Fuji | シュート |
-
2008
- 2008-10-10 CN CN2008801200987A patent/CN101918999B/zh not_active Expired - Fee Related
- 2008-10-10 EP EP08850597.9A patent/EP2210252B1/en not_active Not-in-force
- 2008-10-10 WO PCT/US2008/079595 patent/WO2009064561A1/en active Application Filing
- 2008-10-10 US US12/249,619 patent/US8369972B2/en active Active
- 2008-10-10 CA CA2858944A patent/CA2858944C/en active Active
- 2008-10-10 AU AU2008321318A patent/AU2008321318B2/en not_active Ceased
- 2008-10-10 CA CA2705549A patent/CA2705549C/en active Active
- 2008-10-10 JP JP2010534075A patent/JP5414684B2/ja not_active Expired - Fee Related
-
2011
- 2011-05-04 HK HK11104427.2A patent/HK1150467A1/xx not_active IP Right Cessation
-
2012
- 2012-12-28 US US13/730,271 patent/US9460730B2/en not_active Expired - Fee Related
-
2016
- 2016-09-19 US US15/269,158 patent/US9972332B2/en active Active
-
2018
- 2018-05-07 US US15/973,154 patent/US10580421B2/en active Active
-
2020
- 2020-03-02 US US16/806,851 patent/US10964333B2/en active Active
-
2021
- 2021-03-29 US US17/216,239 patent/US11562752B2/en active Active
-
2023
- 2023-01-20 US US18/157,681 patent/US11961527B2/en active Active
-
2024
- 2024-04-09 US US18/630,494 patent/US20240257818A1/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104284276A (zh) * | 2013-07-01 | 2015-01-14 | 美商富迪科技股份有限公司 | 多音源识别方法以及麦克风系统中使用该方法的音源装置 |
CN104599666A (zh) * | 2014-09-26 | 2015-05-06 | 威盛电子股份有限公司 | 音频文件合成方法及其所适用的音频文件合成系统 |
CN104599666B (zh) * | 2014-09-26 | 2018-02-09 | 威盛电子股份有限公司 | 音频文件合成方法及其所适用的音频文件合成系统 |
CN107799121A (zh) * | 2017-10-18 | 2018-03-13 | 广州珠江移动多媒体信息有限公司 | 一种无线广播音频的数字水印嵌入及检出方法 |
TWI740460B (zh) * | 2020-04-17 | 2021-09-21 | 宏碁股份有限公司 | 語音浮水印處理方法、語音系統及語音浮水印處理裝置 |
Also Published As
Publication number | Publication date |
---|---|
CA2705549C (en) | 2015-12-01 |
AU2008321318B2 (en) | 2012-11-01 |
HK1150467A1 (en) | 2011-12-30 |
JP2011503659A (ja) | 2011-01-27 |
US8369972B2 (en) | 2013-02-05 |
JP5414684B2 (ja) | 2014-02-12 |
US11961527B2 (en) | 2024-04-16 |
EP2210252B1 (en) | 2017-05-24 |
CA2858944A1 (en) | 2009-05-22 |
US20200202875A1 (en) | 2020-06-25 |
US20240257818A1 (en) | 2024-08-01 |
CA2705549A1 (en) | 2009-05-22 |
CA2858944C (en) | 2017-08-22 |
US20170004837A1 (en) | 2017-01-05 |
CN101918999B (zh) | 2013-11-13 |
US9460730B2 (en) | 2016-10-04 |
EP2210252A1 (en) | 2010-07-28 |
US10964333B2 (en) | 2021-03-30 |
US20130114831A1 (en) | 2013-05-09 |
US20180254048A1 (en) | 2018-09-06 |
US20210217428A1 (en) | 2021-07-15 |
US20230162744A1 (en) | 2023-05-25 |
WO2009064561A1 (en) | 2009-05-22 |
US9972332B2 (en) | 2018-05-15 |
US20090259325A1 (en) | 2009-10-15 |
US10580421B2 (en) | 2020-03-03 |
US11562752B2 (en) | 2023-01-24 |
AU2008321318A1 (en) | 2009-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101918999B (zh) | 执行音频水印嵌入以及水印检测和提取的方法和设备 | |
US11557304B2 (en) | Methods and apparatus for performing variable block length watermarking of media | |
US11256740B2 (en) | Methods and apparatus to perform audio watermarking and watermark detection and extraction | |
CA2741342C (en) | Methods and apparatus to perform audio watermarking and watermark detection and extraction | |
AU2012241085B2 (en) | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1150467 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1150467 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131113 |
|
CF01 | Termination of patent right due to non-payment of annual fee |