CN104011678A - 自动内容节目发现设备及方法 - Google Patents

Abstract

描述了一种用于节目信息发现的系统。公开了一种用于生成用于这种节目信息发现的水印并将之插入将要呈现的节目信号的方法和设备，以及用于从呈现的节目信号进行水印检测和解码的对应方法和设备。在接收并解码节目流以进行呈现的机顶盒处编码并嵌入携带频道/节目信息的水印。采用第二屏幕设备以通过捕获嵌有水印的呈现的节目信号进行水印检测和解码。提取的水印信息可被发送到信息服务器以得到更详细的频道/节目信息。

Description

自动内容节目发现设备及方法

技术领域

本发明一般地涉及通过使用数字水印技术在两个设备之间的内容同步。更具体地说，本发明涉及通过生成和插入水印到将要呈现给观众的节目信号中的内容节目发现。

背景技术

传统上，数字水印被用来执行知识产权和保护数字媒体不被篡改。随着各种电视签到应用的快速增长，它也被用来提供让第二屏幕设备（如，手机和平板电脑）自动发现哪些频道和节目正在主屏幕设备（例如，电视机）上显示的机制。

例如，有通过提供平板电脑（如iPad）上的同步互动内容和社交媒体功能来增强观看特定电视节目的体验的应用。这通过依靠插入到美国的服务提供商站点处的几乎每一个电视节目中的音频水印以支持尼尔森行业标准电视收视率服务来实现。人耳听不到的水印可以通过正常客厅设置中移动设备的麦克风检测和解码。只要iPad检测到电视节目的音频水印，对应的应用就会从广播公司（broadcaster）获取同步广播内容，并将之显示在平板电脑上。

现有的在头端插入音频水印的水印解决方案的问题在于，它无法确定依赖于每一个用户的行为（如，用户最近观看了哪些节目）的用户界面（UI）交互数据，因为这些数据只能在本地设备，如机顶盒（STB）处获知。因此，现有解决方案中的水印有效载荷只包含标识内容来源分发商（distributor）/网络以及日期/时间戳的编码。另外，插入水印将导致电视节目的数字数据流传输的延迟，因为它需要在传输之前重新编码音频数据流。这将导致负面的用户体验，特别是对直播电视节目，如足球比赛直播。此外，这种解决方案具有较低的灵活性，因为它只能通过服务提供商或在与服务提供商密切合作的情况下实现。

本发明解决了现有解决方案的问题，并提出通过在本地设备中生成和嵌入水印信息来进行内容节目发现。

发明内容

本发明主要涉及用于内容节目信息发现的方法和装置。

根据本发明的一个方面，提供了一种用于节目信息发现的系统。该系统包括：机顶盒，用于接收节目流并将之解码为节目信号，用于生成与节目信息有关的水印并将之嵌入节目信号的一部分，以及用于发送用于呈现的解码和带有水印的节目信号；以及检测设备，用于从呈现的节目信号检测和解码水印以提取节目信息。

根据本发明的另一方面，提供了一种用于生成和插入用于节目信息发现的水印的方法和设备。该方法包括以下步骤：从节目流中提取频道/节目信息；将所述频道/节目信息编码为水印消息；以及将所述水印消息插入节目流的信号。一种用于从呈现的节目信号检测和解码水印消息的对应方法包括：获得包含携带与呈现的节目信号相关的频道/节目信息以及在接收到用于呈现的、包括呈现的节目信号的节目流之后生成和嵌入的水印信号的所述呈现的节目信号；从获得的节目信号提取所述水印信号；以及将所述水印信号解码为水印消息以获得与呈现的节目信号相关的频道/节目信息。

附图说明

通过参照附图详细描述其示例性实施例，本发明的上述特征将变得更加明显，附图中：

图1示出了根据本发明的用于节目信息发现的系统。

图2示出了根据本发明的原理的示例系统设置。

图3示出了根据当前发明的一个实施例的系统实体之间的交互图。

图4示出了机顶盒中音频信号处理部分的示例框图。

图5示出了根据当前发明的一个实施例的具有音频水印生成和插入模块/单元的音频信号处理部分的示例框图。

图6示出了水印嵌入器模块/单元的一个优选实施例。

图7示出了根据本发明一个实施例的音频水印生成和插入过程的流程图。

图8示出了用于水印检测和解码的模块/单元的框图。

具体实施方式

在本发明中，提出了一种发现内容节目相关信息的解决方案，通过在电视节目的接收端的设备，如机顶盒（STB）中生成这种信息并将之插入将要呈现的节目信号中来实现。通过至少一个检测设备从呈现的节目信号检测并解码这些插入的信息以提取频道/节目相关信息。取决于频道/节目相关信息，它可以直接显示在检测设备上或发送到信息服务器以获得用于显示的更详细的信息。

图1示出了根据本发明的用于节目信息发现的系统。该系统包括两个主要组件：机顶盒（STB）110和检测设备120。这里，STB广泛地指例如通过线缆、卫星或因特网（基于IP）将媒体节目流作为输入并将节目流解码为可以显示在显示设备上的信号的任何设备或软件。STB接收节目流，并将它们解码为用于呈现的节目信号。STB还生成与接收到的节目流相关的水印，并将该水印嵌入节目信号的一部分，如视频部分、音频部分或同时包含视频和音频信号的部分。然后，STB将解码和带有水印的节目信号发送给显示设备以进行呈现。检测设备例如通过呈现的节目信号获得节目信号的解码和带有水印的一部分，并从获得的节目信号检测和解码水印以提取嵌入于其中的节目信息。在本发明的一个实施例中，检测设备进一步发送包括提取得到的节目相关信息的请求到信息服务器以获取与内容节目有关的更多信息。这些获取的信息可以被发送回检测设备以进行显示或另一接收设备以进行显示。

图2示出了基于本发明的使用音频作为携带信号的示例水印的示例性系统设置。该示例性系统包括以下组件：

·电视广播公司210，如美国广播公司（ABC）和国家广播公司（NBC）。由这些网络生产的包括视频和音频内容两者的广播节目通过电视传送机制（如线缆或卫星）传输给终端用户。

·STB220，从广播公司接收电视节目信号，解码这些信号，实时生成并插入音频水印，然后将视频信号和带有水印的音频信号发送给电视机。

·电视机230，能够从STB接收音频和视频信号，并将它们呈现给终端用户。

·具有音频输入接口和网络连接的第二屏幕设备240，如平板电脑或智能手机。在此示例中，第二屏幕设备是检测设备和接收设备。用户可以使用该设备来检测和分析电视节目的音频信号，提取嵌入的音频水印，然后将解码的频道/节目信息发送给信息服务器。它还可以从信息服务器接收电视节目的相关信息，然后将之展示在设备的屏幕上，以供用户观看和交互。

·信息服务器250，由电视内容提供商或第三方运营商准备，存储内容节目的附加信息，如演员介绍、链接和提供内容。信息服务器的示例是服务较小区域的家庭网关或由第三方维护的服务较大区域的专用服务器群组。一旦这些服务器从第二屏幕设备接收到电视频道/节目信息，它们就通过分析电子节目指南（EPG）获取频道/节目的节目详细信息，然后找出特定频道的相关信息，并通过IP网络将信息发送回用户侧的第二屏幕设备。

根据本发明的上述示例系统的自动发现电视频道并传送相关信息的典型过程工作如下。图3示出了该过程的交互图。

1.用户打开电视机230和STB220，然后选择频道以观看电视节目。

2.在步骤320中，STB220从广播公司210接收电视节目信号，并且解压缩媒体信号。它也基于从输送流（TS）提取的频道/节目信息和可选的秘密水印密钥生成音频水印，混合音频水印信号和电视节目音频信号/将音频水印信号嵌入电视节目音频信号，然后将视频信号和带有水印的音频信号发送到电视机230。混合/嵌入周期地进行，或者只要新解码的频道名称与前一个不同（这表明发生了频道切换）就进行混合/嵌入。因为STB不可能预测何时打开平板电脑，因此周期嵌入水印使得平板电脑能够没有太多延迟地检测水印。

3.电视机230呈现（340）从机顶盒接收到的媒体信号，包括带有水印的音频信号。

4.如果用户想要接收电视上节目的相关信息，那么他/她启动平板电脑240上对应的应用。该应用使用平板电脑的麦克风接收上音频信号，检测信号中是否存在音频水印，如果存在，那么解码携带频道/节目信息的嵌入的水印消息，如果有必要，使用秘密水印密钥（350）。然后，应用通过例如IP网络连接将频道/节目信息发送（360）给信息服务器。

5.只要从用户侧接收到频道/节目信息，信息服务器就获取（370）相关的附加信息，如特定频道的当前电视节目的链接和提供内容，然后通过IP网络将之发送回平板电脑（380）。

6.一旦从信息服务器接收到相关信息，就显示在平板电脑设备上（390）。

下面公开有关水印生成和插入的实施例。在一个优选的实施例中，采用节目信号的音频信号用于水印嵌入。本领域的技术人员能够将相同的原理扩展到视频信号或视频和音频信号的混合用于水印嵌入。为了说明的目的，在家庭娱乐系统中使用的STB被采用为示例STB，电视机被采用为示例显示设备，平板电脑用作示例第二屏幕设备。应该理解的是，本发明并不限于这些示例，本领域的技术人员可以在不脱离本发明的范围的情况下实现到其他类型的STB、显示设备和第二屏幕设备的扩展。

在一个典型的家庭娱乐系统中，STB将传输的数字媒体流转换为可以显示在电视机上的信号。一般来说，STB中的用于音频信号处理的主要模块包括，如图4所示：调谐器和解调器410、MPEG（运动图像专家组）输送流多路分解器420和音频解码器430。STB中的调谐器被调谐以选择合适的射频频率（RF）之一，然后将RF信号发送到解调器。解调器将RF信号转换成原始信号，它的输出是MPEG输送流（TS）。然后，多路分解器420选择并解密观众希望观看的特定节目的压缩的音频和视频。最后，音频解码器430解压缩该压缩的音频流，并将其转换成可由电视机上的音频接口使用的形式。

为了支持平板电脑侧的节目信息发现，本发明的一个优选实施例是将音频水印生成和插入模块添加到STB，它产生音频水印，并混合水印和来自音频解码器的电视节目音频/将水印嵌入来自音频解码器的电视节目音频，以生成带有水印的音频供电视机呈现。在一个实施方式中，音频水印生成和插入模块包括频道信息提取单元510，可选的用户上下文跟踪单元520，音频水印编码器530和音频水印嵌入器540，如图5所示。

本领域的技术人员应该理解的是，通常情况下，节目流，如输送流（TS），包含选择的频道和节目的详细信息。例如，在输送流（TS）中，这些信息被包括在服务描述表（SDT）、节目关联表（PAT）和节目映射表（PMT）中。因此，频道信息提取模块/单元510可以从STB获得的节目流中提取频道/节目信息，如频道名称、频道类型和当前的时间戳，。

水印编码器530从频道信息提取单元510取得所提取的频道/节目信息，并将其编码为水印消息。水印消息编码涉及可选的水印密钥。在关心安全性的应用中，例如，当频道/节目信息只对订阅用户可访问时，采用密钥以使得只有授权的用户可以解码水印消息。在频道/节目信息或水印消息向可以接收带有水印的音频信号的所有人开放的场景中，在水印消息编码过程中不需要密钥。在一个实施方式中，当达到预定的时间限制，例如10秒时，或者如果频道/节目信息变化，水印编码器530编码并输出水印消息。

最后，音频水印嵌入器540将水印消息嵌入节目流的音频部分，例如解压缩的节目音频。在不同的实施方式中，也可以将水印消息嵌入压缩的节目流。在一般情况下，音频水印应该被嵌入为使得它不能被观察者感知，但能够抵抗非故意的或预期的操作，例如压缩、滤波、重新采样、重新量化、裁剪、缩放和由人们讲话或电话响铃等引起的环境噪声。示例水印嵌入方案可以在例如R.Tachibana、S.Shimizu、T.Nakamura和S.Kobayashi的《All audiowatermarking method robust against time-and frequency-fluctuation》（Proc.ofSPIE Int.Conf.on Security and Watermarking of Multimedia Contents III，4314，第104-115页，圣何塞，美国，2001年1月）以及Megias,D.、Herrera Joaucomarti,J.、Minguillon,J.的《A robust audio watermarking scheme based on MPEG1layer3compression》（CMS2003.LNCS963，施普林格出版社（2003）第226-238页）中找到。

图6示出了包括音频水印调制器610和音频混合器620的水印嵌入器540的优选实施例。音频水印调制器610使用水印消息调制主信号（host signal）来生成音频信号。主信号处于低频率范围和模式，不能被人耳感知，但可以通过平板电脑的音频输入接口拾取并由平板电脑解码。例如，主信号可以是根据Anirudh Shekhawat、Manan Shah、Prateek Srivastava和Pratik Poddar的《Audio Watermarking and Steganography》的人类不能感知的18-22KHz的音频信号。主信号可以与将会携带水印的节目音频相关或与之无关。然后，音频混合器620将生成的音频水印信号与节目音频信号混合以构建带有水印的节目音频信号。这种混合的一种实施方式是将水印信号和节目音频信号简单地相加在一起。然后将带有水印的节目音频发送到电视机的音频接口以进行呈现。

在本发明的一个不同的实施例中，采用可选的用户上下文跟踪模块/单元520。用户上下文是临时定义的观看电视行为的环境，如特定观众的相关电视观看历史以及用户与STB的交互。用户的上下文中可以通过跟踪单元520跟踪的可能的信息是：

·用户观看的频道/节目的最近列表。

·播放/暂停信息（如果用户正在观看时移内容）。

·与STB的其他交互。

在一个实施方式中，用户上下文跟踪模块/单元520保留最近观看的频道/节目名称的列表以及当用户第一次调谐到该频道时对应的时间戳。例如，如果定义列表包含4个最新观看的频道及其对应的调谐进入时间戳，那么原始的用户上下文信息列表可以是以下格式：

NBC20050730151820CNN20050730161921ABC20050730182230KTYU20050730201916

NBC的时间戳20050730151820表示用户调谐到NBC的时间是2005年7月30日15时18分20秒。通过使用用户上下文信息作为水印，保留所观看频道的历史相关的信息，这些信息可以用来研究用户的习惯。这些历史信息可以存储在STB上，当平板电脑打开时，这些信息通过水印发送到平板电脑，并进一步发送到信息服务器以获取相关信息。没有这些基于用户上下文的水印，所观看过的频道/节目的历史将会丢失，发送到平板电脑和信息服务器的信息将限制为当前正在观看的频道/节目。

为了降低编码水印的比特率，使用以下几种方法对该列表编码：

·使用算术编码或其他熵编码方法对频道名称编码。本领域中的技术人员应该理解的是，熵编码是一种无损数据压缩方案，算术编码是最常见的熵编码方法之一。特别是，取代使用相同的比特数对每个频道名称编码的是，算术编码或其他熵编码技术使用较少的比特编码经常观看的频道名称，使用较多的比特编码不那么经常观看的频道名称，从而总体使用更少的比特。例如，我们可以将广受欢迎的频道编码为4位码字，如使用0001代表NBC，而将本地频道编码为8位码字，如使用00000001代表KTVU。这种编码可以是静态的或动态的。在静态编码中，用于每个频道的比特和码字的数量是预定且固定的，而在动态编码中，这些信息是根据实时收集的统计信息更新的。例如，STB开始收集与正在观看的频道有关的统计信息，并在新的安装或在重新设置后建立频率分布。分布不时地更新。更新的统计信息将用来对频道/节目信息进行编码。

·使用绝对时间对列表中第一观看的频道/节目的时间戳编码，而使用相对于第一频道的时间戳的偏移值对其他频道/节目的时间戳编码。

在从频道信息提取模块接收到解码的频道名称之后，用户上下文跟踪模块520将该名称与用户上下文信息列表中最新的频道名称进行比较，以查看它们是否是不同的。如果它们是不同的，那么该模块将带有对应时间戳的新的频道名称附加到列表中。另一方面，如果它们是相同的，那么该模块保持用户上下文信息列表不变。音频水印编码器530在生成水印消息时将用户上下文信息作为输入。

图7示出了根据本发明一个实施例的音频水印生成和插入模块的详细流程图。该过程开始于步骤710，等待直到在步骤720中接收到输送流（TS）。步骤730从TS中提取频道/节目信息，如频道名称和时间戳。在步骤740中，将提取得到的频道/节目信息与最新的频道/节目信息进行比较，以查看频道名称是否有任何变化。如果有变化，那么在步骤750中使用新的频道/节目信息更新用户上下文信息列表。在步骤760中，该更新的用户上下文信息列表被用来生成水印消息。然后，在步骤770中，生成的水印消息被用来调制低频主信号。然后，在步骤780中，调制的信号与从相同TS中的音频流解码的节目音频信号混合，或嵌入其中。步骤790存储当前的时间戳、最新的音频水印和用户上下文信息列表，然后过程前进到步骤720。如果在步骤740中确定提取的频道/节目信息中的频道名称与最新的频道/节目信息中的频道名称相同，那么步骤755进一步判断当前的时间戳与存储的时间戳之间的时间间隔是否达到预定的阈值/时间限制，例如，10秒，虽然其他的时间长度也同样可行。如果未达到，那么过程前进到步骤720。如果达到，那么步骤765将存储的水印与从接收到的TS中的音频流解码的节目音频信号混合，或将之嵌入其中。在775使用当前时间戳更新存储的时间戳，然后过程前进到步骤720。

图8示出了实现在第二屏幕设备240上用于从包含嵌入水印的呈现的节目信号检测和解码水印消息的模块/单元。该模块/单元包括：接口810，用于获得呈现的节目信号；水印提取器820，用于从获得的测试节目信号中提取水印信号；以及水印解码器830，用于将所述水印信号解码成包含频道/节目信息的水印消息。接口810可以包括麦克风和/或摄像头。如果包含水印的呈现的节目信号包括音频信号，那么接口810采用麦克风记录音频信号。当包含水印的呈现的节目信号包括视频信号时，接口810采用摄像头来捕获视频图像。音频和视频检测的组合也是可能的。

在一个实施例中，第二屏幕设备保持接口麦克风或摄像头开启，并将接收到的信号馈入水印提取器和检测器模块来一直检测和解码频道/节目信息。第二屏幕设备会跟踪最新解码的频道/节目信息，并比较例如当前时间解码的频道名称和在之前时间检测到的频道名称。如果它们是不同的，那么视情况而定，它将最新的频道编码发送给信息服务器以获取新频道的相关信息，或简单地更新第二屏幕设备上的频道信息显示。

虽然在本文中已经详细描述了本发明的优选实施例，但应该理解的是，本发明不限于这些实施例，本领域的技术人员可以在不脱离所附权利要求限定的本发明的范围的情况下做出其他的修改和变化，如通过水印提供两个设备之间相似内容的同步。

Claims (27)

1.一种用于使用节目信息的系统，包括：

机顶盒，用于接收节目流并将之解码为节目信号，用于生成节目信息水印并将之嵌入节目信号的一部分，以及用于发送用于呈现的解码和带有水印的节目信号；以及

检测设备，用于从呈现的节目信号检测和解码节目信息水印。

2.如权利要求1所述的系统，其中检测设备还使用检测到的水印发送请求给信息服务器以获得节目信息。

3.如权利要求1所述的系统，其中水印被嵌入节目信号的音频部分。

4.如权利要求1所述的系统，其中水印被嵌入节目信号的视频部分。

5.如权利要求1所述的系统，其中检测设备是平板电脑。

6.一种用于生成和插入节目信息水印的方法，所述方法包括：

从节目流中提取节目信息；

将所述节目信息编码为水印消息；以及

将所述水印消息嵌入节目流的信号。

7.如权利要求6所述的方法，其中嵌入步骤还包括：

使用主信号调制所述水印消息以获得水印信号；以及

将所述水印信号嵌入所述节目流的信号。

8.如权利要求6所述的方法，还包括：

当达到至少一个预定的时间限制，并且节目信息变化时，更新水印消息。

9.如权利要求6所述的方法，还包括：

跟踪用户上下文；以及

将用户上下文合并在水印消息中。

10.如权利要求9所述的方法，其中用户上下文包括节目信息的历史。

11.如权利要求6所述的方法，其中水印消息被嵌入节目流的音频信号。

12.如权利要求6所述的方法，其中水印消息被嵌入节目流的视频信号。

13.一种用于生成和插入节目信息水印的装置，所述装置包括：

频道信息提取器，用于从节目流中提取节目信息；

水印编码器，用于将所述节目信息编码为水印消息；以及

水印嵌入器，用于将所述水印消息嵌入节目流的信号。

14.如权利要求13所述的装置，其中水印嵌入器包括：

水印调制器，用于使用主信号调制所述水印消息以获得水印信号；以及

混合器，用于混合所述水印信号和节目流的信号。

15.如权利要求13所述的装置，其中当达到至少一个时间限制，并且节目信息变化时，水印编码器更新水印消息。

16.如权利要求13所述的装置，还包括用于跟踪用户上下文的用户上下文跟踪器，并且其中所述水印编码器将用户上下文合并在水印消息中。

17.如权利要求16所述的装置，其中用户上下文包括节目信息的历史。

18.如权利要求13所述的装置，其中水印嵌入器将水印消息嵌入节目流的音频信号。

19.如权利要求13所述的装置，其中水印嵌入器将水印消息嵌入节目流的视频信号。

20.一种用于从呈现的节目信号检测和解码水印消息的方法，所述方法包括：

获得包含携带与呈现的节目信号相关的节目信息以及在接收到用于呈现的、包括呈现的节目信号的节目流之后生成和嵌入的水印信号的所述呈现的节目信号；

从获得的节目信号提取所述水印信号；以及

将所述水印信号解码为水印消息以获得与呈现的节目信号相关的节目信息。

21.如权利要求20所述的方法，其中获得步骤包括记录来自所述呈现的节目信号的音频信号。

22.如权利要求20所述的方法，其中获得步骤包括记录来自所述呈现的节目信号的视频信号。

23.如权利要求20所述的方法，其中水印消息包括所述呈现的节目信号的节目信息。

24.一种用于从呈现的节目信号检测和解码水印消息的装置，所述装置包括：

接口，用于获得包含携带与呈现的节目信号相关的节目信息以及在接收到用于呈现的、包括呈现的节目信号的节目流之后生成和嵌入的水印信号的所述呈现的节目信号；

水印提取器，用于从获得的节目信号提取所述水印信号；以及

水印解码器，用于将所述水印信号解码为水印消息。

25.如权利要求24所述的装置，其中接口是通过记录其音频信号获得所述呈现的节目信号的麦克风。

26.如权利要求24所述的装置，其中接口是通过记录其视频信号获得所述呈现的节目信号的摄像头。

27.如权利要求24所述的装置，其中水印消息包括所述呈现的节目信号的节目信息。