CN102193794B - 链接实时媒体情境到相关的应用程序和服务 - Google Patents

Abstract

链接实时媒体情境到相关的应用程序和服务。自动地提取与电子媒体的情境有关的信息。随后可以使用所提取的信息来选择用户可能感兴趣的附加服务或应用程序。情境信息可以由与媒体相关联的附加信息(诸如元数据或电子节目向导)生成。也可以从媒体本身提取，包括对媒体中的图像元素、音频元素或者其他描述特征的识别，以获取关于正显示的内容的信息。

Description

链接实时媒体情境到相关的应用程序和服务

技术领域

本发明大体上涉及具有基于处理器的设备的装置。

背景技术

可以通过因特网或者从广播源来提供电视节目。通常，电视节目实际上是数字视频流。该流可以由一系列的视频帧组成。

通常，视频流由接收设备进行接收并随后对视频进行处理以用于显示。这种视频处理可以包括解压缩和解码。还可以包括对加密视频的解密。

在许多情况下，电视接收机包括计算能力。例如，基于处理器的电视接收机可以包括机顶盒或者具备处理能力的其他消费电子设备。从而，同一视频接收机可以负责向用户提供其他服务。

附图说明

图1是本发明一个实施例的示意图；

图2是一个实施例的流程图。

具体实施方式

参见图1，基于处理器的设备10可以发送和/或接收媒体。该媒体可以是视频、音频、文件或文本，诸如电子形式的文档或电子邮件，包括例如来自因特网或者广播源的电视节目。作为一些常见的示例，广播源可以是电视广播、有线传输或卫星广播。基于处理器的设备10可以是任何消费电子设备，包括作为电视机、计算机、机顶盒、移动因特网设备或者蜂窝电话的一部分的专用电视接收机。

在一些实施例中，设备10可以耦接到因特网12。设备10可以包括情境感知应用程序和服务14。应用程序和服务14可以是使用被接收或发送的媒体的情境的任何应用程序或服务。在本文中，“情境”包括与基于处理器的设备所发送或接收的媒体有关的任何信息。

下面的讨论涉及媒体是电视节目的一个实施例。但是，本发明并不限于特定类型的媒体。

用户电子情境引擎16可以包括情境生成器20，其耦接到直播电视情境生成器22以及电子节目向导语义提取器24。语义提取器可以包括自然语言翻译器和解释器，以便将向导信息转换为基于处理器的系统可使用的格式。可以在26从各种传感器接收其他的情境输入。情境引擎16可以包括能够执行一般计算任务以及执行其他应用程序和服务14的处理器或者控制器。

情境引擎16可以耦接到电视信号处理设备18。该设备18可以包括用于接收各种形式的电视信号的解复用器28，其中各种形式的电视信号包括流式或者机顶盒(OTT)视频、有线、卫星以及广播视频。解复用后的视频随后被提供给节目信息源30。

节目信息源可以从任何媒体中提取与媒体有关的信息(也就是，“情境”)。例如，可以从伴随视频流的电子节目向导中提取信息，例如关于演员、类型、标题、节目描述、频道、时间或评价的信息。

此外，将解复用后的视频提供给编码媒体流32。该流32包括场景信息提取器34。该提取器34可以识别媒体流中的图像、音频或文本元素。可以通过解码与媒体流以及该流中的特定帧相关联的元数据或附加数据来实现这种识别。也可以通过辨识流以及特别是视频帧中的图像、音频或文本元素来实现识别。

例如，可以使用图像辨识软件来识别组成媒体流的帧中的特定人物或对象。图像辨识软件可以与设备10上的可用视频文件或因特网上的可用信息的关键词搜索结合使用。例如，通过识别与那些类似图像相关联的文本信息，可以对图像进行搜索来寻找类似图像，以便识别媒体流的帧中的特定图像特征。

然后，将来自流32的信息提供给视频解码器36和音频解码器38。音频/视频同步器40耦接到解码器36和38。同步器40可以负责缩放和渲染视频并执行其他传统的视频处理任务。然后，处理后的视频被提供给视频显示器42，在一个实施例中，其可以是传统的电视显示器。

从而，在一些实施例中，设备10可以提取两类情境信息。其可以提取媒体级信息，例如在电视实施例情形中的电视频道名称、节目名称、持续时间以及主题，这类信息可以从因特网中获取，也可以从作为媒体流的一部分而提供的电子节目向导中获取。此外，场景信息提取器可以提取一组更详细的媒体情境信息。例如，提取器34可以提供实时、动态信息，该信息可以描述在视频示例中的当前场景、当前可见的谈话者、当前语气等。

情境生成器20可以将媒体情境与由设备10感测到的其他环境信息结合起来，以形成总的传送情境。然后可以使得该传送情境可由作为平台服务的更高级应用程序来使用。此更高级应用程序可以使用该情境来向用户传送个性化的以及环境适当的体验。

例如，但并非限制，设备10可以确定商业广告当前正作为电视节目的一部分被播出。在该示例中，情境即为商业广告正作为节目的一部分被播出。响应于该情境确定，设备10可以为用户提供附加的应用程序或服务14，例如在商业广告期间玩的游戏。当用户玩游戏时，设备10可以监视节目以确定商业广告何时结束，并可以在商业广告结束后向用户报告正在播出的节目。如果用户希望继续玩游戏，设备10可以通过应用程序或服务14，例如使用视频记录器，来自动记录正在播出的电视节目，以便以后在用户结束玩游戏时进行重放。游戏可以由设备10来自动选择，在一些实施例中，基于时间和当前正在此设备上收看节目的人来进行上述选择。

通过识别与当前正在设备10上收看节目的人相关的情境信息，例如，使用传感器，设备10能够选择最适合那些用户的游戏。作为两个例子，可以基于用户的特性或用户所提交的喜好来选择游戏。可以通过引导用户登陆或通过感测指纹、识别语音、识别图像的传感器，或者使用适于识别当前观众的其他信息来实现用户识别。时间可以是从与设备10相关联的时钟所采集的附加情境信息。

作为另一个示例，设备10可以通过当前正在收看的内容的种类的形式来确定情境，然后可以访问相关的网站。例如，如果正在收看排球节目，那么可以访问实时提供关于正在进行的排球比赛的统计的网站，从而用户可以结合电视节目选择性地浏览该网站。本领域技术人员可以想到很多其他的例子。

作为另一个示例，可以提取电视节目的情境。然后在电视上显示边栏，其与电视节目的对象描述帧相关联。在一个实施例中，边栏可以是描述的对象附近的用户选择图标。当用户选择该图标时，用户可以有机会获取更多信息或者甚至购买电视节目中所识别的对象。

对象识别可以由场景信息提取器24来执行，该场景信息提取器24可以持续地尝试识别媒体流中的对象。例如，它可以采用与媒体流相关联的元数据或附加数据来识别对象，也可以采用图像辨识软件、因特网搜索、相关音频监视或者任何其他技术。

因此，场景信息提取器34可以向直播电视-情境生成器22提供关于每个场景中所识别的对象的信息。然后，直播电视-情境生成器22可以尝试将关于提取器34从场景中提取的信息的信息和提取器24所采集的节目向导信息结合起来，并且将结合后的信息提供给情境生成器20。情境生成器20还可以采集传感器输入26。情境生成器20可以适用于将与媒体流中识别的对象相关的信息传送给感兴趣的应用程序和服务14，该应用程序和服务可以是已经在生成器20中注册的。在某些情况下，生成器20可以简化关于描述的对象的流信息，该描述的对象是当前接收或发送的媒体的主题。在其他情况下，生成器20可以仅提供应用程序和服务具体要求的信息。

因此，例如，结合用户被询问是否想购买描述的对象的实施例，服务14可能仅对获知例如媒体中何时播放汽车感兴趣，并且随后可能仅希望通过服务14获知当前正被出售的那些汽车。

在一些情况下，场景信息提取器34所提取的信息可以由情境生成器20基于各种标准进行挑选。例如，仅提取那些设备10的当前用户可能感兴趣的信息。可以使用耦接到情境输入26的传感器来识别当前使用设备10的用户。信息的识别与用户相关，例如，基于用户的历史选择以及所声称的喜好。

需要注意的是，耦接到输入26的传感器可以是硬件或软件传感器。对于软件传感器，旨在指代可以从可用源中挖掘信息的软件。例如，软件传感器可以根据设备10上用户的活动来确定关于用户的信息。例如，用户收看的节目、用户访问的因特网网站、用户接收和生成的信息均可以被挖掘从而找到用户感兴趣的有关信息。

其他传感器可以是硬件传感器，例如摄像机、麦克风以及输入/输出设备。此外，检测器可以检测有哪些无线设备在附近从而获取更多与用户相关的信息。例如，如果用户正在使用无线设备，例如个人数字助理或者蜂窝电话，发往或来自该无线设备的信息以及其仅存在于设备10附近的信息也可以被使用。

然后，参见图2，内容感知服务50可以被实现为硬件、软件或固件。在软件实施例中，其在一实施例中可以由情境引擎16来执行。在这种软件实施例中，指令序列可以由基于处理器的设备来执行。指令可以存储在合适的计算机可读介质中，例如磁、半导体或者光存储器，例如，在一个实施例中，存储器可以是情境引擎16的一部分。

首先，如框52所示，服务50采集与当前所观看的特定场景相关的情境信息。这可以包括识别场景中的特定图像元素、从视频流中提取描述场景相关信息的元数据、或者访问相关联的网站以识别与媒体流有关的信息。情境信息的采集还可以包括用于识别特定对象的图像辨识软件和搜索服务。

此外，如框54所示，可以采集与观众以及他们的喜好有关的信息。另外，在一个实施例中可以使用由用户输入的关于他们的喜好和特性的预存信息。也可以由设备10基于用户对电视节目和其他服务的选择来产生或学习用户的喜好。

然后，如框56所示，可以采集关于特定电视节目的信息。这可以包括访问电子节目向导信息以及因特网上可获得的与节目相关的其他信息，包括节目专用网站、电视向导网站或其他网站。

然后，如框58所示，可以采集时间信息。在一个实施例中，可以从与情境引擎16相关联的时钟中提取当前时间。

然后，在框60中，可以执行对相关应用程序的搜索。在一个实施例中，相关应用程序可以是情境感知应用程序和服务14的一部分。可以基于关键词来进行相关应用程序的识别。例如，可以在框52-56中采集词(word)或标题。然后这些同样的关键词可以组成情境感知应用程序和服务中的元数据。在一些实施例中，通过将框52-56中识别的关键词和与应用程序和服务14相关联的元数据或者关键词进行匹配，能够识别出匹配。

最后，在框62中，可以将相关的应用程序实时提供给用户。作为一个示例，这可以通过提供屏幕覆盖来实现。此覆盖可以指示相关服务和应用程序的可用性。可以在与现有的显示相结合的覆盖中提供那些服务，或者在另一实施例中，可以暂停现有的显示来提供服务，且随后自动继续进行显示。例如，可以自动执行视频记录功能来记录正在进行的视频显示，以在替代服务提供之后进行随后呈现。

整个说明书中所提及的“一个实施例”或“实施例”意味着结合该实施例描述的特定特征、结构或属性被包括在本发明涵盖的至少一个实现中。因此，短语“一个实施例”或“在实施例中”的出现并不必然指代同一实施例。此外，特定的特征、结构或属性可以通过与所描述的特定实施例不同的其他合适形式来实行，并且所有这些形式均包含在本申请的权利要求中。

虽然参照有限数目的实施例描述了本发明，但是本领域技术人员可以意识到来自它们的大量的修改和变化。所附的权利要求旨在涵盖所有这些修改和变化，其均落入本发明的实际精神和范围内。

Claims (21)

1.一种用于链接实时媒体情境到相关的应用程序的方法，包括：

自动地电子提取与电子媒体的情境有关的信息，其中，所述提取包括采集与当前所观看的所述电子媒体的场景相关的情境信息；

使用所述情境信息来执行对相关的应用程序的搜索；以及

实时提供所述相关的应用程序。

2.如权利要求1所述的方法，包括从电视节目中自动地提取情境信息。

3.如权利要求2所述的方法，包括从电子节目向导中自动地提取情境信息。

4.如权利要求1所述的方法，包括从视频媒体中自动地提取情境信息。

5.如权利要求1所述的方法，包括从伴随所述媒体的附加信息中自动地提取情境信息。

6.如权利要求1所述的方法，包括从伴随所述媒体的元数据中自动地提取信息。

7.如权利要求1所述的方法，包括将关于电子设备用户的信息和与所述设备上的媒体相关的情境信息进行结合。

8.如权利要求7所述的方法，包括使用结合后的信息来提供所述相关的应用程序。

9.一种用于链接实时媒体情境到相关的应用程序的装置，包括：

用于自动地电子提取与电子媒体的情境有关的信息的模块，其中，所述提取包括采集与当前所观看的所述电子媒体的场景相关的情境信息；

用于使用所述情境信息来执行对相关的应用程序的搜索的模块；以及

用于实时提供所述相关的应用程序的模块。

10.如权利要求9所述的装置，包括：用于从电视节目中自动地提取情境信息的模块。

11.如权利要求10所述的装置，包括：用于从电子节目向导中自动地提取情境信息的模块。

12.如权利要求9所述的装置，包括：用于从视频媒体中自动地提取情境信息的模块。

13.如权利要求9所述的装置，包括：用于从伴随所述媒体的附加信息中自动地提取情境信息的模块。

14.如权利要求9所述的装置，包括：用于从伴随所述媒体的元数据中自动地提取信息的模块。

15.如权利要求9所述的装置，包括：用于将关于电子设备用户的信息和与所述设备上的媒体相关的情境信息进行结合的模块。

16.如权利要求15所述的装置，包括：用于使用结合后的信息来提供所述相关的应用程序的模块。

17.一种用于链接实时媒体情境到相关的应用程序的装置，包括：

媒体接口；以及

设备，用于分析来自所述接口的媒体；从所述媒体中提取情境信息，其中，所述提取包括采集与当前所观看的所述媒体的场景相关的情境信息；使用所述情境信息来执行对相关的应用程序的搜索；以及实时提供所述相关的应用程序。

18.如权利要求17所述的装置，其中所述装置是消费电子设备。

19.如权利要求17所述的装置，其中所述装置是电视接收机。

20.如权利要求17所述的装置，其中所述设备从电子节目向导中提取情境。

21.如权利要求17所述的装置，所述设备将关于所述装置的用户的信息和所述情境信息进行结合，并且使用结合后的信息来提供所述相关的应用程序。