CN1722803A - 通过音频视频数据流的字幕进行导航的方法和设备 - Google Patents

Abstract

在通过AV数据流的字幕进行导航的方法和设备中，在所述数据单元的回放期间，将一个或多个回放数据单元的访问信息(ADD_i－2、ADD_i－1.ADD_i)与所述回放数据单元的字幕信息数据(ST_i－2、ST_i－1和ST_i)一起进行存储。可以显示(D)一个或多个所述已存储字幕信息。在选择(S)所述已显示字幕信息数据之一之后，获取与所选字幕信息数据相对应的数据单元的已存储访问信息，并利用所述已获取访问信息，访问对应的数据单元。回放所述已访问数据单元方便地允许通过在遥控器(12)上的较少点击来再次观看和收听包括字幕的场景。

Description

通过音频视频数据流的字幕进行导航的方法和设备

技术领域

本发明涉及一种通过音频视频数据流的字幕进行导航的方法和设备，其允许包括字幕在内的视频场景的精确重放，例如，为了学习语音的目的。

背景技术

最初，只通过电视台来广播电影，具有原始语言的音频信号，或具有被完整翻译的音频信号版本。后来，添加了字幕，作为对外语电影的翻译，同时平行于相同语音的音频信号，以防难以获得视听一致性。可以听到外语同时能够阅读其母语翻译的可能性使得字幕也成为一种学习语言的工具。

可以将字幕设置为所谓的开放字幕，在传输电视信号之前，将其放入已经位于电视台的电视画面中。这使得观看者能够观看字幕，而无需电视机中的特定解码器。但是，结果，每次只能传输一种语言，而且不能关闭字幕。目前，更为流行的是使用所谓的闭合字幕，在电视画面的隐藏部分中传输字幕。对于模拟电视信号，将闭合字幕插入在电视信号的帧之间的垂直消隐间隔(VBI)中，并进行传输，例如，在欧洲，作为图文电视数据，在美国，作为线路21数据。在接收端，由数据分离器从VBI中提取字幕数据，利用图文电视或闭合字幕解码器对其进行解码，并在观看者调用时，与视频内容一起显示。这样，每个观看者可以决定他是否想看到字幕。

类似地，数字电视信号可以包括字幕。尤其是，数字卫星电视允许卫星广播公司将节目与多于一种语言的音频和字幕一起传输，赋予了观看者选择音频语言以及他想要的语言的字幕的可能性。

观看者可以利用盒式磁带录象机对包括字幕的电影和其他广播进行记录。这允许重放整个电影或其一部分，这对于学习语言的目的是尤为有帮助的。此外，不仅广播电影可以伴随字幕信息，预先录制的电影同样可以。尤其是，预先记录在DVD(数字通用盘)上的电影通常提供至少两种口语和多种字幕语言。这允许DVD被广泛地分销，而无需针对单独的国家生产不同语言的版本，并使其成为学习外语非常有效的媒介。

发明内容

本发明基于对以下事实的认知。字幕经常被想要学习或提高其外语知识的人所使用。在学习外语时，存在难以理解的单词甚或句子，通常需要加以重复。如DVD等记录介质允许观看者将电影倒回，并从其倒回的位置开始重放，以便再次倾听特定的句子。但是，由于此处理的有限精度，经常会将电影倒回得过多，而可能需要稍微加速得快进，存在将其快进得过多得风险，从而需要再次倒回。这对于观看者来说是非常不舒服的，由于与正常的电影观看不同，对于语言学习，可能经常需要重放。类似地，通过最近字幕的此类导航对于将字幕作为对不能感知音频信号的替代的耳聋的观看者而言也是非常不便的。

因此，本发明所要解决的问题是允许通过音频视频数据流的字幕进行精确导航。

此问题通过权利要求1中所公开的方法以及权利要求8中对应的设备来解决。

原理上，本发明的通过AV数据流的字幕进行导航的方法包括：

-回放所述AV数据流的数据单元，所述数据单元包括视频、音频和字幕数据分组；

-将一个或多个回放数据单元的访问信息与所述回放数据单元的字幕信息数据一起进行存储，其中所述字幕信息数据是所述回放数据单元的字幕数据分组的可显示部分；

-产生一个或多个所述已存储字幕信息数据的显示；

-检测对已经产生显示的所述已存储字幕信息数据之一的选择；

-获取与所选字幕信息数据相对应的数据单元的已存储访问信息；

-利用所述已获取访问信息，访问所述对应数据单元；以及

-回放所述已访问数据单元。

这实现了通过音频视频数据流的字幕的精确导航，得到了通过在遥控器上的较少点击来观看和收听包括相同字幕的相同场景的非常舒适的方式。

在相应的从属权利要求和以下描述中公开了本发明的有利附加实施例。

附图说明

参照附图，对本发明的典型实施例进行描述，其中：

图1A到1C示出了如何将最近字幕的列表的显示用于根据本发明的导航；

图2示出了针对DVD实现方式、VOBU地址和具有对应VOBU的字幕的对；

图3是实现了根据本发明的字幕导航的设备的方框图。

具体实施方式

图1示出了如何将最近字幕的列表的显示用于根据本发明的导航。

在图1A中，典型地示出了电影的场景，其从存储介质中进行回放，以显示器右上角的“播放”表示。三个人坐在桌边，右边的人正在讲话。稍后，几个人加入该小组，并且另一个人在讲话，如图1B所示。如果观看者现在意识到其并未正确理解在图1A所示的第一场景中讲了一些什么，他可以调用叠置在视频信号上的最近字幕的列表D。同时，暂停回放，由“暂停”表示。由于字幕列表D，用户可以在利用遥控器的上下光标在最近的字幕ST_i、ST_i-1和ST_i-2之间进行导航。出现在列表中的字幕数量是实现相关的，因为其基本上依赖于多少存储器专用于存储字幕信息。一旦用户已经选择了列表中的字幕，在图1B中为字幕i-2，并且可以通过如“＜＜”等指示符S、突出显示或其他方式进行强调，就从相应的场景开始重放电影，如图1C所示。这可以由屏幕上的“重放”表示。

此列表可以在用户的对应命令之后，例如，当按下遥控器上的特定按钮时，出现在屏幕上。类似地，用户可以发出字幕列表显示命令，作为语音命令。但是，也可以永久地显示几条最近字幕的列表，其中通过专用的字幕窗口滚动字幕。

可以用“跳至前一字幕”特征来代替字幕列表显示，或者可以添加这种特征，允许用户选择这两种显示变化之一。例如，在字幕具有多种格式的情况下，“跳至前一字幕”特征是有用的，在用户只想回放最近的字幕的情况下，使得字幕选择更容易和更快。而且，这种实现允许通过从一个字幕向回移动到另一个来导航到最近字幕之前的字幕。类似于列表显示，可以在按下遥控器上的特定按键之后，执行此特征，所述按键可以与用于字幕列表显示的按键相同，也可以是额外的按键。

例如，可以在DVD播放器/记录器或硬盘记录器或PVR(个人录像机)中实施这种字幕导航机制。作为本发明的一个典型实施例，在以下的描述中解释在DVD播放器中的实施方式。

为了解码，通常将数字音频视频流切割为可以包含音频、视频或如字幕等辅助数据的小分组，并且由于利用一些分组报头中定期携带的时标而获得的时间线(timeline)，这些分组彼此同步。在DVD的情况下，将所有这些分组组合成被称为视频对象单元(VOBU)的全局分组。VOBU是DVD播放器的最小可访问数据单元，包含0.4秒到至多1.2秒之间的显示时间段的数据。因此，对于快进和快退，DVD播放器通常从一个VOBU跳至下一个VOBU。

图2针对DVD实施方式，示出了VOBU以及VOBU地址和字幕的对应连接。典型地示出了视频流的三个VOBU：VOBU i-2、VOBU i-1、VOBUi。每个VOBU的第一个元素总是导航分组NV_PCK。其包含所谓的显示控制信息(PCI)和从一个VOBU导航到另一个(下一个、前一个、x秒之前或之后等)或在一个VOBU内导航(例如，在图像间)所需的数据搜索信息(DSI)。然后，VOBU包含多个视频分组V_PCK、音频分组A_PCK和子画面分组SP_PCK。子画面分组携带最高达32个子画面流的数据，其通常用于不同语言的多个字幕。可以在DVD标准中找到进一步的细节，DVD Specifications for Read-Only Disc，part 3，VideoSpecifications，version 1.0，1996年8月3日，Chapter 5。

对于最近字幕之间的导航，DVD播放器在其对盘进行回放时存储以下信息：

·VOBU的地址，在图2中，典型地为地址ADD_i-2、ADD_i-1和ADD_i；以及

·SP-PCK净荷，在图2中，标记为ST_i-2、ST_i-1和ST_i。

在回放期间，由DVD播放器读取当前的VOBU地址，即携带当前VOBU的DVD扇区的地址，并将SP_PCK净荷送入子画面缓冲器，以便进行进一步处理。因此，可以将VOBU地址和SP_PCK净荷复制到专用的存储器中，而无需额外的处理。

利用存储在专用存储器中的信息，用户能够在最近的字幕之间进行导航。当用户按下特定按钮时，DVD播放器暂停电影，在其存储器中搜索最近播放的字幕，获取已编码字幕，并将其发送到字幕解码器，获取已解码字幕，并将其再现于已暂停视频的上方。如果用户再次按下字幕导航按钮，DVD播放器利用前一字幕进行相同的处理。当用户最终选择了正确的字幕时，他可以按下OK按钮或播放按钮。此时，DVD播放器在其存储器中检查于所选字幕相对应的VOBU地址是什么，并开始解码和回放此特定的VOBU。因此，可以只通过读取出专用的存储器来搜索要重复的视频部分，而无需解码任何中间VOBU，相应地，DVD播放器的拾取头可以直接跳至所搜索到的视频部分，而无需跳至任何中间VOBU。因此，检查已存储字幕不需要等待时间，并将用于此额外特征的拾取头的机械应力减小到最小。

图3示出了实现了根据本发明的字幕导航的DVD回放设备的方框图。为了简明，只示出了该设备于本发明相关的部分，并且一些方框聚集了几个功能单元。利用光拾取头读取携带有要观看的电影的DVD1，光拾取头和盘电动机一起是方框2的一部分。将RF信号馈入方框3，其尤其包括对RF信号的预放大、解调、纠错、轨道缓冲以及最终解复用为分组化元素流。存在五类分组化元素流：视频、音频、子画面(尤其用于携带字幕)、显示控制信息(PCI)和数据搜索信息(DSI)。

将音频数据暂时存储在音频缓冲器4中，并馈入音频解码器5(可以是杜比数字或MPEG音频解码器)。可以直接输出音频解码器输出处的数字音频信号，或者在数字到模拟转换之后，作为模拟音频信号输出。相应地，将视频数据暂时存储在视频缓冲器6中，并馈入视频解码器7(尤其是MPEG视频解码器)。将已解码的视频信号首先馈入未示出的画面处理器，然后，由混合器8将其与子画面或菜单显示进行结合。

携带字幕的子画面得自于子画面数据，所述子画面数据在被暂时存储在子画面缓冲器9中之后由子画面解码器10进行解码。根据本发明，将子画面数据(即SP_PCK净荷)与当前的VOBU地址一起复制到专用存储器11中。根据专用于此特定存储的存储器的尺寸，DVD播放器可以存储与已经播放的几个字幕相对应的对(VOBU地址，已编码字幕)。根据DVD标准，已编码子画面可以具有52kB的最大尺寸，以及VOBU地址占用4字节，但通常已编码字幕具有2kB到4dB之间的尺寸。因此，即使利用只具有64kB容量的专用存储器，DVD播放器仍能存储多于16个最近播放的字幕。

DVD回放装置的遥控器12包括字幕导航按钮13。当按下字幕导航按键13时，传输对应的信号，由DVD回放设备接收，并由遥控信号处理单元14进行处理。控制单元15除了包括DVD回放设备的系统控制之外还包括字幕导航控制，当控制单元15检测到来自用户的字幕导航命令时，其暂停电影，在专用存储器11中查找最近播放的字幕，获取已编码字幕，并将其发送到字幕解码器10。获得已解码字幕，并将其再现在已暂停视频的上方。当选择字幕时，还从专用存储器11中获取与所选字幕相对应的VOBU地址，控制单元15使其跳回到该VOBU，并再次从DVD 1中读取、处理、解码和回放。

在上述示例中，字幕被编码为子画面，更具体地，被编码为运行长度编码位图。这具有以下一些优点：前景和背景颜色可变、不同的透明级、还允许如颜色改变、衰弱或运动突出显示等多种效果的任意字体。与之相比，字幕的基于字符的编码只具有有限的可能性，但需要更小的数据速率。因此，在具有上述64kB容量的专用存储器中，可以存储更多使用基于字符的编码的字幕。可以将这种基于字符的字幕存储在如DVD等存储介质中，代替位图编码的字幕，或额外添加。

类似地，对于使用欧洲DVB标准的数字电视传输，可以只作为位图、只基于字符或按照两种格式来传输字幕。更具体地，DVB字幕标准ETSI 300 743详细描述了两种传输字幕的方法一位图字幕和基于代码的字幕。此外，也可以在伴随数字电视信号的图文数据内传输字幕。根据实施方式，数字电视信号的记录设备可以只记录位图编码的字幕、只记录基于字符的字幕、这两种格式、甚或以一种格式接收并转换为另一格式的译码字幕。典型地，DVB复用信号携带几个分立的视频信道、关联音频信道、服务表和专用数据信道，都可以携带DVB标题数据。利用惟一的分组ID‘PID’来识别这些数据流中的每一个。DVB解码器从DVB服务表格中了解到哪些PID流携带有针对复用中的每个视频服务的字幕。此外，字幕具有关联显示时标(PTS)，向DVB解码器表明其应当在哪个时间点出现在屏幕上。

根据本发明，可以将字幕信息与对应视频场景的PTS或与类似的时间信息(其可以得自于PTS)一起存储。但是，由于DVB信号的记录，也可以使用携带有各个字幕的数据单元在存储介质上的逻辑或物理地址，类似于使用预先录制的DVD的上述实施例。

本发明的优点在于允许用户利用字幕特征在视频中进行精确地导航。这对于将字幕用作外语学习工具的人来说是非常方便的，因为其可以精确地返回到其并未理解的单词或句子。

类似地，这类通过最近字幕的导航对于错过了一个最近字幕的耳聋观看者而言也是舒适的。

但是，本发明并不局限于这些应用，也可以用作用于在整个已记录电影中进行导航的一般工具。为此，例如，可以将电影的所有字幕和对应的地址存储在记录在HDD或DVD上的分离标题导航文件中。可以在电影的第一次回放期间，或者在稍后用户发出相应命令之后的任意时间，自动产生字幕导航文件。在记录电影的情况下，可以在记录时或稍后在回放期间就产生字幕导航文件。

Claims (12)

1、一种通过AV数据流的字幕进行导航的方法，包括：

-回放所述AV数据流的数据单元，所述数据单元包括视频(V_PACK)、音频(A_PACK)和字幕(SP_PACK)数据分组；

-将一个或多个回放数据单元的访问信息(ADD_i-2、ADD_i-1、ADD_i)与所述回放数据单元的字幕信息数据(ST_i-2、ST_i-1和ST_i)一起进行存储，其中所述字幕信息数据是所述回放数据单元的字幕数据分组的可显示部分；

-产生一个或多个所述已存储字幕信息数据的显示(D)；

-检测对已经产生显示的所述已存储字幕信息数据之一的选择(S)；

-获取与所选字幕信息数据相对应的数据单元的已存储访问信息；

-利用所述已获取访问信息，访问所述对应数据单元；以及

-回放所述已访问数据单元。

2、根据权利要求1所述的方法，其特征在于每次只显示一个在先字幕。

3、根据权利要求2所述的方法，其特征在于在第一用户命令之后，显示第一在先字幕，在第二用户命令之后，显示第二在先字幕，并且可以重复相同的处理，只要字幕信息数据与相应数据单元的访问信息一起存储。

4、根据权利要求1所述的方法，其特征在于每次显示几个在先字幕的列表。

5、根据前述权利要求之一所述的方法，其特征在于访问信息是携带各个字幕的数据单元在存储介质上的逻辑或物理地址，根据所述逻辑或物理地址，回放所述AV数据流的数据单元。

6、根据权利要求5所述的方法，其特征在于从DVD回放所述数据单元，数据单元是视频对象单元，以及所述地址信息对应于所述视频对象单元的地址。

7、根据前述权利要求之一所述的方法，其特征在于利用AV回放设备的遥控器的特定按钮来实现所述已显示标题信息的所述选择。

8、一种通过AV数据流的字幕进行导航的设备，包括：

-装置(2、…、10)，用于回放所述AV数据流的数据单元，所述数据单元包括视频、音频和字幕数据分组；

-装置(11)，用于将一个或多个回放数据单元的访问信息与所述回放数据单元的字幕信息数据一起进行存储，其中所述字幕信息数据是所述回放数据单元的字幕数据分组的可显示部分；

-装置(8、10)，用于产生一个或多个所述已存储字幕信息数据的显示；

-装置(14)，用于检测对已经产生显示的所述已存储字幕信息数据之一的选择；

-装置(15)，用于获取与所选字幕信息数据相对应的数据单元的已存储访问信息；

-装置(2、15)，用于利用所述已获取访问信息，访问所述对应数据单元；以及

-装置(2、…、10)，用于回放所述已访问数据单元。

9、根据权利要求8所述的设备，其特征在于还包括装置，用于由用户选择所述已显示字幕信息数据之一。

10、根据权利要求8或9所述的设备，其特征在于所述设备是AV回放设备，尤其是DVD播放器。

11、根据权利要求10所述的设备，其特征在于用于选择所述已显示字幕信息数据之一的所述装置是所述AV回放设备的遥控器(12)的特定按钮(13)。

12、根据权利要求10或11所述的设备，其特征在于将所述访问信息存储在所述AV回放设备内的专用存储器(11)中。