CN101119461B - 保持视频帧及音频帧同步播放的系统及方法 - Google Patents

Abstract

本发明揭露一种于影音播放系统中保持视频帧及音频帧同步播放的方法，包含下列步骤：(a)读取音频帧的预定音频播放时间，并且取得该音频帧的真实音频播放时间；(b)根据该音频帧的预定音频播放时间以及真实音频播放时间，计算同步偏移时间；(c)根据同步偏移时间、视频帧的预定视频播放时间以及预定视频播放偏移时间，计算对应于该视频帧的调整视频播放时间；以及(d)根据调整视频播放时间以及目前时间，选择性地播放视频帧。藉此，视频帧及音频帧即可保持同步播放。

Description

保持视频帧及音频帧同步播放的系统及方法

技术领域

本发明是关于一种影音播放系统(Audio/video player system)，特别是关于一种用以保持视频帧(Video frame)及音频帧(Audio frame)同步播放的影音播放系统及其方法。

背景技术

一个影音播放系统必须可以播放存放于存储装置中的影音文件，若是该影音文件的影音数据有经过编码处理，影音播放系统也必须使用适当的音频或视频解码器解码音频及视频数据后，再播放音频及视频数据。对一个影音播放系统来说，维持视频与音频间的同步是一个很大的挑战。

通常维持视频与音频间的同步是根据记录于影音文件中的音频帧预定播放时间及视频帧预定播放时间与目前时间作比较以及计算之后，在适当时间播出音频帧或视频帧来保持视频与音频间的同步。一般来说，音频的播放不能早于视频超过15毫秒且音频的播放不能晚于视频超过45毫秒。若此条件不满足时，观看者便可以很明显地感受到视频与音频间的不同步。

传统影音播放系统是以单一整合程序从存储装置中读取并且播放视频以及音频，此程序可维持视频轨与音频轨的同步。然而，随着多工或多绪的计算环境的成熟，大多数的计算机使用者希望能在观看数字图像的同时，也能够于计算机中执行其它程序或功能，所以上述单一序列播放技术已逐渐被淘汰，取而代之的是将视频数据以及音频数据分离别且独立地将两者解码、处理并播放以符合多工环境的需求。

然而，这样的功能却导致额外的多媒体同步问题发生。特别是将视频数据以及音频数据分离别且独立地将两者解码、处理并播放时，便会很容易地使得视频数据以及音频数据无法同步播放。

于已知技术中，有提出用以保持视频帧及音频帧同步播放的方法，如美国专利公告第6,510,279号(‘279号专利)、美国专利公告第6,262,776号(‘776号专利)以及美国专利公告第6,016,166号(‘166号专利)。但是这些已知技术却无法解决下述问题。

一般说来，会导致视频数据以及音频数据无法同步播放的原因有下列两种：(1)当显示器(Monitor)播放视频帧(Video frame)时，所造成的显示延迟时间(Display Delay Time)；(2)音频输出装置输出采样率的不精确(Inaccuracy of 0utput Sample Rate)，详如下述。

请参阅图1，图1为显示器播放视频帧时，造成显示延迟时间的示意图。如图1所示，当显示器于时间T_V(T_V0、T_V1、T_V2)播放视频帧V(V₀、V₁、V₂)时，视频帧V(V₀、V₁、V₂)真正显示于显示器屏幕上的时间为T_V′(T_V0′、T_V1′、T_V2′)，亦即显示器需经过一段时间处理，才会将视频帧V′(V₀′、V₁′、V₂′)显示于屏幕上。此播放时间差即为显示延迟时间(Display Delay Time)D_LCD，如图1所示。

请参阅图2A以及图2B，图2A为理想状况下的音频帧播放示意图.图2B为实际状况下的音频帧播放示意图.图2A以及图2B中的t_An(n＝1，2，...)代表记录于文件中音频帧A_n应播放的时间，T_An代表音频帧A_n经由音频播放装置实际播放的时间。于理想状况下，当音频帧A_n随时间播放时，记录于文件中音频帧A_n应播放的时间t_An会刚好等于实际播放的时间T_An，如图2A所示。然而，由于音频输出采样率的不精确，当音频播放装置播放一段时间之后，记录于文件中音频帧A_n预定播放时间t_An与实际播放时间T_An便会开始产生差异，如图2B所示。

以AMR为例，每个AMR音频帧包含160个音频样本(Sample)，播放的音频输出采样率(Output Sample Rate)为8000赫兹(Hz)。但是由于采用的音频输出装置的时钟不精确，实际的输出采样率可能是7999赫兹。正常每秒钟所能播放的音频样本个数便由8000个减少为7999个。所以在播放1000秒后，实际播放的音频样本数便较理论上应播放的音频样本数少了1000*(8000-7999)＝1000个。由此推得经过1000秒之后，音频帧A_n应播放的时间t_An与实际播放的时间T_An便差了1000*(1/8000*100)＝125毫秒。由之前提到的视频与音频间不同步的条件，使用者将会察觉音频与视频间的不同步。

已知技术中，‘279号专利以及‘166号专利皆无针对显示延迟时间以及音频输出采样率的不确定性作改善。‘776号专利虽然改善了显示延迟时间，却仍然没有考虑到音频输出采样率的不确定性。

因此，本发明的主要目的在于提供一种影音播放系统及其方法，以解决上述问题。

发明内容

本发明的一目的在于提供一种影音播放系统及其方法，用以保持视频帧及音频帧的同步播放，进而增进影音播放质量。

根据本发明的一较佳具体实施例，影音播放系统(Audio/Video playersystem)包含存储器(Memory)、处理器(Processor)、音频解码器(Audiodecoder)、视频解码器(Video decoder)、总线(Bus)、存储接口(Storageinterface)、存储装置(Storage device)、音频输出接口、音频输出装置(Audio output device)、视频输出接口以及视频输出装置(Video outputdevice)。

于上述的实施例中，存储器用以存储软件程序(Software program)以及暂存音频帧和视频帧数据。总线用以供各接口与存储器、处理器、音频解码器及视频解码器之间的沟通。存储装置用以存放压缩的影音文件，包含音频帧压缩数据及预定音频播放时间以及视频帧压缩数据及预定视频播放时间且利用存储接口与其它总线上的元件沟通。音频解码器及视频解码器用以解码编码过后的音频帧及视频帧。音频输出接口及视频输出接口用以将解码过后的音频帧与视频帧送交音频输出装置及视频输出装置播放。处理器用以执行存储于存储器中的软件程序，并且控制各元件，于适当的时间播放音频及视频数据。

处理器将编码过后的音频帧及视频帧数据经由存储接口从存储装置中取出暂存于存储器中，同时并取得该音频帧及视频帧的预定音频播放时间及视频播放时间，并且控制音频解码器及视频解码器解码暂存于存储器中的音频帧及视频帧数据。其后处理器将解码过后的音频帧及视频帧数据分别经由音频输出接口及视频输出接口送交音频输出装置与视频播放装置播放，并且取得真实音频播放时间。根据该音频帧的预定音频播放时间以及该真实音频播放时间，处理器计算同步偏移时间(Synchronization offset time).根据该同步偏移时间、该视频帧的预定视频播放时间以及显示延迟时间(DisplayDelay Time)，处理器计算对应于该视频帧的调整视频播放时间。根据该调整视频播放时间以及目前时间，处理器选择性地将该视频帧送交视频播放装置播放。藉此，视频帧及音频帧即可保持同步播放。

本发明还提供了一种于影音播放系统中保持视频帧及音频帧同步播放的方法，该方法包含下列步骤：(a)读取该多个音频帧中的音频帧，取得预定音频播放时间，并且解码该音频帧，播放该音频帧，取得该音频帧的真实音频播放时间；(b)根据该音频帧的该预定音频播放时间以及该真实音频播放时间，计算同步偏移时间；(c)读取该多个视频帧中的视频帧，取得预定视频播放时间；(d)根据该同步偏移时间、该视频帧的该预定视频播放时间以及显示延迟时间，计算对应于该视频帧的调整视频播放时间；以及(e)解码该视频帧，根据该调整视频播放时间播放该视频帧。

因此，通过本发明的影音播放系统及其方法，不仅考虑了显示器造成的显示延迟时间，并且进一步考虑了音频输出采样率的不精确，因而可随时保持视频帧及音频帧的同步播放，进而增进影音播放质量。

关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一步的了解。

附图说明

图1为显示器播放视频帧时，造成显示延迟时间的示意图。

图2A为理想状况下的音频帧播放示意图。

图2B为实际状况下的音频帧播放示意图。

图3为根据本发明第一较佳具体实施例的影音播放系统的功能方块图。

图4为根据本发明第一较佳具体实施例的视频帧播放示意图。

图5为根据本发明第一较佳具体实施例的影音同步播放方法的流程图。

[主要元件标号说明]

10：影音播放系统         12：存储器

14：处理器               16：音频解码器

18：视频解码器           20：总线

22：存储接口             24：音频输出接口

26：视频输出接口         28：存储装置

30：音频输出装置         32：视频输出装置

A_n：音频帧               V_i：视频帧

t_An：预定音频播放时间    t_Vi：预定视频播放时间

T_An：真实音频播放时间     D_sync：同步偏移时间

t_adj：调整视频播放时间    D_LCD：显示延迟时间

T：目前时间               S100～S128：流程步骤

具体实施方式

请参阅图3，图3为根据本发明第一较佳具体实施例的影音播放系统10的功能方块图.影音播放系统(Audio/video player system)10用以保持所有视频帧(Video frame)及音频帧(Audio frame)的同步播放。如图3所示，影音播放系统10包含存储器12、处理器14、音频解码器16、视频解码器18、总线20、存储接口22、存储装置28、音频输出接口24、音频输出装置30、视频输出接口26、视频输出装置32。音频输出装置30可为扬声器或其它类似装置，且视频输出装置32可为液晶显示器(Liquid crystal display，LCD)或其它类似装置。值得注意的是，处理器14、存储器12、音频解码器16、视频解码器18、存储接口28、音频输出接口24、视频输出接口26、与总线20可整合于系统单芯片(System on a Chip，SoC)中。若处理器14的效能高，可替代音频解码器12的功能，由处理器14执行解码已压缩的音频帧。若处理器14的效能极高，甚至也可替代视频解码器18，由处理器14执行解码已压缩的视频帧。

请再一并参阅图2B以及图4，图4为根据本发明第一较佳具体实施例的视频帧播放示意图。于上述的实施例中，处理器14用以从存储装置28读取压缩的音频帧及其预定播放时间或是视频帧及其预定播放时间。若先取得压缩音频帧A_n及其预定音频播放时间t_An，处理器14利用音频解码器16将该音频帧An解码再经由音频输出接口24从音频输出装置30播出，在此同时并取得该音频帧A_n的真实音频播放时间T_An。根据该音频帧A_n的预定音频播放时间t_An以及真实音频播放时间T_An，处理器14计算同步偏移时间(Synchronizationoffset time)D_sync(t_An-T_An)，如图2B所示。若先取得压缩视频帧V_i(i＝1，2，...)及其预定视频播放时间t_Vi，根据同步偏移时间D_sync以及显示延迟时间DLCD，处理器14计算对应于该视频帧V_i的调整视频播放时间t_adj(t_Vi-D_LCD+D_sync)，如图4所示。根据该调整视频播放时间t_adj以及目前时间T，处理器14选择性地将视频帧V_i经由视频输出接口26送交视频输出装置32播放。藉此，视频帧及音频帧即可保持同步播放。于此实施例中，预定视频播放偏移时间D_LCD是指当视频播放装置播放视频帧时，所造成的显示延迟时间。目前时间T是指目前的系统显示时间。

于上述的实施例中，处理器14依据进阶延迟及丢弃策略(Advanced Delayand Drop Policy)选择性地播放视频帧。若该调整视频播放时间t_adj在该目前时间T之后，亦即目前的系统显示时间尚未达到该调整视频播放时间t_adj，处理器14会延迟(Delay)该目前时间T到该调整视频播放时间t_adj时，才播放该视频帧V_i。若该调整视频播放时间t_adj在该目前时间T之前，亦即目前的系统显示时间已经超过该调整视频播放时间t_adj，处理器14则会进一步判断该调整视频播放时间t_adj与该目前时间T的差值是否大于预定临界值(Threshold)。若该调整视频播放时间t_adj与该目前时间T的差值大于该预定临界值时，处理器14会丢弃(Drop)视频帧V_i，亦即该视频帧V_i不会被播放，否则处理器14会于目前时间T播放该视频帧V_i。藉此，不仅视频帧及音频帧可保持同步播放，而且可在不影响同步播放的原则下，将已解码的视频帧尽量播放出来，以增进视频播放质量。于此实施例中，预定临界值可依据不同的需求而设计之。例如，于一较佳具体实施例中，预定临界值可设定为t_Vi-2D_LCD。

请参阅图5，图5为根据本发明第一较佳具体实施例的影音同步播放方法的流程图。根据上述的较佳具体实施例，本发明的方法用以于影音播放系统中保持视频帧及音频帧的同步播放。该方法包含下列步骤：

步骤S100：开始；

步骤S102：从存储装置中读取影音数据，取得音频帧及音频预定播放时间或是视频帧及预定视频播放时间；

步骤S104：若于步骤S102所读取的是音频帧，则进行步骤S106；若否，进行步骤S112；

步骤S106：控制音频解码器解码已压缩的音频帧；

步骤S108：将已解码的音频帧数据，传送至音频输出接口，由音频输出装置播放；

步骤S110：根据真实音频播放时间及音频预定播放时间计算同步偏移时间；

步骤S112：于步骤S102所读取的是视频帧，则控制视频解码器解码已压缩的视频帧；

步骤S114：根据同步偏移时间、以及该视频帧的预定视频播出时间、以及显示延迟时间(Display Delay Time)，计算出调整视频播放时间；

步骤S116：确认调整视频播放时间是否在目前时间之前；若否，进行步骤S120；若是，进行步骤S118；

步骤S118：确认调整视频播放时间是否大于临界值；若是，则进行步骤S122；若否，则进行步骤S124；

步骤S120：延迟于调整视频播放时间时播放视频帧；

步骤S122：丢弃视频帧，不播放；

步骤S124：于目前时间立即播放视频帧；

步骤S126：是否所有音频帧及视频帧都已被处理；若是，进行步骤S128；若否，进行步骤S102；

步骤S128：结束。

相较于已知技术，本发明的影音播放系统及其方法不仅考虑了显示器造成的显示延迟时间，并且进一步考虑了音频输出采样率的不精确，因而可随时保持视频帧及音频帧的同步播放，进而增进影音播放质量。此外，通过本发明的进阶延迟及丢弃策略，不仅视频帧及音频帧可保持同步播放，而且可在不影响同步播放的原则下，将已解码的视频帧尽量播放出来，以增进视频播放质量。

通过以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求范围的范畴内。

Claims (2)

1.一种于影音播放系统中保持视频帧及音频帧同步播放的方法，该方法包含下列步骤：

(a)读取多个音频帧中的音频帧，取得预定音频播放时间，并且解码该音频帧，播放该音频帧，取得该音频帧的真实音频播放时间；

(b)根据该音频帧的该预定音频播放时间以及该真实音频播放时间，计算同步偏移时间；

(c)读取多个视频帧中的视频帧，取得预定视频播放时间；

(d)根据该同步偏移时间、该视频帧的该预定视频播放时间以及显示延迟时间，计算对应于该视频帧的调整视频播放时间；以及

(e)解码该视频帧，根据该调整视频播放时间播放该视频帧。

2.根据权利要求1所述的方法，其中步骤(e)还包含下列步骤：

(e1)判断该调整视频播放时间是否在目前时间之前；若否，则执行步骤(e2)；若是，则执行步骤(e3)；

(e2)延迟于该调整视频播放时间时，播放该视频帧；以及

(e3)判断该调整视频播放时间与该目前时间的差值是否大于临界值；若是，则丢弃该视频帧；若否，则立即于目前时间播放该视频帧。

Images