CN118678119A - 虚拟音视频缓存动态调整方法、装置及存储介质 - Google Patents
虚拟音视频缓存动态调整方法、装置及存储介质 Download PDFInfo
- Publication number
- CN118678119A CN118678119A CN202410824633.8A CN202410824633A CN118678119A CN 118678119 A CN118678119 A CN 118678119A CN 202410824633 A CN202410824633 A CN 202410824633A CN 118678119 A CN118678119 A CN 118678119A
- Authority
- CN
- China
- Prior art keywords
- video frame
- delay
- standard
- frame delay
- current video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000000872 buffer Substances 0.000 claims description 134
- 238000000605 extraction Methods 0.000 claims description 14
- 230000001934 delay Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及信息传输技术领域，公开了一种虚拟音视频缓存动态调整方法、装置及存储介质，所述虚拟音视频缓存动态调整方法包括获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。通过上述方式，本申请通过标准视频帧延时确定标准音频帧延时，在确定了标准音频帧延时的情况下，根据当前视频帧延时与标准视频帧延时的误差，以标准音频帧延时为基准，实时调整当前视频帧缓存数量，提高了虚拟音视频的一致性。
Description
技术领域
本申请涉及信息传输技术领域，尤其涉及一种虚拟音视频缓存动态调整方法、装置及存储介质。
背景技术
Webcam(网络摄像头)的视频和音频来自不同的单元，实时视频来自于相机镜头，而实时音频来自于PC音频。实时视频在相机镜头获取后，经过缓冲，编码，传输后，经过USB接口提供PC解码器，PC解码器解码后加入视频缓冲队列，最后输出到虚拟摄像头视频驱动，由虚拟摄像头提供给第三方应用(如视频会议)使用。实时音频则来自于PC的麦克风采集，麦克风声音采集后即加入到音频buffer(缓存)中，然后提供给虚拟声卡驱动，通过虚拟声卡提供给第三方应用(如视频会议)使用。在实际应用中，音-视同步的一致性越高，越有利于说话人视频的应用性，有助于改善服务质量，提高用户满意度。
PC时钟与相机时钟不一致，因此需采用引入一定的buffer，并定期进行同步，通过同步算法进行音视频同步。此外，由于人耳对声音敏感度远远大于视频的敏感度。音频输出需要稳定输出，不能有明显的波动，否则声音听起来就会怪异。因此，在确定音频buffer之后，再对视频帧进行处理，从而提高音-视同步的一致性。因此，如何提高虚拟音视频的一致性成为了目前亟待解决的技术问题。
发明内容
本申请提供了一种虚拟音视频缓存动态调整方法、装置及存储介质，以提高虚拟音视频的一致性。
第一方面，本申请提供了一种虚拟音视频缓存动态调整方法，所述方法包括：
获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
进一步地，在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时，包括：
基于所述标准音频帧延时，确定对应的标准视频帧缓存数量；
根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内。
进一步地，根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内。
进一步地，在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内，包括：
计算所述当前视频帧缓存数量与所述标准视频帧缓存数量的差值；
计算所述当前视频帧缓存数量与所述差值的比值；
基于所述比值，确定所述当前视频帧缓存数量中的目标帧，并从所述当前视频帧缓存数量中删除所述目标帧。
进一步地，根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时小于所述延时最小值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行插帧调整，以使调整后的当前视频帧延时在所述误差范围内。
进一步地，获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时之前，包括：
在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时。
进一步地，在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时，包括：
将所述视频画面的前预设数量的各标定视频帧确定为所述标定视频帧集合；
获取各所述标定视频帧的标定视频帧帧率，并基于所述标定视频帧帧率，确定各所述标定视频帧的原始缓存数量；
基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时。
进一步地，基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时，包括：
计算各所述原始单帧延时的总和；
将各所述原始单帧延时的总和与所述预设数量相除，得到单帧延时平均值，并将所述单帧延时平均值确定为所述标准视频帧延时。
第二方面，本申请还提供了一种虚拟音视频缓存动态调整装置，所述装置包括：
标准音频帧延时确定模块，用于获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
当前视频帧延时确定模块，用于基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
视频帧调整模块，用于在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的虚拟音视频缓存动态调整方法。
本申请公开了一种虚拟音视频缓存动态调整方法、装置及存储介质，所述虚拟音视频缓存动态调整方法包括获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。通过上述方式，本申请通过标准视频帧延时确定标准音频帧延时，在确定了标准音频帧延时的情况下，根据当前视频帧延时与标准视频帧延时的误差，以标准音频帧延时为基准，实时调整当前视频帧缓存数量，提高了虚拟音视频的一致性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种虚拟音视频缓存动态调整方法的示意流程图；
图2为本申请的实施例提供的一种虚拟音视频缓存动态调整装置的示意性框图；
图3为本申请的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种虚拟音视频缓存动态调整方法、装置及存储介质。其中，该虚拟音视频缓存动态调整方法可以应用于服务器中，通过标准视频帧延时确定标准音频帧延时，在确定了标准音频帧延时的情况下，根据当前视频帧延时与标准视频帧延时的误差，以标准音频帧延时为基准，实时调整当前视频帧缓存数量，提高了拟音视频的一致性。其中，该服务器可以为独立的服务器，也可以为服务器集群。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的一种虚拟音视频缓存动态调整方法的示意流程图。该虚拟音视频缓存动态调整方法可应用于服务器中。
如图1所示，该虚拟音视频缓存动态调整方法具体包括步骤S10至步骤S30。
步骤S10、获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
在一个实施例中，由于人耳对声音的敏感程度远高于对于视频的敏感度，因此先确定标准音频帧延时后，以标准音频帧延时作为参照标准，对当前视频帧进行调整。
具体地，可计算视频画面中前若干帧的视频帧延时平均值，并将视频帧延时平均值确定为标准视频帧。音频缓冲大小为视频帧延迟的平均值，可以采集n(如n＝10)个视频帧的延时做平均。Bi as作为音频缓冲的最小基础数据，通常为1024的倍数，具体的计算公式为：
音频帧延时＝视频帧延时平均值+Bi as。
其中的视频帧延时平均值，可以由用户的需求自行设定，例如根据视频的长短，确定其中的若干个视频帧计算该视频帧延时平均值。
步骤S20、基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
具体地，通过当前视频帧缓存数量确定当前视频帧延时，可通过以下方式实现：
获取当前视频帧缓存数量对应的帧率，根据当前视频帧缓存数量的数量与帧率的比值，即可确定当前视频帧延时。示例性的，当前帧率为25FPS，即1秒钟内缓存25帧视频帧，对应的，每帧视频帧对应的时间为40ms。若当前视频帧缓存数量为250帧，则根据40ms与250帧的乘积可知，在当前视频帧缓存数量为250帧的情况下，对应的当前视频帧延时为10秒。
步骤S30、在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
具体地，通过标准音频帧延时调整当前视频帧延时，包括两种方式。
第一种方式，在当前视频帧延时超过了标准视频帧延时的最大误差的情况下，即当前视频帧缓存数量的数量较多，可以选择抽帧的方式，使得当前视频帧延时落在标准视频帧延时的误差范围内。抽帧的方式具体为对当前的所有缓冲画面帧进行抽帧，比如有300帧画面，需要丢弃25帧画面以达到250帧画面，则25/300＝8.333，即可以每8-9帧丢弃一个画面，以保证剩余画面的播放连续性。
第二种方式，则是当前视频帧延时小于标准视频帧延时的最小误差的情况下，即当前视频帧缓存数量的数量较少，可以选择其中的部分视频帧进行复制(画面展示效果就是画面出现停顿)，或者对当前n个视频帧进行插帧(画面展示效果就是画面展示速度变慢)，以使得当前视频帧延时落在标准视频帧延时的误差范围内。
本实施例公开了一种虚拟音视频缓存动态调整方法、装置及存储介质，所述虚拟音视频缓存动态调整方法包括获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。通过上述方式，本申请通过标准视频帧延时确定标准音频帧延时，在确定了标准音频帧延时的情况下，根据当前视频帧延时与标准视频帧延时的误差，以标准音频帧延时为基准，实时调整当前视频帧缓存数量，提高了虚拟音视频的一致性。
基于图1所示实施例，本实施例中，步骤S30包括：
基于所述标准音频帧延时，确定对应的标准视频帧缓存数量；
根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内。
具体地，由于标准音频帧延时设定为等于标准视频帧延时，则根据标准视频帧延时与视频的帧率，即可计算出标准视频帧缓存数量。
当前视频帧延时与标准视频帧延时的误差范围可以理解为三种情况，即当前视频帧延时超过了误差范围内的最大值、当前视频帧延时在误差范围内以及当前视频帧延时小于误差范围内的最小值。
当前视频帧延时在误差范围内，则视频和音频进行正常同步。例如，预先确定了标准音频帧延时与标准视频帧延时均为10秒，设定误差范围为10％，即1秒。若当前视频帧延时在9-11秒以内的情况下，则视频和音频进行正常同步。
更优地，根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内。
具体地，在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内，包括：
计算所述当前视频帧缓存数量与所述标准视频帧缓存数量的差值；
计算所述当前视频帧缓存数量与所述差值的比值；
基于所述比值，确定所述当前视频帧缓存数量中的目标帧，并从所述当前视频帧缓存数量中删除所述目标帧。
具体实施例中，以帧率为25fps为例，即每秒缓存25帧视频帧，每个视频帧对应的时间为40ms。若在此之前，设定标准音频帧延时和标准视频帧延时均为10秒，则相应的，10秒内缓存的标准视频帧缓存数量应为250帧，若当前视频帧缓存数量超过了误差范围内的最大值，则通过抽帧的方式，将当前视频帧缓存数量保持在最大的误差范围内。
若当前视频帧缓存数量为300帧的情况下，则通过下列方式进行抽帧：
若标准视频帧缓存数量为250帧，误差10％，即误差最大值为275帧，则将300帧中的25帧丢弃，即300-275＝25。至于具体丢弃的25帧如何确定，可以根据300/25＝12，即每12帧抽一帧，从而保留下275帧。
更优地，根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时小于所述延时最小值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行插帧调整，以使调整后的当前视频帧延时在所述误差范围内。
具体地，在当前视频帧延时小于误差范围内的最小值的情况下，依然以帧率为25fps为例，即每秒缓存25帧视频帧，每个视频帧对应的时间为40ms。若在此之前，设定标准音频帧延时和标准视频帧延时均为10秒，则相应的，10秒内缓存的标准视频帧缓存数量应为250帧。
若当前视频帧缓存数量只有230帧，则需要对其中20帧进行复制，以使得当前视频帧缓存数量到达250帧，从而保证了音视频同步。
基于图1所示实施例，本实施例中，步骤S10之前，包括：
在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时。
进一步地，在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时，包括：
将所述视频画面的前预设数量的各标定视频帧确定为所述标定视频帧集合；
获取各所述标定视频帧的标定视频帧帧率，并基于所述标定视频帧帧率，确定各所述标定视频帧的原始缓存数量；
基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时。
具体实施例中，标定视频帧集合即从视频画面中选择一定数量的标定视频帧，通过这些标定视频帧各自对应的原始缓存数量，确定各标定视频帧的原始缓存数量。由标定视频帧集合中各原始缓存数量，实时确定标准视频帧延时。
标准视频帧延时为用户设定的，用于确定标准音频帧延时。
更优地，基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时，包括：
计算各所述原始单帧延时的总和；
将各所述原始单帧延时的总和与所述预设数量相除，得到单帧延时平均值，并将所述单帧延时平均值确定为所述标准视频帧延时。
示例性的，以取视频画面中前10帧作为标定视频帧集合，帧率以25fps。为例比如第一视频帧播放时，视频帧缓存数量为250帧，则当前视频帧延时为10s，如第二视频帧播放时视频帧缓冲数量为225帧(第一帧视频播放期间没有接收到新的视频数据)，则当前视频帧延时为9s；第三帧视频播放时视频帧缓冲数量为275帧(第二帧视频播放器件接收到了50帧的视频数据)，则当前视频这延时为11s。以此类推，计算前10帧的原始单帧延时后，根据原始单帧延时的总和与10相除，即可确定单帧延时平均值，进而将单帧延时平均值作为标准视频帧延时。
下面将对完整实施例进行举例说明。
当用户需要对虚拟音视频进行同步处理时，需首先根据视频画面中的若干帧视频帧的单帧视频帧延时，确定标准视频帧延时，进而将标准音频帧延时设定与标准视频帧延时一致。例如，从视频画面中挑选前10帧视频帧作为标定视频帧集合，分别确定标定视频帧集合中各视频帧的原始单帧延时，并计算每个视频帧的单帧延时平均值，将其作为标准视频帧延时与标准音频帧延时。
容易理解的是，具体如何挑选本实施例中的标定视频帧集合，可以根据视频具体的长度确定该集合中视频帧的数量，若视频较长，可以相应的多挑选一些视频帧以确定标准视频帧延时与标准音频帧延时，提高标准视频帧延时与标准音频帧延时数据的准确性。
鉴于用户对于声音的敏感度高于对视频的敏感度，因此要保证音视频同步的情况下，对视频帧缓存数量的数量进行调整。获取当前视频帧缓存数量的数量，根据当前视频帧缓存数量的数量与帧率，确定当前视频帧延时。例如，通过上述方式确定标准视频帧延时与标准音频帧延时均为10秒、帧率为25fps且误差范围为±10％的前提下，可以确定标准视频帧延时对应的标准视频帧缓存数量应为10*25＝250帧。而当前视频帧缓存数量的数量为300帧时，即300帧超过了250(1+10％)＝275帧，需要将其中的25帧删除，至于具体丢弃的25帧如何确定，可以根据300/25＝12，即每12帧抽一帧，从而保留下275帧，尽量的保持视频的完整性。
相应的，若当前视频帧缓存数量不足225帧[即250*(1-10％)＝225]，例如只有220帧，则需要通过复制当前视频帧缓存或插帧的方式，将当前视频帧缓存数量补充至225帧(即误差范围内的最小值)。
若当前视频帧缓存数量恰好在标准视频帧缓存数量的误差范围内，即225帧-275帧，则直接进行音视频同步。
请参阅图2图2是本申请的实施例提供一种虚拟音视频缓存动态调整装置的示意性框图，该虚拟音视频缓存动态调整装置用于执行前述的虚拟音视频缓存动态调整方法。其中，该虚拟音视频缓存动态调整装置可以配置于服务器。
如图2所示，该虚拟音视频缓存动态调整装置400，包括：
标准音频帧延时确定模块410，用于获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
当前视频帧延时确定模块420，用于基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
视频帧调整模块430，用于在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
进一步地，所述视频帧调整模块430，包括：
标准视频帧缓存数量确定子模块，用于基于所述标准音频帧延时，确定对应的标准视频帧缓存数量；
视频帧调整子模块，用于根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内。
进一步地，所述视频帧调整子模块，包括：
抽帧单元，用于在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内。
进一步地，所述抽帧单元，包括：
缓存差值计算子单元，用于计算所述当前视频帧缓存数量与所述标准视频帧缓存数量的差值；
比值计算子单元，用于计算所述当前视频帧缓存数量与所述差值的比值；
抽帧子单元，用于基于所述比值，确定所述当前视频帧缓存数量中的目标帧，并从所述当前视频帧缓存数量中删除所述目标帧。
进一步地，所述视频帧调整子模块，包括：
插帧单元，用于在所述当前视频帧延时小于所述延时最小值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行插帧调整，以使调整后的当前视频帧延时在所述误差范围内。
进一步地，所述虚拟音视频缓存动态调整装置400，包括：
标准视频帧延时确定模块，用于在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时。
进一步地，所述标准视频帧延时确定模块，包括：
标定视频帧集合确定子模块，用于将所述视频画面的前预设数量的各标定视频帧确定为所述标定视频帧集合；
原始缓存数量确定子模块，用于获取各所述标定视频帧的标定视频帧帧率，并基于所述标定视频帧帧率，确定各所述标定视频帧的原始缓存数量；
标准视频帧延时确定子模块，用于基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图3，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种虚拟音视频缓存动态调整方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种虚拟音视频缓存动态调整方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项虚拟音视频缓存动态调整方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Medi a Card，SMC)，安全数字(Secure Di gita l，SD)卡，闪存卡(F l ash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟音视频缓存动态调整方法，其特征在于，包括：
获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
2.根据权利要求1所述的虚拟音视频缓存动态调整方法，其特征在于，所述在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时，包括：
基于所述标准音频帧延时，确定对应的标准视频帧缓存数量；
根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内。
3.根据权利要求2所述的虚拟音视频缓存动态调整方法，其特征在于，所述误差范围包括延时最大值，所述根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内。
4.根据权利要求3所述的虚拟音视频缓存动态调整方法，其特征在于，所述在所述当前视频帧延时大于所述延时最大值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行抽帧处理，以使调整后的当前视频帧延时在所述误差范围内，包括：
计算所述当前视频帧缓存数量与所述标准视频帧缓存数量的差值；
计算所述当前视频帧缓存数量与所述差值的比值；
基于所述比值，确定所述当前视频帧缓存数量中的目标帧，并从所述当前视频帧缓存数量中删除所述目标帧。
5.根据权利要求2所述的虚拟音视频缓存动态调整方法，其特征在于，所述误差范围包括延时最小值，所述根据所述当前视频帧延时与所述误差范围的关系，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行调整，以使所述当前视频帧延时在所述误差范围内，包括：
在所述当前视频帧延时小于所述延时最小值的情况下，基于所述标准视频帧缓存数量对所述当前视频帧缓存数量进行插帧调整，以使调整后的当前视频帧延时在所述误差范围内。
6.根据权利要求1所述的虚拟音视频缓存动态调整方法，其特征在于，所述获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时之前，包括：
在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时。
7.根据权利要求6所述的虚拟音视频缓存动态调整方法，其特征在于，所述在所述视频画面中确定标定视频帧集合，基于所述标定视频帧集合中各标定视频帧的视频帧缓存数量，确定所述标准视频帧延时，包括：
将所述视频画面的前预设数量的各标定视频帧确定为所述标定视频帧集合；
获取各所述标定视频帧的标定视频帧帧率，并基于所述标定视频帧帧率，确定各所述标定视频帧的原始缓存数量；
基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时。
8.根据权利要求7所述的虚拟音视频缓存动态调整方法，其特征在于，所述基于各所述原始缓存数量，确定各标定视频帧的原始单帧延时，并根据各所述原始单帧延时确定所述标准视频帧延时，包括：
计算各所述原始单帧延时的总和；
将各所述原始单帧延时的总和与所述预设数量相除，得到单帧延时平均值，并将所述单帧延时平均值确定为所述标准视频帧延时。
9.一种虚拟音视频缓存动态调整装置，其特征在于，包括：
标准音频帧延时确定模块，用于获取视频画面的标准视频帧延时，根据所述标准视频帧延时确定标准音频帧延时；
当前视频帧延时确定模块，用于基于当前视频帧缓存数量和预设帧率确定当前视频帧延时；
视频帧调整模块，用于在所述当前视频帧延时不在所述标准视频帧延时的误差范围内的情况下，基于所述标准音频帧延时调整所述当前视频帧延时。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8中任一项所述的虚拟音视频缓存动态调整方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410824633.8A CN118678119A (zh) | 2024-06-25 | 2024-06-25 | 虚拟音视频缓存动态调整方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410824633.8A CN118678119A (zh) | 2024-06-25 | 2024-06-25 | 虚拟音视频缓存动态调整方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118678119A true CN118678119A (zh) | 2024-09-20 |
Family
ID=92718820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410824633.8A Pending CN118678119A (zh) | 2024-06-25 | 2024-06-25 | 虚拟音视频缓存动态调整方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118678119A (zh) |
-
2024
- 2024-06-25 CN CN202410824633.8A patent/CN118678119A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107613357B (zh) | 声画同步优化方法、装置及可读存储介质 | |
| CN106488265A (zh) | 一种发送媒体流的方法和装置 | |
| WO2022099787A1 (zh) | 一种头戴显示设备及其数据获取方法、装置和主机 | |
| JP2010539739A (ja) | データ・フローを同期化する方法 | |
| CN109600676A (zh) | 一种数据缓冲方法及装置 | |
| CN109167890B (zh) | 一种音画同步方法和装置及显示设备 | |
| CN102665131A (zh) | 一种网络视频服务系统接收端的视频缓冲方法 | |
| CN101119461B (zh) | 保持视频帧及音频帧同步播放的系统及方法 | |
| JP2019020530A (ja) | 信号処理装置、制御方法、及びプログラム | |
| US20240340507A1 (en) | Methods, systems, and media for streaming video content using adaptive buffers | |
| CN118678119A (zh) | 虚拟音视频缓存动态调整方法、装置及存储介质 | |
| GB2563267A (en) | Methods and systems for generating a reaction video | |
| CN115484483B (zh) | 一种流媒体音视频同步方法及终端设备、控制装置、介质 | |
| CN115767158A (zh) | 同步播放方法、终端设备及存储介质 | |
| CN113271487B (zh) | 音视频同步播放方法、装置、系统、程序产品及存储介质 | |
| CN113542792B (zh) | 音频合流方法、音频上传方法、设备及程序产品 | |
| TWI395482B (zh) | 影像之處理方法及影像播放系統 | |
| CN107087210A (zh) | 基于缓存时间判断视频播放状态的方法及终端 | |
| US20240292051A1 (en) | Transmission reception system, transmission system, reception system, and transmission reception method | |
| CN115412736A (zh) | 多路视频的播放控制方法、装置、电子设备及存储介质 | |
| CN115499673B (zh) | 一种直播方法及装置 | |
| US11470362B1 (en) | Providing audio data for a video frame | |
| CN115767130B (zh) | 一种视频数据处理方法、装置、设备以及存储介质 | |
| CN115550689B (zh) | 视频追踪装置、方法、视频播放设备、方法及电子设备 | |
| CN118301398A (zh) | 视频渲染方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |