CN119363284B - 多房间多声道音频同步方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及音频处理技术领域，公开了一种多房间多声道音频同步方法、装置、设备及存储介质，该方法通过确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对音频信号按照声道进行编码，得到音频编码数据；基于用户数据报协议和NACK重传机制，对音频编码数据进行优化，得到音频编码序列数据包；利用预设的房间同步控制策略和声道同步控制策略，控制音频编码序列数据包在至少一个从音频设备中同步播放。本申请中，通过低延迟LC3编码对音频信号进行编码，从而最大程度降低传输延迟，并且使用UDP协议和NACK重传机制对编码后的音频信号进行传输，降低了网络带宽占用，又避免了传输或者重传所带来的额外延迟。

Description

多房间多声道音频同步方法、装置、设备及存储介质

技术领域

本申请涉及音频处理技术领域，尤其涉及一种多房间多声道音频同步方法、装置、设备及存储介质。

背景技术

在实时音频通信领域，特别是多房间和多声道的音频系统，其可采用无线或者有线的方式连接。而随着无线技术的发展，系统中无线音频设备已成为使用的趋势，无线的方式可以简化了线路。

为了保证无线音频设备之间音频信号的同步性，目前是采用AAC、MP3等音频编码技术和TCP协议来降低传输时延，这些编码方案虽然在压缩率方面表现出色，但其编解码过程需要积累一定时间的音频帧才能进行处理，导致较高的算法延迟。同理TCP协议虽然能保证数据传输的可靠性，但其拥塞控制和重传机制在网络不稳定时会导致显著的延迟增加。因此，当前使用的音频同步方案仍然会存在音频延迟高、同步性差的问题。

发明内容

本申请提供了一种多房间多声道音频同步方法、装置、设备及存储介质，以解决现有技术中音频系统存在音频延迟高、同步性差的问题。

本申请第一方面提供了一种多房间多声道音频同步方法，所述方法包括：确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；基于用户数据报协议和NACK重传机制，对所述音频编码数据进行优化，得到音频编码序列数据包；利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于声道分组动态分配各声道音频发送的同步策略。

在一种可行的实施方式中，所述利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据，包括：从预设的低延迟音频编码策略中确定编码参数，所述编码参数包括帧长、比特率和采样率；利用音频处理工具分离所述音频信号各声道的音频频谱，得到多个声道音频；利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样频率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据。

在一种可行的实施方式中，所述利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样频率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据，包括：基于所述比特率、所述帧长和所述采样率，对各所述声道音频进行分帧处理，得到多个音频帧信号，其中，每个音频帧信号的长度等于所述帧长且包含N个采样点，所述N个采样点基于所述采样率计算得到；利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据。

在一种可行的实施方式中，在所述确定主音频设备中待播放的音频信号之后，在所述利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据之前，还包括：利用自适应噪声抑制算法对所述音频信号进行噪声抑制；利用自适应滤波算法对印制后的音频信号进行回声消除；对回声消除后的音频信号进行归一化处理，输出音频信号。

在一种可行的实施方式中，所述基于用户数据报协议和NACK重传机制，对所述音频编码数据进行优化，得到音频编码序列数据包，包括：基于用户数据报协议中定义的数据包格式，在各个所述音频帧信号的音频编码数据中添加唯一标识的数据包头，该数据包头包括帧的序列号、时间戳和冗余标记；利用NACK重传机制和所述序列号，计算出对应的音频帧信号的重传最大次数，并将所述重传最大次数和NACK应答标记添加至所述音频帧信号的音频编码数据中；将添加完所述数据包头、所述重传最大次数和所述NACK应答标记后的各音频帧信号，按照时间先后顺序排序，得到音频编码序列数据包。

在一种可行的实施方式中，所述利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放，包括：通过选举机制相互投票选举出主音频设备，并控制所述主音频设备向多个从音频设备发送同步指令，其中，所述同步指令中包含时间戳信息，所述时间戳信息包括主音频设备的发送时间和到达各从音频设备的接收时间；根据各从音频设备基于所述同步指令返回的响应应答，计算主音频设备与各从音频设备之间各声道的时钟偏差；基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放。

在一种可行的实施方式中，所述基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放，包括：基于各声道的所述时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源；基于调整后的带宽发送所述音频编码序列数据包至对应的从音频设备中播放。

在一种可行的实施方式中，所述基于各声道的所述时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源，包括：按照各声道的所述时钟偏差的大小，对每个从音频设备的各声道进行排序，其中所述声道包括前置声道、环绕声道和低音声道；按照声道对带宽资源的使用优先级和声道的排序，计算出各声道的加权系数；基于所述加权系数和带宽分配比特率公式，计算出各声道的带宽资源；其中，所述前置声道和所述低音声道的优先权最高。

在一种可行的实施方式中，所述基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放，包括：基于各声道的所述时钟偏差计算出所述从音频设备的缓冲音频大小；基于所述缓冲音频大小，配置对应的缓冲区；监控所述缓冲区中存储所述音频编码序列数据包的情况，并在所述缓冲区完全被占用后，控制对应的从音频设备进行播放。

在一种可行的实施方式中，所述基于所述缓冲音频大小，配置对应的缓冲区，包括：利用延迟补偿算法，基于所述缓冲音频大小计算出对应的缓冲区大小，其中，所述缓冲区大小为：，其中，为调整后的缓冲区大小，为当前缓冲区大小，为时钟偏差，r为缓冲区调整系数。

在一种可行的实施方式中，在所述利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放之后，还包括：检测是否存在NACK应答消息；若存在，则基于所述NACK应答消息确定目标从音频设备，并将所述音频编码序列数据包按照所述重传最大次数进行轮询传输至所述目标从音频设备。

本申请第二方面提供了一种多房间多声道音频同步装置，包括：编码模块，用于确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；优化模块，用于基于用户数据报协议和NACK重传机制，对所述音频编码数据进行优化，得到音频编码序列数据包；传输模块，用于利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于声道分组动态分配各声道音频发送的同步策略。

本申请第三方面提供了一种音频设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述音频设备执行上述的多房间多声道音频同步方法。

本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的多房间多声道音频同步方法。

本申请提供的技术方案中，确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略（LC3）对音频信号按照声道进行编码，得到音频编码数据；基于用户数据报（UDP）协议和NACK重传机制，对音频编码数据进行优化，得到音频编码序列数据包；利用预设的房间同步控制策略和声道同步控制策略，控制音频编码序列数据包在至少一个从音频设备中同步播放。本申请中，通过低延迟LC3编码对音频信号进行编码，从而最大程度降低传输延迟，并且使用UDP协议和NACK重传机制对编码后的音频信号进行传输，降低了网络带宽占用，又避免了传输或者重传所带来的额外延迟。

附图说明

图1为本申请实施例中多房间多声道音频同步方法的一个实施例示意图；

图2为本申请实施例中多房间多声道音频同步方法的另一个实施例示意图；

图3为本申请实施例中多房间多声道音频同步装置的一个实施例示意图；

图4为本申请实施例中多房间多声道音频同步装置的另一个实施例示意图；

图5为本申请实施例中音频设备的一个实施例示意图。

具体实施方式

本申请实施例提供了一种多房间多声道音频同步方法、装置、设备及存储介质，通过采用低延迟LC3编码作为音频编码方案，相比传统编码方案可显著降低编解码延迟。同时，还基于UDP的可靠传输机制，通过优化的重传算法，在保证可靠性的同时最大程度降低传输延迟，以及基于多房间和多声道场景的音频同步优化策略，实现了毫秒级的设备间音频同步。在多声道应用场景下，通过创新的分布式时钟同步和动态延迟补偿机制，确保各声道信号精确同步，为无线家庭影院系统提供可靠保障。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，本申请的执行主体可以为多房间多声道音频同步装置，还可以是终端或者音频播放软件或者服务器，具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明，该服务器为本地局域网的服务器，并且在服务器上安装有可以实现多个房间音频播放的控制软件，如某某音乐软件。本申请中，以服务器作为主音频设备（其设置在其中一个房间内），其他房间或者音频设备作为从音频设备。

为便于理解，下面对本申请实施例的具体流程进行描述，请参阅图1，本申请实施例中多房间多声道音频同步方法的一个实施例包括：

101、确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对音频信号按照声道进行编码，得到音频编码数据。

本实施例中，服务器在获取当前待播放的音频信号时，可以是服务器自身的音乐软件输出的音频，也可以是用户通过智能手机、IPAD等设备连接服务器的音频软件/平台时传输给服务器的音频，其中该音频的格式可以是杜比AC-3、DTS-HD、Dolby TrueHD或Atmos等高级多声道格式。

可理解的是，以服务器作为主音频设备，房间的音箱作为从音频设备，服务器中的控制器检测是否触发音频播放功能，并且还是多房间的同时播放同一个音频信号。

在确定待播放的音频信号之后，对音频信号进行编码，需要说明的是，这里的编码是采用低延迟的编码方式来实现，例如LC3编码器。进一步的，还可以采用并行帧的方式结合LC3编码器来进一步降低编码延迟。

具体的，从预设的低延迟音频编码策略中确定编码参数，所述编码参数包括帧长、比特率和采样率；利用音频处理工具分离所述音频信号各声道的音频频谱，得到多个声道音频；利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样频率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据。

可理解的是，通过解析低延迟音频编码策略得到帧长、比特率和采样率，而帧长、比特率和采样率的具体数值，则是基于用户对各从音频设备的播放音效来确定。具体的，根据播放音效和编码器的参数确定帧长，该帧长通常较短，以减少编码和解码延迟，常见是10ms到30ms之间。

对于比特率的确定，则根据播放音效和编码器的对音频数据的压缩程度，如通过权衡音频质量和传输带宽的均衡度来计算得到。

对于采样率的确定，则以音频信号的频率分辨率作为采样率，常见的采样率包括44.1kHz、48kHz和16kHz等。

对于分离出各声道的音频频谱，使用音频处理工具（如FFT）将音频信号各声道的音频频谱分离，其公式为：

，

其中，x[n]是输入信号，X[k]是频域信号，N是FFT点数。

在利用LC3编码器和并行子帧处理机制进行编码时，先初始化LC3编码器，设置帧长、比特率和采样率，将每个声道音频，按帧长划分成多个子帧，然后每个子帧进行LC3编码，最后将所有子帧的编码数据组合成最终的音频编码数据。其中，在并行子帧处理时，首先将音频帧分成多个子帧，然后使用多线程或并行计算框架（如OpenMP、CUDA）对子帧进行并行处理，最后合并并行处理后的编码数据。

102、基于用户数据报协议和NACK重传机制，对音频编码数据进行优化，得到音频编码序列数据包。

本实施例中，通过确定每个数据包的大小，通常取决于网络带宽、延迟和抖动等因素；将音频编码数据按数据包大小进行分割，每个数据包包含一部分音频编码数据；为每个数据包添加头部信息，包括序列号、时间戳、数据包大小等。进一步的，还可以添加校验和、或者循环冗余校验字段，用于错误检测。

103、利用预设的房间同步控制策略和声道同步控制策略，控制音频编码序列数据包在至少一个从音频设备中同步播放。

需要说明的是，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于声道分组动态分配各声道音频发送的同步策略。

该步骤实际上是包括时钟同步、声道分组与动态分配、以及音频播放同步三大部分。其中，时钟同步通过房间同步控制策略实现，声道分组与动态分配则是通过声道同步控制策略实现。

对于通过房间同步控制策略实现时钟同步时，包括：基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步。

需要说明的是，所述基于分布式时钟同步机制进行多个音频设备的时钟同步包括：

在每个音频设备上实现网络时间协议（NTP）或类似的分布式时钟同步机制；音频设备定期向网络中的时间服务器发送时间请求，并接收时间服务器的响应；根据时间服务器的响应，调整音频设备的本地时钟，以实现多个音频设备之间的时钟同步；监控时钟漂移，并周期性地进行时钟校正，以保持同步精度。

所述基于PTP协议进行主音频设备和从音频设备的时钟同步包括：

在主音频设备上配置为PTP（Precision Time Protocol，精确时间协议）的主时钟；在从音频设备上配置为PTP的从时钟，并设置它们的主时钟为已配置的主音频设备；PTP协议通过交换同步消息（Sync）、跟随消息（Follow_Up）、延迟请求消息（Delay_Req）和延迟响应消息（Delay_Resp）来实现时间同步；从音频设备根据接收到的同步消息计算其相对于主音频设备的时钟偏移，并调整其本地时钟以匹配主音频设备的时钟；监控PTP同步状态，并在必要时重新进行同步。

对于通过声道同步控制策略实现声道分组与动态分配，包括：

根据音频内容的声道配置（如立体声、环绕声等），将声道分为不同的组；为每个声道组分配一个唯一的标识符（ID）和相应的音频发送通道；在主音频设备上，根据声道分组和动态分配策略，生成音频发送任务，每个任务包含要发送的音频数据、目标声道组、发送时间戳等信息；音频设备根据时钟同步结果，计算每个音频发送任务的精确发送时间，并将任务分配给相应的从音频设备；从音频设备在接收到音频发送任务后，根据本地时钟和同步信息，在指定的时间点上播放音频数据；监控音频播放同步状态，如果检测到不同步的情况（如延迟、抖动等），则根据同步控制算法进行调整，如增加缓冲区大小、调整发送时间等。

在完成上述同步和分配后，在主音频设备上，根据音频内容的播放顺序和时间线，生成播放任务列表；播放任务列表包含每个音频片段的播放时间、持续时间、声道组等信息；主音频设备根据时钟同步结果和播放任务列表，计算每个音频片段的精确播放时间，并将播放指令发送给从音频设备；从音频设备在接收到播放指令后，根据本地时钟和同步信息，在指定的时间点上开始播放音频片段。

本申请实施例中，通过低延迟LC3编码对音频信号进行编码，从而最大程度降低传输延迟，并且使用UDP协议和NACK重传机制对编码后的音频信号进行传输，降低了网络带宽占用，又避免了传输或者重传所带来的额外延迟。

请参阅图2，本申请实施例中多房间多声道音频同步方法的另一个实施例包括：

201、获取当前待播放的音频信号，并利用低延迟音频编码LC3对音频信号进行编码。

该步骤中，通过从预设的低延迟音频编码策略中确定编码参数，所述编码参数包括帧长、比特率和采样率；利用音频处理工具分离所述音频信号各声道的音频频谱，得到多个声道音频；利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样频率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据。

需要说明的是，其编码的过程是，基于所述比特率、所述帧长和所述采样率，对各所述声道音频进行分帧处理，得到多个音频帧信号，其中，每个音频帧信号的长度等于所述帧长且包含N个采样点，所述N个采样点基于所述采样率计算得到；利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据。

在另一可行的实施方式中，在所述确定主音频设备中待播放的音频信号之后，在所述利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据之前，还包括：利用自适应噪声抑制算法对所述音频信号进行噪声抑制；利用自适应滤波算法对印制后的音频信号进行回声消除；对回声消除后的音频信号进行归一化处理，输出音频信号。

利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据，具体是通过采样频率为48kHz的音频采集设备采集音频信号；对采集的音频信号进行噪声抑制、回声消除和自动增益控制，确保音频信号的质量；将音频信号按照2.5ms的超短帧进行划分，每帧包含120个采样点；通过快速傅里叶变换（FFT）将每帧音频信号转换为频域信号，并进行量化与压缩，利用霍夫曼编码进行数据压缩处理。

在另一可行的实施方式中，所述利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据具体实现如下：

首先，输入音频帧信号进行划分；具体的对音频帧信号x[n]被采样并以2.5ms帧划分，每帧包含N=48×2.5=120个采样点。

然后，对子帧并行处理；具体的将每帧数据分为k个子帧，每个子帧的长度为 M=N/k，并行处理每个子帧。

其次，进行离散傅里叶变换（DFT）；具体的，每个子帧执行快速傅里叶变换（FFT），其公式为：，k为子帧的数量。

202、基于用户数据报协议中定义的数据包格式，在各个音频帧信号的音频编码数据中添加唯一标识的数据包头，该数据包头包括帧的序列号、时间戳和冗余标记。

具体的，首先为每个音频帧信号生成一个新的数据包头，并初始化其字段；然后调用预设的数据包头定义规则确定序列号、时间戳和冗余标记，其中序列号可以从0开始递增，每次发送一个音频帧信号时增加1；时间戳可以使用高精度计时器（如POSIX的clock_gettime函数）获取当前时间戳；冗余标记则是通过解析每个音频帧信号中的内容字段，提取其中无音频的频段为冗余内容；最后将数据包头与音频帧数据打包在一起，形成完整的UDP数据包。在后续同步播放时，从UDP数据包中提取数据包头和音频帧数据，并根据序列号和时间戳进行重组和播放。

203、利用NACK重传机制和序列号，计算出对应的音频帧信号的重传最大次数，并将重传最大次数和NACK应答标记添加至音频帧信号的音频编码数据中。

204、将添加完数据包头、所述重传最大次数和NACK应答标记后的各音频帧信号，按照时间先后顺序排序，得到音频编码序列数据包。

这里的NACK重传机制用于，在检测到数据包丢失或损坏时，返馈NACK消息请求重新发送丢失的数据包。

所述计算重传最大次数为针对每个序列号的数据包重传次数限制，当重传次数达到预设的最大次数时，放弃重传。

所述NACK应答标记用于标记该音频编码数据的重传请求是基于NACK应答来请求，通过返馈NACK消息中携带当前请求重传的数据包的序列号，作为NACK应答标记；在收到NACK消息后，根据序列号更新对应数据包的重传计数器，并准备重传。

205、通过选举机制相互投票选举出主音频设备，并控制主音频设备向多个从音频设备发送同步指令。

所述同步指令中包含时间戳信息，所述时间戳信息包括主音频设备的发送时间和到达各从音频设备的接收时间。

本实施例中，通过多房间中的音频设备相互广播消息投票，在其中存在一个音频设备接收到其他音频设备的广播消息大于总房间数的一半时，该音频设备会向网络广播其主设备身份和状态信息。其他从设备在接收到主设备的广播后，会确认其身份，并准备接收同步指令。

在发送同步指令时，主设备会维护一个全局时间戳，用于同步所有设备的播放时间；

从设备会定期向主设备发送时间同步请求，以确保其本地时间与主设备的时间保持一致。

当主设备接收到播放指令时，根据全局时间戳计算出一个统一的播放时间点；主设备会向所有从设备发送播放同步指令，包括播放开始时间、播放时长等关键信息；

从设备在接收到同步指令后，会根据指令调整其播放时间，以确保与主设备的播放保持同步。

进一步的的，若从设备在接收到同步指令后未能正确执行（例如，由于网络延迟或设备故障），向主设备发送错误报告；主设备在接收到错误报告后，可以采取相应的补救措施，例如重新发送同步指令或调整播放策略。

206、根据各从音频设备基于同步指令返回的响应应答，计算主音频设备与各从音频设备之间各声道的时钟偏差。

该时钟偏差的计算实际上是通过时间戳交换的方式获得：

首先，主设备发送同步消息，记录发送时间T1。

然后，从设备接收消息，记录接收时间T2。

最后，从设备响应，主设备记录时间T3和T4。

基于此，时钟偏差ΔT=（(T2−T1)−(T4−T3)）/2。

207、基于各声道的时钟偏差规划将音频编码序列数据包至对应的从音频设备中播放。

本实施例中，所述基于时钟偏差控制音频播放包括两种方式实现：一种是通过调整带宽资源的方式；另一种是通过设置缓冲区的方式。

对于通过调整带宽资源的方式，具体包括：

按照各声道的所述时钟偏差的大小，对每个从音频设备的各声道进行排序，其中所述声道包括前置声道、环绕声道和低音声道；

按照声道对带宽资源的使用优先级和声道的排序，计算出各声道的加权系数；

基于所述加权系数和带宽分配比特率公式，计算出各声道的带宽资源；其中，所述前置声道和所述低音声道的优先权最高。

所述带宽分配比特率公式为，为第i个声道的比特率，为声道的加权系数，B为总带宽，N为声道总数。

对于通过设置缓冲区的方式，具体包括：

基于各声道的所述时钟偏差计算出所述从音频设备的缓冲音频大小；

基于所述缓冲音频大小，配置对应的缓冲区；

监控所述缓冲区中存储所述音频编码序列数据包的情况，并在所述缓冲区完全被占用后，控制对应的从音频设备进行播放。

其中，所述基于所述缓冲音频大小，配置对应的缓冲区，包括：

利用延迟补偿算法，基于所述缓冲音频大小计算出对应的缓冲区大小，其中，所述缓冲区大小为：

，其中，为调整后的缓冲区大小，为当前缓冲区大小，为时钟偏差，r为缓冲区调整系数。

在另一可行的实施方式中，在所述利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放之后，还包括：

检测是否存在NACK应答消息；

若存在，则基于所述NACK应答消息确定目标从音频设备，并将所述音频编码序列数据包按照所述重传最大次数进行轮询传输至所述目标从音频设备。

本申请实施例中，通过创新性地结合低延迟LC3编码技术、优化的UDP传输机制和分布式同步策略，成功解决了多房间及多声道实时音频同步的技术难题。在音频编码层面，采用2.5ms超短帧长的LC3编码方案，配合并行的子帧处理机制，将编解码总延迟控制在1.5ms以内，相比传统音频编码方案提升了近10倍的性能。在网络传输层面，通过精心设计的基于NACK的UDP可靠传输机制，结合选择性冗余传输和智能拥塞控制策略，在保证传输可靠性的同时将网络传输延迟降低了60%以上。方案还创新性地引入了基于PTP的分布式时钟同步机制和设备级别的同步控制策略，配合自适应缓冲区管理和动态延迟补偿技术，成功将多设备间的音频同步差异控制在1ms以内。在多声道应用场景中，通过声道分组编码和动态比特分配策略，实现了高效的带宽利用，同时保证了各声道音频质量。系统还配备了完善的性能监控、故障恢复和异常处理机制，确保了方案在实际应用中的稳定性和可靠性。通过这些技术创新的有机结合，系统实现了端到端延迟低至70ms的卓越性能，同时保证了优秀的音频质量和多设备同步效果，为实时音频通信领域提供了一个全面的技术解决方案。特别在家庭影院等多声道应用场景中，该方案不仅解决了无线音箱的延迟和同步问题，还提供了比传统有线系统更灵活的部署方案，显著改善了用户体验。

上面对本申请实施例中多房间多声道音频同步方法进行了描述，下面对本申请实施例中多房间多声道音频同步装置进行描述，请参阅图3，本申请实施例中多房间多声道音频同步装置一个实施例包括：

编码模块310，用于确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；

优化模块320，用于基于用户数据报协议和NACK重传机制，对所述音频编码数据进行优化，得到音频编码序列数据包；

传输模块330，用于利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于声道分组动态分配各声道音频发送的同步策略。

本申请实施例中，通过确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略（LC3）对音频信号按照声道进行编码，得到音频编码数据；基于用户数据报（UDP）协议和NACK重传机制，对音频编码数据进行优化，得到音频编码序列数据包；利用预设的房间同步控制策略和声道同步控制策略，控制音频编码序列数据包在至少一个从音频设备中同步播放。以解决现有技术中音频系统存在音频延迟高、同步性差的问题。

请参阅图4，本申请实施例中多房间多声道音频同步装置的另一个实施例包括：

编码模块310，用于确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；

优化模块320，用于基于用户数据报协议和NACK重传机制，对所述音频编码数据进行优化，得到音频编码序列数据包；

传输模块330，用于利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于声道分组动态分配各声道音频发送的同步策略。

可选的，所述编码模块310包括：

确定单元311，用于从预设的低延迟音频编码策略中确定编码参数，所述编码参数包括帧长、比特率和采样率；

分离单元312，用于利用音频处理工具分离所述音频信号各声道的音频频谱，得到多个声道音频；

编码单元313，用于利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样频率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据。

可选的，所述编码单元313具体用于：

基于所述比特率、所述帧长和所述采样率，对各所述声道音频进行分帧处理，得到多个音频帧信号，其中，每个音频帧信号的长度等于所述帧长且包含N个采样点，所述N个采样点基于所述采样率计算得到；

利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据。

可选的，所述编码模块310还包括预处理单元314，用于：

利用自适应噪声抑制算法对所述音频信号进行噪声抑制；

利用自适应滤波算法对印制后的音频信号进行回声消除；

对回声消除后的音频信号进行归一化处理，输出音频信号。

可选的，所述优化模块320包括：

添加单元321，用于基于用户数据报协议中定义的数据包格式，在各个所述音频帧信号的音频编码数据中添加唯一标识的数据包头，该数据包头包括帧的序列号、时间戳和冗余标记；

第一计算单元322，用于利用NACK重传机制和所述序列号，计算出对应的音频帧信号的重传最大次数，并将所述重传最大次数和NACK应答标记添加至所述音频帧信号的音频编码数据中；

排序单元323，用于将添加完所述数据包头、所述重传最大次数和所述NACK应答标记后的各音频帧信号，按照时间先后顺序排序，得到音频编码序列数据包。

可选的，所述传输模块330包括：

选举单元331，用于通过选举机制相互投票选举出主音频设备，并控制所述主音频设备向多个从音频设备发送同步指令，其中，所述同步指令中包含时间戳信息，所述时间戳信息包括主音频设备的发送时间和到达各从音频设备的接收时间；

第二计算单元332，用于根据各从音频设备基于所述同步指令返回的响应应答，计算主音频设备与各从音频设备之间各声道的时钟偏差；

传输单元333，用于基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放。

可选的，所述传输单元333具体用于：

基于各声道的所述时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源；

基于调整后的带宽发送所述音频编码序列数据包至对应的从音频设备中播放。

可选的，所述传输单元333具体用于：

按照各声道的所述时钟偏差的大小，对每个从音频设备的各声道进行排序，其中所述声道包括前置声道、环绕声道和低音声道；

按照声道对带宽资源的使用优先级和声道的排序，计算出各声道的加权系数；

基于所述加权系数和带宽分配比特率公式，计算出各声道的带宽资源；其中，所述前置声道和所述低音声道的优先权最高。

可选的，所述传输单元333具体用于：

基于各声道的所述时钟偏差计算出所述从音频设备的缓冲音频大小；

基于所述缓冲音频大小，配置对应的缓冲区；

监控所述缓冲区中存储所述音频编码序列数据包的情况，并在所述缓冲区完全被占用后，控制对应的从音频设备进行播放。

可选的，所述传输单元333具体用于：

利用延迟补偿算法，基于所述缓冲音频大小计算出对应的缓冲区大小，其中，所述缓冲区大小为：

，其中，为调整后的缓冲区大小，为当前缓冲区大小，为时钟偏差，r为缓冲区调整系数。

可选的，所述传输单元333还用于：

检测是否存在NACK应答消息；

若存在，则基于所述NACK应答消息确定目标从音频设备，并将所述音频编码序列数据包按照所述重传最大次数进行轮询传输至所述目标从音频设备。

本申请实施例中，本申请中，通过低延迟LC3编码对音频信号进行编码，从而最大程度降低传输延迟，并且使用UDP协议和NACK重传机制对编码后的音频信号进行传输，降低了网络带宽占用，又避免了传输或者重传所带来的额外延迟。

上面图3和图4从模块化功能实体的角度对本申请实施例中的多房间多声道音频同步装置进行详细描述，下面从硬件处理的角度对本申请实施例中音频设备进行详细描述。

参见图5所示，该音频设备包括处理器500和存储器501，该存储器501存储有能够被处理器500执行的机器可执行指令，该处理器500执行机器可执行指令以实现上述多房间多声道音频同步方法。

进一步地，图5所示的音频设备还包括总线502和通信接口503，处理器500、通信接口503和存储器501通过总线502连接。

其中，存储器501可能包含高速随机存取存储器（Random Access Memory，RAM），也可能还包括非易失性存储器（non-volatile memory），例如，至少一个磁盘存储器。通过至少一个通信接口503（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成前述实施例的方法步骤。

本申请还提供一种音频设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的多房间多声道音频同步方法的步骤。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述提供的多房间多声道音频同步方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种多房间多声道音频同步方法，其特征在于，所述方法包括：

确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；

分离所述音频信号各声道的音频频谱，得到多个声道音频，对各声道音频进行分帧处理，得到多个音频帧信号；计算出音频帧信号的重传最大次数，并基于用户数据报协议将数据包头、重传最大次数和NACK应答标记添加至各所述音频帧信号中，按照时间先后顺序排序，得到音频编码序列数据包；

利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于各声道的时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源和基于调整后的带宽发送所述音频编码序列数据包至对应的从音频设备中播放的同步策略。

2.根据权利要求1所述的多房间多声道音频同步方法，其特征在于，所述利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据，包括：

从预设的低延迟音频编码策略中确定编码参数，所述编码参数包括帧长、比特率和采样率；

利用音频处理工具分离所述音频信号各声道的音频频谱，得到多个声道音频；

利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据。

3.根据权利要求2所述的多房间多声道音频同步方法，其特征在于，所述利用LC3编码器和并行子帧处理机制，按照所述帧长、所述比特率和所述采样率对各所述声道音频进行编码，得到所述音频信号对应的音频编码数据，包括：

基于所述比特率、所述帧长和所述采样率，对各所述声道音频进行分帧处理，得到多个音频帧信号，其中，每个音频帧信号的长度等于所述帧长且包含N个采样点，所述N个采样点基于所述采样率计算得到；

利用并行子帧处理机制控制LC3编码器对各所述音频帧信号进行编码，并拼接，得到所述音频信号对应的音频编码数据。

4.根据权利要求1所述的多房间多声道音频同步方法，其特征在于，在所述确定主音频设备中待播放的音频信号之后，在所述利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据之前，还包括：

利用自适应噪声抑制算法对所述音频信号进行噪声抑制；

利用自适应滤波算法对印制后的音频信号进行回声消除；

对回声消除后的音频信号进行归一化处理，输出音频信号。

5.根据权利要求3所述的多房间多声道音频同步方法，其特征在于，所述计算出音频帧信号的重传最大次数，并基于用户数据报协议将数据包头、重传最大次数和NACK应答标记添加至各所述音频帧信号中，按照时间先后顺序排序，得到音频编码序列数据包，包括：

基于用户数据报协议中定义的数据包格式，在各个所述音频帧信号的音频编码数据中添加唯一标识的数据包头，该数据包头包括帧的序列号、时间戳和冗余标记；

利用NACK重传机制和所述序列号，计算出对应的音频帧信号的重传最大次数，并将所述重传最大次数和NACK应答标记添加至所述音频帧信号的音频编码数据中；

将添加完所述数据包头、所述重传最大次数和所述NACK应答标记后的各音频帧信号，按照时间先后顺序排序，得到音频编码序列数据包。

6.根据权利要求1所述的多房间多声道音频同步方法，其特征在于，所述利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放，包括：

通过选举机制相互投票选举出主音频设备，并控制所述主音频设备向多个从音频设备发送同步指令，其中，所述同步指令中包含时间戳信息，所述时间戳信息包括主音频设备的发送时间和到达各从音频设备的接收时间；

根据各从音频设备基于所述同步指令返回的响应应答，计算主音频设备与各从音频设备之间各声道的时钟偏差；

基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放。

7.根据权利要求6所述的多房间多声道音频同步方法，其特征在于，所述基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放，包括：

基于各声道的所述时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源；

基于调整后的带宽发送所述音频编码序列数据包至对应的从音频设备中播放。

8.根据权利要求7所述的多房间多声道音频同步方法，其特征在于，所述基于各声道的所述时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源，包括：

按照各声道的所述时钟偏差的大小，对每个从音频设备的各声道进行排序，其中所述声道包括前置声道、环绕声道和低音声道；

按照声道对带宽资源的使用优先级和声道的排序，计算出各声道的加权系数；

基于所述加权系数和带宽分配比特率公式，计算出各声道的带宽资源；其中，所述前置声道和所述低音声道的优先权最高。

9.根据权利要求6所述的多房间多声道音频同步方法，其特征在于，所述基于各声道的所述时钟偏差规划将所述音频编码序列数据包至对应的从音频设备中播放，包括：

基于各声道的所述时钟偏差计算出所述从音频设备的缓冲音频大小；

基于所述缓冲音频大小，配置对应的缓冲区；

监控所述缓冲区中存储所述音频编码序列数据包的情况，并在所述缓冲区完全被占用后，控制对应的从音频设备进行播放。

10.根据权利要求9所述的多房间多声道音频同步方法，其特征在于，所述基于所述缓冲音频大小，配置对应的缓冲区，包括：

利用延迟补偿算法，基于所述缓冲音频大小计算出对应的缓冲区大小，其中，所述缓冲区大小为：

，其中，为调整后的缓冲区大小，为当前缓冲区大小，为时钟偏差，r为缓冲区调整系数。

11.根据权利要求5所述的多房间多声道音频同步方法，其特征在于，在所述利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放之后，还包括：

检测是否存在NACK应答消息；

若存在，则基于所述NACK应答消息确定目标从音频设备，并将所述音频编码序列数据包按照所述重传最大次数进行轮询传输至所述目标从音频设备。

12.一种多房间多声道音频同步装置，其特征在于，所述装置包括：

编码模块，用于确定主音频设备中待播放的音频信号，并利用预设的低延迟音频编码策略对所述音频信号按照声道进行编码，得到音频编码数据；

优化模块，用于分离所述音频信号各声道的音频频谱，得到多个声道音频，对各声道音频进行分帧处理，得到多个音频帧信号；计算出音频帧信号的重传最大次数，并基于用户数据报协议将数据包头、重传最大次数和NACK应答标记添加至各所述音频帧信号中，按照时间先后顺序排序，得到音频编码序列数据包；

传输模块，用于利用预设的房间同步控制策略和声道同步控制策略，控制所述音频编码序列数据包在至少一个从音频设备中同步播放；其中，所述房间同步控制策略为基于分布式时钟同步机制进行多个音频设备的时钟同步和基于PTP协议进行主音频设备和从音频设备的时钟同步的同步策略；所述声道同步控制策略为基于各声道的时钟偏差，按照宽带资源的优先分配策略调整各声道的带宽资源和基于调整后的带宽发送所述音频编码序列数据包至对应的从音频设备中播放的同步策略。

13.一种音频设备，其特征在于，所述音频设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述音频设备执行如权利要求1-11中任意一项所述的多房间多声道音频同步方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-11中任一项所述的多房间多声道音频同步方法。