CN110915223B - 发送设备、发送方法、接收设备、接收方法和程序 - Google Patents
发送设备、发送方法、接收设备、接收方法和程序 Download PDFInfo
- Publication number
- CN110915223B CN110915223B CN201880047025.3A CN201880047025A CN110915223B CN 110915223 B CN110915223 B CN 110915223B CN 201880047025 A CN201880047025 A CN 201880047025A CN 110915223 B CN110915223 B CN 110915223B
- Authority
- CN
- China
- Prior art keywords
- delay
- data
- control information
- buffer
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000004891 communication Methods 0.000 claims abstract description 110
- 239000000872 buffer Substances 0.000 claims description 460
- 230000006835 compression Effects 0.000 claims description 308
- 238000007906 compression Methods 0.000 claims description 308
- 238000009825 accumulation Methods 0.000 claims description 93
- 238000003780 insertion Methods 0.000 claims description 80
- 230000037431 insertion Effects 0.000 claims description 80
- 238000005516 engineering process Methods 0.000 abstract description 21
- 238000012544 monitoring process Methods 0.000 description 157
- 238000012545 processing Methods 0.000 description 75
- 230000008569 process Effects 0.000 description 68
- 230000003044 adaptive effect Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 230000007704 transition Effects 0.000 description 18
- 230000003139 buffering effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L13/00—Details of the apparatus or circuits covered by groups H04L15/00 or H04L17/00
- H04L13/02—Details not particular to receiver or transmitter
- H04L13/08—Intermediate storage means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/56—Queue scheduling implementing delay-aware scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43607—Interfacing a plurality of external cards, e.g. through a DVB Common Interface [DVB-CI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Mobile Radio Communication Systems (AREA)
- Communication Control (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本技术涉及一种能够容易地切换延迟时间的发送设备、发送方法、接收设备、接收方法和程序。所述发送设备通过无线通信发送用于控制接收通过无线通信发送的数据的接收设备中的数据使用的数据控制信息、指示与接收设备中处理数据时的延迟时间相关的延迟模式的延迟控制信息以及数据。所述接收设备接收通过无线通信发送的数据、数据控制信息和延迟控制信息,根据数据控制信息和延迟控制方法控制数据使用,并输出控制使用的数据。本技术可以应用于例如通过诸如蓝牙(商标)等无线通信发送和接收声音的无线通信系统。
Description
技术领域
本技术涉及一种发送单元、一种发送方法、一种接收单元、一种接收方法和一种程序,更具体地,涉及例如一种能够容易地执行延迟时间的切换的发送单元、发送方法、接收单元、接收方法和程序。
背景技术
例如,利用例如蓝牙(注册商标)的无线通信系统称为无线通信系统,其通过无线通信将诸如图像和声音等内容从发送设备传送到接收设备,并使用接收设备实时再现内容。
在这样的无线通信系统中,为了稳定地再现内容,即使当接收设备接收内容的数据时,接收设备也不立即再现数据,而是在缓冲器中将数据缓冲预定量(或更多)之后执行再现。因此,在接收设备中,与由发送设备执行再现的情况相比,在开始再现的再现开始时间出现延迟。在无线通信系统中,由这种接收设备引起的延迟时间在下文中也称为延迟时间。
例如,在发送设备观看构成内容的图像,并且通过无线通信将构成内容的声音从发送设备发送到接收设备以由接收设备再现的情况下,接收设备的延迟时间导致不同步,其中,用户观看的图像和收听的声音彼此不同步。希望尽可能地抑制不同步,因为用户会感到不舒服。
应当注意,在无线通信系统中,已经提出了一种用于在从发送设备向接收设备发送声音的情况下抑制在接收设备中发生声音中断的技术。
引用列表
专利文献
专利文献1:国际公开号WO2016/088582
发明内容
本发明要解决的问题
作为抑制不同步的方法,可以想到减少接收设备缓冲数据的缓冲量并缩短延迟时间的方法。
然而,当缓冲量减少时,在发送设备和接收设备之间的发送路径的条件不佳的情况下,发送设备和接收设备之间的通信变得不稳定,使得当发生通信错误时,不能保证重传的时间,因此有时导致接收设备中的声音中断。
因此,在延迟时间没有问题的使用情况下,即,例如,在只听音乐的情况下,接收设备中的缓冲量被设置为大。在延迟时间有问题的使用情况下,即,例如,在发送设备观看图像并且伴随图像的声音通过无线通信传送到接收设备以收听的情况下,存在切换延迟时间的方法,其中,接收设备的缓冲量被设置为小。
然而,在切换延迟时间(即接收设备中的缓冲量)的情况下,需要断开发送设备和接收设备之间的耦合(无线通信)一次,清除接收设备的缓冲器,然后再次将发送设备和接收设备彼此耦合,这是比较麻烦的。
针对这种情况而提出本技术,并且使得更加容易切换延迟时间。
解决问题的方法
本技术的接收单元是如下一种接收单元,包括:接收部,其接收通过无线通信发送的数据;数据控制信息,用于控制数据的使用;以及延迟控制信息,指示关于处理数据时的延迟时间的延迟模式;数据控制部,其根据数据控制信息和延迟控制信息控制数据的使用;以及数据输出部,其输出控制其使用的数据,或者本技术的第一程序是一种使计算机作为这种接收单元的程序。
本技术的接收方法是如下一种接收方法,包括:接收通过无线通信发送的数据;数据控制信息,用于控制数据的使用;以及延迟控制信息,指示关于处理数据时的延迟时间的延迟模式;根据数据控制信息和延迟控制信息控制数据的使用;并且输出控制其使用的数据。
在本技术的接收单元、接收方法和第一程序中,接收通过无线通信发送的数据;数据控制信息,用于控制数据的使用;以及延迟控制信息,指示关于处理数据时的延迟时间的延迟模式,并且根据数据控制信息和延迟控制信息控制数据的使用。然后,输出控制其使用的数据。
本技术的发送单元是如下一种发送单元,包括:数据控制信息生成部,其生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息;延迟控制信息生成部,其在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息;以及发送部,其通过无线通信发送数据、数据控制信息和延迟控制信息,或者本技术的第二程序是一种使计算机用作这种发送单元的程序。
本技术的发送方法是一种发送方法,包括:生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息;在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息;并且通过无线通信发送数据、数据控制信息和延迟控制信息。
在本技术的发送单元、发送方法和第二程序中,生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息,并且在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息。然后,通过无线通信发送数据、数据控制信息和延迟控制信息。
应当注意,接收单元和发送单元可以是独立的单元,或者可以是构成一个设备的内部块。
此外,可以通过记录在记录介质中或者通过传送介质传送,来提供第一程序和第二程序。
发明的效果
根据本技术,可以容易地执行延迟时间的切换。可以容易地切换延迟时间。
应当注意,本文描述的效果不一定是限制性的,并且可以是本公开中描述的任何效果。
附图说明
[图1]是示出应用本技术的无线通信系统的实施方式的配置示例的框图;
[图2]是示出发送单元12和接收单元21的第一配置示例的框图;
[图3]是描述由发送单元12执行的用于发送声音数据的发送处理的示例的流程图;
[图4]是描述由接收单元21执行的用于接收声音数据的接收处理的示例的流程图;
[图5]是示出发送单元12和接收单元21的第二配置示例的框图;
[图6]是描述由发送单元12执行的用于发送声音数据的发送处理的示例的流程图;
[图7]是示出发送单元12和接收单元21的第三配置示例的框图;
[图8]描述了自适应延迟控制部61的处理示例;
[图9]描述了压缩率控制部65的处理示例;
[图10]描述了数据控制部71的处理示例;
[图11]是描述由发送单元12执行的用于发送声音数据的发送处理的示例的流程图;
[图12]是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
<应用本技术的无线通信系统的实施方式>
图1是示出应用本技术的无线通信系统的实施方式的配置示例的框图。
在图1中,无线通信系统包括发送设备10和接收设备20。
发送设备10包括供应单元11和发送单元12。
例如,供应单元11将内容的图像数据和声音数据供应给发送单元12,这些数据是要通过无线通信发送的数据。可以例如采用便携式设备(例如,移动电话、智能手机、便携式音乐播放器等)作为供应单元11,用于再现图像数据或声音数据,或者采用固定设备(例如,固定音乐播放器、PC(个人计算机)等)。
发送单元12与接收单元21进行无线通信,并将从供应单元11供应的声音数据等无线发送到接收单元21。
应当注意,供应单元11和发送单元12可以被配置为容纳在一个壳体中的一个设备(发送设备10),或者可以被配置为容纳在单独壳体中的单独单元。
接收设备20包括接收单元21和输出单元22。
接收单元21与发送单元12进行无线通信,从发送单元12接收通过无线通信发送的图像数据、声音数据等,并将图像数据、声音数据等提供给输出单元22。
输出单元22输出对应于从接收单元21提供的图像数据或声音数据的图像或声音。例如,作为输出单元22,可以采用将与作为电信号的图像数据对应的图像转换成视觉上可识别的图像(光)的显示器、将作为电信号的声音数据转换成能够听觉上可识别的声音的耳机(包括耳塞)、以及扬声器(包括具有内置扬声器的单元(例如,TV(电视接收机))等)。
应当注意,接收单元21和输出单元22可以被配置为容纳在一个壳体中的一个设备(接收设备20),或者可以被配置为容纳在单独壳体中的单独设备。
在如上所述配置的无线通信系统中,在发送设备10中,供应单元11向发送单元12供应声音数据。发送单元12通过无线通信将声音数据从供应单元11发送到接收单元21。
在接收设备20中,接收单元21从发送单元12接收通过无线通信发送的声音数据,并将声音数据提供给输出单元22。输出单元22输出对应于来自接收单元21的声音数据的声音。
在下文中,通过利用例如蓝牙(注册商标)作为发送单元12和接收单元21之间的无线通信来发送和接收(传送)声音数据的情况的示例,来详细描述发送单元12和接收单元21。
应当注意,可以采用除蓝牙(注册商标)之外的通信方法,作为发送单元12和接收单元21之间的无线通信。此外,例如,可以采用除声音数据之外的数据(即,诸如图像数据等内容数据),作为要在发送单元12和接收单元21之间发送和接收的数据。
在蓝牙(注册商标)中,发送声音数据的发送单元12称为源(源),接收声音数据的接收单元21称为接收点(接收点)。
例如,蓝牙(注册商标)定义了A2DP(高级音频分发简档)等。作为发送和接收声音数据的简档。
A2DP定义了一个基本的编解码器(强制编解码器),称为SBC(子带编解码器)。在SBC中,作为一种变换编码方法,作为声音数据的LPCM(线性脉冲编码调制)数据被压缩并且从发送单元12发送到接收单元21。
在图1所示的无线通信系统中,接收单元21包括内置缓冲器,在缓冲器中缓冲从发送单元12发送的声音数据,然后再现声音数据。即使在声音(数据)的再现期间以及声音(数据)的再现期间,接收单元21也能够切换(调整)缓冲器的缓冲量(累积量),从而切换(调整)延迟时间,而不会断开与发送单元12的耦合。即,可以容易地执行延迟时间的切换。
在此处,除非另有说明,否则关于接收单元21的延迟时间的延迟模式被假设为两种类型的模式:正常延迟模式(第一延迟模式),其中,由接收单元21对声音数据的再现是稳定的;以及低延迟模式(第二延迟模式),其中,延迟时间短于正常延迟模式的延迟时间。此外,作为延迟模式的切换,假设执行正常延迟模式和低延迟模式之间的切换。
在低延迟模式下,接收单元21的缓冲器的缓冲容量小于正常延迟模式中的缓冲容量。
当接收单元21中的延迟没有问题时,即,例如,在接收设备20仅用于收听作为声音的歌曲等的情况下,延迟模式被设置为正常延迟模式。此外,在延迟时间有问题的情况下,即,例如,在发送设备10上观看图像,并且伴随图像的声音从发送设备10发送到接收设备20,以在接收设备20上收听的情况下,延迟模式被设置为低延迟模式。
延迟模式由发送单元12设置,并且指示延迟模式的延迟控制信息从发送单元12发送到接收单元21。在发送单元12中,响应于用户的操作、来自应用程序(应用程序)的请求、来自OS(操作系统)的请求等来执行延迟模式的切换(设置)。
当请求切换延迟模式时,发送单元12生成指示切换后的延迟模式的延迟控制信息,并将延迟控制信息发送到接收单元21。即,例如,当请求将延迟模式从低延迟模式切换到正常延迟模式时,发送单元12生成指示正常延迟模式的延迟控制信息,并将延迟控制信息发送到接收单元21。另外,例如,当请求将延迟模式从正常模式切换到低延迟模式时,发送单元12生成指示低延迟模式的延迟控制信息,并将延迟控制信息发送到接收单元21。
接收单元21从发送单元12接收延迟控制信息,并准备切换(调整)接收单元21的缓冲器中的缓冲量,以允许根据延迟控制信息指示的延迟模式产生延迟模式中的延迟时间。
即,接收单元21不立即调整缓冲量,以允许生成由延迟控制信息指示的延迟模式中的延迟时间,而是在达到允许调整的时间时,调整缓冲量,而不会使收听声音的用户尽可能感到不适。
例如,可以利用专利文献1中描述的技术作为缓冲量调整方法,用于调整缓冲量,而尽可能不会使用户感到不适。
根据专利文献1中描述的技术,在发送侧(源)插入或丢弃作为声音数据的处理单元的帧的情况下,为每个帧确定指示感测帧的插入或丢弃的程度的感测特征量。
然后,根据感测到的特征量,生成指示允许或禁止插入或丢弃帧的标志以及指示允许或禁止插入或丢弃的程度的级别,作为帧的控制信息,并且从发送侧发送到接收侧(接收点)。
例如,在缓冲器可能发生下溢或上溢的情况下,根据缓冲声音数据的缓冲器中的缓冲量和控制信息,在接收侧执行允许插入或丢弃的帧的插入或丢弃,从而允许抑制由缓冲器的下溢或上溢引起的声音中断,而不会使用户尽可能感到不适。
根据专利文献1中描述的技术,在接收侧的缓冲器中的缓冲量被调整到恒定值,在该恒定值下,缓冲器的下溢或上溢不太可能由于帧的插入或丢弃而发生。
图1所示的无线通信系统利用专利文献1中描述的技术来将接收单元21的缓冲器中的缓冲量调整到对应于低延迟模式中的延迟时间或正常延迟模式中的延迟时间的缓冲量的机制。
<发送单元12和接收单元21的第一配置示例>
图2是示出图1中的发送单元12和接收单元21的第一配置示例的框图。
在图2中,发送单元12包括延迟控制信息生成部31、数据生成部32、(发送)缓冲器33、分组化部34和通信部35。
延迟控制信息生成部31提供有来自外部的切换延迟模式(延迟时间)的请求,例如,用户、应用程序(应用程序)、OS等。
响应于向其提供的切换延迟模式的请求,延迟控制信息生成部31生成指示关于接收单元21处理声音数据时的延迟时间的延迟模式的延迟控制信息,并将延迟控制信息提供给数据生成部32。
在此处,延迟控制信息生成部31生成指示低延迟模式或正常延迟模式的延迟控制信息,并将延迟控制信息提供给数据生成部32。
应当注意,可以采用例如二进制信息作为延迟控制信息,其中,正常延迟模式由0表示,低延迟模式由1表示。
此外,在采用三种或更多类型的延迟时间作为延迟时间的情况下,即在采用五种类型的延迟时间的情况下,例如,可以采用五种类型的延迟时间的延迟模式,例如,由值0至5表示的信息,作为延迟控制信息。
在此处,为了简化描述,延迟控制信息生成部31生成指示两种类型模式中的一种的延迟控制信息:低延迟模式和正常延迟模式。
除了从延迟控制信息生成部31提供的延迟控制信息之外,将作为声音数据的LPCM数据从供应单元11提供给数据生成部32。
数据生成部32包括例如SBC编码器,并且用作编码部,该编码部执行编码,用于将来自供应单元11的LPCM数据压缩成在称为帧的单元(例如,64个样本和128个样本)中的1/4或更少的数据量。
此外,数据生成部32用作数据控制信息生成部,该数据控制信息生成部生成数据控制信息,用于控制接收单元21中的数据使用,用于与编码数据相对应的LPCM数据帧。
即,对于LPCM数据的帧,数据生成部32获取感测的特征量,该特征量指示在接收单元21中执行帧的插入或丢弃的情况下感测到帧的插入或丢弃的程度。感测到的特征量可以表示对插入或丢弃帧的敏感性,或者可以表示对插入或丢弃帧的不敏感性。
此外,数据生成部32基于LPCM数据的帧的感测特征量生成该帧的数据控制信息。
例如,能够从数据生成部32编码SBC时获得的LPCM数据帧(例如,频率分量)的处理结果中生成感测的特征量。
此外,例如,通过处理由数据生成部32获得的LPCM数据的帧,能够在数据生成部32中生成感测的特征量。
可以采用例如频率分量的最大值和平均值之间的比率作为感测的特征量,作为表示LPCM数据的音调(Tonality)的物理量。在LPCM数据是音调声音(tonal acoustic)的情况下,音调很大;在LPCM数据是噪声属性的声音的情况下,音调很小。在LPCM数据的音调较小的情况下,不太可能感测到LPCM数据的插入或丢弃。因此,即使在帧之后立即插入或丢弃音调小的LPCM数据帧,当用户收听声音时,对声音质量也几乎没有影响。应当注意,在本实施方式中,执行编码LPCM数据的帧的编码数据的插入或丢弃,而不是执行LPCM数据的帧本身的插入或丢弃,允许基本上执行对应于编码数据的帧的插入或丢弃。
例如除了音调之外,可以采用由每个窄频带的频率分量归一化产生的称为SF(比例因子)的归一化因子的方差等,作为感测的特征量。
在获取LPCM数据的帧的感测特征量之后,数据生成部32基于例如感测特征量和预定阈值之间的幅度关系来生成对应于LPCM数据的帧的编码数据(通过编码帧而获得的编码数据)的数据控制信息。
当前,例如,当假设由于该帧的感测特征量较小,与LPCM数据的帧相对应的编码数据的插入或丢弃不太可能被感测到时,数据生成部32将LPCM数据的帧的感测特征量与预定阈值进行比较,并且生成数据控制信息,该数据控制信息用于允许在接收单元21中插入或丢弃编码数据,用于感测特征量小于(或等于或小于)预定阈值的编码数据,即,用于不太可能感测到插入或丢弃的编码数据。
此外,数据生成部32生成数据控制信息,该信息指示对于具有等于或大于预定阈值(对应于帧)的感测特征量的编码数据,即对于认为不太可能感测其插入或丢弃的编码数据,禁止在接收单元21中插入和丢弃编码数据。
应当注意,可以广泛采用关于允许或禁止插入或丢弃编码数据的信息,作为数据控制信息。
换言之,可以采用例如指示允许或禁止插入或丢弃编码数据的一位(或多位)的标志,作为数据控制信息。
此外,可以采用例如指示允许和禁止插入或丢弃编码数据的级别的信息,作为数据控制信息。
在此处,可以采用例如四个允许或禁止级别,作为指示允许和禁止插入或丢弃编码数据的级别的信息:完全允许级别,指示当需要防止声音中断时允许插入或丢弃编码数据;准允许级别,指示在非常需要防止声音中断的情况下允许插入或丢弃编码数据;准禁止级别,指示仅在绝对有必要防止声音中断的情况下才允许插入或丢弃编码数据;以及禁止级别,指示在任何情况下禁止插入或丢弃编码数据。
在采用完全允许级别、准允许级别、准禁止级别和禁止级别这四个级别作为数据控制信息的情况下,数据控制信息是两位(或更多)的信息。
应当注意,除了关于编码数据的插入和丢弃的信息之外,还可以分别生成关于编码数据的插入的信息和关于其丢弃的信息,作为数据控制信息。
此外,还可以采用当值越小时不太可能感测到编码数据的插入或丢弃的物理量以及当值越大时不太可能感测到编码数据的插入或丢弃的物理量,作为感测特征量。
在下文中,为了简化描述,采用指示允许或禁止插入和丢弃编码数据的1位标志作为数据控制信息;采用物理量作为感测的特征量,通过该物理量不太可能感测编码数据的插入或丢弃,因为该值较小。
在此处,编码数据的插入或丢弃是编码数据的使用,因此指示允许或禁止插入或丢弃编码数据的数据控制信息可以说是用于控制接收单元21中编码数据的使用的信息。
数据生成部32生成发送目标数据,其中,通过对来自供应单元11的声音数据帧进行编码而获得的编码数据、帧的数据控制信息以及来自延迟控制信息生成部31的帧的延迟控制信息组合为一组,并将发送目标数据供应给缓冲器33。
缓冲器33由例如FIFO(先进先出)存储器配置,并暂时存储从数据生成部32提供的发送目标数据。
存储在缓冲器33中的编码数据被适当地读取并提供给分组化部34。
分组化部34通过将数据存储在作为发送(发送和接收)单元的分组中来分组化来自缓冲器33的发送目标数据,并将分组化数据提供给通信部35。
应当注意,在发送目标数据大于分组大小(分组有效载荷大小)的情况下,分组化部34划分发送目标数据并将划分的发送目标数据存储在多个分组中,从而对发送目标数据进行分组化。
此外,根据分组的大小和发送目标数据,分组化部34在一个分组中存储多条发送目标数据。
在分组化部34中,根据由构成发送目标数据的延迟控制信息指示的延迟模式,可以采用不同大小的分组。即,在延迟模式是正常延迟模式的情况下,可以采用较大尺寸的分组(比低延迟模式的情况下大);在延迟模式是低延迟模式的情况下,可以采用较小尺寸的分组(比正常延迟模式的情况下小)。在这种情况下,可以缩短分组的发送(重传)时间。
通信部35是将来自分组化部34的分组调制成RF(射频)信号并通过无线通信发送该RF信号的发送部。
接收单元21包括通信部41、分组(Packet)划分部42、延迟控制信息分析部43、缓冲器44、数据控制部45、数据输出部46和LPCM缓冲器47。
通信部41是接收部,其从通信部35接收RF信号,解调基带分组,并将解调的分组提供给分组划分部42。
分组划分部42划分来自通信部41的分组,从分组中提取发送目标数据,并将提取的发送目标数据提供给延迟控制信息分析部43。应当注意,分组划分部42检测一条发送目标数据是否划分成多个分组并存储。在检测到一条发送目标数据划分并存储在多个分组中的情况下,分组划分部42获取多个分组,从多个分组中重新配置原始的一条发送目标数据,并将重新配置的数据提供给延迟控制信息分析部43。
延迟控制信息分析部43将来自分组划分部42的发送目标数据划分成延迟控制信息、数据控制信息和(帧的)编码数据。然后,延迟控制信息分析部43将编码数据提供给缓冲器44,并将延迟控制信息和数据控制信息提供给数据控制部45。
例如,(接收)缓冲器44由FIFO存储器配置,并暂时存储从分组划分部42提供的编码数据。
数据控制部45根据来自延迟控制信息分析部43的延迟控制信息和数据控制信息以及缓冲器44中的累积量(存储在缓冲器44中的编码数据的数量(构成编码数据的帧数))(缓冲量)来控制存储在缓冲器44中的编码数据的使用,并且向数据输出部46提供控制其使用的编码数据。
即,数据控制部45根据延迟控制信息和数据控制信息以及缓冲器44中的累积量,执行存储在缓冲器44中的编码数据的插入或丢弃,作为对编码数据的使用的控制。
在此处,在数据控制部45中,例如,可以通过复制缓冲器44中的编码数据来执行编码数据的插入。
当从缓冲器44读取编码数据时,通过保持存储在缓冲器44中的编码数据,可以复制存储在缓冲器44中的编码数据。假设保持存储在缓冲器44中的编码数据是编码数据的副本,则通过从缓冲器44读取编码数据的副本来执行编码数据的插入。
此外,在数据控制部45中,可以通过跳过从缓冲器44读取编码数据来执行编码数据的丢弃。
在来自延迟控制信息分析部43的延迟控制信息没有改变(变化)的情况下,数据控制部45读取存储在缓冲器44中的一帧的最早(最前面的)编码数据,并将编码数据提供给数据输出部46。
此外,在来自延迟控制信息分析部43的延迟控制信息改变的情况下,数据控制部45根据延迟控制信息(其变化)执行存储在缓冲器44中的编码数据的插入或丢弃。
即,在由来自延迟控制信息分析部43的延迟控制信息指示的延迟模式从正常延迟模式改变(变更)为低延迟模式的情况下,数据控制部45根据编码数据的数据控制信息逐帧丢弃存储在缓冲器44中的编码数据,以便缩短延迟时间。
具体地,例如,在作为存储在缓冲器44中的最早编码数据的数据控制信息的标志是指示禁止插入和丢弃编码数据的0的情况下,数据控制部45读取存储在缓冲器44中的最早编码数据,而不丢弃,并将读取的数据提供给数据输出部46。
另一方面,例如,在作为存储在缓冲器44中的最早编码数据的数据控制信息的标志是指示允许插入和丢弃编码数据的1的情况下,数据控制部45丢弃存储在缓冲器44中的最早编码数据。
此后,数据控制部45对存储在缓冲器44中的编码数据中由于丢弃最早编码数据而新成为最早编码数据的编码数据重复类似的处理。
例如,在对应于静默的编码数据继续的情况下,作为多个连续帧的编码数据的数据控制信息的标志变为1,并且多个帧的编码数据片段连续丢弃。
当由于丢弃存储在缓冲器44中的编码数据,缓冲器44中的累积量是接近低延迟模式中累积量的参考值的值时(作为低延迟模式中延迟时间的适当时间的预定时间的帧数)(例如,18帧等),数据控制部45根据低延迟模式下(缓冲器44中)累积量的阈值和数据控制信息来控制从缓冲器44中读取编码数据。
在此处,低延迟模式中的累积量的阈值是表示范围的阈值,并且具有两个值:范围的最小值和最大值。范围的最大值也称为上限阈值,范围的最小值也称为下限阈值。例如,可以采用上限阈值和下限阈值的相应平均值等于低延迟模式中累积量的参考值的值,作为低延迟模式中累积量的上限阈值和下限阈值。
在缓冲器44中的累积量等于或大于低延迟模式中累积量的下限阈值并且等于或小于其上限阈值的情况下,数据控制部45读取存储在缓冲器44中的最早一帧的编码数据,并将编码数据提供给数据输出部46。
在缓冲器44中的累积量大于低延迟模式中累积量的上限阈值的情况下,为了减少缓冲器44中的累积量,数据控制部45根据编码数据的数据控制信息逐帧丢弃存储在缓冲器44中的编码数据。
在缓冲器44中的累积量小于低延迟模式中累积量的下限阈值的情况下,为了增加缓冲器44中的累积量,数据控制部45根据编码数据的数据控制信息逐帧复制(插入)存储在缓冲器44中的编码数据。
另一方面,在由来自延迟控制信息分析部43的延迟控制信息指示的延迟模式从低延迟模式改变为正常延迟模式的情况下,为了增加延迟时间,数据控制部45根据编码数据的数据控制信息逐帧复制(插入)存储在缓冲器44中的编码数据。
具体地,在作为存储在缓冲器44中的最早编码数据的数据控制信息的标志被设置为0的情况下,该标志指示禁止插入和丢弃编码数据,数据控制部45读取存储在缓冲器44中的最早编码数据,而不进行复制,并将读取的数据提供给数据输出部46。
另一方面,在作为存储在缓冲器44中的最早编码数据的数据控制信息的标志被设置为1的情况下,该标志指示允许插入和丢弃编码数据,数据控制部45复制和读取存储在缓冲器44中的最早编码数据,并将读取的数据提供给数据输出部46。
当读取下一个编码数据时,数据控制部45读取存储在缓冲器44中的编码数据中最早的编码数据的副本,并且此后重复类似的处理。
例如,在对应于静默的编码数据继续的情况下,作为多个连续帧的编码数据的数据控制信息的标志变为1,并且多个帧的编码数据的各个片段连续复制。
当由于复制存储在缓冲器44中的编码数据,缓冲器44中的累积量是接近正常延迟模式中累积量的参考值的值时(作为正常延迟模式中延迟时间的适当时间的预定时间的帧数)(例如,64帧等),数据控制部45根据正常延迟模式下(缓冲器44中)累积量的阈值和数据控制信息来控制从缓冲器44中读取编码数据。
在此处,正常延迟模式中的延迟时间大于低延迟模式中的延迟时间,因此正常延迟模式中的累积量的参考值大于低延迟模式中的累积量的参考值。
此外,正常延迟模式中累积量的阈值是表示范围的阈值,类似于低延迟模式中累积量的阈值,并且具有两个值:范围中的作为最小值的下限阈值和作为最大值的上限阈值。例如,可以采用上限阈值和下限阈值的相应平均值等于正常延迟模式中累积量的参考值的值,作为正常延迟模式中累积量的上限阈值和下限阈值。
在缓冲器44中的累积量等于或大于正常延迟模式中累积量的下限阈值并且等于或小于其上限阈值的情况下,数据控制部45读取存储在缓冲器44中的最早一帧的编码数据,并将编码数据提供给数据输出部46。
在缓冲器44中的累积量大于正常延迟模式中累积量的上限阈值的情况下,为了减少缓冲器44中的累积量,数据控制部45根据编码数据的数据控制信息来逐帧丢弃存储在缓冲器44中的编码数据。
在缓冲器44中的累积量小于正常延迟模式中累积量的下限阈值的情况下,为了增加缓冲器44中的累积量,数据控制部45根据编码数据的数据控制信息来逐帧复制存储在缓冲器44中的编码数据。
应当注意,由正常延迟模式中累积量的上限阈值和下限阈值限定的范围以及由低延迟模式中累积量的上限阈值和下限阈值限定的范围可以是没有重叠的范围或者彼此部分重叠的范围。可以采用由低延迟模式中累积量的上限阈值和下限阈值限定的范围的至少一部分小于由正常延迟模式中累积量的上限阈值和下限阈值限定的范围,作为由低延迟模式中累积量的上限阈值和下限阈值定义的范围以及由正常延迟模式中累积量的上限阈值和下限阈值定义的范围。
数据输出部46提供有编码数据,由数据控制部45控制其使用。
数据输出部46经由LPCM缓冲器47将从数据控制部45提供的编码数据输出到输出单元22。
即,例如,数据输出部46是SBC解码器,并且将从数据控制部45提供的编码数据解码成作为声音数据的LPCM数据,并且将解码的LPCM数据输出到LPCM缓冲器47。
LPCM缓冲器47暂时存储从数据输出部46提供的LPCM数据。
存储在LPCM缓冲器47中的LPCM数据以实时再现所需的速率读取,并提供给输出单元22。
输出单元22从LPCM缓冲器47输出对应于LPCM数据的声音。
根据发送单元12和接收单元21之间的发送路径(无线电波状态)的条件等,如上所述通过发送单元12和接收单元21之间的无线通信发送和接收数据不一定成功。
在通过发送单元12和接收单元21之间的无线通信发送和接收数据失败的情况下,执行重传,其中,数据再次从发送单元12发送到接收单元21。
对于该重传,发送侧的发送单元12包括缓冲器33,接收侧的接收单元21包括缓冲器44。
此外,在数据发送和接收失败的情况下,将由数据输出部46解码的编码数据不再存在于接收单元21中,结果,数据(声音数据)到输出单元22的输出中断,导致声音中断。为了抑制这种声音中断,接收单元21将编码数据暂时存储在缓冲器44中,并且在缓冲器44中的累积量达到足以抑制声音中断的预定值之后,开始从缓冲器44读取编码数据。例如,从开始在缓冲器44中存储编码数据直到缓冲器44中的累积量达到预定值的时间构成延迟时间。
<发送处理>
图3是描述由图2中的发送单元12执行的用于发送声音数据的发送处理的示例的流程图。
在步骤S11中,数据生成部32逐帧地将LPCM数据编码为从供应单元11供应的声音数据,并且处理进行到步骤S12。
即,数据生成部32将从供应单元11供应的声音数据划分成帧,并执行编码,以压缩最早帧的声音数据。
在步骤S12中,数据生成部32从紧接在前面编码的声音数据的帧中确定SF或音调,作为表示感测到帧的插入或丢弃的程度的感测特征量,并且处理进行到步骤S13。
在步骤S13中,数据生成部32将紧接在前面编码的声音数据帧的感测特征量和阈值彼此进行比较,并且根据比较的结果生成紧接在前面编码的声音数据帧的编码数据的数据控制信息。
即,在紧接在前面编码的声音数据的帧(在下文中,也称为感兴趣帧)的感测特征量小于阈值的情况下,例如,在感兴趣帧是噪声特性的声音数据并且不太可能感测感兴趣帧的插入(复制)或丢弃的情况下,数据生成部32生成一个标志,作为一条数据控制信息,指示允许对感兴趣帧进行插入和丢弃,并且处理从步骤S13进行到步骤S14。
此外,在感兴趣帧的感测特征量不小于阈值的情况下,例如,在感兴趣帧是音调声音数据并且不太可能感测感兴趣帧的插入或丢弃的情况下,数据生成部32生成标志,作为指示禁止插入或丢弃感兴趣帧的0的数据控制信息,并且处理从步骤S13进行到步骤S14。
在步骤S14中,数据生成部32通过将由感兴趣帧的编码产生的编码数据、感兴趣帧的数据控制信息(标志)和从延迟控制信息生成部31提供的感兴趣帧的延迟控制信息集成在一起,来生成发送目标数据,并且处理进行到步骤S15。
在步骤S15中,数据生成部32将发送目标数据提供给缓冲器33,并将数据存储在其中。
存储在缓冲器33中的发送目标数据适当地读取并提供给分组化部34。
当从缓冲器44提供发送目标数据时,在步骤S16中,分组化部34将发送目标数据分组化为分组,并将该分组提供给通信部35。
此外,在步骤S16中,通信部35将来自分组化部34的分组调制成RF信号,通过无线通信发送(传送)RF信号,并且发送处理结束。
应当注意,步骤S11至S16的处理根据需要在流水线中执行。
<接收处理>
图4是描述由图2中的接收单元21执行的用于接收声音数据的接收处理的示例的流程图。
在步骤S21中,通信部41等待要从通信部35发送的分组的RF信号,接收RF信号,并从RF信号中解调分组。然后,通信部41将分组提供给分组划分部42。分组划分部42从通信部41划分分组,并从分组中提取发送目标数据。然后,分组划分部42将发送目标数据提供给延迟控制信息分析部43,并且处理从步骤S21进行到步骤S22。
在步骤S22中,延迟控制信息分析部43将来自分组划分部42的发送目标数据划分成延迟控制信息、数据控制信息(标志)和编码数据,并且处理进行到步骤S23。
在步骤S23中,延迟控制信息分析部43将编码数据提供给缓冲器44,用于存储,并将延迟控制信息和数据控制信息提供给数据控制部45,并且处理进行到步骤S24。
在步骤S24中,数据控制部45根据存储在缓冲器44中的最新编码数据(紧接在前面在步骤S23中执行的编码数据)的延迟控制信息来设置缓冲器44中累积量的上限阈值和下限阈值(在下文中,也称为感兴趣数据),并且处理进行到步骤S25。
结果,在由感兴趣数据的延迟控制信息指示的延迟模式是正常延迟模式的情况下,缓冲器44中累积量的上限阈值和下限阈值分别被设置为正常延迟模式中的上限阈值和下限阈值。另外,在由感兴趣数据的延迟控制信息指示的延迟模式是低延迟模式的情况下,在缓冲器44中累积量的上限阈值和下限阈值分别被设置为低延迟模式中的上限阈值和下限阈值。
在步骤S25中,数据控制部45检查缓冲器44中的累积量(作为存储在缓冲器44中的编码数据的帧数)(缓冲器量),并且处理进行到步骤S26。
在步骤S26中,数据控制部45确定缓冲器44中的累积量是否等于或大于下限阈值并且等于或小于上限阈值。
在步骤S26中确定缓冲器44中的累积量等于或大于下限阈值并且等于或小于上限阈值的情况下,数据控制部45从缓冲器44读取(帧,作为)最早的编码数据,将读取的数据提供给数据输出部46,并且处理进行到步骤S30。
在此处,在缓冲器44中的累积量等于或大于下限阈值并且等于或小于上限阈值的情况下,从缓冲器44中读取最早的编码数据,在下文中也称为正常读取。在正常读取中,从缓冲器44读取的编码数据在读取后从缓冲器44中擦除。
在步骤S30中,数据输出部46解码从缓冲器44提供的编码数据,经由LPCM缓冲器47将得到的LPCM数据输出到输出单元22,并且接收处理结束。
另一方面,在步骤S26中确定缓冲器44中的累积量不等于或大于下限阈值的情况下,即,在缓冲器44中的累积量小的情况下(在不足的情况下),处理进行到步骤S27。
在步骤S27中,数据控制部45确定作为存储在缓冲器44中的最早编码数据的数据控制信息的标志是否被设置为1,其指示允许插入和丢弃。
在步骤S27中确定最早编码数据的数据控制信息没有被设置为指示允许插入和丢弃的1的情况下,即,在最早编码数据的数据控制信息被设置为指示禁止插入或丢弃的0的情况下,数据控制部45从缓冲器44执行最早编码数据的正常读取。然后,数据控制部45将经过正常读取的编码数据提供给数据输出部46,并且处理进行到步骤S30;在下文中,执行上述处理。
此外,在步骤S27中确定最早编码数据的数据控制信息被设置为指示允许插入和丢弃的1的情况下,处理进行到步骤S28。
在步骤S28中,数据控制部45确定内置计数器(未示出)的计数值是否等于或大于计数值的阈值。
在此处,数据控制部45将在内置计数器中连续执行的正常读取的次数计数为计数值。每次进行正常读取时,计数器的计数值增加1,同时连续进行正常读取;在不执行正常读取的情况下,即在执行编码数据的复制(插入)或丢弃的情况下,计数器的计数值重置。
在步骤S28中确定计数值不等于或大于阈值的情况下,即,在执行编码数据的先前复制或丢弃之后,正常读取没有连续执行等于或大于阈值的次数并且在执行编码数据的先前复制或丢弃之后没有很长时间的情况下,数据控制部45从缓冲器44执行最早编码数据的正常读取。然后,数据控制部45将经过正常读取的编码数据提供给数据输出部46,并且处理进行到步骤S30;在下文中,执行上述处理。
此外,在步骤S28中确定计数值等于或大于阈值的情况下,即,在执行编码数据的先前复制或丢弃之后连续执行正常读取等于或大于阈值的次数并且在执行编码数据的先前复制或丢弃之后存在一定时间量的情况下,处理进行到步骤S29。
在步骤S29中,数据控制部45复制存储在缓冲器44中的最早编码数据。
即,数据控制部45从缓冲器44读取最早的编码数据,将最早的编码数据提供给数据输出部46,并且通过将最早的编码数据的副本照原样保持在缓冲器44中,在最早的编码数据之后插入最早的编码数据的副本。
此后,数据控制部45将计数值重置为0,并且处理进行到步骤S30;在下文中,执行上述处理。
另一方面,在步骤S26中确定缓冲器44中的累积量不等于或小于上限阈值的情况下,即,在缓冲器44中的累积量大(过量)的情况下,处理进行到步骤S31。
在步骤S31和S32中,执行类似于步骤S27和S28中的处理。
即,在步骤S31,数据控制部45确定存储在缓冲器44中的最早的编码数据的数据控制信息是否被设置为1,其指示允许(编码数据的)复制和丢弃。
在步骤S31中确定最早编码数据的数据控制信息没有被设置为指示允许复制和丢弃的1的情况下,即,在最早编码数据的数据控制信息被设置为指示禁止插入和丢弃的0的情况下,数据控制部45从缓冲器44执行最早编码数据的正常读取。然后,数据控制部45将经过正常读取的编码数据提供给数据输出部46,并且处理进行到步骤S30;在下文中,执行上述处理。
此外,在步骤S31中确定最早编码数据的数据控制信息被设置为指示允许复制和丢弃的1的情况下,处理进行到步骤S32。
在步骤S32中,数据控制部45确定内置计数器的计数值是否等于或大于计数值的阈值。
在步骤S32中确定计数值不等于或大于阈值的情况下,数据控制部45从缓冲器44执行最早编码数据的正常读取。然后,数据控制部45将经过正常读取的编码数据提供给数据输出部46,并且处理进行到步骤S30;在下文中,执行上述处理。
在步骤S32中确定计数值等于或大于阈值的情况下,处理进行到步骤S33。
在步骤S33中,数据控制部45丢弃存储在缓冲器44中的最早的编码数据。
即,数据控制部45通过跳过读取存储在缓冲器44中的最早的编码数据来丢弃最早的编码数据,并且从缓冲器44读取第二最早的编码数据,以将第二最早的编码数据提供给数据输出部46。
此后,数据控制部45将计数值重置为0,并且处理进行到步骤S30;在下文中,执行上述处理。
应当注意,步骤S21至S33的处理根据需要在流水线中执行。
此外,图4所示的接收处理的顺序是一个示例;例如,在接收单元21不能正常接收来自发送单元12的分组(的RF信号)等的情况下,重复执行从步骤S25到步骤S30的处理,以使得能够使用存储在缓冲器44中的编码数据来执行诸如声音再现等各种变化。
如上所述,发送单元12生成用于控制接收单元21中声音数据(的编码数据)的使用的数据控制信息,在接收单元中生成指示当处理声音数据时关于延迟时间的延迟模式的延迟控制信息,并且通过无线通信发送声音数据、数据控制信息和延迟控制信息。
同时,接收单元21接收通过无线通信发送的声音数据、数据控制信息和延迟控制信息,根据数据控制信息和延迟控制信息控制声音数据的使用,并输出控制其使用的数据。具体地,例如,在接收单元21中,数据控制部45根据延迟控制信息设置要与缓冲器44中的累积量进行比较的上限阈值和下限阈值,并且根据缓冲器中的累积量与上限阈值以及下限阈值之间的比较结果以及数据控制信息,来控制缓冲器44中缓冲(存储)的声音数据的编码数据的插入和丢弃。
因此,可以在不断开无线通信的情况下容易地执行接收单元21中声音数据的延迟时间的切换。
此外,在切换延迟时间时,根据使用感测特征量获得的数据控制信息来控制编码数据的插入或丢弃,从而使得能够执行延迟时间的切换,而不会导致用户感到不适。
<发送单元12和接收单元21的第二配置示例>
图5是示出图1中的发送单元12和接收单元21的第二配置示例的框图。
应当注意,在附图中,对应于图2中的情况的部分由相同的附图标记表示,并且适当地省略其描述。
在图5中,发送单元12具有延迟控制信息生成部31、缓冲器33、分组化部34、通信部35、数据生成部51、接收单元缓冲监控部52和压缩率控制部53。
因此,图5中的发送单元12与图2的情况的共同之处在于,包括延迟控制信息生成部31、缓冲器33、分组化部34和通信部35。然而,图5中的发送单元12与图2的情况的不同之处在于,提供了数据生成部51来代替数据生成部32,并且新提供了接收单元缓冲监控部52和压缩率控制部53。
此外,在图5中,接收单元21包括通信部41、分组划分部42、延迟控制信息分析部43、缓冲器44、数据控制部45、数据输出部46和LPCM缓冲器47。
因此,图5中的接收单元21被配置为类似于图2的情况。
在图5中,除了类似于图2的情况控制(切换)延迟时间的发送单元12和接收单元21之外,发送单元12根据发送路径的条件(通信状态)自适应地控制(调整)在编码声音数据时的压缩率。
例如,可以利用日本未审查专利申请公开号2016-208215中描述的技术来控制压缩率。
即,在发送单元12中,存储在缓冲器33中的发送目标数据经由分组化部34和通信部35发送,并且除了从接收单元21请求重传的情况(在不能从接收单元21接收到指示正常接收的消息的情况)之外,从缓冲器33中删除。
另一方面,在从接收单元21请求重传的情况下,存储在缓冲器33中的发送目标数据照原样保持在缓冲器33中,并且重传。
因此,当发送路径的条件差并且从接收单元21请求重传的频率高时,缓冲器33中的累积量变大。
此外,同样在发送单元12执行的处理负载很重的情况下,缓冲器33中的累积量变大。
另一方面,在发送路径的条件良好并且没有从接收单元21请求重传的情况下,缓冲器33中的累积量变小。
因此,根据缓冲器33中的累积量,可以估计发送路径的条件。
在图5中,发送单元12将缓冲器33中的累积量视为发送路径的条件,并且根据缓冲器33中的累积量自适应地控制压缩率,作为发送路径的条件。
即,在发送路径的条件差并且重传频率高的情况下,发送单元12的缓冲器33中的累积量趋于增加并且变得等于或大于阈值。此外,接收单元21的缓冲器44中的累积量减少,并且导致声音中断的可能性变高。
因此,在发送单元12的缓冲器33中的累积量趋于增加或等于或大于阈值的情况下,发送单元12增加压缩率并以高压缩率编码声音数据,从而分配对应于例如每帧229kbps(千位每秒)的速率等的少量位数,并发送声音数据(的编码数据)。
在这种情况下,可以每单位时间发送大量帧,使得更容易增加接收单元21的缓冲器44中的累积量,从而确保重传时间。
即,在压缩率高的情况下,可以在一个分组中发送更多帧的声音数据的编码数据,从而允许接收单元21接收该一个分组,从而导致缓冲器44中的累积量更大。
此外,再现在分组中包括编码数据的声音数据的帧所需的再现时间比发送分组所需的发送时间长,因此随着再现时间变长,更容易确保重传时间。
在此处,通过从在分组中包括编码数据的声音数据的帧的再现时间中减去分组的发送时间而获得的值是可用于重传的重传可能时间,并且通过将重传可能时间除以再现时间而获得的值称为重传可能时间或通信(发送)成功概率。
在发送路径的条件良好并且几乎不执行重传的情况下,发送单元12的缓冲器33中的累积量趋于下降并且变得几乎为零。此外,接收单元21的缓冲器44中的累积量保持在某一水平值,允许导致声音中断的可能性更低。
因此,在发送单元12的缓冲器33中的累积量趋于减少或几乎为零的情况下,为了改善从输出单元22输出的声音的声音质量,发送单元12降低压缩率并以低压缩率对声音数据进行编码,从而分配对应于例如每帧384kbps的速率的大量位等,以发送声音数据。
在压缩率低的情况下,由于接收单元21接收到一个分组,因此能够在一个分组中发送的声音数据的帧数变少,并且缓冲器44中累积量的增加量变小。然而,在发送路径的条件良好的情况下,很难执行重传,因此接收单元21的缓冲器44中的累积量保持在某一水平值,允许导致声音中断的可能性较低。
此外,当编码方法允许以较低的压缩率对声音数据进行编码时,可以进一步改善从输出单元22输出的声音的声音质量,而无需再次耦合。
应当注意,压缩率的值由编码后的数据量D2(编码数据)与编码前的数据量D1的百分比D2/D1表示。因此,压缩率越高,表示压缩率的D2/D1值越小;压缩率越低,表示压缩率的D2/D1值越大。
例如,对于1/5的压缩率,表示1/5的压缩率的值1/5大于表示1/6的压缩率的值1/6,但是1/5的压缩率小于1/6的压缩率。
因此,例如,1/5的压缩率是最低压缩率,等于或大于1/5的压缩率是1/5、1/6、1/7等的压缩率,值为1/5或更小。
顺便提及,在延迟模式是低延迟模式的情况下,接收单元21的缓冲器44中的累积量小。在缓冲器44中的累积量小的情况下,缓冲器44更有可能变空,因此更有可能发生声音中断,从而导致对分组从发送单元12到接收单元21的发送误差(的RF信号)的低阻抗。
因此,在低延迟模式下,为了不使接收单元21的缓冲器44为空,希望增加发送单元12中的压缩率,以在一个分组中发送更多帧的声音数据的编码数据,并使接收单元21接收该一个分组,从而增加缓冲器44中的累积量。
另一方面,在正常延迟模式下,接收单元21的缓冲器44中的累积量变为某一水平值,因此引起声音中断的可能性低。因此,在正常延迟模式下,期望降低压缩率,以改善从输出单元22输出的声音的声音质量。
因此,在图5中的发送单元12中,执行控制,以允许压缩率在低延迟模式下为高,并且执行控制,以允许压缩率在正常延迟模式下为低。
然而,在低延迟模式下,接收单元21的缓冲器44中的累积量小;因此,在延迟模式从低延迟模式切换到正常延迟模式的情况下,当压缩率立即改变到低压缩率时,在一个分组中可发送的声音数据的帧数变小,因此导致缓冲器44为空的可能性(即导致声音中断的可能性)变高。
因此,图5中的发送单元12监控接收缓冲状态,该状态是接收单元21的缓冲器44的状态;在延迟模式从低延迟模式切换到正常延迟模式的情况下,确认接收缓冲状态是引起声音中断的可能性低的状态,并且此后压缩率从高压缩率改变到低压缩率。
即,在发送单元12中,从延迟控制信息生成部31向数据生成部51提供延迟控制信息,并且从供应单元11向数据生成部51提供作为声音数据的LPCM数据。
与图2中的数据生成部32类似,数据生成部51用作逐帧编码来自供应单元11的声音数据的编码部。然而,数据生成部51在压缩率控制部53的控制下以压缩率(从压缩率控制部53提供的压缩率)编码声音数据帧。
此外,类似于图2中的数据生成部32,数据生成部51用作数据控制信息生成部,其生成对应于编码数据的声音数据帧的数据控制信息。
即,数据生成部51确定声音数据帧的感测特征量,并基于感测特征量生成数据控制信息。
与图2中的数据生成部32类似,数据生成部51生成发送目标数据,其中,通过对来自供应单元11的声音数据的帧进行编码而获得的编码数据、帧的数据控制信息以及来自延迟控制信息生成部31的用于帧的延迟控制信息组合为一组,并将发送目标数据供应给缓冲器33。
此外,数据生成部51将声音数据的每帧的数据控制信息和延迟控制信息提供给接收单元缓冲监控部52。
接收单元缓冲监控部52根据来自数据生成部51的数据控制信息估计接收单元21的缓冲器44的接收缓冲器状态,并监控接收缓冲状态。
即,接收单元缓冲监控部52依次存储来自数据生成部51的数据控制信息,从而存储一定数量的最新数据控制信息。
接收单元缓冲监控部52将由来自数据生成部51的最新延迟控制信息指示的延迟模式与由先前延迟控制信息指示的延迟模式进行比较,并根据比较结果和接收缓冲状态,将指示正常延迟模式或低延迟模式的延迟控制信息提供给压缩率控制部53。
在此处,接收单元缓冲监控部52的操作状态包括监控接收单元21的缓冲器44的接收缓冲器状态的监控状态以及不是监控状态的正常状态。
在由最新延迟控制信息指示的延迟模式没有从由先前延迟控制信息指示的延迟模式改变并且接收单元缓冲监控部52的操作状态是正常状态的情况下,接收单元缓冲监控部52将最新延迟控制信息提供给压缩率控制部53。
在由最新延迟控制信息指示的延迟模式是低延迟模式并且由先前延迟控制信息指示的延迟模式是正常延迟模式的情况下,即,在延迟模式从正常延迟模式改变(变更)为低延迟模式的情况下,接收单元缓冲监控部52向压缩率控制部53提供最新延迟控制信息,即,指示低延迟模式的延迟控制信息。
在由最新延迟控制信息指示的延迟模式是正常延迟模式并且由先前延迟控制信息指示的延迟模式是低延迟模式的情况下,即,在延迟模式从低延迟模式改变为正常延迟模式的情况下,接收单元缓冲监控部52将操作状态转换为监控状态。
在监控状态下,接收单元缓冲监控部52根据存储的数据控制信息序列(历史)来估计接收单元21的缓冲器44的接收缓冲器状态,并监控接收缓冲状态。此外,在对存储在接收单元21的缓冲器44中的编码数据执行基于数据控制信息的复制(插入)的情况下,接收单元缓冲监控部52根据接收缓冲状态计算(估计)可再现帧的数量(在下文中,也称为可再现帧数)。
此外,接收单元缓冲监控部52将可再现帧数与预定为不太可能发生声音中断的值的阈值(例如,正常延迟模式下累积量的参考值等)进行比较。
然后,在可再现帧数超过阈值的情况下,即,在接收缓冲状态是即使当接收缓冲状态转换到正常延迟模式时也不太可能发生声音中断的状态的情况下,接收单元缓冲监控部52取消监控状态,并将操作状态转换到正常状态,以向压缩率控制部53提供指示正常延迟模式的延迟控制信息。
另一方面,在可再现帧数不超过阈值的情况下,即,在接收缓冲状态不是即使当接收缓冲状态转换到正常延迟模式时也不太可能发生声音中断的状态的情况下,接收单元缓冲监控部52保持对操作状态的监控,并且向压缩率控制部53提供指示低延迟模式的延迟控制信息,而不是最新的延迟控制信息。
应当注意,在操作状态是监控状态的情况下,当由最新延迟控制信息指示的延迟模式是低延迟模式时并且当由先前延迟控制信息指示的延迟模式是正常延迟模式时,即,当延迟模式从正常延迟模式改变为低延迟模式时,接收单元缓冲监控部52取消监控状态,并将操作状态转换到正常状态,以向压缩率控制部53提供最新的延迟控制信息,即,指示低延迟模式的延迟控制信息。
如上所述,在由从数据生成部51提供的延迟控制信息指示的延迟模式从低延迟模式改变为正常延迟模式的情况下,接收单元缓冲监控部52监控接收缓冲状态,并且检查接收缓冲状态是否是不太可能发生声音中断的状态。然后,在接收缓冲状态不是不太可能发生声音中断的状态的情况下,接收单元缓冲监控部52向压缩率控制部53提供指示改变之前的延迟模式(即低延迟模式)的延迟控制信息。此外,接收单元缓冲监控部52等待接收缓冲状态成为即使当接收缓冲状态转换到正常延迟模式时也不太可能发生声音中断的状态,并且将指示改变后的延迟模式(即正常延迟模式)的延迟控制信息提供给压缩率控制部53。
如上所述,紧接在延迟模式从低延迟模式改变为正常延迟模式之后,接收单元21的缓冲器44中的累积量小(延迟时间很小),因此,可以抑制发生声音中断。
在此处,在上述情况下,在延迟模式从低延迟模式改变为正常延迟模式的情况下,接收单元缓冲监控部52的操作状态变成监控接收单元21的缓冲器44的接收缓冲器状态的监控状态;然而,此外,例如,即使在延迟模式从正常延迟模式改变为低延迟模式的情况下,也可以将接收单元缓冲监控部52的操作状态设置为监控状态。
在延迟模式从正常延迟模式改变为低延迟模式的情况下的监控状态下,接收单元缓冲监控部52向压缩率控制单元53提供指示正常延迟模式的延迟控制信息,正常延迟模式是改变之前的延迟模式;监控接收单元21的缓冲器44的接收缓冲器状态;并且根据接收缓冲状态计算在基于数据控制信息减少存储在接收单元21的缓冲器44中的编码数据的同时再现声音数据帧的情况下需要再现的最小帧数(在下文中,也称为最小再现帧数)。
此外,例如,在延迟模式从正常延迟模式改变为低延迟模式的情况下,当最小再现帧数被计算为不具有导致接收单元21的缓冲器44溢出的值时,接收单元缓冲监控部52取消监控状态,并且向压缩率控制部53提供指示低延迟模式的延迟控制信息,该低延迟模式是改变后的延迟模式。
类似于日本未审查专利申请公开号2016-208215中描述的技术,例如,压缩率控制部53间歇地获取缓冲器33中的累积量(状态),并且当数据生成部51根据缓冲器33中的累积量(序列)执行编码时确定压缩率。
然而,根据从接收单元缓冲监控部52提供给压缩率控制部53的延迟控制信息所指示的延迟模式来切换由压缩率控制部53确定的压缩率的最大值(最大压缩率)、压缩率的最小值(最小压缩率)和压缩率的可能值。
因此,可以说压缩率控制部53根据缓冲器33中的累积量来控制压缩率,或者可以说根据延迟控制信息来控制压缩率。此外,可以说压缩率控制部53根据延迟控制信息和缓冲器中的累积量来控制压缩率。
在此处,在本实施方式中,例如,预先准备被确定为压缩率的压缩率的多个候选者(在下文中,也称为压缩率候选者)。此外,为每个延迟模式,即,在此处,为正常延迟模式和低延迟模式中的每一个,准备压缩率候选。
例如,{1/2,1/3,1/6}等在正常延迟模式下被准备为多个压缩率候选,并且{1/4,1/5,1/10}等在低延迟模式下被准备为多个压缩率候选。应当注意,在正常延迟模式中的压缩率候选{1/2,1/3,1/6}中,1/2的最大值是“最低”压缩率,1/6的最小值是“最高”压缩率。类似地,在低延迟模式中的压缩率候选{1/4,1/5,1/10}中,1/4的最大值是“最低”压缩率,1/10的最小值是“最高”压缩率。
例如,与正常延迟模式中的压缩率候选的最小压缩率到最大压缩率的范围相比,可以设置正常延迟模式中的压缩率候选和低延迟模式中的压缩率候选,以允许低延迟模式中的压缩率候选的最小压缩率到最大压缩率的范围是高压缩率的范围。
压缩率控制部53根据缓冲器33中的累积量(序列),从由接收单元缓冲监控部52提供的延迟控制信息指示的延迟模式中的压缩率候选中选择并确定压缩率。
即,例如,在由从接收单元缓冲监控部52提供的延迟控制信息指示的延迟模式是正常延迟模式的情况下,压缩率控制部53根据缓冲器33中的累积量从正常延迟模式中的压缩率候选{1/2,1/3,1/6}中选择压缩率,并将压缩率提供给数据生成部51。
类似于例如日本未审查专利申请公开第2016-208215号中描述的技术,可以根据缓冲器33中的累积量来执行压缩率的选择。即,在缓冲器33中的累积量大于阈值或趋于增加的情况下,选择高于当前压缩率的压缩率。此外,例如,在缓冲器33中的累积量趋于减少并且等于或小于阈值的值继续的情况下,选择低于当前压缩率的压缩率。
此后,当由从接收单元缓冲监控部52提供给压缩率控制部53的延迟控制信息指示的延迟模式从正常延迟模式改变到低延迟模式时,压缩率控制部53将用于从正常延迟模式中的压缩率候选{1/2,1/3,1/6}选择压缩率的压缩率候选切换到低延迟模式中的压缩率候选{1/4,1/5,1/10}。
然后,压缩率控制部53根据缓冲器33中的累积量从低延迟模式中的压缩率候选{1/4,1/5,1/10}中选择压缩率,并将压缩率提供给数据生成部51。
应当注意,例如,在由从接收单元缓冲监控部52提供给压缩率控制部53的延迟控制信息指示的延迟模式改变之后,压缩率控制部53能够从改变之后的延迟模式中的压缩率候选中选择接近紧接在延迟模式改变之前的压缩率的压缩率候选。此外,例如,压缩率控制部53能够从改变之后的延迟模式中的压缩率候选中选择上述成功概率接近紧接在延迟模式改变之前的压缩率的情况的压缩率候选,作为压缩率。
在此处,如上所述,在由延迟控制信息指示的延迟模式从低延迟模式改变到正常延迟模式的情况下,接收单元缓冲监控部52将操作状态转换到监控状态,监控接收缓冲状态,并且检查接收缓冲状态是否是不太可能发生声音中断的状态。然后,在接收缓冲状态不是不太可能发生声音中断的状态的情况下,接收单元缓冲监控部52向压缩率控制部53提供指示改变之前的延迟模式(即低延迟模式)的延迟控制信息。此外,接收单元缓冲监控部52等待接收缓冲状态成为不太可能发生声音中断的状态,并将指示正常延迟模式的延迟控制信息提供给压缩率控制部53,正常延迟模式是改变后的延迟模式。
因此,即使当由延迟控制信息指示的延迟模式从低延迟模式改变为正常延迟模式时,接收单元缓冲监控部52也不必在改变后立即向压缩率控制部53提供指示正常延迟模式的延迟控制信息。即,在由延迟控制信息指示的延迟模式从低延迟模式改变为正常延迟模式的情况下,接收单元缓冲监控部52等待接收缓冲状态成为不太可能发生声音中断的状态,并且将指示正常延迟模式的延迟控制信息提供给压缩率控制部53,该正常延迟模式是改变后的延迟模式。
然后,如上所述,紧接在从接收单元缓冲监控部52提供指示正常延迟模式(改变后的延迟模式)的延迟控制信息的时间之后,压缩率控制部53从正常延迟模式中的压缩率候选中选择压缩率,从而控制数据生成部51中的编码压缩率。
因此,在延迟控制信息指示的延迟模式从低延迟模式改变为正常延迟模式的情况下,接收单元缓冲监控部52用作定时控制部,该定时控制部根据接收缓冲状态控制压缩率控制部53的压缩率控制的时间。
应当注意,在上述情况下,采用不同的压缩率候选,作为在正常延迟模式中的压缩率候选,并且作为在低延迟模式中的压缩率候选;然而,可以采用相同的压缩率候选,作为在正常延迟模式中的压缩率候选,并且作为在低延迟模式中的压缩率候选。
<发送处理>
图6是描述由图5中的发送单元12执行的用于发送声音数据的发送处理的示例的流程图。
在步骤S51中,接收单元缓冲监控部52获取从数据生成部51提供的最新延迟控制信息,检查由最新延迟控制信息指示的延迟模式是否已经从由先前延迟控制信息指示的延迟模式改变,即,延迟模式是否已经改变,并且处理进行到步骤S52。
在步骤S52中,接收单元缓冲监控部52确定延迟模式的改变是否满足用于将操作状态转换到监控状态的监控状态转换条件。在此处,可以采用已经从低延迟模式改变到正常延迟模式的由延迟控制信息指示的延迟模式,作为监控状态转换条件。
在步骤S52中确定满足监控状态转换条件的情况下,即,在由延迟控制信息指示的延迟模式从低延迟模式改变到正常延迟模式的情况下,处理进行到步骤S53。
在步骤S53中,在操作状态是正常状态的情况下,接收单元缓冲监控部52将操作状态从正常状态转换到监控状态,开始监控接收缓冲状态,并且处理进行到步骤S54。
在步骤S54中,接收单元缓冲监控部52根据接收缓冲状态计算可再现帧数,并且处理进行到步骤S55。
在步骤S55中,接收单元缓冲监控部52确定可再现帧数是否小于预定为不太可能发生声音中断的值的阈值(例如,正常延迟模式的累积量的参考值等)。
在步骤S55中确定可再现帧数不小于阈值的情况下,即,在接收缓冲状态是不太可能发生声音中断的状态的情况下,处理进行到步骤S59。
此外,在步骤S55中确定可再现帧数小于阈值的情况下,即,在接收缓冲状态不是不太可能发生声音中断的状态的情况下,处理进行到步骤S56。
在步骤S56中,接收单元缓冲监控部52将来自数据生成部51的最新延迟控制信息设置(改变)为指示低延迟模式的延迟控制信息,并将设置的延迟控制信息提供给压缩率控制部53,并且处理进行到步骤S60。
另一方面,在步骤S52中确定不满足监控状态移位条件的情况下,即,在由从数据生成部51提供给接收单元缓冲监控部52的延迟控制信息指示的延迟模式未从低延迟模式改变到正常延迟模式的情况下,处理进行到步骤S57。
在步骤S57中,接收单元缓冲监控部52确定操作状态是否是监控状态。
在步骤S57中确定操作状态不是监控状态的情况下,即,在操作状态是正常状态的情况下,接收单元缓冲监控部52将延迟控制信息从数据生成部51提供给压缩率控制部53,并且处理跳过步骤S58和S59并前进到步骤S60。
此外,在步骤S57中确定操作状态是监控状态的情况下,处理进行到步骤S58。
在步骤S58中,接收单元缓冲监控部52取消监控状态,并确定是否满足用于将操作状态转换到正常状态的监控状态取消条件。在此处,可以采用例如已经从正常延迟模式改变为低延迟模式的由延迟控制信息指示的延迟模式,作为监控状态取消条件。
在步骤S58中确定不满足监控状态取消条件的情况下,即,在由延迟控制信息指示的延迟模式没有从正常延迟模式改变到低延迟模式的情况下,处理进行到步骤S54;在下文中,执行上述处理。
此外,在步骤S58中确定满足监控状态取消条件的情况下,处理进行到步骤S59,在步骤S59中,接收单元缓冲监控部52取消监控状态,并将操作状态转换到正常状态。此外,接收单元缓冲监控部52将来自数据生成部51的延迟控制信息提供给压缩率控制部53,并且处理从步骤S59进行到步骤S60。
在步骤S60中,根据从接收单元缓冲监控部52提供给压缩率控制部53的延迟控制信息,压缩率控制部53将延迟控制信息指示的延迟模式中的压缩率候选设置为感兴趣的压缩率候选,该候选是用于控制压缩率的压缩率候选,并且处理进行到步骤S61。
在步骤S61中,压缩率控制部53根据缓冲器33中的累积量从感兴趣的压缩率候选中选择压缩率,并将压缩率提供给数据生成部51,从而控制数据生成部51的压缩率,并且处理进行到步骤S62。
在步骤S62中,类似于图2中的步骤S11,数据生成部51逐帧地将LPCM数据编码为从供应单元11供应的声音数据,并且处理进行到步骤S63。然而,在步骤S62中,数据生成部51以紧接在前面的步骤S61中从压缩率控制部53提供的压缩率执行编码。
在步骤S63中,类似于图2中的步骤S12,数据生成部51将SF或音调确定为感兴趣帧的感测特征量,感兴趣帧是紧接在前面编码的声音数据的帧,并且处理进行到步骤S64。
在步骤S64中,类似于图2中的步骤S13,数据生成部51将感兴趣帧的感测特征量与阈值进行比较,并且根据比较结果生成感兴趣帧的编码数据的数据控制信息。然后,数据生成部51将数据控制信息提供给接收单元缓冲监控部52,并且处理从步骤S64进行到步骤S65。
在步骤S65中,接收单元缓冲监控部52通过使未示出的FIFO存储在紧接在前面执行的步骤S64中从数据生成部51提供的数据控制信息(标志)来更新数据控制信息的历史(标志信息),并且处理进行到步骤S66。
应当注意,在FIFO存储FIFO的音量的数据控制信息的情况下,接收单元缓冲监控部52从FIFO中删除最早的数据控制信息,并使FIFO存储最新的数据控制信息。在操作状态是监控状态的情况下,接收单元缓冲监控部52从存储在FIFO中的数据控制信息(的历史)识别接收缓冲状态。
在步骤S66至S68中,执行与图2中的步骤S14至S16相似的处理。
应当注意,步骤S51至S68的处理根据需要在流水线中执行。
如上所述,在图5中的发送单元12中,除了执行与图2中的情况类似的处理之外,根据延迟控制信息(由该信息指示的延迟模式)来设置感兴趣的压缩率候选,并且通过使用感兴趣的压缩率候选来根据缓冲器33中的累积量来控制压缩率。这使得能够容易地在接收单元21中执行声音数据的延迟时间的切换,而不断开无线通信,并且能够根据延迟模式和发送路径的条件适当地控制压缩率,以抑制发生声音中断。此外,在发送路径的条件良好的情况下,可以增强从输出单元22输出的声音的声音质量。
应当注意,在图5中的发送单元12中,缓冲器33中的累积量被视为发送路径的条件,并且根据缓冲器33中的累积量,作为发送路径的条件,自适应地控制压缩率;然而,压缩率可以有多种变化,例如,根据用户的操作的控制等。
此外,在上述情况下,从接收单元缓冲监控部52中的数据控制信息的历史(序列)来估计接收单元21的缓冲器44的接收缓冲器状态。然而,另外,在接收单元21通过例如无线通信向发送单元12返回指示是否能够正常接收分组的消息的情况下,可以采取各种变化,例如,使接收单元21将接收缓冲状态(从其中获得的可再现帧数)与消息一起发送,并且使发送单元12使用从接收单元21发送的接收缓冲器状态来执行类似于上述情况的处理。
<发送单元12和接收单元21的第三配置示例>
图7是示出图1中的发送单元12和接收单元21的第三配置示例的框图。
应当注意,在附图中,与图2或图5中的情况相对应的部分由相同的附图标记表示,并且在下文中适当省略对其的描述。
在图7中,发送单元12包括缓冲器33、分组化部34、通信部35、自适应延迟控制部61、延迟控制信息生成部62、数据生成部63、接收单元缓冲监控部64和压缩率控制部65。
因此,图7中的发送单元12与图5的情况的相同之处在于,包括缓冲器33、分组化部34和通信部35。然而,图7中的发送单元12与图5的情况的不同之处在于,新设置了自适应延迟控制部61,并且分别设置了延迟控制信息生成部62、数据生成部63、接收单元缓冲监控部64和压缩率控制部65来代替延迟控制信息生成部31、数据生成部51、接收单元缓冲监控部52和压缩率控制部53。
此外,在图7中,接收单元21包括通信部41、分组划分部42、延迟控制信息分析部43、缓冲器44、数据输出部46、LPCM缓冲器47和数据控制部71。
因此,图7中的接收单元21与图2和5的情况的相同之处在于,包括通信部41、分组划分部42、延迟控制信息分析部43、缓冲器44、数据输出部46和LPCM缓冲器47。然而,图7中的接收单元21与图2和5的情况的不同之处在于,设置数据控制部71来代替数据控制部45。
在图7中,类似于图5的情况,发送单元12和接收单元21控制(切换)延迟时间,并且发送单元12根据发送路径的条件(通信状态)自适应地控制编码声音数据时的压缩率;然而,在低延迟模式下,准备多段时间,作为延迟时间。
即,在图2和5中,假设低延迟模式中的延迟时间是一个预定延迟时间;然而,在图7中,准备多段时间,例如,三段时间,作为低延迟模式中的延迟时间。在下文中,这三段时间中的每一段被定义为延迟时间的低延迟模式分别被描述为低延迟模式1、2和3。假设延迟时间按照低延迟模式1、2和3的顺序变短。
在图7的发送单元12中,延迟模式和延迟时间根据缓冲器33中表示发送路径条件(通信状态)的累积量自适应地改变。
自适应延迟控制部61间歇地获取缓冲器33中的累积量,根据缓冲器33中的累积量(序列)从低延迟模式1至3中选择一个低延迟模式,并将所述一个低延迟模式提供给延迟控制信息生成部62。在此处,自适应延迟控制部61从低延迟模式1至3中选择的低延迟模式也称为基于累积量的低延迟模式。
与图2中的延迟控制信息生成部62类似,延迟控制信息生成部62响应于切换提供给其的延迟模式的请求,生成指示低延迟模式或正常延迟模式的延迟控制信息。
此外,延迟控制信息生成部62根据自适应延迟控制部61提供的基于累积量的低延迟模式,改变由延迟控制信息指示的延迟模式,从而改变延迟时间。
即,例如,在由延迟控制信息指示的延迟模式是正常延迟模式的情况下,延迟控制信息生成部62将指示正常延迟模式的延迟控制信息原样提供给数据生成部63。
此外,例如,在延迟控制信息指示的延迟模式是低延迟模式的情况下,延迟控制信息生成部62将延迟控制信息指示的低延迟模式改变(变更)为自适应延迟控制部61提供的基于累积量的低延迟模式(低延迟模式1、2或3),并将改变后的延迟控制信息提供给数据生成部63。
因此,在图7中,由从延迟控制信息生成部62提供给数据生成部63的延迟控制信息指示的延迟模式包括四种类型的延迟模式:正常延迟模式和低延迟模式1至3。例如,正常延迟模式和低延迟模式1至3分别由值0、1、2和3表示。
与图5中的数据生成部51类似,数据生成部63根据压缩率控制部65的控制,以压缩率(由压缩率控制部65提供的压缩率)逐帧编码来自供应单元11的声音数据。
此外,类似于图5中的数据生成部51,数据生成部63基于感测的特征量生成对应于编码数据的声音数据帧的数据控制信息。
此外,类似于图5中的数据生成部51,数据生成部63生成发送目标数据,其中,通过编码声音数据帧而获得的编码数据、该帧的数据控制信息和来自延迟控制信息生成部62的用于该帧的延迟控制信息组合为一组,并将发送目标数据提供给缓冲器33。
此外,类似于图5中的数据生成部51,数据生成部63将声音数据的相应帧的数据控制信息和延迟控制信息提供给接收单元缓冲监控部64。
应当注意,数据生成部63与图5中的数据生成部51的不同之处在于,由数据生成部63处理的延迟控制信息不是指示正常延迟模式和低延迟模式这两种类型的延迟模式的延迟控制信息,而是指示正常延迟模式和三种类型的低延迟模式1至3的延迟控制信息。
与图5中的接收单元缓冲监控部52类似,接收单元缓冲监控部64根据从数据生成部63提供的数据控制信息估计接收单元21的缓冲器44的接收缓冲器状态,并监控接收缓冲状态。
即,接收单元缓冲监控部64依次存储来自数据生成部63的数据控制信息,从而存储一定数量的最新数据控制信息。
接收单元缓冲监控部64将由来自数据生成部63的最新延迟控制信息指示的延迟模式和由先前延迟控制信息指示的延迟模式相互比较,并且根据比较结果和接收缓冲状态,将指示正常延迟模式和低延迟模式1、2或3的延迟控制信息提供给压缩率控制部65。
具体地,在由最新延迟控制信息指示的延迟模式没有从由先前延迟控制信息指示的延迟模式改变并且接收单元缓冲监控部64的操作状态是正常状态的情况下,接收单元缓冲监控部64将最新延迟控制信息提供给压缩率控制部65。
在由最新延迟控制信息指示的延迟模式是低延迟模式(低延迟模式1至3中的一个)并且由先前延迟控制信息指示的延迟模式是正常延迟模式的情况下,即,在延迟模式从正常延迟模式改变(变更)到低延迟模式的情况下,接收单元缓冲监控部64将最新延迟控制信息提供给压缩率控制部65。
在由最新延迟控制信息指示的延迟模式是正常延迟模式并且由先前延迟控制信息指示的延迟模式是低延迟模式的情况下,即,在延迟模式从低延迟模式改变为正常延迟模式的情况下,或者在由最新延迟控制信息指示的延迟模式是低延迟模式#i并且由先前延迟控制信息指示的延迟模式是具有较短延迟时间的低延迟模式#j(j>i)的情况下,即,在延迟模式从低延迟模式#j改变到具有较长延迟时间的低延迟模式#i的情况下,接收单元缓冲监控部64将操作状态转换到监控状态。
在监控状态下,类似于图5中的接收单元缓冲监控部52,接收单元缓冲监控部64根据存储的数据控制信息序列(历史)估计接收单元21的缓冲器44的接收缓冲器状态,并监控接收缓冲状态。然后,在对存储在接收单元21的缓冲器44中的编码数据执行基于数据控制信息的复制(插入)的情况下,接收单元缓冲监控部64从接收缓冲状态计算可再现帧数,即可再现帧的数量。
此外,接收单元缓冲监控部64将可再现帧数与预定为不太可能发生声音中断的值的阈值进行比较。
可以采用固定值,例如,正常延迟模式的参考值或对应于由最新延迟控制信息指示的延迟模式的值,作为由接收单元缓冲监控部64与可再现帧数进行比较的阈值。
可以采用由最新延迟控制信息指示的延迟模式中的(缓冲器44中的)累积量的参考值,作为对应于由最新延迟控制信息指示的延迟模式的值。延迟模式中累积量的参考值是作为适当时间的预定时间的帧数,作为延迟模式中的延迟时间。
在监控状态下,在可再现帧数超过阈值的情况下,即,在接收缓冲状态是不太可能发生声音中断的状态的情况下,接收单元缓冲监控部64取消监控状态,将操作状态转换到正常状态,并将最新延迟控制信息提供给压缩率控制部65。
另一方面,在监控状态下可再现帧数不超过阈值的情况下,即,在接收缓冲状态不是不太可能发生声音中断的情况下,接收单元缓冲监控部64将操作状态保持在监控状态,并将紧接在转换到当前监控状态之前从数据生成部51提供的延迟控制信息之前立即提供的延迟控制信息提供给压缩率控制部65。
应当注意,在操作状态是监控状态的情况下,当由最新延迟控制信息指示的延迟模式是低延迟模式(低延迟模式1至3中的一个)并且当由先前延迟控制信息指示的延迟模式是正常延迟模式时,即,当延迟模式从正常延迟模式改变为低延迟模式时,或者在由最新延迟控制信息指示的延迟模式是低延迟模式#j’并且由先前延迟控制信息指示的延迟模式是具有较长延迟时间的低延迟模式#i’(j’>i’)的情况下,即,当延迟模式从低延迟模式#i’改变为具有较短延迟时间的低延迟模式#j’时,接收单元缓冲监控部64取消监控状态,并将操作状态转换到正常状态,并将最新的延迟控制信息提供给压缩率控制部65。
类似于图5中的接收单元缓冲监控部52的情况,通过在接收单元缓冲监控部64中执行上述处理,紧接在延迟模式从低延迟模式改变为正常延迟模式之后,或者在延迟模式从低延迟模式#j改变为具有较长延迟时间的低延迟模式#i的情况下,可以抑制发生由于接收单元21的缓冲器44中的累积量小(延迟时间小)而导致的声音中断。
应当注意,类似于参考图5中的接收单元缓冲监控部52描述的情况,在延迟模式从低延迟模式改变为正常延迟模式的情况下,或者在低延迟模式#j改变为具有较长延迟时间的低延迟模式#i的情况下,接收单元缓冲监控部64可以进入监控接收单元21的缓冲器44的接收缓冲器状态的监控状态;此外,在延迟模式从正常延迟模式改变为低延迟模式的情况下,或者在低延迟模式#i改变为具有较短延迟时间的低延迟模式#j的情况下,接收单元缓冲监控部64也可以进入监控状态。
类似于图5中的压缩率控制部53,压缩率控制部65间歇地获取缓冲器33中的累积量,根据缓冲器33中的累积量和由从接收单元缓冲监控部64提供的延迟控制信息指示的延迟模式来确定压缩率,并将压缩率提供给数据生成部63。
然而,由从接收单元缓冲监控部64提供给压缩率控制部65的延迟控制信息指示的延迟模式包括用于低延迟模式的低延迟模式1至3;压缩率控制部65处理低延迟模式的低延迟模式1至3。因此,压缩率控制部65与图5中不处理低延迟模式1至3的压缩率控制部53的不同之处在于,压缩率控制部65处理低延迟模式的低延迟模式1至3。
为此,例如,在压缩率控制部65中,为正常延迟模式和低延迟模式1至3中的每一个准备压缩率候选。
压缩率控制部65根据缓冲器33中的累积量(序列),从由接收单元缓冲监控部64提供的延迟控制信息指示的延迟模式中的压缩率候选中选择并确定压缩率,并将压缩率提供给数据生成部63。
类似于日本未审查专利申请公开号2016-208215中描述的技术,类似于图5中的压缩率控制部53的情况,可以根据缓冲器33中的累积量来执行压缩率的选择。即,在缓冲器33中的累积量大于阈值或趋于增加的情况下,选择高于当前压缩率的压缩率。此外,例如,在缓冲器33中的累积量趋于减少并且等于或小于阈值的值继续的情况下,选择低于当前压缩率的压缩率。
在此处,与图5中的压缩率控制部53的情况类似,紧接在由从接收单元缓冲监控部64提供给压缩率控制部65的延迟控制信息指示的延迟模式改变之后,压缩率控制部65能够从改变后的延迟模式中的压缩率候选中选择压缩率。即,压缩率控制部65能够例如从改变之后的延迟模式中的压缩率候选中选择接近紧接在延迟模式改变之前的压缩率的压缩率候选,作为压缩率。此外,压缩率控制部65能够例如从改变之后的延迟模式中的压缩率候选中选择上述成功概率接近紧接在延迟模式改变之前的压缩率的情况的压缩率候选,作为压缩率。
应当注意,在由从接收单元缓冲监控部64提供给压缩率控制部65的延迟控制信息指示的延迟模式的变化是相对于当前延迟模式中的延迟时间具有短延迟时间的延迟模式的变化的情况下,期望在压缩率控制部65中切换压缩率控制,以在改变之后延迟模式中的延迟时间变短时,允许提供给数据生成部63的压缩率立即为高压缩率,从而抑制发生声音中断。
类似于图2和5的数据控制部45,接收单元21的数据控制部71根据从延迟控制信息分析部43提供的延迟控制信息和数据控制信息以及缓冲器44中的累积量,执行存储在缓冲器44中的编码数据的插入、丢弃或正常读取,作为对编码数据的使用的控制。
应当注意,由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式包括用于低延迟模式的低延迟模式1至3;数据控制部71处理低延迟模式的低延迟模式1至3。因此,数据控制部71与不处理低延迟模式1至3的图2和5的数据控制部45的不同之处在于,数据控制部71处理低延迟模式的低延迟模式1至3。
<自适应延迟控制部61的处理>
图8描述了图7中的自适应延迟控制部61的处理示例。
自适应延迟控制部61根据缓冲器33中的累积量(序列),从低延迟模式1至3中选择基于累积量的低延迟模式(设置为该模式的低延迟模式)。
图8示出了自适应延迟控制部61如何根据缓冲器33中的累积量从低延迟模式1至3中选择基于累积量的低延迟模式的选择方法的示例。
即,图8示出了当前基于累积量的低延迟模式(下文中,也称为当前低延迟模式)以及阈值A和阈值B,例如,当在当前低延迟模式中选择下一个基于累积量的低延迟模式时,阈值A和阈值B将与累积量的移动平均值进行0.5秒的比较,作为缓冲器33中累积量(缓冲状态)的统计信息。
在图8中,低延迟模式1中的阈值A和阈值B分别为0和1.5。此外,低延迟模式2中的阈值A和B分别为0和1.0,低延迟模式3中的阈值A和B分别为0和0.5。
自适应延迟控制部61计算0.5秒的缓冲器33中累积量的移动平均值,作为缓冲器33中累积量的统计信息。应当注意,移动平均值的时间不限于0.5秒。
自适应延迟控制部61将缓冲器33中累积量的移动平均值与当前低延迟模式的阈值A和B进行比较;在缓冲器33中累积量的移动平均值等于或小于阈值A的情况下,自适应延迟控制部61选择延迟时间比当前低延迟模式短一步的低延迟模式#x,作为下一个基于累积量的低延迟模式。即,基于累积量的低延迟模式切换到延迟时间比当前低延迟模式短一步的低延迟模式#x。
因此,例如,在当前低延迟模式是低延迟模式2并且缓冲器33中累积量的移动平均值等于或小于阈值A=0,即,表示缓冲器33为空的0的情况下,选择延迟时间比低延迟模式2短一步的低延迟模式3,作为下一个基于累积量的低延迟模式。
此外,在缓冲器33中累积量的移动平均值等于或大于阈值B的情况下,选择延迟时间比当前低延迟模式长一步的低延迟模式#y,作为下一个基于累积量的低延迟模式。即,基于累积量的低延迟模式切换到延迟时间比当前低延迟模式长一步的低延迟模式#y。
因此,例如,在当前低延迟模式是低延迟模式2并且缓冲器33中累积量的移动平均值等于或大于阈值B=1.0的情况下,选择延迟时间比低延迟模式2长一步的低延迟模式1,作为下一个基于累积量的低延迟模式。
另一方面,在缓冲器33中累积量的移动平均值大于阈值A并且小于阈值B的情况下,选择当前低延迟模式,作为下一个基于累积量的低延迟模式。换言之,当前的低延迟模式保持不变。
应当注意,在图8中,低延迟模式3中的阈值A是0;在此处,没有比低延迟模式3具有更短延迟时间的低延迟模式。因此,在当前低延迟模式是低延迟模式3的情况下,即使当缓冲器33中的累积量的移动平均值等于或小于低延迟模式3中的阈值A=0时,作为当前低延迟模式的低延迟模式3仍然照原样保持为基于累积量的低延迟模式。
此外,在图8中,低延迟模式1中的阈值B是1.5;在此处,没有比低延迟模式1具有更长延迟时间的低延迟模式。因此,在当前低延迟模式是低延迟模式1的情况下,即使当缓冲器33中的累积量的移动平均值等于或大于低延迟模式1中的阈值B=1.5时,作为当前低延迟模式的低延迟模式1仍然照原样保持为基于累积量的低延迟模式。
然而,在当前低延迟模式是低延迟模式1的情况下,当缓冲器33中的累积量的移动平均值等于或大于低延迟模式1中的阈值B=1.5时,自适应延迟控制部61能够选择具有比作为当前低延迟模式的低延迟模式1更长延迟时间的正常延迟模式,作为基于累积量的低延迟模式,并且能够向延迟控制信息生成部62提供正常延迟模式。
在这种情况下,延迟控制信息生成部62从自适应延迟控制部61向数据生成部63提供指示正常延迟模式的延迟控制信息,而不管切换向其提供的延迟模式的请求。
<压缩率控制部65的处理>
图9描述了图7中压缩率控制部65的处理示例。
压缩率控制部65根据缓冲器33中的累积量(序列),从由接收单元缓冲监控部64提供的延迟控制信息指示的延迟模式中的压缩率候选中选择压缩率。
图9示出了选择标准A和B的示例,通过该选择标准,压缩率控制部65选择正常延迟模式和低延迟模式1至3中的每一个中的压缩率以及正常延迟模式和低延迟模式1至3中的每一个中的压缩率候选。
选择标准A和B包括观察缓冲器33中的累积量的观察时间以及将与观察时间中缓冲器33中的累积量的移动平均值进行比较的阈值。
在满足选择标准A的情况下,即,在选择标准A的观察时间内缓冲器33中累积量的移动平均值等于或小于选择标准A的阈值的情况下,从当前延迟模式中的压缩率候选中,选择比当前压缩率低一步(更小)的压缩率候选,作为新压缩率。
在满足选择标准B的情况下,即,在选择标准B的观察时间内缓冲器33中累积量的移动平均值等于或大于选择标准B的阈值的情况下,从当前延迟模式中的压缩率候选中,选择比当前压缩率高一步的压缩率候选,作为新压缩率。
在不满足选择标准A和B的情况下,保持当前压缩率。
在图9中,例如,在正常延迟模式中,作为选择标准A的观察时间和阈值分别是1秒和0,作为选择标准B的观察时间和阈值分别是1秒和不等于0的值。此外,正常延迟模式中的压缩率候选构成多个压缩率{1/4,1/5,1/6,...},其中,1/4是最小的压缩率。
因此,在由从接收单元缓冲监控部64提供给压缩率控制部65的延迟控制信息指示的延迟模式是正常延迟模式的情况下,当在正常延迟模式下,缓冲器33中累积量的一秒观察时间的移动平均值等于或小于选择标准A的阈值0时,即,当发送路径的条件良好时,在正常延迟模式下,从压缩率候选{1/4,1/5,1/6,...}中选择具有比当前压缩率低一步的压缩率候选,作为新压缩率。例如,在当前压缩率是在正常延迟模式中的压缩率候选的{1/4,1/5,1/6,...}的1/5的情况下,选择比当前压缩率1/5低一步的压缩率候选1/4,作为新压缩率。
此外,当在正常延迟模式下,缓冲器33中累积量的一秒观察时间的移动平均值不同于选择标准B的阈值0(大于0)时,即,当发送路径的条件不佳时,在正常延迟模式下,从压缩率候选{1/4,1/5,1/6,...}中选择具有比当前压缩率高一步的压缩率候选,作为新压缩率。例如,在当前压缩率是在正常延迟模式中的压缩率候选的{1/4,1/5,1/6,...}的1/5的情况下,选择比当前压缩率1/5高一步的压缩率候选1/6,作为新压缩率。
参考图9,为每个延迟模式设置用于确定移动平均值的缓冲器33中的累积量的观察时间,因此,可以说压缩率控制部65根据延迟控制信息(由其指示的延迟模式)改变用于确定移动平均值的缓冲器33中的累积量的观察时间。
应当注意,图9中的最小压缩率是将记录在CD(光盘)上的声音数据(采样频率:44.1kHz,声音数据的位数:16位)用作将被数据生成部63编码的声音数据的情况的示例。在具有较大数据量的声音数据(例如,所谓的高分辨率声音数据)用作将被数据生成部63编码的声音数据的情况下,比图9的情况更高的压缩率用作最小压缩率(因此也作为压缩率候选),以便获得具有与传送要记录在CD上的声音数据的情况相等的大小的编码数据。
<数据控制部71的处理>
图10描述了图7中的数据控制部71的处理示例。
数据控制部71根据从延迟控制信息分析部43提供的延迟控制信息和数据控制信息以及缓冲器44中的累积量来控制存储在缓冲器44中的编码数据的插入、丢弃或正常读取。
由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式包括正常延迟模式和低延迟模式1至3;图10示出了在正常延迟模式和低延迟模式1至3中(在缓冲器44中)累积量的下限阈值A和上限阈值B以及作为参考值的帧数(预定为适当时间的时间的帧数,作为相应延迟模式的延迟时间)的示例。
在此处,在数据控制部71中,下限阈值A和上限阈值B与缓冲器44中的累积量在预定时间段(例如,一秒)内的移动平均值进行比较。
例如,现在假设由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式是特定时间段内的正常延迟模式。
在这种情况下,在缓冲器44中的累积量的一秒移动平均值等于或大于正常延迟模式中累积量的下限阈值A=40并且等于或小于正常延迟模式中累积量的上限阈值B=69的情况下,数据控制部71对存储在缓冲器44中的最早的一帧执行编码数据的正常读取。
此外,在缓冲器44中的累积量的一秒移动平均值大于正常延迟模式中累积量的上限阈值B=69的情况下,为了减少缓冲器44中的累积量,数据控制部71根据编码数据的数据控制信息逐帧丢弃存储在缓冲器44中的编码数据,类似于图2和5中的数据控制部45。
此外,在缓冲器44中的累积量的一秒移动平均值小于正常延迟模式中累积量的下限阈值A=40的情况下,为了增加缓冲器44中的累积量,数据控制部71根据编码数据的数据控制信息逐帧复制(插入)存储在缓冲器44中的编码数据,类似于图2和5中的数据控制部45。
如上所述,在正常延迟模式下,缓冲器44中的累积量是接近64(帧)的值,该值是正常延迟模式下累积量的参考值。
此后,当由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式例如从正常延迟模式改变到低延迟模式2时,数据控制部71将要与缓冲器44中累积量的移动平均值比较的下限阈值A和上限阈值B切换到低延迟模式2中的累积量的下限阈值A=16和上限阈值B=20。
紧接在由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式从正常延迟模式变为低延迟模式2之后,缓冲器44中的累积量是接近64的值,该值是正常延迟模式中累积量的参考值。
因此,紧接在由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式从正常延迟模式变为低延迟模式2之后,缓冲器44中的累积量的一秒移动平均值(大约64)大于低延迟模式2中累积量的上限阈值B=20。因此,在数据控制部71中,根据编码数据的数据控制信息逐帧丢弃存储在缓冲器44中的编码数据,以便减少缓冲器44中的累积量。继续丢弃编码数据,直到缓冲器44中的累积量达到18,18是低延迟模式2中累积量的参考值。
此后,当由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式例如从低延迟模式2改变到正常延迟模式时,数据控制部71将要与缓冲器44中累积量的移动平均值比较的下限阈值A和上限阈值B切换到正常延迟模式中的累积量的下限阈值A=40和上限阈值B=69。
紧接在由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式从低延迟模式2变为正常延迟模式之后,缓冲器44中的累积量是接近18的值,该值是低延迟模式2中累积量的参考值。
因此,紧接在由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式从低延迟模式2改变到正常延迟模式之后,缓冲器44中的累积量的一秒移动平均值(接近18)小于正常延迟模式中累积量的下限阈值A=40。因此,在数据控制部71中,根据编码数据的数据控制信息逐帧复制(插入)存储在缓冲器44中的编码数据,以便增加缓冲器44中的累积量。继续复制编码数据,直到缓冲器44中的累积量达到64,64是正常延迟模式中累积量的参考值。
<发送处理>
图11是描述由图7中的发送单元12执行的用于发送声音数据的发送处理的示例的流程图。
在步骤S81中,自适应延迟控制部61根据缓冲器33中的累积量从低延迟模式1至3中选择基于累积量的低延迟模式,将基于累积量的低延迟模式提供给延迟控制信息生成部62,并且处理进行到步骤S82。
在此处,延迟控制信息生成部62响应于切换提供给其的延迟模式的请求,生成指示低延迟模式或正常延迟模式的延迟控制信息。
然后,在由延迟控制信息指示的延迟模式是正常延迟模式的情况下,延迟控制信息生成部62将指示正常延迟模式的延迟控制信息原样提供给数据生成部63。另外,在延迟控制信息指示的延迟模式是低延迟模式的情况下,延迟控制信息生成部62将延迟控制信息指示的低延迟模式改变为从自适应延迟控制部61提供的基于累积量的低延迟模式(低延迟模式1、2或3),并将改变后的延迟控制信息提供给数据生成部63。数据生成部63将来自延迟控制信息生成部62的延迟控制信息提供给接收单元缓冲监控部64。
在步骤S82中,类似于图6中的步骤S51,接收单元缓冲监控部64检查由从数据生成部63提供的最新延迟控制信息指示的延迟模式是否已经从由先前延迟控制信息指示的延迟模式改变,即延迟模式是否已经改变,并且处理进行到步骤S83。
在步骤S83中,接收单元缓冲监控部64确定延迟模式的变化是否满足用于将操作状态转换到监控状态的监控状态转换条件。在此处,可以采用由已经从低延迟模式改变到正常延迟模式的延迟控制信息指示的延迟模式以及已经从低延迟模式#j改变到具有更长延迟时间的低延迟模式#i(j>i),作为步骤S83中的监控状态转换条件。
在步骤S83中确定满足监控状态转换条件的情况下,处理进行到步骤S84。
在步骤S84中,类似于图6中的步骤S53,在操作状态是正常状态的情况下,接收单元缓冲监控部64将操作状态从正常状态转换到监控状态,开始监控接收缓冲状态,并且处理进行到步骤S85。
在步骤S85中,类似于图6中的步骤S54,接收单元缓冲监控部64根据接收缓冲状态计算可再现帧数,并且处理进行到步骤S86。
在步骤S86中,接收单元缓冲监控部64确定可再现帧数是否小于预定为不太可能发生声音中断的值的阈值。在此处,作为步骤S86中确定的阈值,采用由从数据生成部63提供给接收单元缓冲监控部64的延迟控制信息指示的每个延迟模式不同的值,即,例如,延迟模式(图10)中累积量的参考值。
在步骤S86中确定可再现帧数不小于阈值的情况下,即,在接收缓冲状态是不太可能发生声音中断的状态的情况下,处理进行到步骤S90。
此外,在步骤S86中确定可再现帧数小于阈值的情况下,即,在接收缓冲状态不是不太可能发生声音中断的状态的情况下,处理进行到步骤S87。
在步骤S87中,接收单元缓冲监控部64将来自数据生成部63的最新延迟控制信息设置(改变)为紧接在监控状态之前从数据生成部63提供的延迟控制信息之前提供的延迟控制信息,将设置(改变)的延迟控制信息提供给压缩率控制部65,并且处理进行到步骤S91。
另一方面,在步骤S83中确定不满足监控状态转换条件的情况下,处理进行到步骤S88。
在步骤S88中,类似于图6中的步骤S57,接收单元缓冲监控部64确定操作状态是否是监控状态。
在步骤S88中确定操作状态不是监控状态的情况下,即,在操作状态是正常状态的情况下,接收单元缓冲监控部64将延迟控制信息从数据生成部63提供给压缩率控制部65,并且处理跳过步骤S89和S90并前进到步骤S91。
此外,在步骤S88中确定操作状态是监控状态的情况下,处理进行到步骤S89。
在步骤S89中,接收单元缓冲监控部64取消监控状态,并确定是否满足用于将操作状态转换到正常状态的监控状态取消条件。在此处,可以采用由已经从正常延迟模式改变为低延迟模式(低延迟模式1至3中的一个)的延迟控制信息指示的延迟模式以及已经从低延迟模式#i′改变为具有较短延迟时间的低延迟模式#j′(j′>i′),作为步骤S89中的监控状态消除条件。
在步骤S89中确定不满足监控状态取消条件的情况下,处理进行到步骤S85;在下文中,执行上述处理。
此外,在步骤S89中确定满足监控状态取消条件的情况下,处理进行到步骤S90,在步骤S90中,接收单元缓冲监控部64取消监控状态,并将操作状态转换到正常状态。此外,接收单元缓冲监控部64将来自数据生成部63的最新延迟控制信息提供给压缩率控制部65,并且处理从步骤S90进行到步骤S91。
在步骤S91中,根据从接收单元缓冲监控部64提供给压缩率控制部65的延迟控制信息,压缩率控制部65将延迟控制信息指示的延迟模式中的压缩率候选设置为感兴趣的压缩率候选,该压缩率候选是用于控制压缩率的压缩率候选,即,将正常延迟模式和低延迟模式1至3中任一种的压缩率候选设置为感兴趣的压缩率候选,并且处理进行到步骤S92。
在步骤S92中,参考图9所述,压缩率控制部65根据缓冲器33中的累积量,从正常延迟模式和低延迟模式1至3中的压缩率候选中感兴趣的压缩率候选中,选择压缩率,并向数据生成部63提供所选择的压缩率,从而控制数据生成部63中的压缩率,并且处理进行到步骤S93。
在步骤S93中,数据生成部63使用从压缩率控制部65提供的压缩率对从供应单元11提供的声音数据的帧进行编码,并且处理进行到步骤S94。
在步骤S94中,类似于图2中的步骤S12,数据生成部63将SF或音调确定为感兴趣帧的感测特征量,该感兴趣帧是紧接在前面编码的声音数据的帧,并且处理进行到步骤S95。
在步骤S95中,类似于图2中的步骤S13,数据生成部63根据感兴趣帧的感测特征量生成感兴趣帧的编码数据的数据控制信息。然后,数据生成部63将数据控制信息提供给接收单元缓冲监控部64,并且处理从步骤S95进行到步骤S96。
在步骤S96中,类似于图6中的步骤S65,接收单元缓冲监控部64使未示出的FIFO存储在紧接在前面执行的步骤S95中从数据生成部63提供的数据控制信息,并且处理进行到步骤S97。
在步骤S97至S99中,分别执行类似于图2中步骤S14至S16的情况的处理。
应当注意,步骤S81至S99的处理根据需要在流水线中执行。
在此处,在由图7中的接收单元21执行的接收处理中,存在由从延迟控制信息分析部43提供给数据控制部71的延迟控制信息指示的延迟模式中的正常延迟模式和低延迟模式1至3。根据由从延迟控制信息分析部43提供的延迟控制信息指示的正常延迟模式和低延迟模式1至3中的任何一种,数据控制部71设置在延迟模式中的累积量的下限阈值A和上限阈值B(图10),并且根据缓冲器44中的累积量和数据控制信息控制存储在缓冲器44中的编码数据的插入、丢弃和正常读取。除了上述那些之外,执行类似于图4的情况的处理;因此,省略其描述。
在图7中的发送单元12和接收单元21中,类似于图5的情况,可以容易地执行接收单元21中声音数据的延迟时间的切换,而不断开无线通信。此外,还可以根据延迟模式和发送路径的条件适当地控制压缩率,以抑制发生声音中断,并且还可以在发送路径的条件良好的情况下提高从输出单元22输出的声音的声音质量。
因此,例如,在使用蓝牙(注册商标)通过无线通信发送和再现存储在智能手机中的音频内容的情况下,当再现切换到伴随有图像和声音的视频内容时,可以实现将延迟模式设置为正常延迟模式,其中,在音频内容再现期间再现稳定,并且在视频内容再现期间,将延迟模式切换到低延迟模式,以允许图像和伴随的声音之间较少的不同步,而无需重新连接发送侧和接收侧之间的耦合,并且无需用户操作。
此外,可以根据发送路径的条件自动优化地调整压缩率,从而使得用户能够在不能马上知道发送路径的情况下,以适当的延迟时间和更好的声音质量轻松地享受视频内容和音频内容。
<应用该技术的计算机的描述>
接下来,上述一系列处理可以通过硬件或软件来执行。在一系列处理由软件执行的情况下,构成软件的程序安装在通用计算机等中。
图12是示出安装了执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。
该程序可以预先记录在硬盘105或作为在计算机中内置的记录介质的ROM 103中。
或者,程序可以存储(记录)在可移动记录介质111中。这种可移动记录介质111可以作为所谓的打包软件来提供。在此处,可移动记录介质111的示例可以包括软盘、CD-ROM(光盘只读存储器、MO(磁光)盘、DVD(数字多功能盘))、磁盘和半导体存储器。
应当注意,除了如上所述从可移动记录介质111安装在计算机中之外,该程序还可以经由通信网络或广播网络下载到计算机中并安装在内置硬盘105中。即,程序可以经由用于数字卫星广播的人造卫星从例如下载站点无线发送到计算机,或者可以经由诸如LAN(局域网)或因特网等网络有线发送到计算机。
计算机包括内置CPU(中央处理器)102;输入/输出接口110经由总线101耦合到CPU102。
当通过由用户经由输入/输出接口110执行的输入单元107的操作等输入命令时,CPU 102根据命令执行存储在ROM(只读存储器)103中的程序。或者,CPU 102将存储在硬盘105中的程序加载到RAM(随机存取存储器)104中,以执行该程序。
结果,CPU 102根据上述流程图执行处理,或者通过框图中的上述配置执行处理。然后,CPU 102根据需要从输出单元106输出其处理结果,或者经由例如输入/输出接口110从通信单元108发送处理结果,并且进一步使得硬盘105执行处理结果的记录等。
应当注意,输入单元107由键盘、鼠标、麦克风等配置。此外,输出单元106由LCD(液晶显示器)、扬声器等配置。
在此处,在本说明书中,由计算机根据程序执行的处理不必按流程图描述的顺序按时间顺序执行。即,由计算机根据程序执行的处理包括并行或单独执行的处理(例如,并行处理或通过对象处理)。
此外,程序可以由一台计算机(处理器)处理,或者可以由多台计算机进行分布式处理。此外,程序可以传送到远程计算机来执行。
此外,在本说明书中,系统是指一组多个组件(单元、模块(部件)等),并且对于所有组件是否都在同一壳体中没有限制。因此,容纳在单独的壳体中并经由网络耦合的多个单元和多个模块容纳在一个壳体中的一个设备都是一个系统。
应当注意,本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的要点的情况下以多种方式进行修改。
例如,本技术可以具有云计算的配置,其中,一个功能由多个单元经由网络共享和联合处理。
此外,除了由一个设备执行之外,上述流程图中描述的每个步骤可以由多个单元共享和执行。
此外,在一个步骤中包括多条处理的情况下,除了由一个设备执行之外,一个步骤中包括的多条处理可以由多个单元共享和执行。
此外,本说明书中描述的效果仅仅是说明性的,而不是限制性的,并且可以提供其他效果。
应当注意,本技术可以具有以下配置。
<1>一种接收单元,包括:
接收部,其接收
通过无线通信发送的数据,
通过无线通信发送的数据控制信息,用于控制数据的使用,并且
通过无线通信发送的延迟控制信息,指示关于处理数据时的延迟时间的延迟模式;
数据控制部,其根据数据控制信息和延迟控制信息控制数据的使用;以及
数据输出部,其输出控制其使用的数据。
<2>根据<1>所述的接收单元,其中,所述数据控制信息包括关于允许或禁止插入数据、丢弃数据或者插入或丢弃数据的信息。
<3>根据<2>所述的接收单元,还包括缓冲所述数据的缓冲器,其中,
所述数据控制部根据延迟控制信息、数据控制信息和缓冲器中的累积量来控制插入和丢弃缓冲器缓冲的数据。
<4>根据<3>所述的接收单元,其中,
所述数据控制部
根据延迟控制信息设置要与缓冲器中的累积量进行比较的阈值,并且
根据缓冲器中的累积量和阈值之间的比较结果,控制插入和丢弃缓冲器缓冲的数据。
<5>一种接收方法,包括:
接收:
通过无线通信发送的数据,
通过无线通信发送的数据控制信息,用于控制数据的使用,以及
通过无线通信发送的延迟控制信息,指示关于处理数据时的延迟时间的延迟模式;
根据数据控制信息和延迟控制信息控制数据的使用;并且
输出控制其使用的数据。
<6>一种程序,使计算机用作:
接收部,其接收
通过无线通信发送的数据,
通过无线通信发送的数据控制信息,用于控制数据的使用,以及
通过无线通信发送的延迟控制信息,指示关于处理数据时的延迟时间的延迟模式;
数据控制部,其根据数据控制信息和延迟控制信息控制数据的使用;以及
数据输出部,其输出控制其使用的数据。
<7>一种发送单元,包括:
数据控制信息生成部,其生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息;
延迟控制信息生成部,其在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息;以及
发送部,其通过无线通信发送数据、数据控制信息和延迟控制信息。
<8>根据<7>所述的发送单元,其中,所述数据控制信息包括关于在接收单元中允许或禁止插入数据、丢弃数据或者插入和丢弃数据的信息。
<9>根据<8>所述的发送单元,其中,所述数据控制信息生成部基于感测的特征量生成数据控制信息,所述感测的特征量指示在接收单元中执行数据的插入或丢弃的情况下感测数据的插入或丢弃的程度。
<10>根据<8>或<9>所述的发送单元,还包括:
编码部,其以预定压缩率对数据进行编码;以及
压缩率控制部,其根据延迟控制信息控制数据编码中的压缩率。
<11>根据<10>所述的发送单元,还包括发送缓冲器,其缓冲通过数据编码获得的编码数据,其中,
所述压缩率控制部根据延迟控制信息和发送缓冲器中的累积量来控制压缩率。
<12>根据<10>或<11>所述的发送单元,其中,
所述接收单元在接收缓冲器中缓冲数据,并根据延迟控制信息、数据控制信息和接收缓冲器中的累积量来控制在接收缓冲器中缓冲的数据的插入和丢弃,
由延迟控制信息指示的延迟模式包括第一延迟模式和延迟时间比第一延迟模式短的第二延迟模式,并且
发送单元还包括定时控制部,所述定时控制部获取作为接收缓冲器的状态的接收缓冲器状态,并且在由延迟控制信息指示的延迟模式从第二延迟模式改变为第一延迟模式的情况下,根据接收缓冲状态控制所述压缩率控制部控制压缩率的时间。
<13>根据<11>或<12>所述的发送单元,其中,所述延迟控制信息生成部根据发送缓冲器中的累积量来改变由延迟控制信息指示的延迟模式中的延迟时间。
<14>根据<12>所述的发送单元,其中,
由延迟控制信息指示的延迟模式包括第一延迟模式和延迟时间比第一延迟模式短的第二延迟模式,并且
所述延迟控制信息生成部根据发送缓冲器中的累积量改变第二延迟模式的延迟时间。
<15>根据<11>至<14>中任一项所述的发送单元,其中,
所述压缩率控制部在预定观察时间内根据延迟控制信息和发送缓冲器中的累积量来控制压缩率,并且
所述压缩率控制部根据延迟控制信息改变观察时间。
<16>一种发送方法,包括:
生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息;
在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息;并且
通过无线通信发送数据、数据控制信息和延迟控制信息。
<17>一种程序,使计算机用作:
数据控制信息生成部,其生成用于控制接收通过无线通信发送的数据的接收单元中的数据使用的数据控制信息;
延迟控制信息生成部,其在接收单元中生成指示关于处理数据时的延迟时间的延迟模式的延迟控制信息;以及
发送部,其通过无线通信发送数据、数据控制信息和延迟控制信息。
[附图标记列表]
10 发送设备
11 供应单元
12 发送单元
20 接收设备
21 接收单元
22 输出单元
31 延迟控制信息生成部
32 数据生成部
33 缓冲器
34 分组化部
35、41 通信部
42 分组划分部
43 延迟控制信息分析部
44 缓冲器
45 数据控制部
46 数据输出部
47 LPCM缓冲器
51 数据生成部
52 接收单元缓冲监控部
53 压缩率控制部
61 自适应延迟控制部
62 延迟控制信息生成部
63 数据生成部
64 接收单元缓冲监控部
65 压缩率控制部
71 数据控制部
101 总线
102 CPU
103 ROM
104 RAM
105 硬盘
106 输出单元
107 输入单元
108 通信单元
109 驱动器
110 输入/输出接口
111 可移动记录介质。
Claims (12)
1.一种发送单元,包括:
数据控制信息生成部,所述数据控制信息生成部生成用于在接收通过无线通信发送的声音数据的接收单元中控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息;
延迟控制信息生成部,所述延迟控制信息生成部生成指示关于在所述接收单元中处理所述声音数据时的延迟时间的延迟模式的延迟控制信息;以及
发送部,所述发送部通过无线通信发送所述声音数据、所述数据控制信息和所述延迟控制信息,
所述发送单元,还包括:
编码部,所述编码部以预定压缩率对所述声音数据进行编码;
发送缓冲器,所述发送缓冲器缓冲通过编码所述声音数据而获得的编码数据;以及
压缩率控制部,所述压缩率控制部根据所述延迟控制信息来控制编码所述声音数据时的压缩率,
其中,所述压缩率控制部根据所述延迟控制信息和预定的观察时间内在所述发送缓冲器中的累积量来控制所述压缩率,并且
所述压缩率控制部根据所述延迟控制信息来改变所述观察时间。
2.根据权利要求1所述的发送单元,其中,在所述接收单元中执行所述声音数据的插入或丢弃的情况下,所述数据控制信息生成部基于感测的特征量来生成所述声音数据控制信息,所述感测的特征量指示感测到的所述声音数据的插入或丢弃的程度。
3.根据权利要求1所述的发送单元,其中,
所述接收单元在接收缓冲器中缓冲所述声音数据,并根据所述延迟控制信息、所述数据控制信息和在所述接收缓冲器中的累积量来控制在所述接收缓冲器中缓冲的所述声音数据的插入和丢弃,
由所述延迟控制信息指示的延迟模式包括第一延迟模式和第二延迟模式,所述第二延迟模式具有比所述第一延迟模式短的延迟时间,并且
发送单元还包括定时控制部,所述定时控制部获取作为所述接收缓冲器的状态的接收缓冲器状态,并且在由所述延迟控制信息指示的延迟模式从所述第二延迟模式改变为所述第一延迟模式的情况下,根据所述接收缓冲器状态 来控制由所述压缩率控制部控制所述压缩率的定时。
4.根据权利要求1所述的发送单元,其中,所述延迟控制信息生成部根据在所述发送缓冲器中的累积量来改变由所述延迟控制信息指示的延迟模式中的延迟时间。
5.根据权利要求4所述的发送单元,其中,
由所述延迟控制信息指示的延迟模式包括第一延迟模式和第二延迟模式,所述第二延迟模式具有比所述第一延迟模式短的延迟时间,并且
所述延迟控制信息生成部根据在所述发送缓冲器中的累积量来改变所述第二延迟模式的延迟时间。
6.一种发送方法,包括:
由发送单元生成用于在接收通过无线通信发送的声音数据的接收单元中控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息;
由所述发送单元生成指示关于在所述接收单元中处理所述声音数据时的延迟时间的延迟模式的延迟控制信息;并且
由所述发送单元通过无线通信发送所述声音数据、所述数据控制信息以及所述延迟控制信息,
所述发送单元包括:
编码部,所述编码部以预定压缩率对所述声音数据进行编码;以及
发送缓冲器,所述发送缓冲器缓冲通过编码所述声音数据而获得的编码数据;以及
压缩率控制部,所述压缩率控制部根据所述延迟控制信息来控制编码所述声音数据时的压缩率,
其中,所述压缩率控制部根据所述延迟控制信息和预定的观察时间内在所述发送缓冲器中的累积量来控制所述压缩率,并且
所述压缩率控制部根据所述延迟控制信息来改变所述观察时间。
7.一种在其上存储有指令的计算机可读存储介质,当由计算机执行时,所述指令使所述计算机用作:
数据控制信息生成部,所述数据控制信息生成部生成用于在接收通过无线通信发送的声音数据的接收单元中控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息;
延迟控制信息生成部,所述延迟控制信息生成部生成指示关于在所述接收单元中处理所述声音数据时的延迟时间的延迟模式的延迟控制信息;
发送部,所述发送部通过无线通信发送所述声音数据、所述数据控制信息以及所述延迟控制信息;
编码部,所述编码部以预定压缩率对所述声音数据进行编码;
发送缓冲器,所述发送缓冲器缓冲通过编码所述声音数据而获得的编码数据;以及
压缩率控制部,所述压缩率控制部根据所述延迟控制信息来控制编码所述声音数据时的压缩率,
其中,所述压缩率控制部根据所述延迟控制信息和预定的观察时间内在所述发送缓冲器中的累积量来控制所述压缩率,并且
所述压缩率控制部根据所述延迟控制信息来改变所述观察时间。
8.一种接收单元,包括:
接收部,所述接收部接收:
通过无线通信从根据权利要求1所述的发送单元发送的声音数据,
通过无线通信发送的、用于控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息,以及
通过无线通信发送的、指示关于处理所述声音数据时的延迟时间的延迟模式的延迟控制信息,其中,所述延迟时间是由所述接收单元引起的;
数据控制部,所述数据控制部根据所述数据控制信息和所述延迟控制信息来控制所述声音数据的使用;以及
数据输出部,所述数据输出部输出其使用受到控制的声音数据。
9.根据权利要求8所述的接收单元,还包括缓冲所述数据的缓冲器,其中,
所述数据控制部根据所述延迟控制信息、所述数据控制信息和在所述缓冲器中的累积量来控制由所述缓冲器缓冲的所述声音数据的插入和丢弃。
10.根据权利要求9所述的接收单元,其中,
所述数据控制部:
根据所述延迟控制信息设置要与在所述缓冲器中的所述累积量进行比较的阈值,并且
根据所述缓冲器中的所述累积量和所述阈值之间的比较结果来控制由所述缓冲器缓冲的所述声音数据的插入和丢弃。
11.一种接收方法,包括:
接收:
通过无线通信从根据权利要求1所述的发送单元发送的声音数据,
通过无线通信发送的用于控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息,以及
通过无线通信发送的指示关于处理所述声音数据时的延迟时间的延迟模式的延迟控制信息;
根据所述数据控制信息和所述延迟控制信息来控制所述声音数据的使用;并且
输出其使用受到控制的声音数据。
12.一种在其上存储有指令的计算机可读存储介质,当由计算机执行时,所述指令使所述计算机用作:
接收部,所述接收部接收:
通过无线通信从根据权利要求1所述的发送单元发送的声音数据,
通过无线通信发送的、用于控制所述声音数据的使用的数据控制信息,其中,所述数据控制信息包括关于所述声音数据的插入、所述声音数据的丢弃,或所述声音数据的插入或丢弃两者的允许或禁止的信息,以及
通过无线通信发送的、指示关于处理所述声音数据时的延迟时间的延迟模式的延迟控制信息;
数据控制部,所述数据控制部根据所述数据控制信息和所述延迟控制信息来控制所述声音数据的使用;以及
数据输出部,所述数据输出部输出其使用受到控制的声音数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-141480 | 2017-07-21 | ||
JP2017141480 | 2017-07-21 | ||
PCT/JP2018/025657 WO2019017218A1 (ja) | 2017-07-21 | 2018-07-06 | 送信装置、送信方法、受信装置、受信方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110915223A CN110915223A (zh) | 2020-03-24 |
CN110915223B true CN110915223B (zh) | 2022-10-21 |
Family
ID=65015973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880047025.3A Active CN110915223B (zh) | 2017-07-21 | 2018-07-06 | 发送设备、发送方法、接收设备、接收方法和程序 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11394655B2 (zh) |
EP (1) | EP3657812B1 (zh) |
JP (1) | JP7302473B2 (zh) |
KR (1) | KR102506494B1 (zh) |
CN (1) | CN110915223B (zh) |
BR (1) | BR112020000807A2 (zh) |
RU (1) | RU2766575C2 (zh) |
WO (1) | WO2019017218A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11057451B2 (en) * | 2019-08-19 | 2021-07-06 | Bose Corporation | Audio synchronization in wireless systems |
WO2022054451A1 (ja) * | 2020-09-10 | 2022-03-17 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1023067A (ja) * | 1996-07-02 | 1998-01-23 | Canon Inc | 音声伝送システム |
CN101174918A (zh) * | 2006-11-02 | 2008-05-07 | 索尼株式会社 | 发送设备、发送方法和通信系统 |
JP2010141581A (ja) * | 2008-12-11 | 2010-06-24 | Canon Inc | 映像表示装置、映像表示方法及びプログラム |
JP2011066842A (ja) * | 2009-09-18 | 2011-03-31 | Sony Computer Entertainment Inc | 端末装置、音声出力方法および情報処理システム |
CN102984091A (zh) * | 2011-10-25 | 2013-03-20 | 斯凯普公司 | 抖动缓冲器 |
WO2016088582A1 (ja) * | 2014-12-04 | 2016-06-09 | ソニー株式会社 | データ処理装置、データ処理方法、及び、プログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050058149A1 (en) * | 1998-08-19 | 2005-03-17 | Howe Wayne Richard | Time-scheduled and time-reservation packet switching |
US7170856B1 (en) * | 1999-08-19 | 2007-01-30 | Nokia Inc. | Jitter buffer for a circuit emulation service over an internet protocol network |
US6775707B1 (en) * | 1999-10-15 | 2004-08-10 | Fisher-Rosemount Systems, Inc. | Deferred acknowledgment communications and alarm management |
US6707914B1 (en) * | 1999-11-29 | 2004-03-16 | Cisco Technology, Inc. | System and method for encrypting information within a communications network |
US7454457B1 (en) * | 2000-02-07 | 2008-11-18 | Parallel Networks, Llc | Method and apparatus for dynamic data flow control using prioritization of data requests |
US6862298B1 (en) * | 2000-07-28 | 2005-03-01 | Crystalvoice Communications, Inc. | Adaptive jitter buffer for internet telephony |
US6922396B1 (en) * | 2000-12-29 | 2005-07-26 | Cisco Technology, Inc. | System and method for managing time sensitive data streams across a communication network |
US20020089959A1 (en) * | 2001-01-11 | 2002-07-11 | Fischer Michael A. | System and method for providing a selectable retry strategy for frame-based communications |
JP4512699B2 (ja) * | 2001-01-11 | 2010-07-28 | 富士通株式会社 | フロー制御装置およびノード装置 |
US7496086B2 (en) * | 2002-04-30 | 2009-02-24 | Alcatel-Lucent Usa Inc. | Techniques for jitter buffer delay management |
US20030212739A1 (en) * | 2002-05-09 | 2003-11-13 | Antoine Boucher | Store and forward architecture |
US6999447B2 (en) * | 2002-06-26 | 2006-02-14 | Motorola, Inc. | VOIP transmitter and receiver devices and methods therefor |
EP1796320B1 (en) * | 2004-09-21 | 2013-10-16 | Hitachi, Ltd. | Node device |
US7543073B2 (en) * | 2004-12-10 | 2009-06-02 | Microsoft Corporation | System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate |
WO2006130964A1 (en) * | 2005-06-06 | 2006-12-14 | Mobidia, Inc. | System and method of traffic management over mixed networks |
US7965638B1 (en) * | 2006-05-22 | 2011-06-21 | Atrica Israel Ltd. | Policing machine incorporating randomization of rate threshold |
US8472320B2 (en) * | 2006-12-06 | 2013-06-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Jitter buffer control |
JP2008236483A (ja) * | 2007-03-22 | 2008-10-02 | Sanyo Electric Co Ltd | 通信方法ならびにそれを利用した端末装置および基地局装置 |
EP2163075A2 (en) * | 2007-06-19 | 2010-03-17 | Qualcomm Incorporated | Methods and apparatus for dataset synchronization in a wireless environment |
JP4704500B2 (ja) * | 2007-07-27 | 2011-06-15 | 富士通株式会社 | パケット処理装置 |
JP4946909B2 (ja) * | 2008-02-21 | 2012-06-06 | 富士通株式会社 | フレーム監視装置およびフレーム監視方法 |
US9380091B2 (en) * | 2012-06-12 | 2016-06-28 | Wi-Lan Labs, Inc. | Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network |
JP5402581B2 (ja) * | 2009-12-01 | 2014-01-29 | 富士通株式会社 | パケット中継装置および輻輳制御方法 |
JP4892090B1 (ja) | 2010-08-31 | 2012-03-07 | 株式会社東芝 | 情報送信装置、情報送信方法及び情報送信用プログラム |
US20150101004A1 (en) | 2012-06-22 | 2015-04-09 | Sony Corporation | Receiver apparatus and synchronization processing method thereof |
JP6021132B2 (ja) | 2013-04-30 | 2016-11-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 連続データをパケットにより無線通信する送信装置、受信装置、通信装置、プログラム、送信方法、及び、受信方法 |
JP6540189B2 (ja) | 2015-04-21 | 2019-07-10 | ソニー株式会社 | 送信装置、送信方法、およびプログラム |
US10237197B2 (en) * | 2017-01-31 | 2019-03-19 | Wipro Limited | System and method for processing data packets for transmission in a wireless communication network |
KR102391799B1 (ko) * | 2017-10-19 | 2022-04-29 | 삼성전자주식회사 | 유니캐스트 기반 멀티미디어 서비스 방법 및 장치 |
US10868768B1 (en) * | 2018-05-02 | 2020-12-15 | Innovium, Inc. | Multi-destination traffic handling optimizations in a network device |
US10587536B1 (en) * | 2018-06-01 | 2020-03-10 | Innovium, Inc. | Buffer assignment balancing in a network device |
-
2018
- 2018-07-06 KR KR1020197038746A patent/KR102506494B1/ko active Active
- 2018-07-06 JP JP2019530964A patent/JP7302473B2/ja active Active
- 2018-07-06 US US16/630,907 patent/US11394655B2/en active Active
- 2018-07-06 WO PCT/JP2018/025657 patent/WO2019017218A1/ja unknown
- 2018-07-06 EP EP18834459.2A patent/EP3657812B1/en active Active
- 2018-07-06 CN CN201880047025.3A patent/CN110915223B/zh active Active
- 2018-07-06 BR BR112020000807-9A patent/BR112020000807A2/pt unknown
- 2018-07-06 RU RU2020100721A patent/RU2766575C2/ru active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1023067A (ja) * | 1996-07-02 | 1998-01-23 | Canon Inc | 音声伝送システム |
CN101174918A (zh) * | 2006-11-02 | 2008-05-07 | 索尼株式会社 | 发送设备、发送方法和通信系统 |
JP2010141581A (ja) * | 2008-12-11 | 2010-06-24 | Canon Inc | 映像表示装置、映像表示方法及びプログラム |
JP2011066842A (ja) * | 2009-09-18 | 2011-03-31 | Sony Computer Entertainment Inc | 端末装置、音声出力方法および情報処理システム |
CN102984091A (zh) * | 2011-10-25 | 2013-03-20 | 斯凯普公司 | 抖动缓冲器 |
WO2016088582A1 (ja) * | 2014-12-04 | 2016-06-09 | ソニー株式会社 | データ処理装置、データ処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019017218A1 (ja) | 2019-01-24 |
EP3657812A1 (en) | 2020-05-27 |
EP3657812B1 (en) | 2022-12-07 |
KR20200026831A (ko) | 2020-03-11 |
US20200274817A1 (en) | 2020-08-27 |
EP3657812A4 (en) | 2020-05-27 |
RU2020100721A (ru) | 2021-07-14 |
JP7302473B2 (ja) | 2023-07-04 |
KR102506494B1 (ko) | 2023-03-07 |
US11394655B2 (en) | 2022-07-19 |
JPWO2019017218A1 (ja) | 2020-05-28 |
CN110915223A (zh) | 2020-03-24 |
RU2020100721A3 (zh) | 2021-08-20 |
RU2766575C2 (ru) | 2022-03-15 |
BR112020000807A2 (pt) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7160168B2 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP4704030B2 (ja) | オーディオ信号の適応変換装置及びその方法 | |
CN110915223B (zh) | 发送设备、发送方法、接收设备、接收方法和程序 | |
JP2006197542A (ja) | 多重化装置および多重化方法、並びにプログラム | |
TWI701922B (zh) | 訊號處理裝置、及訊號處理方法、以及記錄程式之非暫時性電腦可讀取之記錄媒體 | |
JP5652776B2 (ja) | 情報処理装置 | |
US20120233288A1 (en) | Apparatus, and associated method, by which to play out media data pursuant to a media data service | |
JP2007006145A (ja) | 端末装置、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |