[go: up one dir, main page]

CN116615918A - 针对无线设备的传感器管理 - Google Patents

针对无线设备的传感器管理 Download PDF

Info

Publication number
CN116615918A
CN116615918A CN202180085570.3A CN202180085570A CN116615918A CN 116615918 A CN116615918 A CN 116615918A CN 202180085570 A CN202180085570 A CN 202180085570A CN 116615918 A CN116615918 A CN 116615918A
Authority
CN
China
Prior art keywords
wearable device
audio capture
signal
capture sensor
energy level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085570.3A
Other languages
English (en)
Inventor
D·W·勇
N·A·布拉格罗夫
R·阿比德格伦
C·S·邦德
A·加尼施库玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN116615918A publication Critical patent/CN116615918A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供了一种用于在获得语音数据时选择可穿戴设备的音频捕获传感器的系统和方法。该方法提供：在第一可穿戴设备和第二可穿戴设备处获得与用户语音相关联的信号；比较第一信号和第二信号的能量水平；以及基于每个信号的能量水平来选择一个或多个音频捕获传感器。由于由该用户语音产生的声能对第一可穿戴设备和第二可穿戴设备的对称性，由该第一可穿戴设备获得的总能量与由该第二可穿戴设备获得的总能量之间的能量水平的任何差异可仅归因于环境噪声。因此，具有较高总能量的设备具有较低信噪比，并且提供对具有较高信噪比的另一可穿戴设备的音频捕获传感器的选择以获得向前移动的语音数据。

Description

针对无线设备的传感器管理
相关申请的交叉引用
本申请要求于2020年12月18日提交的并且名称为“Sensor Management forWireless Devices”的美国专利申请序列号17/126,630的优先权，其全部公开内容以引用方式并入本文。
背景技术
本公开的各方面和具体实施整体涉及用于管理传感器数据(例如，管理从可穿戴设备之间的一个或多个音频捕获传感器捕获语音数据)的系统和方法。
可穿戴无线音频设备(例如，无线耳机)常常利用配对的连接来流式传输来自源设备的无线音频数据。通常，每个无线耳机接收特定于每个无线耳机的离散数据流，例如，源设备产生与左耳机相关联的一个数据流和与右耳机相关联的一个流。在一些情况下，每个耳机还可利用一个或多个麦克风来获得与用户语音对应的信号，例如，当用户参与电话会话时，其中耳机(经由蓝牙连接)既充当用于该会话的接收器又充当用于该会话的发射器。在一些示例中，仅使用一对耳机中的一个耳机来获得与用户语音对应的信号。
另外，在不同的时间，用户周围的环境可产生由例如风、交通、机械等引起的过多的环境噪声。如果用户被取向为使得耳机中的一个耳机(例如，负责获得与用户语音对应的信号的耳机)更靠近环境噪声源(例如，在风的直接路径中)，则该耳机的语音拾取的质量将受损。
发明内容
本公开涉及用于选择可穿戴设备的一个或多个音频捕获传感器以用于获得语音数据的系统和方法以及计算机程序产品。所提供的示例包括：在第一可穿戴设备和第二可穿戴设备处获得与用户语音相关联的信号(其中，该第一可穿戴设备被定位在用户的右耳中，该第二可穿戴设备被定位在用户的左耳中)；比较第一信号和第二信号的能量水平；以及基于每个信号的能量水平选择一个或多个音频捕获传感器。由于由该用户语音产生的声能对该第一可穿戴设备和该第二可穿戴设备的对称性(因为用户右耳中的设备与用户左耳中的设备距离相等)，由该第一可穿戴设备获得的总能量与由该第二可穿戴设备获得的总能量之间的能量水平中的任何差异可仅归因于环境噪声中的差异。因此，具有较高总能量的设备具有较低信噪比，并且优选对具有较高信噪比的另一可穿戴设备的一个或多个音频捕获传感器的选择来获得向前移动的语音数据。
在一些示例中，本文所讨论的系统和方法利用无线数据传输，具体地，用于在设备之间广播和传输音频流的无线拓扑。例如，由蓝牙特殊兴趣组(SIG)在2020年1月6日发布的核心规范5.2(“核心规范”)定义了与蓝牙低功耗(BLE)拓扑相关的新特征。5.2核心规范中描述的一个特征是利用无连接同步通信的广播同步流。由5.2核心规范描述的类似特征是LE连接同步流，其利用面向连接的同步信道来提供两个设备之间(例如，外围设备104与可穿戴设备102A和102B之间(下文讨论))的点对点同步通信流。在一个示例中，本文所讨论的系统、设备和方法利用由5.2核心规范启用的蓝牙低功耗音频拓扑(本文中称为“LE音频”)。例如，LE音频启用单播无线拓扑(称为“连接同步流”(connected isochronous stream))，其允许单个蓝牙音频源设备(例如，智能电话)同时向单独的蓝牙设备(例如，无线耳机)传输多个音频流。这些拓扑旨在改进无线耳机的蓝牙操作。
具体地，当使用无线耳机或无线可穿戴设备(下文讨论)时，算法可用于改进使用来自可穿戴设备上的多个麦克风的输入的语音拾取。这些算法中的一些算法通过减小直接处于风路径中的麦克风上的增益来最小化环境噪声，例如，风噪声。其他算法使用双耳波束成形(使用靠近左耳和右耳两者放置的麦克风)来最大化信噪比。由于耳塞之间的高延迟，这些算法中的许多算法不能在真正无线的耳塞形状因素上实现。这些真正无线的耳塞通常使用蓝牙在耳塞之间传输数据，并且在耳塞之间可靠地传送麦克风数据可能花费多达100ms。这超过了一些语音拾取算法可容忍的可接受延迟。
在本公开中，在左可穿戴设备和右可穿戴设备两者上监测传感器输入(例如，麦克风输入)以确定哪组传感器提供最优信噪比。在使用经典蓝牙连接的一些示例中，“主”耳塞(其维持到外围设备的蓝牙连接)是被配置为在语音交互期间向外围设备(例如，智能电话)发送麦克风音频数据的设备。如果通过两个耳塞之间的通信数据链路确定环境噪声(诸如风噪声)在主耳塞中高而在辅耳塞中低，则两个耳塞可在流中间发起角色切换。在一些示例中，系统和方法利用一个或多个经典蓝牙芯片解决方案，其使得能够在经典蓝牙连接上进行“无缝”角色切换，该经典蓝牙连接可使得能够进行角色切换。这允许主耳塞将用于维持到智能电话的蓝牙连接的责任转换到辅耳塞，从而使得辅耳塞能够使用其麦克风(具有较低风噪声)来代替主耳塞的麦克风进行语音拾取。在没有角色切换的情况下这样做将要求辅耳塞的麦克风音频通过蓝牙被发送到主耳塞并且然后被转发到电话，这将产生对于实时语音会话不可接受的高延迟。
可采用类似的方案以用于LE音频连接。在LE音频中，每个耳塞可被同步到作为相同连接同步组(CIG)的一部分的单独的连接同步流(CIS)。每个耳塞可通过监测另一耳塞的CIS的连接建立或者通过经由耳塞之间的通信数据链路交换信息来知晓另一耳塞的CIS。例如，当用于电话呼叫时，两个耳塞中的一个耳塞可将麦克风音频传输到发送到电话的协商CIS。在检测到该麦克风音频流上的显著环境噪声(例如，风噪声)时，耳塞可与另一耳塞进行握手并且将发送麦克风音频的责任“转换”到另一耳塞。这将允许第二耳塞将其麦克风数据发送到电话(具有较少风噪声)，而电话不知道已经进行了切换。
在经典蓝牙和LE音频具体实施中，在进行麦克风之间的角色切换之前，可在耳塞之间的通信数据链路上交换每个麦克风的自动增益控制参数，以防止用户在麦克风被切换时注意到麦克风增益中的差异。
可以附加方式利用LE音频能力来改进真正无线耳塞的语音拾取。在一个具体实施中，来自一个或两个麦克风的原始(未经处理的)音频数据可从每个耳塞发送到接收设备(例如电话)。电话可从所有麦克风接收音频并且然后对原始音频数据应用波束成形或其他语音拾取算法。这可在一个或多个应用程序中完成，或者可利用到其他第三方VOIP应用的语音算法“插件”。在其他具体实施中，这些算法中的一个或多个算法可被集成到VPA应用中或者被集成到云服务中。这些算法可针对不同设备被最优地调谐并且可由移动应用或云服务基于来自该设备的识别信息来选择。在电话或云侧上执行语音处理使得能够使用来自头部两侧的麦克风来部署多麦克风语音算法，这对于真正的无线耳塞来说由于从耳塞到耳塞的音频传输中的延迟而更加难以实现。
在其他具体实施中，为了节省蓝牙带宽，每个耳塞可进行两个麦克风的本地波束成形并且仅将单个语音音频信道发送到电话。电话或云然后可运行算法(以与上述类似的方式)以处理来自每个耳塞的波束成形音频，并且将它们组合以产生音频信号的改进的语音拾取/信噪比。
在另一具体实施中，主动降噪(ANR)反馈麦克风(面向用户的耳朵)可用于在有风条件下捕获来自一个耳塞的语音，而在另一耳塞上，面向外部的麦克风可用于语音捕获。ANR反馈麦克风虽然更不受风噪声(或其他高噪声环境，如嘈杂噪声)的影响，但是不能够拾取大量高频率含量。当与来自第一耳塞的ANR反馈麦克风的语音音频混合时，另一耳塞中的面向外部的麦克风使得能够扩展语音捕获的带宽，同时最小化风噪声。当风条件动态地改变时，耳塞可协调交换，哪个耳塞使用ANR反馈麦克风来捕获语音并且哪个耳塞使用面向外部的麦克风。
两个耳塞还可同时使用ANR反馈麦克风和面向外部的麦克风来捕获语音，并且压缩麦克风音频并将多个麦克风信道发送到源设备，其中可进行混合。在源设备上运行的算法可然后基于由每个耳塞中的面向外部的麦克风拾取的环境噪声而动态地选择哪些麦克风用于混合。在每个侧上独立运行的任何语音算法还可将关键信息(例如，通过元数据)发送到源设备，该源设备然后使用该信息来决定将哪些麦克风用于混合(来自一个耳塞或另一耳塞或两者的混合的麦克风)。非标准编解码器也可用于麦克风音频传输，其具有较低编码/解码算法延迟或较高压缩，如对于给定的使用情况所适合的。
在其他使用情况下，前述麦克风混合方案的输出可用于作出关于产品的音量水平或ANR设置的决策。例如，基于由在源设备上运行的麦克风混合算法检测到的噪声水平，可将信号发送回产品，告知产品调整音量水平以补偿环境噪声。类似地，关于环境噪声的信息可作为信号发送回产品，以便自动调整ANR水平。
在一个示例中，提供了一种用于选择可穿戴设备的一个或多个音频捕获传感器的方法，该方法包括：使用第一可穿戴设备的至少一个音频捕获传感器来检测与用户语音对应的第一信号；使用第二可穿戴设备的至少一个音频捕获传感器来检测与该用户语音对应的第二信号，其中该第二可穿戴设备被无线地连接到该第一可穿戴设备；确定该第一信号的能量水平；确定该第二信号的能量水平；以及至少部分地基于该第一信号的该能量水平和该第二信号的该能量水平来选择该第一可穿戴设备的至少一个音频捕获传感器和/或该第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。
在一个方面，该第一可穿戴设备被配置为向外围设备发送该第一信号并且该第二可穿戴设备被配置为向外围设备发送该第二信号，并且其中该外围设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器和/或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。
在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号是该第一多个音频捕获传感器的平均能量水平，并且其中该第一可穿戴设备被配置为使用压缩算法来向该外围设备发送该第一信号。
在一个方面，该第一可穿戴设备被进一步配置为向该第一外围设备发送元数据，以与由该外围设备执行的混合算法一起使用。
在一个方面，该混合算法被布置成生成输出，并且其中该外围设备被配置为向该第一可穿戴设备发送该输出，其中该第一可穿戴音频设备被配置为使用该输出来自动地改变音量水平或主动降噪(ANR)设置。
在一个方面，该第二可穿戴设备被配置为向该第一可穿戴设备发送该第二信号，并且其中该第一可穿戴设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器和/或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。
在一个方面，该第一信号和该第二信号的能量水平与信噪比(SNR)、风存在、射频(RF)性能或音频拾取中的至少一者相关。
在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器和该第二可穿戴设备的该至少一个音频捕获传感器选自外部麦克风、内部麦克风、也用于声学降噪(ANR)目的的反馈麦克风、也用于ANR目的的前馈麦克风、或加速度计中的至少一者。
在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该至少一个音频捕获传感器的该选择包括在该第一组多个音频捕获传感器中的第一音频捕获传感器与该第一组多个音频捕获传感器中的第二音频捕获传感器的选择之间动态地改变。
在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号的该能量水平是该第一组多个音频捕获传感器的平均能量水平。
在一个方面，该第二可穿戴设备的该至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中该第二信号的该能量水平是该第二组多个音频捕获传感器的平均能量水平。
在一个方面，当该第一信号的该能量水平小于该第二信号的该能量水平时，仅选择该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据，而不选择该第二可穿戴设备的该至少一个音频捕获传感器。
在一个方面，使用协商的连接同步流将该语音数据发送到外围设备。
在一个方面，当该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变时，该第一可穿戴设备执行与该第二可穿戴设备的握手以将获得语音数据的责任转移到该第二可穿戴设备的该至少一个音频捕获传感器。
在一个方面，当该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变时，与该第一可穿戴设备的该至少一个音频捕获传感器相关联的增益参数与该第二可穿戴设备共享以被应用于该第二可穿戴设备的该至少一个音频捕获传感器。
又如，提供了一种用于选择可穿戴设备的一个或多个音频捕获传感器的计算机程序产品，该计算机程序产品包括一组非暂态计算机可读指令，当该一组非暂态计算机可读指令在第一可穿戴设备、第二可穿戴设备或外围设备的至少一个处理器上执行时，该处理器被配置为：检测或接收与由该第一可穿戴设备的至少一个音频捕获传感器捕获的用户语音对应的第一信号；检测或接收与由该第二可穿戴设备的至少一个音频捕获传感器捕获的该用户语音对应的第二信号，其中该第二可穿戴设备被无线地连接到该第一可穿戴设备；确定该第一信号的能量水平；确定该第二信号的能量水平；以及至少部分地基于该第一信号的该能量水平和该第二信号的该能量水平来选择该第一可穿戴设备的至少一个音频捕获传感器或该第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。
在一个方面，该第一可穿戴设备被配置为向该外围设备发送该第一信号并且该第二可穿戴设备被配置为向该外围设备发送该第二信号，并且其中该外围设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。
在一个方面，该第二可穿戴设备被配置为向该第一可穿戴设备发送该第二信号，并且其中该第一可穿戴设备被配置为将该第一信号的该能量水平与该第二信号的该能量水平进行比较，以用于选择该第一可穿戴设备的该至少一个音频捕获传感器或该第二可穿戴设备的该至少一个音频捕获传感器以获得语音数据。
在一个方面，该第一信号和该第二信号的能量水平与信噪比(SNR)、风存在、射频(RF)性能或音频拾取中的至少一者相关。
在一个方面，该第一可穿戴设备的该至少一个音频捕获传感器和该第二可穿戴设备的该至少一个音频捕获传感器选自以下中的至少一者：外部麦克风、内部麦克风、也用于声学降噪(ANR)目的的反馈麦克风、也用于ANR目的的前馈麦克风、或加速度计。
在一个方面，该第一无线穿戴设备的该至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中该第一信号的该能量水平是该第一组多个音频捕获传感器的平均能量水平；并且该第二可穿戴设备的该至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中该第二信号的该能量水平是该第二组音频捕获传感器的平均能量水平。
在一个方面，当该第一信号的该能量水平小于该第二信号的该能量水平时，仅选择该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据，而不选择该第二可穿戴设备的该至少一个音频捕获传感器。
在一个方面，该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变，该第一可穿戴设备执行与该第二可穿戴设备的握手以将获得语音数据的责任转移到该第二可穿戴设备的该至少一个音频捕获传感器。
在一个方面，该选择引起从使用该第一可穿戴设备的该至少一个音频捕获传感器来获得语音数据到使用该第二可穿戴设备的该至少一个音频捕获传感器来获得语音数据的改变，与该第一可穿戴设备的该至少一个音频捕获传感器相关联的增益参数与该第二可穿戴设备共享以被应用于该第二可穿戴设备的该至少一个音频捕获传感器。
各种实施方案的这些和其他方面从下文中描述的实施方案中将显而易见，并且将参考下文中描述的实施方案进行阐明。
附图说明
在附图中，在所有不同视图中，类似的参考符号通常是指相同的部件。此外，附图不一定按比例绘制，而重点通常放在例示各种实施方案的原理上。
图1是根据本公开的系统的示意图。
图2A是根据本公开的第一可穿戴设备的部件的示意图。
图2B是根据本公开的第二可穿戴设备的部件的示意图。
图3是根据本公开的外围设备的部件的示意图。
图4A是根据本公开的系统的示意性俯视图。
图4B是根据本公开的系统的示意性俯视图。
图5是示出根据本公开的方法的步骤的流程图。
具体实施方式
本公开涉及用于选择可穿戴设备的一个或多个音频捕获传感器以用于获得语音数据的系统和方法以及计算机程序产品。所提供的示例包括：在第一可穿戴设备和第二可穿戴设备处获得与用户语音相关联的信号(其中，该第一可穿戴设备被定位在用户的右耳中，该第二可穿戴设备被定位在用户的左耳中)；比较第一信号和第二信号的能量水平；以及基于每个信号的能量水平选择一个或多个音频捕获传感器。由于由该用户语音产生的声能对该第一可穿戴设备和该第二可穿戴设备的对称性(因为用户右耳中的设备与用户左耳中的设备距离相等)，由该第一可穿戴设备获得的总能量与由该第二可穿戴设备获得的总能量之间的能量水平中的任何差异可仅归因于环境噪声中的差异。因此，具有较高总能量的设备具有较低信噪比，并且优选对具有较高信噪比的另一可穿戴设备的一个或多个音频捕获传感器的选择来获得向前移动的语音数据。
如本申请中所用的术语“可穿戴音频设备”，除了包括其普通含义或本领域技术人员已知的含义之外，还旨在表示围绕耳朵、在耳朵上、在耳朵中或在耳朵附近适配的设备(包括佩戴在用户的头部或肩部上的开耳式音频设备)以及将声能辐射到耳朵中或朝耳朵辐射的设备。可穿戴音频设备有时被称为耳机、耳筒、听筒、头戴式耳机、耳塞或运动耳机，可以是有线或无线的。可穿戴音频设备包括用于将音频信号转换为声能的声学驱动器。声学驱动器可容纳在耳罩中。虽然以下的一些附图和描述可示出具有一对耳罩(各自包括声学驱动器)的单个可穿戴音频设备，但是应当理解，可穿戴音频设备可以是仅具有一个耳罩的单个独立单元。可穿戴音频设备的每个耳罩可机械地连接到另一个耳罩或耳机，例如通过头带和/或通过将音频信号传导到耳罩或耳机中的声学驱动器的引线。可穿戴音频设备可以包括用于无线接收音频信号的部件。可穿戴音频设备可以包括主动降噪(ANR)系统的部件。可穿戴音频设备还可以包括其他功能，诸如麦克风，使得可穿戴设备可用作头戴式耳机。虽然图1示出了入耳式耳机形状因数的示例，但在其他示例中，可穿戴音频设备可以是耳上式、耳周式、耳后式、包耳式或近耳式耳机，或可以是音频眼镜形状因数耳机。在一些示例中，可穿戴音频设备可以是开耳式设备，该开耳式设备包括声学驱动器以朝耳朵辐射声能，同时使耳朵向其外界和周围环境敞开。
如本文所用的术语“连接的同步流”，除了包括其普通含义或本领域技术人员已知的含义之外，还旨在指利用例如源设备与音频设备或多个音频设备之间的LE音频上的预先建立的点对点通信链路的同步数据流。换句话说，连接的同步流可提供在源设备与任何相应音频设备之间利用至少一个建立的可靠通信信道和/或至少一个确认的通信信道的同步音频流。
如本文所用的术语“广播同步流”，除了包括其普通含义或本领域技术人员已知的含义之外，还旨在指不需要在发送数据的源设备与接收数据的音频设备之间建立预先建立的通信链路并且不需要发送或接收确认或否定确认的同步数据流。
应根据图1至图4B阅读以下描述。图1是根据本公开的系统100的示意图。系统100包括多个可穿戴设备，例如第一可穿戴设备102A和第二可穿戴设备102B(在本文中统称为“可穿戴设备102”)以及外围设备104。在所示的示例中，第一可穿戴设备102A和第二可穿戴设备102B旨在是一对可穿戴音频设备，例如一对真正无线的耳塞，其中第一可穿戴设备102A和第二可穿戴设备102B被布置成分别固定在用户的右耳和左耳附近或之内。然而，在一些另选的示例中，应当理解，第一可穿戴设备102A和第二可穿戴设备102B可选自以下中的至少一者：助听器、扬声器、便携式扬声器、配对的扬声器或配对的便携式扬声器。如图所示，系统100包括被配置为与可穿戴设备102建立无线数据连接的外围设备104，例如智能电话或平板电脑，这将在下文详细讨论。
如图2A所示，第一可穿戴设备102A包括第一电路106。第一电路106包括第一处理器108和第一存储器110，该第一处理器和该第一存储器被配置为分别执行和存储第一多个非暂态计算机可读指令112以执行如本文将讨论的第一可穿戴设备102A和第一电路106的各种功能。第一电路106还包括第一通信模块114，该第一通信模块被配置为发送和/或接收无线数据，例如，与下文讨论的多个通信数据流中的至少一个通信数据流(例如，通信数据流162A)相关的数据。为此，第一通信模块114可包括至少一个无线电或天线，例如，能够发送和接收无线数据的第一无线电116。在一些示例中，除了至少一个无线电(例如，第一无线电116)之外，第一通信模块114还可包括某种形式的自动增益控制(AGC)、调制器和/或解调器、以及潜在地用于比特处理的分立处理器，它们电连接到第一处理器108和第一存储器110，以辅助发送和/或接收无线数据。如下文将讨论，第一可穿戴设备102A的第一电路106还可包括第一扬声器118(例如，扩音器或声换能器)，该第一扬声器被电连接到第一处理器108和第一存储器110并且被配置为将电信号机电地转换为环境E内的可听声能，例如，音频回放。在一些示例中，电信号和可听声能与包括在多个通信数据流中的数据相关联(下文讨论)。
第一可穿戴设备102A还可包括第一组音频捕获传感器120。在一些示例中，第一组音频捕获传感器仅包括一个音频捕获传感器。在一些示例中，第一组音频捕获传感器120包括多个音频捕获传感器，例如，第一音频捕获传感器120A和第二音频捕获传感器120B(统称为“第一组音频捕获传感器120”)。在其他示例中，第一组音频捕获传感器120可具有多于两个音频捕获传感器，例如，该组可包括3、4、5或更多个音频捕获传感器。第一组音频捕获传感器120中的每个音频捕获传感器旨在是麦克风或一些其他音频捕获设备(例如，布置在第一可穿戴设备102A上、中或附近的单向或定向微机电系统(MEMS)麦克风)。应当理解，每个音频捕获传感器120可被配置为：外部麦克风(例如，被定位以拾取或获得在可穿戴音频设备102A与用户的耳膜之间产生的气腔的外部的声音能量的麦克风)；内部麦克风(例如，被定位以拾取或获得在可穿戴音频设备102A与用户的耳膜之间产生的气腔的内部的声音能量的麦克风)；或加速度计。在一些示例中，外部麦克风可以是也用于获得或拾取在主动降噪(ANR)应用程序中使用的外部声音能量的前馈麦克风。在其他示例中，内部麦克风可以是也用于获得或拾取在ANR应用程序中使用的内部声音能量的反馈麦克风。应当理解，每个音频捕获传感器可被配置为经由空气传导和/或经由骨传导(通过用户身体的一个或多个骨，例如，用户的头部或颚)获得或拾取声音能量。还应当理解，第一组音频捕获传感器120中的两个或更多个音频捕获传感器可被布置使得可利用使用一个或多个算法的波束成形技术来增强由音频捕获传感器获得的音频拾取的质量，例如，增强语音数据164的质量(下文讨论)。在一些具体实施中，可穿戴设备上包括多个相同类型的音频捕获传感器，诸如其中存在用于第一可穿戴设备102A上的音频捕获传感器120A和120B的两个面向外部的麦克风。在一些具体实施中，可穿戴设备上包括不同类型的音频捕获传感器的混合，诸如其中第一音频捕获传感器120A是面向外部的麦克风并且第二音频捕获传感器120B是加速度计。
如下文将讨论，第一组音频捕获传感器120中的每个音频捕获传感器被配置为从用户周围的环境获得声音能量并且将该声音能量转换为电子信号，即，第一信号122。一旦获得，就可分析第一信号122以确定第一能量水平124。第一能量水平124旨在是一个或多个音频捕获传感器120所检测到的总声能的量度。该总声能可包括由用户生成的声能(例如，用户语音)以及来自周围环境的其他环境声能(例如，风、会话、交通噪声、机器等)。在其中第一组音频捕获传感器120包括两个或更多个音频捕获传感器的一些示例中，如上所述，第一能量水平124可以是由第一组音频捕获传感器120的所有音频捕获传感器获得或拾取的平均能量水平，即，第一平均能量水平126。例如，一个或多个外部麦克风信号可被一起平均化以形成第一能量水平124。又如，一个或多个内部麦克风信号可与一个或多个外部麦克风平均化以形成第一能量水平124。
如图2B所示，第二可穿戴设备102B包括第二电路128。第二电路128包括第二处理器130和第二存储器132，该第二处理器和该第二存储器被配置为分别执行和存储第二多个非暂态计算机可读指令134以执行如本文将讨论的第二可穿戴设备102B和第二电路128的各种功能。第二电路128还包括第二通信模块136，该第二通信模块被配置为发送和/或接收无线数据，例如，与下文讨论的多个数据流(例如，同步数据流162B)相关的数据。为此，第二通信模块136可包括至少一个无线电或天线，例如，能够发送和接收无线数据的第二无线电138。在一些示例中，除了至少一个无线电(例如，第一无线电138)之外，第二通信模块128还可包括某种形式的自动增益控制(AGC)、调制器和/或解调器、以及潜在地用于比特处理的分立处理器，它们电连接到第二处理器130和第二存储器132，以辅助发送和/或接收无线数据。如下文将讨论，第二可穿戴设备102B的第二电路128还可包括第二扬声器140(例如，扩音器或声换能器)，该第二扬声器被电连接到第二处理器130和第二存储器132并且被配置为将电信号机电地转换为环境E内的可听声能，例如，音频回放。在一些示例中，电信号和可听声能与包括在多个数据流中的数据相关联(下文讨论)。
第二可穿戴设备102B还可包括第二组音频捕获传感器142。在一些示例中，第二组音频捕获传感器仅包括一个音频捕获传感器。在一些示例中，第二组音频捕获传感器142包括多个音频捕获传感器，例如，第一音频捕获传感器142A和第二音频捕获传感器142B(统称为“第二组音频捕获传感器142”)。在其他示例中，第二组音频捕获传感器142可具有多于两个音频捕获传感器，例如，该组可包括3、4、5或更多个音频捕获传感器。第二组音频捕获传感器142中的每个音频捕获传感器旨在是麦克风或一些其他音频捕获设备(例如，布置在第二可穿戴设备102B上、中或附近的单向或定向微机电系统(MEMS)麦克风)。应当理解，每个音频捕获传感器142可被配置为：外部麦克风(例如，被定位以拾取或获得在可穿戴音频设备102B与用户的耳膜之间产生的气腔的外部的声音能量的麦克风)；内部麦克风(例如，被定位以拾取或获得在可穿戴音频设备102B与用户的耳膜之间产生的气腔的内部的声音能量的麦克风)；或加速度计。在一些示例中，外部麦克风可以是也用于获得或拾取在主动降噪(ANR)应用程序中使用的外部声音能量的前馈麦克风。在其他示例中，内部麦克风可以是也用于获得或拾取在ANR应用程序中使用的内部声音能量的反馈麦克风。应当理解，每个音频捕获传感器可被配置为经由空气传导和/或经由骨传导(通过用户身体的一个或多个骨，例如，用户的头部或颚)获得或拾取声音能量。还应当理解，第二组音频捕获传感器142中的两个或更多个音频捕获传感器可被布置使得可利用使用一个或多个算法的波束成形技术来增强由音频捕获传感器获得的音频拾取的质量，例如，增强语音数据164的质量(下文讨论)。在一些具体实施中，可穿戴设备上包括多个相同类型的音频捕获传感器，诸如其中存在用于第二可穿戴设备102B上的音频捕获传感器142A和142B的两个面向外部的麦克风。在一些具体实施中，可穿戴设备上包括不同类型的音频捕获传感器的混合，诸如其中第一音频捕获传感器142A是面向外部的麦克风并且第二音频捕获传感器142B是加速度计。
如下文将讨论，第二组音频捕获传感器142中的每个音频捕获传感器被配置为从用户周围的环境获得声音能量并且将该声音能量转换为电子信号，即，第二信号144。一旦获得，就可分析第二信号144以确定第二能量水平146。第二能量水平146旨在是由至少一个音频捕获传感器142检测到的总声能的量度。该总声能可包括由用户生成的声能(例如，用户语音)以及来自周围环境的其他环境声能(例如，风、会话、交通噪声、机器等)。在其中第二组音频捕获传感器142包括两个或更多个音频捕获传感器的一些示例中，如上所述，第二能量水平146可以是由第二组音频捕获传感器142的所有音频捕获传感器获得或拾取的平均能量水平，即，第二平均能量水平148。例如，一个或多个外部麦克风信号可被一起平均化以形成第二能量水平146。又如，一个或多个内部麦克风信号可与一个或多个外部麦克风平均化以形成第二能量水平146。
如图3所示，系统100还包括外围设备104。外围设备104旨在是能够向至少一个可穿戴设备(例如，第一可穿戴设备102A和/或第二可穿戴设备102B)发送和/或接收与多个通信数据流162A-162B相关的数据的有线或无线设备。在一个示例中，如图1所示，外围设备104是能够将来自多个数据流162A-162B的数据发送到第一可穿戴设备102A和/或第二可穿戴设备102B的智能电话。尽管未示出，但应当理解，外围设备104还可选自以下中的至少一者：个人计算机、移动计算设备、平板电脑、智能扬声器、智能扬声器系统、智能集线器、智能电视或能够发送或接收来自多个数据流162A-162B(下文讨论)的数据的任何其他设备。在一些示例中，外围设备104是与第一可穿戴设备102A和/或第二可穿戴设备102B无线配对的远程设备。因此，外围设备104可包括外围电路150。外围电路150包括外围处理器152和外围存储器154，该外围处理器和该外围存储器被配置为分别执行和存储多个非暂态计算机可读指令(例如，外围指令156)，以执行如本文将描述的外围设备104和外围电路150的各种功能。外围电路150还包括外围通信模块158，该外围通信模块被配置为向可穿戴设备102发送和/或从该可穿戴设备接收无线数据，例如，与多个数据流162A-162B(下文讨论)相关的数据。为此，外围通信模块158可包括至少一个无线电或天线，例如，能够发送和接收无线数据的外围无线电160。在一些示例中，除了至少一个无线电(例如，外围无线电160)之外，外围通信模块158还可包括某种形式的自动增益控制(AGC)、调制器和/或解调器、以及潜在地用于比特处理的分立处理器，它们电连接到外围处理器152和外围存储器154，以辅助发送和/或接收无线数据。另外，外围设备104可在该组非暂态计算机可读指令内包括一个或多个应用程序，例如能够与系统内的每个可穿戴设备(即，至少第一可穿戴设备102A和第二可穿戴设备102B)交互和通信的移动应用程序。
系统100的每个设备，即每个可穿戴设备102和外围设备104可使用它们相应的通信模块来建立每个设备之间的通信数据流。例如，如图1所示，系统100可被配置为在第一可穿戴设备102A与外围设备104之间建立第一通信数据流162A，在第二可穿戴设备102B与外围设备104之间建立第二通信数据流162B，以及在第一可穿戴设备102A与第二可穿戴设备102B之间建立第三通信数据流162C。每个通信数据流，即，第一通信数据流162A、第二通信数据流162B和第三通信数据流162C(统称为“通信数据流162”、“多个通信数据流162”)可利用各种无线数据协议或传输方法，例如，蓝牙协议、蓝牙经典协议、蓝牙低功耗协议、LE音频协议、面向异步连接逻辑传输(ACL)协议、射频(RF)通信协议、WiFi协议、近场磁感应(NFMI)通信、LE异步连接(LE ACL)逻辑传输协议、或适于发送和/或接收音频和语音数据流的无线数据的任何其他传输方法。在一个示例中，多个通信数据流162可利用至少一个协商的同步数据流，例如广播同步流和/或LE音频协议的一个或多个连接的同步流，并且还可利用LC3音频编解码器。在其他示例中，在第一可穿戴设备102A与第二可穿戴音频设备102B之间建立的第三通信数据流162C利用面向异步连接(ACL)逻辑传输协议；然而，应当理解，第三通信数据流162C可以是第一可穿戴设备102A与第二可穿戴设备102B之间的广播同步流或连接的同步流。应当理解，多个通信数据流162中的每个通信数据流可包括以任何可想到的组合利用上文所列举的协议中的至少一者的通信流。另外，系统100的每个设备可与系统内的至少一个其他设备配对。在一个示例中，第一可穿戴设备102A和第二可穿戴设备102B是配对的音频设备，例如，配对的真正无线耳塞或配对的扬声器。如本文所用，术语“配对”连同其对于本领域技术人员的普通含义旨在表示基于设备的已知关系和/或身份在两个设备之间建立数据连接。设备最初可在彼此之间交换凭证(例如，蓝牙万能密钥)，并且在共享该万能密钥的两个设备之间建立连接。凭证的交换可在两个设备的特殊配对模式中发生，以指示两个设备的所有权和/或配对的意图。一旦设备被配对，它们就能够基于共享的万能密钥和/或设备的已知身份来建立将来的连接。类似地，可穿戴设备102中的一个或多个可穿戴设备可与外围设备104配对，以辅助建立上述第一和第二通信数据流162A-162B。
在操作期间，系统100的用户可参与各种动作、活动或应用程序，这些动作、活动或应用程序包括或要求通过第一组音频捕获传感器120中的一个或多个音频捕获传感器和/或第二组音频捕获传感器142中的一个或多个音频捕获传感器从用户周围的环境捕获音频数据。如上所述，由第一组音频捕获传感器120或第二组音频捕获传感器142中的一个或多个音频捕获传感器捕获的音频数据表示由一个或多个音频捕获传感器获得的电子信号，并且包括从源生成的声能，诸如来自周围环境的环境声能，例如，风、会话、交通噪声、机器等。音频数据还可包括语音数据，即，语音数据164。语音数据164是指从用户言语获得或拾取的声能的部分，例如来自用户的发声声能。因此，应当理解，音频数据不仅包括来自发生在用户的周围环境中的噪声的环境声能，而且包括由用户在说话时生成的声能，即，语音数据164。因此，如本文所概述，上述信号、能量水平和平均能量水平可包括与环境声能以及来自用户言语的声能(即，语音数据164)对应的能量。例如，与从第一组音频捕获传感器120中的至少一个音频捕获传感器拾取的声能相关联的第一信号122和第一能量水平124以及与在第一组音频捕获传感器120中的两个或更多个音频捕获传感器之间平均化的声能相关联的第一平均能量水平126可包括可归因于环境声源和人类言语的能量。类似地，与从第二组音频捕获传感器142中的至少一个音频捕获传感器拾取的声能相关联的第二信号144和第二能量水平146以及与在第二组音频捕获传感器142中的两个或更多个音频捕获传感器之间平均化的声能相关联的第二平均能量水平148可包括可归因于环境声源和人类言语的能量。
在一些应用中，用户周围的环境噪声将不是全向的或对称的，例如，在接近用户的右耳处比在用户的左耳处可接收到显著更多的环境噪声。这可由多种因素引起，包括指向用户右耳的风(当用户的头部阻挡直接风能时，这通常导致较少的风经过用户左耳)。这也可由接近大声物体、车辆、机器、人等的用户取向引起。在这些应用和情况中，本申请的系统和方法被配置为将第一信号122(表示接近右耳的总能量)与第二信号144(表示接近左耳的总能量)进行比较。当这两个信号的比较导致一个信号具有比另一个信号更大的能量水平(即，更大声)时，更高信号的附加声能可归因于过度的环境噪声。例如，当用户说话时，第一可穿戴设备102A(例如，在用户的右耳中)和第二可穿戴设备102B(例如，在用户的左耳中)两者都距用户的嘴等距离。因此，由第一可穿戴设备102A的第一组音频捕获传感器120中的音频捕获传感器获得的可归因于语音数据164的声能的量与由第二可穿戴设备102B的第二组音频捕获传感器142中的音频捕获传感器获得的可归因于语音数据164的声能的量基本上相等。因此，第一信号122与第二信号144之间的任何差异或不一致仅可归因于引导到具有更高(或更大声)信号的相应可穿戴设备102的环境噪声中的差异或不一致。换句话说，由具有较少总能量的可穿戴设备102生成的信号具有较高信噪比，并且由具有较多总能量的可穿戴设备102生成的信号具有较低信噪比。因此，当针对不同应用(例如，针对电话呼叫的语音拾取)挑选或选择负责获得语音数据164的音频捕获设备时，本系统和方法基于哪一个音频捕获传感器正生成最低能量水平(最安静)信号并且因此具有较高信噪比而挑选或选择用于语音数据拾取的音频捕获传感器。应当理解，在下面的比较中使用的第一信号122和第二信号144可被归一化，例如，可考虑应用于第一信号122或第二信号144的任何自动增益控制参数或设置。换句话说，当比较第一能量水平124和第二能量水平146时，可考虑应用于第一信号122或第二信号144的任何自动增益控制设置。相反，本文所讨论的比较还可比较第一信号122和第二信号144以基于在任何处理之前的原始传感器数据(例如，不考虑应用于第一信号122或第二信号144的任何自动增益控制设置)来确定第一能量水平124大于还是小于第二能量水平146。
在如图4A所示的操作期间，系统100的用户被定位成使得风接近用户的右侧，即，指向用户的右耳中的第一可穿戴设备102A。在该示例中，第一可穿戴设备102A被配置为经由至少一个音频捕获传感器120获得与第一能量水平124相关联的第一信号122或获得与表示第一组音频捕获传感器120中的两个或更多个音频捕获传感器的平均能量水平的第一平均能量水平126相关联的第一信号122，并且将第一信号122、第一能量水平124和/或第一平均能量水平126存储在其自身的存储器(即，第一存储器110)中或经由第一通信数据流162A将第一信号122发送到外围设备104，其中外围设备104被配置为确定第一能量水平124和/或第一平均能量水平126。同样在该示例内，第二可穿戴设备102B被配置为获得与至少一个音频捕获传感器142的第二能量水平146相关联的第二信号144或获得与表示第二组音频捕获传感器142中的两个或更多个音频捕获传感器的平均能量水平的第二平均能量水平148相关联的第二信号144，并且将第二信号144、第二能量水平146和/或第二平均能量水平148存储于其自身的存储器(即，第二存储器132)中或经由第二通信数据流162B将第二信号144发送到外围设备104，其中外围设备104被配置为确定第二能量水平146和/或第二平均能量水平148。在确定第一信号122具有比第二信号144更低的能量水平时，例如，在第一能量水平124小于第二能量水平146(由例如风增加第二组音频捕获传感器142的音频捕获传感器中的总能量引起)并且因此具有较高信噪比的情况下，系统100可向第一可穿戴设备102A指派主语音捕获设备166的角色。一旦被指派了主语音捕获设备角色166，第一可穿戴设备102A就可利用第一组音频捕获传感器120中的一个或多个音频捕获传感器来获得语音数据164(例如，获得或拾取并记录用户言语)并且处理和/或发送语音数据164，使得其可与可在外围设备104上执行的一个或多个应用程序一起使用，例如，用于电话呼叫。
在替代方案中，如图4B所示，系统的用户可被定位成使得风接近用户的左侧，即，指向用户的左耳中的第二可穿戴设备102B。如上所述，第一信号122和第二信号144由每个设备的相应音频捕获传感器获得并进行比较。在确定第一信号122具有比第二信号144更高的能量水平时，例如在第一能量水平124大于第二能量水平146(由例如风增加第一组音频捕获传感器120的音频捕获传感器中的总能量引起)并且因此具有较低信噪比的情况下，系统100可向第二可穿戴设备102B指派主语音捕获设备166的角色。一旦被指派了主语音捕获设备角色166，第二可穿戴设备102B就可利用第二组音频捕获传感器142中的一个或多个音频捕获传感器来获得语音数据164(例如，获得或拾取并记录用户言语)并且处理和/或发送语音数据164，使得其可与可在外围设备104上执行的一个或多个应用程序一起使用，例如，用于电话呼叫。
一旦被选择，主语音捕获设备166负责压缩、编码和向外围设备104发送从上文概述的第一音频捕获传感器和第二组音频捕获传感器中的相应音频捕获传感器获得的语音数据164，以用于解码、混合和/或在外围设备104上执行的一个或多个应用程序中使用。换句话说，主语音捕获设备166负责收集或获得两个可穿戴设备102的语音数据164，并且将向外围设备104发送语音数据164以供在一个或多个应用程序中使用。如此，如果第一可穿戴设备102A被选择为主音频捕获设备166，则第二可穿戴设备102B可利用第三通信数据流162C来向第一可穿戴设备102A发送音频数据和语音数据164以转发到外围设备104。类似地，如果第二可穿戴设备102B被选择为主音频捕获设备166，则第一可穿戴设备102A可利用第三通信数据流162C来向第二可穿戴设备102B发送音频数据和语音数据164以转发到外围设备104。
在使用多个音频捕获传感器(例如，一组特定音频捕获传感器中的两个或更多个音频捕获传感器)来获得语音数据164的情况下，可能有必要在将语音数据164发送到外围设备104之前混合由该两个或更多个音频捕获传感器获得的语音数据164。为此，系统100的每个设备(即第一可穿戴设备102A、第二可穿戴设备102B和外围设备104)可各自在它们相应的存储器和处理器上存储和执行混合算法168。可利用混合算法168来组合或混合所选择的主语音捕获设备166上的两个或更多个音频捕获传感器的音频输入，以使得其可被在外围设备104上执行的一个或多个应用程序输出、发送或利用。应当理解，混合算法还可包括或利用用于来自两个或更多个音频捕获传感器的输入的波束成形技术以增强所利用的语音数据164的质量。还应当理解，在混合来自所选择的主语音捕获设备166的电路内的两个或更多个音频捕获传感器的音频数据的替代方案中，主语音捕获设备166可简单地压缩由每个音频捕获传感器捕获的音频数据并将其发送到外围设备104以用于由外围设备104进行混合。元数据170可由主语音捕获设备166(即，第一可穿戴设备102A或第二可穿戴设备102B)在混合由被选择为主语音捕获设备166的相应设备的两个或更多个音频捕获传感器捕获的音频数据时利用。例如，元数据170可包括音频捕获传感器的类型(例如，其是内部麦克风还是外部麦克风)并且辅助从最终输出添加或抑制多少给定信号。在一个示例中，将来自两个或更多个音频捕获传感器的音频数据发送到外围设备104以用于使用混合算法168进行混合。在该示例中，混合算法168被配置为生成可包括元数据170或受该元数据影响的输出172。外围设备104可被配置为向可穿戴设备102中的一个或多个可穿戴设备发送输出172，并且输出172可用于自动地调整可由穿戴设备102使用的增益参数176(下文讨论)、音量水平或主动降噪水平。前述混合算法168的输出172可用于做出关于可穿戴设备的音量水平或ANR设置的决策。例如，基于由在外围设备104上运行的麦克风混合算法168检测到的噪声水平，可向可穿戴设备102发送信号，告知其调整音量水平以补偿环境噪声。类似地，关于环境噪声的信息可作为信号发送回可穿戴设备102，以便自动调整ANR水平。如下文将讨论，这些参数中的每个参数的自动调整可取决于第一可穿戴设备102A与第二可穿戴设备102B之间的角色的切换，例如其中设备为主语音捕获设备166的切换。
应当理解，在对哪个可穿戴设备102被指派主语音捕获设备166的角色的分析中，所使用的音频捕获传感器可以是以上列出的音频捕获传感器的任何可想到的组合。例如，如果第一可穿戴设备102A被选择为主语音捕获设备166，则第一组音频捕获传感器120可包括第一音频捕获传感器120A和第二音频捕获传感器120B，其中第一音频捕获传感器120A是外部前馈麦克风，并且其中第二音频捕获传感器120B是内部反馈麦克风。在该示例中，每个音频捕获传感器的元数据170可识别由第一音频捕获传感器120A产生或获得的信号是外部麦克风并且由第二音频捕获传感器120B产生或获得的信号是内部麦克风，并且混合算法168可挑选来对由外部前馈麦克风捕获的音频进行加权，在混合过程中应比内部反馈麦克风更重地加权，以产生具有更高保真度的输出。在一些示例中，主语音捕获设备166可使用来自第一组音频捕获传感器120中的一个音频捕获传感器和来自第二组音频捕获传感器142中的一个音频捕获传感器。例如，如果第一可穿戴设备102A被选择为主语音捕获设备166，则第一组音频捕获传感器120可包括第一音频捕获传感器120A和第二音频捕获传感器120B，其中第一音频捕获传感器120A是外部前馈麦克风，并且其中第二音频捕获传感器120B是内部反馈麦克风。另外，第二可穿戴设备102B的第二组音频捕获传感器142可包括第一音频捕获传感器142A和第二音频捕获传感器142B，其中第一音频捕获传感器142A是外部前馈麦克风，并且其中第二音频捕获传感器142B是内部反馈麦克风。在该示例中，当第一可穿戴设备102A被选择为主音频捕获设备时，可经由第三通信数据流162C将从第二可穿戴设备102B的第二组音频捕获传感器142中的第一音频捕获传感器142A和/或第二音频捕获传感器142B捕获的音频数据发送到第一可穿戴设备102A，使得混合算法168可利用来自第一组音频捕获传感器120的至少一个音频捕获传感器和第二组音频捕获传感器142的至少一个音频捕获传感器。
另外，为了辅助将音频数据从两个或更多个音频捕获传感器发送到系统100内的另一设备，每个设备还可利用压缩算法174。所使用的压缩算法可以是被设计用于音频压缩的常规压缩算法，例如，低复杂性子频带编解码器(SBC)、LC3编解码器、高级音频编码(AAC)或LDAC编解码器，或可以是非常规压缩算法，例如，OGG、MP3、M4A等。压缩算法174可在压缩音频数据并将该音频数据从系统内的一个设备发送到另一设备(即，通过通信数据流162A-162C)时使用前述压缩编解码器或格式中的任一者。
在操作期间，主语音捕获设备166的选择或切换主语音捕获设备166的角色可以是动态过程。例如，实时地，第一可穿戴设备102A和第二可穿戴设备102B可利用一个或多个算法来周期性地或连续地获得从第一组音频捕获传感器120中的音频捕获传感器中的每个音频捕获传感器以及第二音频捕获传感器142中的每个音频捕获传感器捕获的音频数据，并且确定第一信号122或第二信号144是否具有更大的能量水平，即第一能量水平124或第二能量水平146是否更大。因此，用于获得语音数据164并且将语音数据164发送到外围设备以与一个或多个应用程序一起使用的音频捕获传感器的选择也是动态的。
在一个示例中，在操作期间，系统100可动态地执行主语音捕获设备155从一个可穿戴设备102到另一个的切换，其中外围设备104知道该切换，其中所使用的通信数据流利用经典蓝牙通信协议。例如，系统100可被配置为使得外围设备104与第一可穿戴设备102A之间的第一通信数据流162A以及外围设备104与第二可穿戴设备102B之间的第二通信数据流162B是经典蓝牙数据流。在该示例中，可穿戴设备102中的一个可穿戴设备负责获得语音数据164并将其发送到外围设备104以与一个或多个应用程序一起使用。如果主语音捕获设备166的信噪比太低并且需要从另一设备(即，不是主语音捕获设备)获得语音数据164。不期望从另一可穿戴设备102获得语音数据，经由第三通信数据流162C从另一可穿戴设备102向主语音捕获设备166发送语音数据164，然后经由第一通信数据流162A向外围设备发送语音数据。语音数据164的该中继的总延迟太高并且将导致减少用户体验。因此，需要主语音捕获设备166的角色切换。例如，可穿戴设备102中的一个可穿戴设备(即，主语音捕获设备166)最初负责接收语音数据164并将语音数据164发送到外围设备以与一个或多个应用程序一起使用。另外，在该示例中，主语音捕获设备166可负责接收要在两个可穿戴设备102中回放的任何回放音频数据，并且负责将回放音频数据发送到另一可穿戴设备102。换句话说，另一可穿戴设备102经由与主语音捕获设备166的单独连接(例如，通过第三通信数据流162C)将所有音频数据发送到外围设备104并且从该外围设备接收所有音频数据。在主语音捕获设备166的角色从例如第一可穿戴设备102A切换到第二可穿戴设备102B的情况下，向外围设备104发送语音数据164的责任也切换。在该示例中，一旦确定将主语音捕获设备166的角色从第一可穿戴设备102A切换到第二可穿戴设备102B(例如，当第二能量水平146小于第一能量水平124时)，就可向外围设备104发送请求，请求外围设备104确认角色切换将要发生。在从外围设备104接收到对请求的响应时，第一和第二可穿戴设备102可执行握手并且发起主语音捕获设备166的角色从第一可穿戴设备102A到第二可穿戴设备102B的切换。因此，第二可穿戴设备102B成为新的主语音捕获设备166，并且负责将去往和来自第一可穿戴设备102A的所有音频数据中继到外围设备104，并且负责将语音数据164发送到外围设备104以与一个或多个应用程序一起使用。
又如，在操作期间，系统100可动态地执行主语音捕获设备角色166从一个可穿戴设备102到另一个的切换，其中外围设备知道该切换，并且其中所使用的通信数据流利用协商的同步数据流。例如，系统100可被配置为使得外围设备104与第一可穿戴设备102A之间的第一通信数据流162A以及外围设备104与第二可穿戴设备102B之间的第二通信数据流162B是协商的连接同步流。因此，外围设备104被配置为向每个可穿戴设备102发送特定于每个可穿戴设备102的数据流。在其他示例中，在外围设备104与可穿戴设备102之间可仅存在一个通信数据流，例如第一通信数据流162A，即其中第一通信数据流162A是广播同步流。因此，外围设备104被配置为发送单个数据流，其中该流的部分特定于第一可穿戴设备102A并且该流的部分特定于第一可穿戴设备102B。在这些示例中的任一个示例中，外围设备104最初被配置为从所选择的主语音捕获设备166(例如，第一可穿戴设备102A)接收语音数据164。在主语音捕获设备166的角色从第一可穿戴设备102A切换到第二可穿戴设备102B的情况下，从两个可穿戴设备102发送语音数据164的责任也可切换。在该示例中，一旦确定将主语音捕获设备166的角色从第一可穿戴设备102A切换到第二可穿戴设备102B(例如，当第二能量水平146小于第一能量水平124时)，就可向外围设备104发送请求，请求外围设备104确认角色切换将要发生。在从外围设备104接收到对请求的响应时，第一和第二可穿戴设备102可执行握手并且发起主语音捕获设备166的角色从第一可穿戴设备102A到第二可穿戴设备102B的切换。换句话说，外围设备104被配置为知道切换正在发生或将要发生，并且将相应地调整其无线电(例如，外围无线电160)，例如，通过调整其期望从新的主语音捕获设备166接收语音数据分组的时间段。
另选地，用于主语音捕获设备166的选择的动态选择过程可在不通知或警告外围设备104的情况下实现，例如，在外围设备不“知道”切换将要发生或正在发生的情况下。例如，将主语音捕获设备166的角色从一个可穿戴设备102切换到另一个的确定是在两个可穿戴设备102流中间内或之间做出的，例如通过第三通信数据流162C，而不向外围设备104提供切换正在发生的任何指示或请求。在该示例中，可穿戴设备完全切换角色，即，第一可穿戴设备102A将接收并确认最初指定给第二可穿戴设备102B的数据分组(假设连接同步流)，并且第二可穿戴设备102B将接收并确认最初指定给第一可穿戴设备102A的分组(假设连接同步流)，使得外围设备104没有认识到发生了改变。如果使用从外围设备104到可穿戴设备102的单个广播同步流，则每个设备简单地接收最初指定给另一设备的分组，而不需要任何设备确认接收到任何分组。
为了辅助切换角色，每个设备可交换专用于准予对指定给每个设备的给定数据流的特定部分的访问的访问代码。例如，在系统100的设备利用连接同步数据流的情况下，例如，其中通信数据流162A-162C中的一者或多者是连接同步数据流，第一可穿戴设备102A可利用第一访问代码来认证或访问并允许使用由外围设备104在第一通信数据流162A内提供的数据。类似地，第二可穿戴设备102B可利用第二访问代码来认证或访问并允许使用由外围设备104在第二通信数据流162B内提供的数据。在第一可穿戴设备102A与第二可穿戴设备102B之间发生任何角色切换之前，这些设备可通过第三通信数据流162C交换第一访问代码和第二访问代码，使得在角色切换发生之后，每个设备可无缝地接收和访问新数据流的分组，例如，在切换之后，第一可穿戴设备102A将能够访问、接收和确认在第二通信数据流162B内发送的分组，并且第二可穿戴设备102B将能够访问、接收和确认在第一通信数据流162A内发送的分组。
在一个示例中，针对每个可穿戴设备102的增益参数176、音量设置和/或主动降噪(ANR)设置也可在切换角色之前在第一可穿戴设备102A语第二可穿戴设备102B之间交换。增益参数176旨在是表示应用于特定信号(例如，与语音数据164相关的第一信号122或第二信号144)的增益或应用于从外围设备104发送或接收的其他音频数据(例如，与用户或其他媒体输入的电话会话中的其他说话者的语音)的增益的设置或值。通过交换这些参数和设置，一旦实现从例如第一可穿戴设备102A到第二可穿戴设备102B的角色切换，新的主语音捕获设备166(例如第二可穿戴设备102B)就可应用由第一可穿戴设备102A使用的相同的增益参数176、音量设置和/或ANR设置，使得一旦切换生效，系统的用户不会感知到语音回放或音频回放中的改变或不连续。
图5示出了根据本公开的与方法200对应的流程图。如图所示，方法200可包括例如：使用第一可穿戴设备102A的至少一个音频捕获传感器120A来检测与用户语音对应的第一信号122(步骤202)；使用第二可穿戴设备102B的至少一个音频捕获传感器142A来检测与用户语音对应的第二信号144，其中第二可穿戴设备102B被无线地连接到第一可穿戴设备102A(步骤204)；确定第一信号122的能量水平124(步骤206)；确定第二信号144的能量水平146(步骤208)；以及至少部分地基于第一信号122的能量水平124和第二信号144的能量水平146来选择第一可穿戴设备102A的至少一个音频捕获传感器(120A,120B)和/或第二可穿戴设备102B的至少一个音频捕获传感器(142A,142B)以获得语音数据164(步骤210)。
如本文所定义和使用的所有定义应理解为涵盖词典定义、以引用的方式并入的文件中的定义和/或定义的术语的普通含义。
除非明确相反地指出，否则如本文在说明书和权利要求书中所使用的不定冠词“一个”和“一种”应理解为意指“至少一个/一种”。
如本文在说明书和权利要求书中所使用的，短语“和/或”应理解为意指如此结合的元素中的“任一个元素或两个元素”，即，在一些情况下结合存在并且在其他情况下分离存在的元素。用“和/或”列出的多个元素应以相同的方式理解，即，如此结合的元素中的“一个或多个元素”。除由“和/或”从句明确标识的元素之外，其他元素可以任选地存在，无论是与明确标识的那些元素相关还是不相关。
如本文在说明书和权利要求书中所使用的，“或”应理解为具有与如上所定义的“和/或”相同的含义。例如，当在列表中分离项时，“或”或“和/或”应被理解为包括性的，即包括多个元素或元素列表中的至少一个元素和多于一个元素，以及任选的附加的未列出的项。仅明确相反地指出的术语(诸如“……中的仅一个”或“……中的恰好一个”或“由……组成”(当用在权利要求书中时))将指包括多个元素或元素列表中的恰好一个元素。一般来讲，当其后跟排他性术语(诸如“任一个”、“……中的一个”、“……中的仅一个”或“……中的恰好一个”)时，如本文所使用的术语“或”应仅理解为指示排他性另选方案(即，“一个或另一个但不是两个”)。
如本文在说明书和权利要求书中所使用的，短语“至少一个”(关于一个或多个元件的列表)应理解为意指选自元素列表中的元素中的任何一个或多个元素的至少一个元素，但不必包括在元素列表内具体列出的每个元素中的至少一个元素，并且不排除元素列表中的元素的任何组合。该定义还允许可以任选地存在除在短语“至少一个”所指的元素列表内明确标识的元素之外的元素，无论是与明确标识的那些元素相关还是不相关。
还应理解，除非明确相反地指出，否则在本文要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的次序不一定限于叙述方法的步骤或动作的次序。
在权利要求书以及以上说明书中，所有连接短语(诸如“包括”(comprising)、“包括”(including)、“携带”、“具有”、“含有”、“涉及”、“容纳”、“由……构成”等应理解为开放式的，即意指包括但不限于。仅连接短语“由...组成”和“基本上由...组成”分别应为封闭的或半封闭的连接短语。
所述的主题的上述示例可以以多种方式中的任何方式实现。例如，可以使用硬件、软件或它们的组合来实现一些方面。当在软件中至少部分地实现任何方面时，可以在任何合适的处理器或处理器集合上执行软件代码，无论是在单个设备或单个计算机中提供还是分布在多个设备/计算机之间。
本公开可以被实现为任何可能的技术细节集成级别下的系统、方法和/或计算机程序产品。计算机程序产品可以包括一个(或多个)计算机可读存储介质，该计算机可读存储介质在其上具有计算机可读程序指令，用于使处理器执行本公开的各方面。
计算机可读存储介质可以是可以保持和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的不完全列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或Flash存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码的设备(诸如具有记录在其上的指令的凹槽中的穿孔卡或凸起结构)、以及前述的任何合适的组合。如本文所用，计算机可读存储介质不应理解为暂态信号本身，诸如无线电波或其他自由传播电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过线材传输的电信号。
本文所述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光学传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、针对集成电路的配置数据或以一种或多种编程语言(包括：面向对象的编程语言，诸如Smalltalk、C++等；以及过程化程序设计语言，诸如“C”程序设计语言或类似程序设计语言)的任何组合编写的源代码或对象代码中的任一者。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机上执行，部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。在一些示例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过以下方法来执行计算机可读程序指令以便执行本公开的各方面：利用计算机可读程序指令的状态信息来使电子电路个性化。
本文参考根据本公开的示例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。应当理解，流程图图示和/或框图中的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令实现。
计算机可读程序指令可以提供给专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指引计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图或框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本公开的各个示例的系统、方法和计算机程序产品的可能具体实施的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示指令模块、指令片段或指令部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所述的功能能够不按照附图中所述的次序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可基本上同时执行，或者框有时可以相反的顺序执行。框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可由进行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
其他具体实施都在以下权利要求书和申请人可能享有的其他权利要求的范围内。
虽然本文已描述和示出了各种示例，但本领域的普通技术人员将易于设想用于执行本文所述的功能和/或获得本文所述的结果和/或优点中的一个或多个的多种其他设备和/或结构，并且此类变型和/或修改中的每一个被认为在本文所述的示例的范围内。更一般地，本领域的技术人员将容易理解，本文所述的所有参数、尺寸、材料和构型旨在为示例性的，并且实际参数、尺寸、材料和/或构型将取决于使用本发明教导内容的一个或多个具体应用。本领域的技术人员将认识到或仅使用常规实验就能够确定本文所述的具体示例的许多等同物。因此，应当理解，上述实施例仅以举例的方式呈现，并且在所附权利要求及其等同物的范围内，可以不同于具体描述和要求保护的方式来实践示例。本公开的示例涉及本文所述的每个单独的特征、系统、制品、材料、成套工具和/或方法。此外，如果此类特征、系统、制品、材料、成套工具和/或方法不相互矛盾，则两个或更多个此类特征、系统、制品、材料、成套工具和/或方法的任何组合包括在本公开的范围内。

Claims (24)

1.一种用于选择可穿戴设备的一个或多个音频捕获传感器的方法，所述方法包括：
使用第一可穿戴设备的至少一个音频捕获传感器来检测与用户语音对应的第一信号；
使用第二可穿戴设备的至少一个音频捕获传感器来检测与所述用户语音对应的第二信号，其中所述第二可穿戴设备被无线地连接到所述第一可穿戴设备；
确定所述第一信号的能量水平；
确定所述第二信号的能量水平；以及
至少部分地基于所述第一信号的所述能量水平和所述第二信号的所述能量水平来选择所述第一可穿戴设备的至少一个音频捕获传感器和/或所述第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。
2.根据权利要求1所述的方法，其中所述第一可穿戴设备被配置为向外围设备发送所述第一信号并且所述第二可穿戴设备被配置为向外围设备发送所述第二信号，并且其中所述外围设备被配置为将所述第一信号的所述能量水平与所述第二信号的所述能量水平进行比较，以用于选择所述第一可穿戴设备的所述至少一个音频捕获传感器和/或所述第二可穿戴设备的所述至少一个音频捕获传感器以获得语音数据。
3.根据权利要求2所述的方法，其中所述第一可穿戴设备的所述至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中所述第一信号是所述多个第一音频捕获传感器的平均能量水平，并且其中所述第一可穿戴设备被配置为使用压缩算法来向所述外围设备发送所述第一信号。
4.根据权利要求2所述的方法，其中所述第一可穿戴设备被进一步配置为向所述第一外围设备发送元数据，以与由所述外围设备执行的混合算法一起使用。
5.根据权利要求4所述的方法，其中所述混合算法被布置成生成输出，并且其中所述外围设备被配置为向所述第一可穿戴设备发送所述输出，其中所述第一可穿戴音频设备被配置为使用所述输出来自动地改变音量水平或主动降噪(ANR)设置。
6.根据权利要求1所述的方法，其中所述第二可穿戴设备被配置为向所述第一可穿戴设备发送所述第二信号，并且其中所述第一可穿戴设备被配置为将所述第一信号的所述能量水平与所述第二信号的所述能量水平进行比较，以用于选择所述第一可穿戴设备的所述至少一个音频捕获传感器和/或所述第二可穿戴设备的所述至少一个音频捕获传感器以获得语音数据。
7.根据权利要求1所述的方法，其中所述第一信号和所述第二信号的能量水平与信噪比(SNR)、风存在、射频(RF)性能或音频拾取中的至少一者相关。
8.根据权利要求1所述的方法，其中所述第一可穿戴设备的所述至少一个音频捕获传感器和所述第二可穿戴设备的所述至少一个音频捕获传感器选自外部麦克风、内部麦克风、也用于声学降噪ANR目的的反馈麦克风、也用于ANR目的的前馈麦克风、或加速度计中的至少一者。
9.根据权利要求1所述的方法，其中所述第一可穿戴设备的所述至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中所述至少一个音频捕获传感器的所述选择包括在所述第一组多个音频捕获传感器中的第一音频捕获传感器与所述第一组多个音频捕获传感器中的第二音频捕获传感器的选择之间动态地改变。
10.根据权利要求1所述的方法，其中所述第一可穿戴设备的所述至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中所述第一信号的所述能量水平是所述第一组多个音频捕获传感器的平均能量水平。
11.根据权利要求10所述的方法，其中所述第二可穿戴设备的所述至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中所述第二信号的所述能量水平是所述第二组多个音频捕获传感器的平均能量水平。
12.根据权利要求1所述的方法，其中当所述第一信号的所述能量水平小于所述第二信号的所述能量水平时，仅选择所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据，而不选择所述第二可穿戴设备的所述至少一个音频捕获传感器。
13.根据权利要求1所述的方法，其中使用协商的连接同步流将所述语音数据发送到外围设备。
14.根据权利要求13所述的方法，其中当所述选择引起从使用所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据到使用所述第二可穿戴设备的所述至少一个音频捕获传感器来获得语音数据的改变时，所述第一可穿戴设备执行与所述第二可穿戴设备的握手以将获得语音数据的责任转移到所述第二可穿戴设备的所述至少一个音频捕获传感器。
15.根据权利要求1所述的方法，其中当所述选择引起从使用所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据到使用所述第二可穿戴设备的所述至少一个音频捕获传感器来获得语音数据的改变时，与所述第一可穿戴设备的所述至少一个音频捕获传感器相关联的增益参数与所述第二可穿戴设备共享以被应用于所述第二可穿戴设备的所述至少一个音频捕获传感器。
16.一种用于选择可穿戴设备的一个或多个音频捕获传感器的计算机程序产品，所述计算机程序产品包括一组非暂态计算机可读指令，当所述一组非暂态计算机可读指令在第一可穿戴设备、第二可穿戴设备或外围设备的至少一个处理器上执行时，所述处理器被配置为：
检测或接收与由所述第一可穿戴设备的至少一个音频捕获传感器捕获的用户语音对应的第一信号；
检测或接收与由所述第二可穿戴设备的至少一个音频捕获传感器捕获的所述用户语音对应的第二信号，其中所述第二可穿戴设备被无线地连接到所述第一可穿戴设备；
确定所述第一信号的能量水平；
确定所述第二信号的能量水平；以及
至少部分地基于所述第一信号的所述能量水平和所述第二信号的所述能量水平来选择所述第一可穿戴设备的至少一个音频捕获传感器或所述第二可穿戴设备的至少一个音频捕获传感器以获得语音数据。
17.根据权利要求16所述的计算机程序产品，其中所述第一可穿戴设备被配置为向所述外围设备发送所述第一信号并且所述第二可穿戴设备被配置为向所述外围设备发送所述第二信号，并且其中所述外围设备被配置为将所述第一信号的所述能量水平与所述第二信号的所述能量水平进行比较，以用于选择所述第一可穿戴设备的所述至少一个音频捕获传感器或所述第二可穿戴设备的所述至少一个音频捕获传感器以获得语音数据。
18.根据权利要求16所述的计算机程序产品，其中所述第二可穿戴设备被配置为向所述第一可穿戴设备发送所述第二信号，并且其中所述第一可穿戴设备被配置为将所述第一信号的所述能量水平与所述第二信号的所述能量水平进行比较，以用于选择所述第一可穿戴设备的所述至少一个音频捕获传感器或所述第二可穿戴设备的所述至少一个音频捕获传感器以获得语音数据。
19.根据权利要求16所述的计算机程序产品，其中所述第一信号和所述第二信号的能量水平与信噪比(SNR)、风存在、射频(RF)性能或音频拾取中的至少一者相关。
20.根据权利要求16所述的计算机程序产品，其中所述第一可穿戴设备的所述至少一个音频捕获传感器和所述第二可穿戴设备的所述至少一个音频捕获传感器选自以下中的至少一者：外部麦克风、内部麦克风、也用于声学降噪ANR目的的反馈麦克风、也用于ANR目的的前馈麦克风、或加速度计。
21.根据权利要求16所述的计算机程序产品，其中所述第一无线穿戴设备的所述至少一个音频捕获传感器包括第一组多个音频捕获传感器，并且其中所述第一信号的所述能量水平是所述第一组多个音频捕获传感器的平均能量水平；并且所述第二可穿戴设备的所述至少一个音频捕获传感器包括第二组多个音频捕获传感器，并且其中所述第二信号的所述能量水平是所述第二组音频捕获传感器的平均能量水平。
22.根据权利要求16所述的计算机程序产品，其中当所述第一信号的所述能量水平小于所述第二信号的所述能量水平时，仅选择所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据，而不选择所述第二可穿戴设备的所述至少一个音频捕获传感器。
23.根据权利要求16所述的计算机程序产品，其中所述选择引起从使用所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据到使用所述第二可穿戴设备的所述至少一个音频捕获传感器来获得语音数据的改变，所述第一可穿戴设备执行与所述第二可穿戴设备的握手以将获得语音数据的责任转移到所述第二可穿戴设备的所述至少一个音频捕获传感器。
24.根据权利要求16所述的计算机程序产品，当所述选择引起从使用所述第一可穿戴设备的所述至少一个音频捕获传感器来获得语音数据到使用所述第二可穿戴设备的所述至少一个音频捕获传感器来获得语音数据的改变时，与所述第一可穿戴设备的所述至少一个音频捕获传感器相关联的增益参数与所述第二可穿戴设备共享以被应用于所述第二可穿戴设备的所述至少一个音频捕获传感器。
CN202180085570.3A 2020-12-18 2021-11-08 针对无线设备的传感器管理 Pending CN116615918A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/126,630 US11671777B2 (en) 2020-12-18 2020-12-18 Sensor management for wireless devices
US17/126,630 2020-12-18
PCT/US2021/072285 WO2022133374A1 (en) 2020-12-18 2021-11-08 Sensor management for wireless devices

Publications (1)

Publication Number Publication Date
CN116615918A true CN116615918A (zh) 2023-08-18

Family

ID=78725776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085570.3A Pending CN116615918A (zh) 2020-12-18 2021-11-08 针对无线设备的传感器管理

Country Status (5)

Country Link
US (2) US11671777B2 (zh)
EP (1) EP4264955A1 (zh)
JP (1) JP2023554650A (zh)
CN (1) CN116615918A (zh)
WO (1) WO2022133374A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297670B2 (en) * 2018-09-27 2022-04-05 Apple Inc. Coordinated transmission and control for audio output devices
US11671777B2 (en) * 2020-12-18 2023-06-06 Bose Corporation Sensor management for wireless devices
US20230054769A1 (en) * 2021-08-20 2023-02-23 Starkey Laboratories, Inc. Stereo reception of audio streams in single endpoint wireless systems
US20240022525A1 (en) * 2022-06-21 2024-01-18 Skyworks Solutions, Inc. Systems, devices, and methods related to managing wireless device connections as a set
JP7641547B2 (ja) 2023-08-04 2025-03-07 パナソニックＩｐマネジメント株式会社 マイクロホン装置、及び、マイクロホン装置を備えた通話装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228366B2 (en) * 2001-06-29 2007-06-05 Intel Corporation Method and apparatus for deterministic removal and reclamation of work items from an expansion bus schedule
EP2103179A1 (en) * 2007-01-10 2009-09-23 Phonak AG System and method for providing hearing assistance to a user
US8781137B1 (en) * 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US9344793B2 (en) * 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Audio apparatus and methods
US9532131B2 (en) * 2014-02-21 2016-12-27 Apple Inc. System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
ITUA20161846A1 (it) * 2015-04-30 2017-09-21 Digital Tales S R L Procedimento ed architettura di regolazione remota di un'audioprotesi
US9843853B2 (en) * 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US10034092B1 (en) * 2016-09-22 2018-07-24 Apple Inc. Spatial headphone transparency
US10771877B2 (en) * 2016-10-31 2020-09-08 Bragi GmbH Dual earpieces for same ear
DK3358812T3 (da) * 2017-02-03 2019-08-12 Widex As Kommunikationskanaler mellem en personlig kommunikationsindretning og mindst en hovedbåret indretning
US10499139B2 (en) * 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10477294B1 (en) 2018-01-30 2019-11-12 Amazon Technologies, Inc. Multi-device audio capture
US11205437B1 (en) * 2018-12-11 2021-12-21 Amazon Technologies, Inc. Acoustic echo cancellation control
US11197142B1 (en) * 2020-06-04 2021-12-07 Bose Corporation Methods and systems for communicating with device cases
CN111741401B (zh) 2020-08-26 2021-01-01 恒玄科技(北京)有限公司 用于无线耳机组件的无线通信方法以及无线耳机组件
US11671777B2 (en) * 2020-12-18 2023-06-06 Bose Corporation Sensor management for wireless devices

Also Published As

Publication number Publication date
US20230319497A1 (en) 2023-10-05
JP2023554650A (ja) 2023-12-28
US20220201416A1 (en) 2022-06-23
US11671777B2 (en) 2023-06-06
WO2022133374A1 (en) 2022-06-23
EP4264955A1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US11671777B2 (en) Sensor management for wireless devices
US8699732B2 (en) Systems and methods employing multiple individual wireless earbuds for a common audio source
CN108886647B (zh) 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统
JP2023094551A (ja) 通信装置及び聴覚補助システム
US10715650B2 (en) Dual-transceiver wireless calling
US9936310B2 (en) Wireless stereo hearing assistance system
JP2020031429A (ja) デジタル・オーディオのワイヤレス送信の新規な方法
US10719292B2 (en) Sound enhancement adapter
US11083031B1 (en) Bluetooth audio exchange with transmission diversity
US9866975B2 (en) Hearing assistance system and method
US20230188907A1 (en) Person-to-person voice communication via ear-wearable devices
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
EP4203514A2 (en) Communication device, terminal hearing device and method to operate a hearing aid system
JP7611152B2 (ja) 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置
US11012798B2 (en) Calibration for self fitting and hearing devices
US8824668B2 (en) Communication system comprising a telephone and a listening device, and transmission method
EP4475566A1 (en) Conversation bridge for ear-wearable devices
EP4447490A1 (en) Assistive listening device and system and method for providing hearing assistance
US11122377B1 (en) Volume control for external devices and a hearing device
US20230209281A1 (en) Communication device, hearing aid system and computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination