CN119563330A - 用于具有听力损失的用户的车内辅助音频技术 - Google Patents
用于具有听力损失的用户的车内辅助音频技术 Download PDFInfo
- Publication number
- CN119563330A CN119563330A CN202380049934.1A CN202380049934A CN119563330A CN 119563330 A CN119563330 A CN 119563330A CN 202380049934 A CN202380049934 A CN 202380049934A CN 119563330 A CN119563330 A CN 119563330A
- Authority
- CN
- China
- Prior art keywords
- hearing
- application
- hearing device
- audio
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000016354 hearing loss disease Diseases 0.000 title description 16
- 206010011878 Deafness Diseases 0.000 title description 11
- 230000010370 hearing loss Effects 0.000 title description 11
- 231100000888 hearing loss Toxicity 0.000 title description 11
- 238000005516 engineering process Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012074 hearing test Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012076 audiometry Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/558—Remote control, e.g. of amplification, frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
用于载具音频系统的听力应用(162)可以包括被配置为播放回放内容的至少一个扬声器(148),以及被编程为从载具(104)内的听力设备(124)接收优化参数的至少一个听力应用,优化参数包括特定于听力设备(124)的信号处理参数,将优化参数应用于回放内容,以及传输回放内容以供听力设备(124)和/或至少一个扬声器(148)中的一个回放。
Description
相关申请的交叉引用
本申请要求于2022年6月30日提交的美国申请第17/810,116号的优先权,其公开内容通过引用整体并入本文。
技术领域
本文描述了用于具有听力损失的用户的车内辅助音频技术的机制。
背景技术
具有听力损失的用户通常佩戴助听器,并且还在载具内佩戴其助听器。然而,当用户在载具中时,载具音频系统可能无法考虑用户的听力损失和助听器设备的存在。
发明内容
用于载具音频系统的听力应用可以包括被配置为播放回放内容的至少一个扬声器,以及被编程为从载具内的听力设备接收优化参数的至少一个听力应用,优化参数包括特定于听力设备的信号处理参数,将优化参数应用于回放内容,以及传输回放内容以供听力设备和/或至少一个扬声器中的一个回放。
一种用于载具音频系统的听力应用,该系统可以包括至少一个扬声器,该至少一个扬声器被配置为播放回放内容,以及至少一个听力应用,该至少一个听力应用被编程为识别载具内的至少一个用户,接收与用户相关联的音频-消费者配置文件,该音频-消费者配置文件包括特定于用户的信号处理参数,将优化数据应用于回放内容,以及传输回放内容以供至少一个扬声器回放。
附图说明
在所附权利要求中具体指出了本公开的实施例。然而,通过结合附图参考以下详细描述,各种实施例的其他特征将变得更加明显并且将被最好地理解,其中:
图1示出了根据一个实施例的汽车系统中的听力应用的框图;
图2示出了图1的系统的至少一部分的示例框图;
图3示出了用于图1的听力应用的过程的示例流程图;以及
图4示出了用于图1的听力应用的音频-消费者配置文件的示例数据库。
具体实施方式
听力损失影响大部分人群。全世界大约3.6亿人遭受听力损失,其中大多数是成年人。这些成年人中的许多人喜欢以一种或另一种方式使用汽车作为他们的优选交通形式。然而,汽车内的声音系统在其操作期间没有充分考虑听力损失或听力设备。
本文公开了用于向具有听力损失的那些用户提供载具内辅助音频技术的听力应用的系统和方法。听力应用将允许更好的语音清晰度和整体音频体验,而不需要在驾驶或乘坐载具时佩戴助听设备。听力应用与载具的信息娱乐系统对接。听力应用可以维护具有个性化音频模型的音频-消费者配置文件,所述个性化音频模型控制应用于载具音频系统的音频输出的音频处理层。这可以包括电话和语音对话系统、公共通知(PA)系统、公共交通系统等。该附加处理层还确保个性化的音频体验,诸如更好的语音清晰度、期望均衡、更强的降噪等。这些体验是根据用户的需要单独定制的,以减少现有听力损失的影响。
这种增强的音频可以通过载具的扬声器回放,或者直接流式传输到用户的助听器。音频-消费者配置文件可以从助听器本身、助听器制造商接收,或者从个性化数据(诸如年龄和听力图、个人听力评级以及用户的音频调整历史)接收。这种调整可以在听力应用以及载具中的信息娱乐设备中进行,或者使用免提软件进行。配置文件可以被存储在载具的听力应用或音频系统中,并且还可以被导出到场外服务器以用于进一步分析或经由用户配置文件传送到其他载具。
没有听力障碍的用户也可以受益于听力应用,因为听力应用可以发出听力测试,识别未知的听力问题,并且响应于听力测试为用户提供个人配置文件。
图1示出了根据一个实施例的汽车系统100中的听力应用162的框图。汽车系统100可以被设计用于被配置为运输乘客的载具104。载具104可以包括各种类型的乘用载具,诸如跨界多功能载具(CUV)、运动型多功能载具(SUV)、卡车、休闲载具(RV)、船、飞机或用于运输人或货物的其他移动机器。此外,载具104可以是自主的、部分自主的、自驾驶的、无人驾驶的或驾驶员辅助载具。载具104可以是电动载具(EV),诸如电池电动载具(BEV)、插电式混合动力电动载具(PHEV)、混合动力电动载具(HEV)等。
载具104可以被配置为包括各种类型的组件、处理器和存储器,并且可以与通信网络110进行通信。通信网络110可以被称为“云”,并且可以涉及经由广域网和/或局域网(诸如互联网、全球定位系统(GPS)、蜂窝网络、Wi-Fi、蓝牙等)的数据传输。通信网络110可以提供载具104与外部或远程服务器112和/或数据库114以及其他外部应用、系统、载具等之间的通信。该通信网络110可以向载具104提供导航、音乐或其他音频、节目内容、营销内容、互联网访问、语音识别、认知计算、人工智能。
远程服务器112和数据库114可以包括耦接到一个或多个计算机存储设备的一个或多个计算机硬件处理器,以用于执行如本文所描述的一种或多种方法的步骤,并且可以使载具104能够与载具104外部以及载具104本地或车载的系统和子系统通信和交换信息和数据。载具104可以包括被配置为执行如本文中所描述的某些指令、命令和其他例程的一个或多个处理器106。还可以包括内部载具网络126,诸如载具控制器区域网络(CAN)、以太网网络和面向媒体的系统传输(MOST)等。内部载具网络126可以允许处理器106与其他载具104系统通信(诸如载具调制解调器、被配置为提供当前载具位置和航向信息的GPS模块和/或全球移动通信系统(GSM)模块,以及被配置为与处理器106协作的各种载具电子控制单元(ECU))。
处理器106可以执行用于某些载具应用的指令,包括导航、信息娱乐、气温控制等。可以使用各种类型的计算机可读存储介质122以非易失性方式维护用于相应的载具系统的指令。计算机可读存储介质122(本文中也称为存储器122或存储装置)包括参与提供可以由处理器106读取的指令或其他数据的任何非暂时性介质(例如,有形介质)。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序编译或解释,编程语言和/或技术单独或组合地包括但不限于Java、C、C++、C#、Objective C、Fortran、Pascal、Java Script、Python、Perl和PL/结构化查询语言(SQL)。
处理器106也可以是多模式处理系统130的一部分。多模式处理系统130可以包括各种载具组件,诸如处理器106、存储器、传感器、输入设备、显示器等。多模式处理系统130包括一个或多个输入和输出设备,用于与图1所示的其它元件交换由多模式处理系统130处理的数据。这些过程的某些示例可以包括导航系统输出(例如,驾驶员的时间敏感方向)、转换为输出语音的传入文本消息、载具状态输出等,例如,来自本地或车载存储介质或系统的输出。在一些实施例中,多模式处理系统130提供关于一个或多个电子设备(诸如平视显示器(HUD)、载具显示器和/或驾驶员或乘客的移动设备、传感器、相机等)的输入/输出控制功能。多模式处理系统130包括听力应用162,听力应用162被配置为帮助载具内具有听力损失的用户从载具信息娱乐系统最佳地接收音频信号。用户可以是载具104内的驾驶员或乘客之一。在一些示例中,可以经由座椅中的重量传感器以及观察安全带是否已经系上的传感器来检测乘客。
载具104可以包括无线收发器134(诸如蓝牙模块、ZIGBEE收发器、Wi-Fi收发器、IrDA收发器、射频识别(RFID)收发器等),其被配置为与各种用户设备的兼容无线收发器以及与通信网络110进行通信。
载具104可以包括各种传感器和输入设备作为多模式处理系统130的一部分。例如,载具104可以包括至少一个麦克风132。麦克风132可以被配置为从载具客舱内接收音频信号,诸如包括来自用户的说出的词语、短语或命令的声学话语。麦克风132可以包括音频输入,其被配置为向处理器106提供音频信号处理功能,包括放大、转换、数据处理等。载具104可以包括布置在整个载具104中的至少一个麦克风132。虽然本文将麦克风132描述为用于多模式处理系统130的目的,但麦克风132可以用于其他载具功能,例如主动噪声消除、免提接口等。麦克风132可以有助于根据与可用命令相关联的语法从经由麦克风132接收的音频进行语音识别,以及语音提示生成。麦克风132可以包括布置在整个车厢中的多个麦克风132。麦克风132可以被配置为从载具客舱接收音频信号。这些音频信号可以包括乘员话语、声音等,并且可以包括指令、唤醒话语等。麦克风132还可以检测和拾取噪声水平和其他环境噪声特性。这可以用于噪声消除或可能是噪声相关的其他处理。
载具104可以包括音频系统,该音频系统具有通过音频处理器(声音系统)109和载具扬声器148或耳机的音频回放功能。音频回放可以包括来自诸如载具无线电的源的音频,包括卫星无线电、解码的幅度调制(AM)或频率调制(FM)无线电信号、来自压缩盘(CD)或数字通用盘(DVD)的音频回放、来自移动设备的流式音频、来自导航系统的命令等。
如所解释的,载具104可以包括各种显示器和用户界面,包括HUD、中央控制台显示器、方向盘按钮等。触摸屏可以被配置为接收用户输入。视觉显示器可以被配置为向用户提供视觉输出。
载具104可以包括其他传感器,诸如至少一个传感器152。该传感器152可以是除了麦克风132之外的另一传感器,由其提供的数据可以由听力应用162使用。在一个示例中,传感器152可以包括被配置为检测设备(诸如移动设备或听力设备124之类)的存在的电力垫。电力垫可以被配置为对这些设备进行无线充电,并且可以向听力应用162指示听力设备124的存在。听力应用162然后可以确定听力设备124位于用于充电的电力垫上并且当前未被用户穿戴。在一个示例中,听力设备124可以关闭或正在充电。在该示例中,听力设备124未连接到载具104。在另一示例中,助听器可以被穿戴并且已经与用户设备配对,并且因此没有其他设备可以能够提供到听力设备124的连接。
在另一示例中,听力设备124可以在壳体或充电站内充电。充电站可以向载具提供USB连接以汲取电力。外壳本身也可以搁置在充电垫上以无线充电,并且进而对嵌套在外壳内的听力设备124进行再充电。
听力设备124可以是由用户佩戴在载具104内以向用户的耳朵提供声音的声学放大的设备。这些设备通常由具有受损的听力的用户佩戴在耳朵中和耳朵周围。听力设备124可以是电池供电的,并且可以经由有线或无线充电进行再充电。在一些示例中,听力设备124还可以包括耳内和耳上的耳机。
听力设备124可以经由内部载具网络126或经由包括蓝牙、Wi-Fi等的无线收发器134的其他无线网络与载具系统进行通信。听力设备124可以将优化数据传输到听力应用162,并且载具104可以经由听力应用162将回放信号以及其他信息传输到听力设备。虽然听力应用162被示出为与处理器106分离并且不同,但是听力应用162可以被包括在处理器106中,具有其自己的处理器或控制器,或者被集成到诸如移动设备的用户设备中。
虽然本文未具体示出,但载具104可以包括许多其他系统(诸如GPS系统、人机接口(HMI)控件、视频系统等)。多模式处理系统130可以使用来自各种载具系统的输入,包括音频处理器109和传感器152。例如,多模式处理系统130可以确定用户的话语是系统导向(SD)还是非系统导向(NSD)。SD话语可以由用户做出,其旨在是影响载具104内的输出(诸如“打开音乐”的说出的命令)。NSD话语可以是在与另一乘员会话期间、在电话上或与载具外部的人说话时说出的话语。这些NSD不旨在影响载具输出或系统。NSD可以是人与人的会话。
虽然本文中详细讨论了汽车系统,但是其他应用是可以理解的。例如,类似的功能也可以应用于其他非汽车壳体,例如,用于在生活环境中具有智能眼镜、电话、眼睛跟踪器等的增强现实或虚拟现实壳体。虽然始终使用术语“用户”,但是该术语可以与其他术语(诸如扬声器、乘员等)互换。
图2示出了包括听力应用162、音频处理器109、扬声器148和听力设备124的图1的系统的至少一部分的示例框图。如上所述,一旦用户在载具内,用户的听力设备124就可以经由内部载具网络126或经由包括蓝牙、Wi-Fi、ZIGBEE等的无线收发器134的其他无线射频信道与载具系统通信。听力设备124还可以经由诸如红外光的光学信道进行通信。听力设备124可以将优化数据传输到听力应用162。该优化数据可以包括关于听力设备124的数据(诸如制造设置、用户特定偏好、设置或信号处理要求,以及与用户的听力损伤有关的其他数据)。
响应于听力设备124在载具104内由用户佩戴,听力应用162可以将回放信号传输到听力设备124。回放信号可以包括通常经由载具扬声器148发射的音频信号。也就是说,除了来自电话或语音对话的音频回放之外,或者诸如导航或警报的其他信道,以及来自无线电、信息娱乐等的娱乐信号可以被流式传输到听力设备124。例如,当另一个用户在载具104内时,这种流式传输可以与经由载具扬声器148的正常音频回放并行运行。在这种情况下,听力应用可以发起流式传输的时延(latency),使得来自听力设备124和载具扬声器148两者的回放是同步的,以便避免混响。取决于音频架构,听力应用162可以增加音频处理器109的时延或听力设备124的音频通道的时延(例如,在听力应用162中)。由听力设备124中的音频处理引入的时延可以是传输到听力应用162的优化数据的一部分。由于听力应用162的配置参数之一是载具音频系统的时延,因此听力应用162可以计算需要在相应路径中引入的所需延迟,以便同步不同的回放系统。
听力设备124在从听力应用162接收回放信号时可以应用由该设备规定的音频处理。也就是说,通常由听力设备124在正常放大下应用的设置也应用于回放信号。这允许用户利用用户的设置在听力设备124处接收通常经由载具扬声器148呈现的音频的回放。这可以增加听到来自载具104的命令的能力。
在扬声器148和听力设备124两者处发射回放内容的情况下,可以不利用优化参数来处理扬声器148处的回放。这可能是因为载具中可能存在不需要任何听力优化处理的另一用户,并且在其他用户将受益于优化参数的程度上,该用户已经经由听力设备124接收优化回放。
相反,当用户进入载具104时,用户可能经常移除他们的听力设备124。这可能是为了舒适性或用于对听力设备124充电。在该示例期间,可以经由扬声器148提供电话或语音对话,但是听力应用162可以将附加的音频处理应用于回放。听力应用162可以从载具104诸如载具信息娱乐系统或处理器106接收回放内容。回放内容可以包括电话或语音对话,其可以由听力应用162基于从听力设备124接收的优化数据来处理。优化数据可以由听力应用162接收一次并存储以供将来使用,但是也可以在用户特定或模型特定设置和数据已经改变的情况下连续更新。设置可以是供应商经由通信网络110提供的,或者可以从助听器124提供。
听力应用162可以基于优化数据应用参数或优化,然后将回放内容提供给扬声器148。参数的格式和音频处理算法在听力设备124的供应商与载具104的音频系统(诸如音频处理器109)之间共享。在一些示例中,可以包括转换模块以有助于对音频处理器109和听力设备124之间的各种参数和信号处理算法的任何误解。无论如何,无论是由供应商经由通信网络110还是听力设备124提供的优化数据,都允许听力受损用户在载具内具有更好的收听体验,但是在载具的处理之上应用必要的音频处理。
听力应用162因此可以与载具104和听力设备124对接以有助于它们之间的通信。听力应用162可以安装在载具的非易失性存储器122中,并且可以由处理器106处理。附加地或替代地,听力应用162可以在用户的移动设备上,该移动设备被配置为经由远程信息处理与载具104进行通信。
听力应用162还可以被配置为从载具104内的用户收集听力相关数据。这可以包括载具内的一组心理声学测试。这些测试可以是座位特定的,以及因素特定的(例如感知响度、优选响度和均衡、存在行驶噪声时的个人语音清晰度等)。用户的响应可以包括在听力相关数据中并且由听力应用162处理。用户还可以提供个人数据,诸如年龄、性别等。从第三方获取的纯音测听结果也可以与听力应用162共享。这样的结果可以由用户使用用户的移动设备经由听力应用162上传。
听力应用162可以使用听力相关数据和/或个人数据来生成相应用户的音频-消费者配置文件。音频-消费者配置文件可以包括特定于用户的优化参数或数据。也就是说,在优化参数特定于听力设备124的上述示例中,这里,优化参数特定于用户。这可以允许针对所有用户的增强的和个性化的音频体验,而不仅仅是具有听力设备的用户。
心理声学测试可以由听力设备供应商或听力应用162本身生成。在一个示例中,听力应用162可以发出询问,询问先前是否已经诊断出听力损伤,如果用户响应是否定的,则可以使用典型的或默认的灵敏度或阈值曲线。第三方还可以生成心理声学测试,以及分析对其的响应。在存在具有正常听力功能的用户并且先前没有诊断出已知的听力损伤的示例中,可以给出标准化的听力测试。值得注意的是,发生了这样的情况,其中用户在一个听力测试中评分正常(或接近正常),例如,在静音下管理的听力图类测试中,但是在更复杂的收听条件下执行的测试(例如,噪声中的语音清晰度)具有低于正常的评分。简单听力测试通常可以在静音中进行,不具有显示逼真的收听问题的分辨率,并且可能被忽略。因此,这样的听力测试不应限制于一些简单的听力图音调,而是可以覆盖与给定收听场景匹配的更逼真的情况。此外,测试的顺序以及确切地执行哪些测试可以取决于先前执行的测试的结果。除了要使用哪个供应商的测试之外,听力应用162可以确定现有测试的顺序、测试的类型等。
音频-消费者配置文件可以存储在载具的存储器(例如,非易失性存储器122)和/或用户的移动电话和/或远程服务器112内。如所解释的,远程服务器112可以与听力设备124的供应商相关联。音频-消费者配置文件可以被导出到服务器112以便保存配置文件。然后,如果用户进入另一个启用听力应用的载具,则音频-消费者配置文件可以由另一个载具使用。这可以允许用户进入的每个启用载具中的无缝用户音频体验。
可以以若干方式中的一种来识别用户。一个示例是载具远程信息处理系统可以检测用户的移动设备并且基于与移动设备的握手来识别用户。这可以在听力应用162或载具远程信息处理系统与移动设备配对时发生。处理器106可以向听力应用162指示用户的身份,并且可以自动检索先前为该用户的存储的音频-消费者配置文件。用户还可以经由载具显示器160、用户的移动设备等输入ID和密码。还可以使用可听识别来识别用户。
一旦用户经由以上所描述的任何机制被识别和认证,用户就可以具有可访问的用户配置文件。用户配置文件可以允许用户周期性地改变音频-消费者配置文件以及设置和偏好。在一个示例中,用户可以更新他或她的听力设备供应商,或者听力设备的品牌和型号。在听力应用162容纳在用户的移动设备上的示例中,用户也可以在不在载具104内时修改设置。
音频-消费者配置文件可以被不断地更新以改进优化参数。在一个示例中,听力应用162可以采用机器学习技术来基于用户选择的最近音频设置来更新配置文件。例如,听力应用162可以改变给定环境条件或回放设置等中的增益或均衡偏好。可以在没有来自用户的输入的情况下进行这些调整。可以基于新数据或聚合数据(包括相关用户的个人数据、其他心理声学测试等)来进行调整。通过采用机器学习来不断地改进音频-消费者配置文件,用户可以在多年中以及在使用不同车型的整个过程中享受不断改进的辅助听力技术以及个性化设置。
图3示出了用于图1的听力应用162的过程300的示例流程图,其中听力应用162在载具104和听力设备124之间建立接口。过程300开始于框305,其中听力应用162建立与听力设备124的通信。这可以在用户进入载具104并且在无线收发器134检测听力设备124的范围内时发生。收发器134和听力设备124可以发送请求和响应,直到两个设备彼此配对。它们可以包括蓝牙或其他类似的射频通信。听力应用162可以至少在初始配对时,要求某些安全性或PIN被交换,但是可以在初始配对之后以其他方式自动配对。
一旦听力应用162和听力设备124已经建立通信,听力应用162就可以在框310处确定听力设备的状态。听力设备124状态可以是听力设备124是处于入耳还是耳外的指示。入耳状态可以是默认状态,并且听力应用162可以确定听力设备124是入耳的,这与听力设备124不是入耳的指示相反。例如,检测到电力垫处的磁场可以指示听力设备124的存在,并且因此听力设备124被认为是耳外的。听力应用162可以支持载具传感器(诸如传感器152),以确定是否存在听力设备124处于耳外的指示。在一个示例中,如果听力设备124或听力设备124的壳体已经被放置在充电器上,或者经由USB连接,则充电器可以向听力应用162发送听力设备正在被充电的信号。
在框315处,听力应用162可以至少部分地基于听力设备状态来建立操作模式。在耳外状态下,操作模式可以是扬声器回放模式,其中回放内容被路由通过扬声器148。在入耳状态下,操作模式可以是听力设备回放模式,其中回放内容被路由通过听力设备124。
在框320处,听力应用162可以从载具104接收回放内容。回放内容可以包括要为用户回放的电话和语音内容,以及诸如音乐或其他信息娱乐音频内容的音频。回放内容可能已经经历了传统上由载具音频和信息娱乐系统执行的信号处理,诸如有源噪声消除、放大、均衡等。
在框325处,听力应用162可以应用从听力设备124和/或听力设备124的供应商接收的优化数据。如所解释的,优化数据可以包括用于对回放内容应用附加信号处理的各种参数。
在框330处,听力应用162可以在扬声器回放模式下将回放内容传输到扬声器148,或者在听力设备回放模式下将回放内容传输到听力设备124。然后,用户可以享受具有特定于用户和/或用户的听力设备162的额外的信号处理层的回放。
图4示出了用于音频-消费者配置文件的示例数据库400。如上所述,听力应用162可以被配置为从载具104内的用户收集听力相关数据。这可以包括载具内的一组心理声学测试。这些测试可以是座位特定的,以及因素特定的(例如感知响度、优选响度和均衡、存在行驶噪声时的个人语音清晰度等)。用户的响应可以包括在听力相关数据中并且由听力应用162处理。结果可以经由载具扬声器148收集,或者从用户的移动设备、显示器160等收集。用户还可以提供个人数据(例如年龄、性别等)。由第三方执行的纯音测听结果也可以与听力应用162共享。虽然图4示出了示例配置文件,但是可以包括更多或更少的数据。用户还可以选择拒绝提供某些详细信息(诸如他或她的年龄等)。
听力应用162可以使用听力相关数据和/或个人数据来生成相应用户的音频-消费者配置文件。音频-消费者配置文件可以包括特定于用户的优化参数。也就是说,在优化参数特定于听力设备124的上述示例中,这里,优化参数特定于用户。这还可以用于所有用户的增强和个性化的音频体验,而不仅仅是具有听力设备的用户。
音频-消费者配置文件可以存储在载具的存储器(例如,非易失性存储器122)和/或用户的移动电话和/或远程服务器112内。如所解释的,远程服务器112可以与听力设备124的供应商相关联。音频-消费者配置文件可以被导出到服务器112以便保存配置文件。然后,如果用户进入另一个启用入耳应用的载具,则音频-消费者配置文件可以由另一个载具使用。这可以允许无缝的用户音频体验。
一旦用户被识别和认证,就可以检索与用户相关联的音频-消费者配置文件。用户可以周期性地改变音频-消费者配置文件以及设置和偏好。在一个示例中,用户可以更新他或她的听力设备供应商,或者听力设备的品牌和型号。在听力应用162容纳在用户的移动设备上的示例中,用户也可以在不在载具104内时修改设置。
如所解释的,通过导出音频-消费者配置文件,各种服务器、供应商等可以聚合数据并且使用数据来改进优化参数。在一个示例中,听力应用162可以采用机器学习技术来基于用户选择的最近音频设置来更新配置文件。例如,听力应用162可以改变给定环境条件或回放设置等中的增益或均衡偏好。可以在没有来自用户的输入的情况下进行这些调整。可以基于新数据或聚合的数据(包括相关用户的个人数据、其他心理声学测试等)来进行调整。通过采用机器学习来不断地改进音频-消费者配置文件,用户可以在多年中以及在使用不同车型的整个过程中享受不断改进的辅助听力技术以及个性化设置。
因此,本文描述了一种用于允许用户(尤其是听力受损用户)享受更好的载具中音频体验的载具音频系统。辅助听力技术允许针对听力受损用户和正常听力用户两者的用户的个人需求和偏好而定制的音频处理。用户具有在载具使用期间移除他或她的听力设备的选项。可以避免佩戴助听器的不便,并且在用户在载具中的时间期间对听力设备充电的机会现在是可能的。此外,本文中所描述的系统可以允许不知道任何听力缺陷的用户意识到,以及增加载具内的听力能力。具有正常听力能力的用户可以享受更好地匹配他们的口味和偏好的定制和个性化的音频处理系统。
音频-消费者配置文件可以是动态的并且基于用户的人口统计、生活、习惯、健康等而连续变化。存储和导出优选设置以及通过应用机器学习来不断开发和改进音频-消费者配置文件的能力增加了该技术的价值。这样的音频-消费者配置文件可以跟随用户经由听力应用贯穿数年并且通过多个载具。
已经出于说明的目的呈现了对各种实施例的描述,但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,许多修改和变化对于本领域普通技术人员将是显而易见的。
本实施例的各方面可以体现为系统、方法或计算机程序产品。因此,本公开的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,这些实施例在本文中通常都可以被称为“模块”或“系统”。此外,本公开的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有体现在其上的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备,或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)包括以下:具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(可擦除可编程只读存储器(EPROM)或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述的任何合适组合。在本文档的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储程序以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。
以上参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本公开的各方面。应当理解,流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令使得能够实现流程图和/或框图的一个或多个框中指定的功能/动作。这样的处理器可以是但不限于通用处理器、专用处理器、专用处理器或现场可编程处理器。
附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示代码的模块、片段或部分,其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。还应注意,在一些替代实施方式中,框中标注的功能可以不按图中标注的顺序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者这些框有时可以以相反的顺序执行,这取决于所涉及的功能。还将注意到,框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
虽然上面描述了示例性实施例,但是这些实施例并不旨在描述本发明的所有可能形式。相反,说明书中使用的词语是描述性词语而不是限制性词语,并且应当理解,在不脱离本发明的精神和范围的情况下,可以进行各种改变。另外,可以组合各种实现实施例的特征以形成本发明的另外的实施例。
Claims (20)
1.一种用于载具音频系统的听力应用,所述系统包括:
至少一个扬声器,所述至少一个扬声器被配置为播放回放内容;
至少一个听力应用,所述至少一个听力应用被编程为
从所述载具内的听力设备接收优化参数,所述优化参数包括特定于所述听力设备的信号处理参数;
将所述优化参数应用于所述回放内容;以及
传输所述回放内容以供所述听力设备和所述至少一个扬声器中的一个回放。
2.根据权利要求1所述的系统,其中,所述听力应用还被编程为确定所述听力设备处于入耳状态或耳外状态。
3.根据权利要求2所述的系统,其中,所述听力应用还被编程为响应于所述听力设备处于入耳状态而将所述回放内容传输到所述听力设备。
4.根据权利要求3所述的系统,其中,所述听力应用还被编程为在将所述回放内容传输到所述听力设备的同时将所述回放内容传输到所述至少一个扬声器。
5.根据权利要求4所述的系统,其中,所述听力应用还被编程为将时延应用于被传输到所述听力设备的所述回放内容以避免混响,其中,所述至少一个扬声器处的所述回放内容未被优化。
6.根据权利要求2所述的系统,其中,所述听力应用还被编程为响应于所述听力设备处于耳外状态而将所述回放内容传输到所述至少一个扬声器。
7.根据权利要求1所述的系统,其中,所述优化参数特定于所述听力设备。
8.根据权利要求1所述的系统,其中,所述听力设备和所述听力应用经由无线通信协议进行通信。
9.一种用于载具音频系统的听力应用,所述系统包括:
至少一个扬声器,所述至少一个扬声器被配置为播放回放内容;
至少一个听力应用,所述至少一个听力应用被编程为:
识别所述载具内的至少一个用户;
接收与所述用户相关联的音频-消费者配置文件,所述音频-消费者配置文件包括特定于所述用户的信号处理参数;
将所述优化数据应用于所述回放内容;以及
传输所述回放内容以供所述至少一个扬声器回放。
10.根据权利要求9所述的系统,其中,所述音频-消费者配置文件包括来自与所述至少一个用户相关联的听力设备的优化参数,所述优化参数包括特定于所述听力设备的信号处理参数。
11.根据权利要求10所述的系统,其中,所述优化参数是从所述听力设备的供应商接收的。
12.根据权利要求10所述的系统,其中,所述听力应用还被编程为确定所述听力设备处于入耳状态或耳外状态。
13.根据权利要求12所述的系统,其中,所述听力应用还被编程为响应于所述听力设备处于入耳状态而将所述回放内容传输到所述听力设备。
14.根据权利要求13所述的系统,其中所述听力应用还被编程为在将所述回放内容传输到所述听力设备的同时将所述回放内容传输到所述至少一个扬声器。
15.根据权利要求14所述的系统,其中,所述听力应用还被编程为将时延应用于被传输到所述听力设备的所述回放内容以避免混响,其中,所述至少一个扬声器处的所述回放内容未被优化。
16.根据权利要求11所述的系统,其中,所述听力应用还被编程为响应于所述听力设备处于耳外状态而将所述回放内容传输到所述至少一个扬声器。
17.根据权利要求11所述的系统,其中,所述听力设备和所述听力应用经由无线通信协议进行通信。
18.根据权利要求9所述的系统,其中,所述听力应用还被编程为从用户输入接收用户偏好,并且基于所述用户偏好更新所述音频-消费者配置文件。
19.根据权利要求17所述的系统,其中,所述听力应用还被编程为将所更新的音频-消费者配置文件传输到远程服务器。
20.根据权利要求9所述的系统,其中,所述听力应用还被编程为从远程服务器接收聚合的系统数据,并且将机器学习应用于所述音频-消费者配置文件以更新所述音频-消费者配置文件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/810,116 | 2022-06-30 | ||
US17/810,116 US12063476B2 (en) | 2022-06-30 | 2022-06-30 | In-car assistive audio technologies for users with hearing loss |
PCT/US2023/026416 WO2024006330A1 (en) | 2022-06-30 | 2023-06-28 | In-car assistive audio technologies for users with hearing loss |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119563330A true CN119563330A (zh) | 2025-03-04 |
Family
ID=87426895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202380049934.1A Pending CN119563330A (zh) | 2022-06-30 | 2023-06-28 | 用于具有听力损失的用户的车内辅助音频技术 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12063476B2 (zh) |
CN (1) | CN119563330A (zh) |
WO (1) | WO2024006330A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12063476B2 (en) * | 2022-06-30 | 2024-08-13 | Cerence Operating Company | In-car assistive audio technologies for users with hearing loss |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014218065B4 (de) | 2014-09-10 | 2017-10-12 | Volkswagen Aktiengesellschaft | Anpassung akustischer Parameter eines Fahrerassistenzsystems eines Kraftfahrzeugs |
US10405095B2 (en) | 2016-03-31 | 2019-09-03 | Bose Corporation | Audio signal processing for hearing impairment compensation with a hearing aid device and a speaker |
WO2018099677A1 (en) | 2016-11-29 | 2018-06-07 | Jaguar Land Rover Limited | Improvements relating to hearing assistance in vehicles |
US10368154B2 (en) | 2017-08-02 | 2019-07-30 | Listening Applications LTD. | Systems, devices and methods for executing a digital audiogram |
US11134353B2 (en) | 2019-01-04 | 2021-09-28 | Harman International Industries, Incorporated | Customized audio processing based on user-specific and hardware-specific audio information |
US12063476B2 (en) * | 2022-06-30 | 2024-08-13 | Cerence Operating Company | In-car assistive audio technologies for users with hearing loss |
-
2022
- 2022-06-30 US US17/810,116 patent/US12063476B2/en active Active
-
2023
- 2023-06-28 CN CN202380049934.1A patent/CN119563330A/zh active Pending
- 2023-06-28 WO PCT/US2023/026416 patent/WO2024006330A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20240007803A1 (en) | 2024-01-04 |
US12063476B2 (en) | 2024-08-13 |
WO2024006330A1 (en) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3520102B1 (en) | Context aware hearing optimization engine | |
US9743213B2 (en) | Enhanced auditory experience in shared acoustic space | |
US10170111B2 (en) | Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior | |
CN107004425B (zh) | 共享声学空间中的增强型对话通信 | |
US20150365771A1 (en) | Vehicle communiation with a hearing aid device | |
JP6284331B2 (ja) | 会話支援装置、会話支援方法及び会話支援プログラム | |
CN109273006B (zh) | 车载系统的语音控制方法、车载系统、车辆及存储介质 | |
WO2018099677A1 (en) | Improvements relating to hearing assistance in vehicles | |
JP2025000703A (ja) | ハイブリッド車内スピーカ及びヘッドフォンベースの音響拡張現実システム | |
CN114194128A (zh) | 车辆的音量控制方法、车辆和存储介质 | |
JP2023112663A (ja) | 車内適応音質出力方法、装置、記憶媒体及び車載音響システム | |
CN119563330A (zh) | 用于具有听力损失的用户的车内辅助音频技术 | |
US10491998B1 (en) | Vehicle communication systems and methods of operating vehicle communication systems | |
US10540985B2 (en) | In-vehicle media vocal suppression | |
CN113115156B (zh) | 终端装置 | |
US11974103B2 (en) | In-car headphone acoustical augmented reality system | |
CN115769601A (zh) | 用输出单元输出使用者特定声学信号的方法,计算机程序产品和电子信号处理系统 | |
KR20150013999A (ko) | 차량 멀티미디어 음원 출력 제어 시스템 및 그 방법 | |
US20230419971A1 (en) | Dynamic voice assistant system for a vehicle | |
JP7604273B2 (ja) | 音声加工装置及び音声加工方法 | |
CN117858050A (zh) | 增强的车载通信 | |
WO2024215318A1 (en) | Integrated in-vehicle personal audio system | |
CN118849993A (zh) | 汽车座舱声场自适应调节方法、装置、设备及存储介质 | |
CN118524370A (zh) | 用于为听力受损车辆乘员启用车联网服务的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |