CN113039509B - 使用位置传感器和虚拟声学建模提供情境感知的装置和方法 - Google Patents

Abstract

提供了一种情境感知系统，并且所述情境感知系统包括被配置为感测对象并生成所感测的对象的信号的传感器。识别和分类模块与传感器通信。识别和分类模块被配置为识别所感测的对象并确定每个所感测的对象的位置、速度和方向。声音合成模块与识别和分类模块通信。声音合成模块被配置为针对所感测的对象创建声音，并且进一步被配置为针对所感测的对象创建双耳虚拟声学模型。双耳虚拟声学模型用于将所感测的对象定位在虚拟空间中与其在真实空间中的位所相对应的位所。一个或多个波束形成阵列与声音合成模块通信并被配置为传递声音。所传递的声音增加了载具操作员的情境感知。

Description

使用位置传感器和虚拟声学建模提供情境感知的装置和方法

发明人：Perry Teevens、Robert J.E.Dalton Jr.、David E.Romblom、PeterG.Otto和Elliot M.Patros。

相关申请

本申请要求于2018年11月21日提交的美国临时专利申请No.62/770,352的权益，其全部公开内容通过引用合并于此。

背景技术

载具(vehicle)的操作员(驾驶员)暴露于多种刺激。刺激可以源自载具内部，并且刺激可以源自载具外部。内部刺激的非限制性示例包括来自收音机的音乐、转向信号声、发动机噪声、语音、嘎吱声和吱吱声等。外部刺激的非限制性示例包括来自其他载具的声音、警报器、喇叭等。在某些情景下，内部和外部刺激会影响操作员的情境感知。

在某些情景下，可以通过向警告、事件、对象、情景等添加刺激来提高载具操作员的情景感知，否则，载具操作员可能不会注意到所述警告、事件、对象、情景等。作为一个非限制性示例，关于否则可能很难察觉的夜间道路上可能结冰的基于声音的警告将改进情境感知。作为另一个非限制性示例，红色停止信号灯已变为绿色的可听通知将改进情境感知。

在其他情景下，可以通过减弱，消除，减少分散注意力的刺激的可注意性来改进载具操作员的情境感知。作为一个非限制性示例，在诸如砾石、石头等的粗糙表面上行驶会产生噪声，这些噪声可能对于载具操作员是分散注意力的，也可能削弱操作员注意到更重要的刺激的能力。

在某些情景下，可以通过增强或改变载具操作员通常可以注意到或通常不注意到的自然发生的刺激的声音来改进载具操作员的情景感知。作为一个非限制性示例，从内燃机发出的指示可能需要更换机油的多个声音可以伴随有基于声音的警告，从而改进了载具操作员的情境感知。

在其他情景下，可以通过在虚拟声学场景中设置不同类型或类别的刺激的位所来改进载具操作员的情景感知。刺激的位所可以自动或手动设置。作为一个非限制性示例，行驶方向可以自动地位于即将到来的载具转弯的方向上。作为另一个非限制性示例，基于音频的电话可以定位在朝向乘客座位的方向上。

如果可以改进载具操作员的情境感知，那将是有利的。

发明内容

应当理解，提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容既不旨在标识本公开的关键特征或必要特征，也不旨在限制使用位置传感器和虚拟声学建模来提供情景感知的装置和方法的范围。

上述对象以及未具体列举的其他对象是通过情境感知系统实现的，该情境感知系统被配置为创建所感测对象的双耳虚拟声学模型。情境感知系统包括一个或多个传感器，该传感器被配置为感测对象并生成所感测的对象的信号。识别和分类模块与一个或多个传感器通信。识别和分类模块被配置为识别所感测的对象，并且还被配置为确定每个所感测的对象的位置、速度和方向。声音合成模块与识别和分类模块通信。声音合成模块被配置为针对所感测的对象创建声音，并且还被配置为针对所感测的对象创建双耳虚拟声学模型。双耳虚拟声学模型用于将所感测的对象定位在虚拟空间中与其在真实空间中的位所相对应的位所。一个或多个波束形成阵列与声音合成模块通信并被配置为传递声音。由一个或多个波束形成阵列传递的声音增加了载具操作员的情境感知。

上述目的以及未具体列举的其他目的也通过一种操作情景感知系统的方法来实现。该方法包括以下步骤：使用一个或多个传感器感测对象，一个或多个传感器生成感测信号，分析感测信号以识别对象，确定对象的位置、速度和方向，为所述对象创建一个或多个声音，将对象的位置信息发送到虚拟声学模型，将对象定位在虚拟空间中与其在真实空间中的位所相对应的位所，为所定位的对象或声音源创建信号以传递到波束形成阵列并传递信号到波束形成阵列。

当参考附图阅读时，根据以下详细描述，使用位置传感器和虚拟声学建模来提供情景感知的装置和方法的各种目的和优点对于本领域技术人员将变得显而易见。

附图说明

图1是配备有情景感知系统的载具的平面图。

图2是配备有图1的情景感知系统的载具的侧视图。

图3是图1的情景感知系统的元件的示意图。

图4是载具的内部的透视图，示出了图1的情景感知系统的部分。

图5是示出图1的情景感知系统的操作的流程图。

图6是载具的内部部分的示意平面图，示出了利用定位在头枕中的扬声器的波束形成阵列的增强。

具体实施方式

现在将偶尔参考具体实施例来描述使用位置传感器和虚拟声学建模(以下称为“情境感知系统”)来提供情境感知的装置和方法。然而，情境感知系统可以以不同的形式体现，并且不应被解释为限于这里阐述的实施例。相反，提供这些实施例使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达情景感知系统的范围。

除非另有定义，否则本文使用的所有技术和科学术语均具有与情境感知系统所属的领域中的普通技术人员通常所理解的含义相同的含义。在本文中的情境感知系统的描述中使用的术语仅用于描述特定实施例，而无意于限制情境感知系统。如在对情境感知系统和所附权利要求的描述中所使用的，单数形式的“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。

除非另有说明，否则在说明书和权利要求书中使用的所有表示诸如长度、宽度、高度等的尺寸的量的数字在所有情景下均应理解为由术语“约”修饰。因此，除非另外指出，否则说明书和权利要求书中阐述的数字性质是近似，其可以根据情景感知系统的实施例中试图获得的期望性质而变化。尽管阐述了情境感知系统的广泛范围的数值范围和参数是近似，但在具体示例中阐述的数值应尽可能精确地报告。但是，任何数值固有地都包含某些误差，这些误差必然是由于它们各自的测量中出现的误差而导致的。

该描述和附图公开了一种用于载具中的情景感知系统。通常，情境感知系统使用传感器来创建感测对象的双耳虚拟声学模型。双耳虚拟声学模型使对象位于在虚拟空间中与真实空间中的其位所相对应的位所。双耳虚拟声学模型被传输到载具的驾驶员，以提供增强的情境感知。

如本文所用，术语“情境感知”被定义为是指相对于时间或空间的环境元素和事件的感知。术语“情境感知”可以包括对环境元素和事件的理解，还可以包括对它们未来状态的预测。

双耳虚拟声学显示器可以部分地由多个扬声器来生成，所述多个扬声器在于载具操作员的耳朵处再现双耳音频信号的意图下被一起配置。扩音器的特定布置可以取决于场境，并且可以根据为操作员和旁听者提高所再现的音频信号的某些质量的目标来设计。这种扬声器系统的非限制性示例包括波束形成系统，例如扬声器阵列，以及多通道配置，例如立体声扬声器系统。

主动噪声消除系统可以部分地由一个或多个扬声器生成，所述一个或多个扬声器在减弱、修改或放大源自载具内部、外部或载具上的物理声源的意图下被一起配置。扩音器的特定布置可能取决于场境，并根据为操作员和旁听者提高一般声学环境的虚拟声学显示器的某些质量的目标或根据提高扬声器系统和载具本身之间的物理声学相互作用的目的进行设计。这种扬声器系统的非限制性示例包括波束形成系统(例如扬声器阵列)、多通道配置(例如立体声扬声器系统)或单独的独立扬声器。

波束形成或多通道系统(以下简称为仅波束形成系统)的物理组件包括用于在听众的耳朵上产生不同音频信号的任何扬声器系统。可以将传感器添加到波束形成系统中，以提高其将准确的音频信号传递到目标听众的能力。非限制性示例包括跟踪目标听众的位置，跟踪载具中的物理特征以及监视环境中的声学内容。波束形成系统的软件组件可以包括用于波束形成或空间滤波器生成的算法、幅度平移、延迟平移以及用于解释传感器数据的软件。这些可以根据例如头部跟踪系统实时生成或内插。波束形成系统所需的其他资源可以包括预先计算的波束形成或空间滤波器。空间滤波器可以包括物理头部相关传输函数补偿，以提高双耳图像的空间感(spatial impression)。

波束形成系统可以利用声场中对象的物理声学性质，包括载具操作员，如窗户或座椅的载具中的特征以及帮助创建所需的声学响应的对扬声器本身的修改。例如，可以将立体声扬声器对放在操作员的耳朵后面的头枕中，以便其头部帮助声学阴影或传播延迟。

两种或更多种不同类型的波束形成系统之间的相互作用可能有助于提高空间感，从而提高情境感知。例如，用于较高频率的波束形成的扬声器阵列和在头枕中用于较低频率的立体声扬声器系统的组合可以为载具操作员创建比单独的阵列更高保真度的空间感。

双耳虚拟声学显示器部分地由一种或多种信号处理技术生成，所述一种或多种信号处理技术用于将定位提示给予音频信号，因此，如果将它们播放到每个耳朵中，则会产生方向感。这些过程的非限制性示例包括双耳人体模型记录技术、来自模型或记录的数据的双耳合成以及用双耳滤波器进行滤波。

如所述的波束形成系统在它接收一个或多个音频通道作为输入——即所谓的多通道输入——的范围内由声音合成模块控制。声音合成模块可能会被其传感器、软件或用户要求同时传递多种类型的音频。在各种情景下，这些方中的一个或多个可以不控制声音合成模块或控制声音合成模块的部分或全部。例如，用户在某些场境下可能具有超越软件提供的功能的能力，反之亦然。声音合成模块使用软件确定可能对载具操作员的情景感知具有冲突影响的任务的优先级的能力可能取决于场境，并根据为操作员或旁听者提高所再现音频信号的某些质量的目标进行设计。多通道输入的非限制性示例包括来自由载具操作员和乘客携带的诸如电话媒体设备以及来自嵌入在载具中的媒体设备的音频流，包括来自无线电或娱乐系统的音频流。

现在参考附图，在图1和图2中示出了载具10的示意简化图。在所示的实施例中，载具10是汽车。然而，在其他实施例中，载具10可以具有其他形式，包括卡车、火车、船、地铁、电车、手推车等的非限制性示例。

再次参考图1和图2，载具10正在行车道12上行驶。在所示的实施例中，行车道12是铺面道路。在替代实施例中，行车道12可以具有其他形式，包括土路、石头或砾石覆盖的道路、火车轨道、河流等的非限制性示例。

再次参考图1和图2，载具10包括多个传感器，以14a-14e示意性地示出。传感器14a-14e被配置为感测载具10外部的环境。传感器14a-14e还被配置为在感测到外部环境条件和因素时生成信号。传感器14a-14e可以被配置为单独的元件或可以被配置为协作元件的阵列。在所示的实施例中，传感器14a-14e具有雷达、激光雷达、声纳等的形式。传感器14a-14e可以被定位在载具10上的任何期望的外部位所。进一步预期的是，期望数量的传感器可以被定位在载具10的内部。

现在参考图2和图3，载具10还包括控制模块16。控制模块16包括识别和分类模块18和声音合成模块20。在某些实施例中，识别和分类模块18和声音合成模块20可以并入在控制模块16中作为基于软件的元件。在其他实施例中，识别和分类模块18和声音合成模块20可以作为分立的物理元件并入控制模块16中。还在其他实施例中，分类模块18和声音合成模块20可以作为基于软件的元件和分立的物理元件的组合并入控制模块16中。

现在参考图1-3，识别和分类模块18被配置用于几种功能。首先，识别和分类模块18被配置为接收由传感器14a-14e生成的信号。第二，识别和分类模块18被配置为分析从传感器14a-14e接收的原始信号。第三，识别和分类模块18被配置为使用从传感器14a-14e接收的原始信号识别对象22，诸如例如位于行车道12中的自行车。虽然对象22被识别为自行车，但是在其他实施例中，识别和分类模块18可以被配置为识别其他对象，包括汽车、人、动物等的非限制性示例。最后，识别和分类模块18被配置为使用从传感器14a-14e接收的原始信号来确定每个被识别对象的位置、速度和方向。

再次参考图1-3，声音合成模块20被配置为从识别和分类模块18接收识别信息以及每个被识别的对象信息的位置、速度和方向。使用该信息，声音合成模块20被进一步配置用于多个功能。首先，声音合成模块20被配置成为每个对象22或声源创建不同种类的声音。第二，给定位置数据、声音分类和针对每个对象或声源合成的声音，双耳虚拟声学模型被创建并被用于将对象或声源定位在虚拟空间中与其在真实空间中的位所相对应的位所。第三，声音合成模块20创建所定位的对象或声源的信号，以传递到波束形成阵列24。

现在参考图4，示出了载具的代表性内部部分26。内部部分26包括驾驶员部28和相邻的乘客部30。由于不能遮挡驾驶员的耳朵(未示出)，所以耳机不能用于将由声音合成模块20创建的虚拟声学模型传递给驾驶员。相反，使用一个或多个波束形成阵列32a-32d将形成虚拟声学模型的左耳和右耳信号单独地传递给驾驶员。波束形成阵列32a-32d可以定位在驾驶员上方、前方和/或邻近于驾驶员。尽管图4所示和上面描述的实施例包括分开的和不同的波束形成阵列32a-32d，但是可以想到，可以使用单个波束形成阵列36。单个波束形成阵列36可以定位在任何合适的位所。

再次参考图4，为了提高定位，将双耳信号个性化为从定位在载具的内部部分26内的现存感测相机34提取的驾驶员的单独拟人特征。有利地，个性化双耳信号导致对象22或声源与合成声音之间的改进的符合性。

再次参考图4，为了确保高保真度和位置精确的定位，在波束形成阵列32a-32d和听众的耳朵(未示出)之间去除了声学传输函数。该去除被配置为减轻与阵列32a-32d的位所相对应的高度提示。取而代之的是，期望听众(驾驶员)经历由双耳虚拟声学模型合成的与外部感测对象22的位所相对应的高度提示。

现在参考图5，将简要描述情景感知系统的操作模式。在初始步骤40中，通过传感器14a-14e中的一个或多个感测对象22。在第二步骤42中，一个或多个传感器14a-14e与识别和分类模块18通信。在下一步骤44中，识别和分类模块18分析从传感器14a-14e中的一个或多个接收的原始信号以识别对象22。接下来，在步骤46中，识别和分类模块18确定每个识别的对象22的位置、速度和方向。在下一步骤48中，识别和分类模块18与声音合成模块20进行通信。接下来，在步骤50中，声音合成模块20为每个对象22创建不同种类的声音。在下一步骤52中，将位置信息发送到虚拟声学模型。在下一步骤54中，使用双耳虚拟声学模型将对象或声源定位在虚拟空间中与其在真实空间中的位所相对应的位所。接下来，在步骤56中，为定位的对象或声源创建信号，以传递到波束形成阵列32a-32d。在最后的步骤58中，信号被传递到波束形成阵列32a-32d。

现在参考图6，示出了另一个实施例。在该实施例中，载具的内部部分126包括驾驶员部128和相邻的乘客部130。内部部分126还包括具有多个波束形成阵列132a-132c的载具仪表板160。在所示的实施例中，波束形成阵列132a-132c与图4中所示并且如上所述的波束形成阵列32a-32d相同或相似。然而，在其他实施例中，波束形成阵列132a-132c可以与波束形成阵列32a-32d不同。

再次参考图6，内部部分126包括以162示意性示出的驾驶员座椅和以164示意性示出的乘客座椅。驾驶员座椅162包括驾驶员的头枕170，并且乘客座椅164包括乘客头枕172，两者均如本领域中已知的那样配置。驾驶员头枕170包括多个扬声器174a、174b，并且乘客头枕172包括多个扬声器176a、176b。

再次参考图6，波束形成阵列132a-132c被配置用于通过定位在驾驶员头部后面的多个驾驶员扬声器174a、174b进行增强。在该实施例中，使用分频网络将高频内容发送到波束形成阵列132a-132c，并将低频内容发送到驾驶员扬声器174a、174b。乘客部130可以以类似的方式配置有多个乘客侧波束形成阵列(为了清楚起见未示出)和乘客扬声器176a、176b。虽然扬声器174a、174b、176a、176b被示为定位在头枕162、164中，但可以预期的是扬声器174a、174b、176a、176b可以定位在其他位所，适于增强如本文所述的多个波束形成阵列132a-132c。

尽管并非在所有实施例中都存在所有益处，但是情境感知系统提供了许多益处。首先，情境感知系统被配置为保护内部或外部刺激的主动噪声消除。第二，情境感知系统被配置为保护声学增强真实，也就是说，情境感知系统被配置为对任何内部或外部刺激进行双耳化、放大、减弱并用声音图标代替。第三，情境感知系统包括按目的或类别对声音进行手动或自动定位，以便增加可以立即理解的同时刺激的量。第四，与情境感知有关的内容可能基于也可能不是基于来自传感器的输入。在替代实施例中，内容可以更一般地源自图5上的信号流程图中的任何阶段。例如，“声音合成模块”可以在不使用传感器的情景下生成任何种类的内容。第五，包括如无线电、电话、汽车的车载计算机的设备的非限制性示例的其他来源也可以视为能够影响或控制图5所描述的信号流程图的任何部分的情境感知内容的传感器或来源。第六，包括驾驶员和乘客的用户也可以视作能够影响或控制图5所描述的信号流程图的任何部分的情境感知内容的传感器或来源。最后，增加图5所描述的信号流程图的能力以帮助情境感知的任何信号处理或音频技术可以影响或控制系统的任何部分。这包括高度提示、头部相关传输函数(HRTF)、波束形成系统的其他部分、与预期的听众有关的定制HRTF等的非限制性示例。

根据专利法规的规定，在某些实施例中已经解释和说明了情境感知系统的原理和操作模式。然而，必须理解的是，可以在不脱离其精神或范围的情景下，以不同于具体解释和说明的方式来实践情境感知系统。

Claims (13)

1.一种被配置为创建感测对象的双耳虚拟声学模型的情景感知系统，所述情景感知系统包括：

一个或多个传感器，所述一个或多个传感器被配置为感测对象并且生成所感测的对象的信号；

与所述一个或多个传感器通信的识别和分类模块，所述识别和分类模块被配置为识别所感测的对象并且进一步被配置为确定每个所感测的对象的位置、速度和方向；

与所述识别和分类模块通信的声音合成模块，所述声音合成模块被配置为针对所感测的对象创建声音并且进一步被配置为针对所感测的对象创建双耳虚拟声学模型，所述双耳虚拟声学模型用于将所感测的对象定位在虚拟空间中的与所感测的对象在真实空间中的位所相对应的位所；

一个或多个波束形成阵列，所述一个或多个波束形成阵列与所述声音合成模块通信并且被配置为传递声音；和

多个扬声器，所述多个扬声器位于驾驶员的头枕中，其中：

所述多个扬声器与所述一个或多个波束形成阵列分开并且不同于所述一个或多个波束形成阵列；

所述双耳虚拟声学模型的低频内容经由所述多个扬声器输出，并且所述双耳虚拟声学模型的高频内容不经由所述多个扬声器输出；以及

所述双耳虚拟声学模型的所述高频内容经由基于所述双耳虚拟声学模型的所述一个或多个波束形成阵列输出，并且所述双耳虚拟声学模型的所述低频内容不经由所述一个或多个波束形成阵列输出。

2.根据权利要求1所述的情景感知系统，其中，所述一个或多个波束形成阵列包括扬声器系统的网络，所述扬声器系统网络包括单通道和多通道扬声器系统。

3.根据权利要求1所述的情景感知系统，其中，所述识别和分类模块以及所述声音合成模块是基于软件的元件。

4.根据权利要求1所述的情景感知系统，其中，所述识别和分类模块以及所述声音合成模块被形成为基于软件的元件和分立的物理元件的组合。

5.根据权利要求1所述的情景感知系统，其中，所述一个或多个传感器定位在载具上，并且所感测的对象在行车道上。

6.根据权利要求1所述的情景感知系统，其中，所述一个或多个传感器具有雷达的形式。

7.根据权利要求1所述的情景感知系统，其中，所述一个或多个波束形成阵列定位在载具操作员上方、前方和/或邻近于所述载具操作员。

8.根据权利要求1所述的情景感知系统，其中，所述一个或多个波束形成阵列定位在载具的仪表板中。

9.根据权利要求1所述的情景感知系统，其中，现存的感测相机用于将双耳信号个性化为载具操作员的单独的拟人化特征。

10.一种操作情境感知系统的方法，包括以下步骤：

使用一个或多个传感器来感测对象，所述一个或多个传感器生成感测信号；

分析所述感测信号以识别所述对象；

确定所述对象的位置、速度和方向；

为所述对象创建一个或多个声音；

将所述对象的位置信息发送到虚拟声学模型；

将对应于所述对象的虚拟对象定位在虚拟空间中的与所述对象在真实空间中的位所相对应的位所；

针对所定位虚拟对象创建信号，以传递到一个或多个波束形成阵列；以及

将所述信号传递到所述一个或多个波束形成阵列和多个扬声器，其中：

所述多个扬声器位于驾驶员的头枕中；

所述多个扬声器与所述一个或多个波束形成阵列分开并且不同于所述一个或多个波束形成阵列；

所述虚拟声学模型的低频内容经由所述多个扬声器输出，并且所述虚拟声学模型的高频内容不经由所述多个扬声器输出；以及

所述虚拟声学模型的所述高频内容经由基于所述虚拟声学模型的所述一个或多个波束形成阵列输出，并且所述虚拟声学模型的所述低频内容不经由所述一个或多个波束形成阵列输出。

11.根据权利要求10所述的方法，其中，识别和分类模块用于确定所述对象的所述位置、速度和方向。

12.根据权利要求10所述的方法，其中，声音合成模块用于传达所述对象的身份、位置、速度和方向。

13.根据权利要求10所述的方法，其中，所述虚拟声学模型用于将所述对象定位在虚拟空间中的与所述对象的在真实空间中位所相对应的位所。