[go: up one dir, main page]

CN111402925B - 语音调节的方法、装置、电子设备、车载系统和可读介质 - Google Patents

语音调节的方法、装置、电子设备、车载系统和可读介质 Download PDF

Info

Publication number
CN111402925B
CN111402925B CN202010172637.4A CN202010172637A CN111402925B CN 111402925 B CN111402925 B CN 111402925B CN 202010172637 A CN202010172637 A CN 202010172637A CN 111402925 B CN111402925 B CN 111402925B
Authority
CN
China
Prior art keywords
voice
vehicle
information
person
environmental information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010172637.4A
Other languages
English (en)
Other versions
CN111402925A (zh
Inventor
李黎萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority to CN202010172637.4A priority Critical patent/CN111402925B/zh
Publication of CN111402925A publication Critical patent/CN111402925A/zh
Application granted granted Critical
Publication of CN111402925B publication Critical patent/CN111402925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例公开了语音调节方法和装置。本公开的一具体实施方式包括:获取车辆的环境信息;获取所述车辆上至少一个人员的状态信息;基于所述环境信息和所述状态信息,确定语音调节策略;根据所述语音调节策略,调节所述车辆上待播放语音的参数。该实施方式利用内外车况、路况判断情景紧急性,再结合驾驶员/车内乘客情绪状态确定是否需要安抚车内人员,对语音进行变调变速处理。在保证同一语音形象的整体性条件下,赋予语音正确的情绪反馈,带来更加安全的驾驶语音交互。可应用于辅助驾驶和无人驾驶场景。

Description

语音调节的方法、装置、电子设备、车载系统和可读介质
技术领域
本公开的实施例涉及计算机技术领域,具体涉及语音调节方法和装置。
背景技术
随着计算机技术及人工智能的飞速发展,车载导航、辅助驾驶在汽车驾驶领域越来越得到广泛的应用。前期的车载语音系统普遍采用机械单一的语音提示,即固定采用一种语音(语速、音调、语调),这可能导致提示效果差,用户也不喜欢。例如在一般调查中,有的用户更喜欢甜美温柔女声(语速慢、音调高,语调变化),有的用户则喜欢特定明星的语音播报。为了满足用户的个性化需求,可以采用语音合成技术模拟特定人物的语音(先采集有限量的语音,采用人工智能技术进行语音合成处理,获取具有该特定人物语音音色的目标语言)。
经研究发现,对于驾驶过程中的警示提醒,需要更确信紧急的语调(语速快、音调低、语调平)让用户更快反应。可以设想采用以下方案来解决:
(1)不同功能调用不同的语音包,例如在进行唤醒语音对话系统的功能时,调用语音包1,在进行播报导航信息的功能时,调用语音包2。但是在该方案中,不同功能并不能完全代表场景的紧急性,并且语音包音色差异较大,语音形象体验割裂。
(2)真人录制特定语料,一些车载语音系统会录制较多的语料,力图在不同场景下语音的音调、语速有自然变化。但是在该方案中,需要录制语料时考虑到各种情况,语料录制工作量大。
需要说明的是,在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开的实施例提出了语音调节方法和装置。
根据本公开的第一方面,本公开的实施例提供了一种语音调节方法,所述方法包括:获取车辆的环境信息;获取所述车辆上至少一个人员的状态信息;基于所述环境信息和所述状态信息,确定语音调节策略;根据所述语音调节策略,调节所述车辆上待播放语音的参数。
在一些实施例中,所述环境信息包括车内环境信息和车外环境信息中的至少一者,并且其中,所述车外环境信息包括路况信息和/或高级辅助驾驶系统ADAS信息。
在一些实施例中,所述参数包括音调、语速和语调中的至少一者。
在一些实施例中,所述基于所述环境信息和所述状态信息确定语音调节策略包括:根据所述环境信息判断待播放语音所对应的提示事件的紧急程度,以及根据所述状态信息判断所述车辆上至少一个人员的情绪状态。
在一些实施例中,在所述环境信息包括车内环境信息的情况下,通过采集车辆组件状态信息获取所述车内环境信息。
在一些实施例中,在所述环境信息包括路况信息的情况下,采用以下方式之一获取所述路况信息:通过云端获取实时高精路况信息;或通过传感摄像头和/或雷达感知车辆附近情况。
在一些实施例中,所述车辆上至少一个人员包括所述车辆的驾驶员,并且其中,所述状态信息至少采用以下方式之一获取:通过摄像头采集所述车辆上至少一个人员的面部表情;通过语音接收器采集所述车辆上至少一个人员的语言;通过驾驶动作采集器采集所述驾驶员的驾驶动作;或通过时钟记录采集所述驾驶员本次驾驶的持续时间。
在一些实施例中,所述方法还包括:预先建立语音调节策略模型,所述语音调节策略模型包括所述紧急程度、情绪状态以及语音调节策略的对应关系,所述语音调节策略包括频率、速度以及语调模型曲线的组合。
在一些实施例中,所述语调模型曲线包括具有警示效果的严肃语调模型曲线、具有安抚效果的平和语调模型曲线和具有振奋效果的活泼语调模型曲线。
在一些实施例中,其中所述根据所述语音调节策略,调节所述车辆上待播放语音的参数包括:根据所述确定的语音调节策略中所包括的频率、速度以及语调模型曲线的组合,对所述待播放语音的频率及语速进行相应的调节,并对所述待播放语音进行相应的语调模型调整。
根据本公开的第二方面,本公开的实施例提供了一种语音调节装置,包括:第一获取单元,被配置成获取车辆的环境信息;第二获取单元,被配置成获取所述车辆上至少一个人员的状态信息;确定单元,被配置成基于所述环境信息和所述状态信息,确定语音调节策略;调节单元,被配置成根据所述语音调节策略,调节所述车辆上待播放语音的参数。
在一些实施例中,所述环境信息包括车内环境信息和车外环境信息中的至少一者,并且其中,所述车外环境信息包括路况信息和/或ADAS信息。
在一些实施例中,所述参数包括音调、语速和语调中的至少一者。
在一些实施例中,所述确定单元被配置成根据所述环境信息判断提示语音所对应的提示事件的紧急程度,以及根据所述状态信息判断所述车辆上至少一个人员的情绪状态。
在一些实施例中,在所述环境信息包括车内环境信息的情况下,所述第一获取单元被配置成通过采集车辆组件状态信息获取所述车内环境信息;并且其中,在所述环境信息包括路况信息的情况下,所述第一获取单元被配置成至少采用以下方式之一获取所述路况信息:通过云端获取实时高精路况信息;或通过传感摄像头和/或雷达感知车辆附近情况。
在一些实施例中,在所述车辆上至少一个人员包括所述车辆的驾驶员的情况下,所述第二获取单元被配置成至少采用以下方式之一获取所述状态信息:通过摄像头采集所述车辆上至少一个人员的面部表情;通过语音接收器采集所述车辆上至少一个人员的语言;通过驾驶动作采集器采集所述驾驶员的驾驶动作;或通过时钟记录采集所述驾驶员本次驾驶的持续时间。
在一些实施例中,所述确定单元还被配置成根据预先建立的语音调节策略模型确定语音调节策略,所述语音调节策略模型包括所述紧急程度、情绪状态以及语音调节策略的对应关系,所述语音调节策略包括频率、速度以及语调模型曲线的组合。
根据本公开的第三方面,本公开的实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
根据本公开的第四方面,本公开的实施例提供了一种车载系统,包括如第三方面描述的电子设备。
根据本公开的第五方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的实施例提供的语音调节方法和装置,利用内外车况、路况判断情景紧急性,再结合驾驶员/车内乘客情绪状态确定是否需要安抚车内人员,对语音进行变调变速处理。在保证同一语音形象的整体性条件下,赋予语音正确的情绪反馈,带来更加安全的驾驶语音交互。本公开可应用于辅助驾驶和无人驾驶场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显。
图1是根据本公开的语音调节方法的一个实施例的流程图。
图2是根据本公开的语音调节装置的一个实施例的结构示意图。
图3是适于用来实现本公开的实施例的电子设备的结构示意图。
实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的语音调节方法的一个实施例的流程100的流程图。该语音调节方法包括以下步骤:
在步骤101,获取车辆的环境信息。
在本步骤中,语音调节方法的执行主体可以通过有线连接方式或者无线连接方式获取环境信息。在一些实施例中,所述环境信息可以包括车内环境信息或车外环境信息。其中,车内环境信息例如可以包括车况信息,车况信息可以包括车辆运行状况相关的各种数据,例如包括车辆自身各组件相关的数据,如胎压、水温、油量、电量、车速等。作为示例,可以分别通过胎压传感器、温度传感器、油量传感器、电平传感器和车速传感器等采集获取相应组件状态数据。其中,车外环境信息可以包括路况信息,也可以包括高级辅助驾驶系统ADAS信息。路况信息例如可以是交通拥堵状况。作为示例,可以从云端获取实时高精路况信息。此信息可以用于在后续步骤中判断是否有交通紧急事故(恶劣天气、道路塌方、救护车让行等)、或者路线问题(走错路、超速等)。ADAS信息可以包括车辆周围情况,例如车辆距周围障碍物的距离。作为示例,可以通过传感摄像头、雷达等感知车辆周围情况,例如可以通过超声波雷达获取车辆距周围障碍物的距离。在一些实施例中,本公开应用于智能座舱系统中,通过智能座舱配置的传感摄像头、雷达等传感器可判断是否有本车接近事故(碰撞他车、碰撞他人、碰撞物体等)或者行驶问题(闯红灯、压线、车道偏离),从而对用户进行预警或者提出人工接管要求。尽管以上对所述环境信息的具体内容及获取方式进行了说明,但这仅为示例,本公开并不限于此。本领域技术人员应当能够理解,可以根据具体需求扩充该信息的内容及获取方式。
在步骤102,获取所述车辆上至少一个人员的状态信息。
在本步骤中,语音调节方法的执行主体可以通过有线连接方式或者无线连接方式获取所述状态信息。例如获取当前车辆的驾驶员或车内乘客等车辆上人员的状态信息。车辆上的一个或多个人员可以被视为语音调节功能的用户。为简便起见,下文使用“用户”表示包括驾驶员和车内乘客在内的所述车辆上的人员。应当理解,所述车辆上至少一个人员可以至少包括车辆的驾驶员。
在一些实施例中,用户的状态信息可以是有助于分析用户情绪状态的各种有效信息,借助于这些信息,最好能较为有效地分析出用户是否处于一种特定的情绪状态,例如惊慌、疲劳或悲伤(情绪低落)的情绪状态。作为示例,可以通过用户的面部表情、用户说出的语言、用户的驾驶动作、此次驾驶的持续时间等来分析用户的情绪状态。作为示例,可以通过摄像头采集用户面部表情、通过语音接收器采集用户说出的语言、通过驾驶动作采集器采集驾驶员的驾驶动作、通过时钟记录采集驾驶员本次驾驶的持续时间。在一些实施例中,可以在本公开所应用的智能座舱系统中配备摄像头、语音接收器、驾驶动作采集器等。尽管以上对用户状态信息的具体内容及获取方式进行了说明,但这仅为示例,本公开并不限于此。本领域技术人员应当能够理解,可以根据具体需求扩充该信息的内容及获取方式。
尽管以上先描述步骤101,后描述步骤102,但这无意于限定该两个步骤的先后顺序,其可以同时进行,也可以后表述的先进行,本领域技术人员应当理解,本公开不限于此。
在步骤103,基于所述环境信息和所述状态信息,确定语音调节策略。
在本步骤中,要针对前面步骤所获取的信息进行分析。根据环境信息分析情况紧急程度,根据用户状态信息分析用户的情绪状态。可以借助后台服务器对强大的分析功能提供支持。
在一些实施例中,预先将紧急程度分为多个级别。预先划分的级别数量根据需求而定。作为示例,可以简单地分成紧急和不紧急。但这仅为示例,本公开不限于此。
在一些实施例中,预先对具体情形对应于哪一级别的紧急程度进行设定。例如油量低于第一阈值或第二阈值时需要提示用户加油,而低于较大的第一阈值时的提示事件的紧急程度可以设为较低级别,低于较小的第二阈值时的提示事件的紧急程度可以设为较高级别。又例如车辆组件出现故障时需要进行故障提示,而重要部件出现故障会导致交通事故,则提示事件的紧急程度可以设为较高级别。又例如车速较高且未与前车保持安全行车距离的提示事件的紧急程度需要设为高级别。再例如对拥堵情况的路况提示事件其紧急程度可以设为低级别。在一些实施例中,预先建立数据库,对各种提示事件进行归类且设定相应的紧急程度级别。作为示例,在根据车辆的环境信息分析紧急程度时,可以基于获取的车辆环境信息,通过查找预先建立的数据库确定当前情况的紧急程度,即待播放语音所对应的提示事件的紧急程度。
本步骤中,分析用户情绪状态。可以根据采集到的用户的面部表情、语言、驾驶动作、驾驶持续时间等来分析用户情绪状态,可以仅根据其中一者判断,例如仅根据驾驶持续时间可以判断驾驶员处于疲劳驾驶状态,也可以根据其中多个信息判断,甚至结合其他多种信息综合判断,例如可以根据用户当前面部表情、发出的特定语言,甚至结合表征拥堵状况的路况信息来综合判断用户当前处于焦虑状态。在一些实施例中,分析用户情绪状态时,在根据采集到的用户的面部表情、语言、驾驶动作和/或驾驶持续时间的基础上,还可以借助于用户特征数据库来进行综合分析,从而更为有效准确地确定用户情绪状态。可基于前面步骤获取的用户状态信息,并根据预定模式判断用户是否处于惊慌、疲劳、正常、开心、难过等状态。在一些实施例中,该信息处理判断可在座舱智能系统中处理,也可通过云端系统协助处理。
在本步骤中,根据紧急程度和情绪状态确定语音调节策略,所述语音调节策略包括频率调节、速度调节以及语调模型曲线的组合。其中,频率调节对应语音的音高,速度调节对应语音的语速,语调模型曲线对应语音的语调。语调是音调和节奏的结合,比如开心的语调,语句结尾音调是往上的,生气的语调,语句结尾音是往下的。一个语句通常有2个音调峰值、3个低点。因此采用不同的语调模型曲线对语音进行调节后可以表现为不同的语调。作为示例,语调模型曲线可以包括具有警示效果的严肃语调模型曲线、具有安抚效果的平和语调模型曲线和具有振奋效果的活泼语调模型曲线等等。
在一些实施例中,预先建立语音调节策略模型,该模型可以是线性、非线性或层级式。作为示例,该语音调节策略模型包括语音调节策略表,所述语音调节策略表包括紧急程度、情绪状态以及语音调节策略的对应关系。以下表1为语音调节策略表的示例。作为示例,所述紧急程度包括紧急和不紧急,情绪状态包括正常、惊慌、疲劳……等等。例如情况不紧急但用户处于惊慌状态时,需要采用低音、慢速并配合平和语调模型曲线对语音进行处理,又例如情况紧急但用户处于疲劳状态,则需要采用高音、快速并配合严肃语调模型曲线对语音进行处理。
表1
紧急程度 情绪状态 语音调节策略
紧急 正常 低音、快速、语调严肃
紧急 疲劳 高音、快速、语调严肃
紧急 惊慌 低音、慢速、语调平和
不紧急 正常 无处理
不紧急 疲劳 高音、快速、语调严肃
不紧急 惊慌 低音、慢速、语调平和
…… …… ……
在一些实施例中,还可以根据更多的情绪状态(例如焦虑、伤心、开心等等)采用具有合适的提示效果的语音调节策略。可以开发更多的语调模型曲线,如具有安抚效果的舒缓语调等等。以上仅为示例,本公开不限于此。
在步骤104,根据所述语音调节策略,调节所述车辆上待播放语音的参数。
在本步骤中,根据确定的语音调节策略调节待播放语音的一个或多个参数,例如语音、语调和语速。在一些实施例中,根据所述确定的语音调节策略中所包括的频率、速度以及语调模型曲线的组合,调节所述待播放语音的频率及语速并进行相应的语调模型处理。
在一些实施例中,所述待播放语音可以为从预制的语音包中调用的与提示事件相对应的待播放语音。例如油量低于特定阈值时生成提醒用户加油的提示事件。基于该提示事件从预制的语音包中调用内容匹配的语音数据作为待播放语音。在其他实施例中,所述待播放的语音也可以为根据用户偏好等从后台服务器获取的语音数据。在一些实施例中,所述待播放的语音也可以是已有播放程序中预定的语音,其可能与实时获取的环境信息或用户状态并无关联。以上关于待播放语音的内容和获得方式,仅为示例,本公开不限于此。
用所确定的语音调节策略处理后的语音,被播放时,听起来被赋予了正确的情绪反馈,能够达到更佳的提示效果。
进一步参考图2,作为对图1所示方法的实现,本公开提供了语音调节装置的一个实施例,该装置实施例与图1所示的方法的实施例相对应,该装置具体可以应用于各种电子设备中。
如图2所示,本实施例提供的语音调节装置200包括第一获取单元201,被配置成获取车辆的环境信息;第二获取单元202,被配置成获取所述车辆上至少一个人员的状态信息;确定单元203,被配置成基于所述环境信息和所述状态信息,确定语音调节策略;调节单元204,被配置成根据所述语音调节策略,调节所述车辆上待播放语音的参数。
在本实施例中,语音调节装置200中:第一获取单元201、第二获取单元202、确定单元203和调节单元204的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103和步骤104的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,所述环境信息包括车内环境信息和车外环境信息中的至少一者,并且其中,所述车外环境信息包括路况信息和/或ADAS信息。
在本实施例的一些可选的实现方式中,所述参数包括音调、语速和语调中的至少一者。
在本实施例的一些可选的实现方式中,所述确定单元203可以被配置成根据所述环境信息判断提示语音所对应的提示事件的紧急程度,以及根据所述状态信息判断所述车辆上至少一个人员的情绪状态。
在本实施例的一些可选的实现方式中,在所述环境信息包括车内环境信息的情况下,所述第一获取单元201可以被配置成通过采集车辆组件状态信息获取所述车内环境信息;并且其中,在所述环境信息包括路况信息的情况下,所述第一获取单元201可以被配置成至少采用以下方式之一获取所述路况信息:通过云端获取实时高精路况信息;或通过传感摄像头和/或雷达感知车辆附近情况。
在本实施例的一些可选的实现方式中,所述车辆上至少一个人员包括所述车辆的驾驶员,并且其中,所述第二获取单元202可以被配置成至少采用以下方式之一获取所述状态信息:通过摄像头采集所述车辆上至少一个人员的面部表情;通过语音接收器采集所述车辆上至少一个人员的语言;通过驾驶动作采集器采集所述驾驶员的驾驶动作;或通过时钟记录采集所述驾驶员本次驾驶的持续时间。
在本实施例的一些可选的实现方式中,所述确定单元203还可以被配置成根据预先建立的语音调节策略模型确定语音调节策略,所述语音调节策略模型包括所述紧急程度、情绪状态以及语音调节策略的对应关系,所述语音调节策略包括频率、速度以及语调模型曲线的组合。所述调节单元204可以被配置成根据所述确定的语音调节策略中所包括的频率、速度以及语调模型曲线的组合,对所述待播放语音的频率及语速进行相应的调节,并对所述待播放语音进行相应的语调模型调整。
在本实施例的一些可选的实现方式中,所述语调模型曲线可以包括具有警示效果的严肃语调模型曲线、具有安抚效果的平和语调模型曲线和具有振奋效果的活泼语调模型曲线。
本公开的实施例提供的语音调节方法和装置能够基于车载情景处理待播放语音,利用内外车况、路况判断情景紧急性,再结合驾驶员/车内乘客情绪状态确定是否需要安抚车内人员,对语音进行变调变速处理。在保证同一语音形象的整体性条件下,赋予语音正确的情绪反馈,带来更加安全的驾驶语音交互。可应用于辅助驾驶和无人驾驶场景。
下面参考图3,其示出了适于用来实现本公开的实施例的电子设备300的结构示意图。本公开的实施例中的电子设备可以包括但不限于诸如车载终端(例如车载导航终端)、移动电话、笔记本电脑、PAD(平板电脑)等等的移动终端。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、摄像头、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD,Liquid Crystal Display)、扬声器、振动器等的输出装置307;包括例如闪存(Flash Card)等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的实施例的方法中限定的上述功能。
需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(Radio Frequency,射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取车辆的环境信息;获取所述车辆上至少一个人员的状态信息;基于所述环境信息和所述状态信息,确定语音调节策略;根据所述语音调节策略,调节所述车辆上待播放语音的参数。
上述语音调节装置可以成为车载系统或辅助驾驶系统中的一部分,例如是高级辅助驾驶系统ADAS中的一部分,实现成为该系统的一种功能。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器,包括第一获取单元、第二获取单元、确定单元、调节单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取车辆的环境信息的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种语音调节方法,所述方法包括:
预先建立第一数据库,所述第一数据库包括车辆环境信息、提示事件类别以及提示事件的紧急程度之间的对应关系;
预先建立语音调节策略模型,所述语音调节策略模型包括提示事件的紧急程度、车辆上人员的情绪状态以及语音调节策略之间的对应关系,所述语音调节策略包括频率、速度以及语调模型曲线的组合;
获取第一车辆的第一环境信息;
获取所述第一车辆上至少一个人员的第一状态信息;
基于所述第一环境信息和所述第一状态信息,确定目标语音调节策略,包括:
根据所述第一环境信息查询所述第一数据库,以判断待播放语音所对应的第一提示事件以及所述第一提示事件的第一紧急程度;
根据所述第一状态信息、所述第一环境信息和用户特征数据库中记录的所述至少一个人员中每个人员的用户特征数据,判断所述至少一个人员的第一情绪状态;以及
根据所述语音调节策略模型,确定所述第一紧急程度和所述第一情绪状态对应的目标语音调节策略,其中,所述第一紧急程度包括情况紧急或情况不紧急,所述第一情绪状态包括情绪惊慌,所述目标语音调节策略包括所述待播放语音的频率低于预设频率阈值、所述待播放语音的速度低于预设速度阈值并且所述语调模型曲线应用具有安抚效果的平和语调模型曲线;
根据所述目标语音调节策略,调节所述第一车辆上待播放语音的参数。
2.根据权利要求1所述的语音调节方法,其中,所述第一环境信息包括车内环境信息和车外环境信息中的至少一者,并且其中,所述车外环境信息包括路况信息和/或高级辅助驾驶系统ADAS信息。
3.根据权利要求1或2所述的语音调节方法,其中,所述参数包括音调、语速和语调中的至少一者。
4.根据权利要求2所述的语音调节方法,其中,在所述第一环境信息包括车内环境信息的情况下,通过采集车辆组件状态信息获取所述车内环境信息。
5.根据权利要求2所述的语音调节方法,其中,在所述第一环境信息包括路况信息的情况下,采用以下方式之一获取所述路况信息:
通过云端获取实时高精路况信息;或
通过传感摄像头和/或雷达感知车辆附近情况。
6.根据权利要求1所述的语音调节方法,其中,所述至少一个人员包括所述车辆的驾驶员,并且其中,所述第一状态信息至少采用以下方式之一获取:
通过摄像头采集所述至少一个人员的面部表情;
通过语音接收器采集所述至少一个人员的语言;
通过驾驶动作采集器采集所述驾驶员的驾驶动作;或
通过时钟记录采集所述驾驶员本次驾驶的持续时间。
7.根据权利要求1所述的语音调节方法,其中,所述语调模型曲线包括具有警示效果的严肃语调模型曲线、具有安抚效果的平和语调模型曲线和具有振奋效果的活泼语调模型曲线。
8.据权利要求1或7所述的语音调节方法,其中,所述根据所述目标语音调节策略调节所述第一车辆上待播放语音的参数包括:
根据所述目标语音调节策略中所包括的频率、速度以及语调模型曲线的组合,对所述待播放语音的频率及语速进行相应的调节,并对所述待播放语音进行相应的语调模型调整。
9.一种语音调节装置,包括:
第一获取单元,被配置成获取第一车辆的第一环境信息;
第二获取单元,被配置成获取所述第一车辆上至少一个人员的第一状态信息;
确定单元,被配置成基于所述第一环境信息和所述第一状态信息,确定目标语音调节策略,包括:
根据所述第一环境信息查询预先建立的第一数据库,以判断待播放语音所对应的第一提示事件以及所述第一提示事件的第一紧急程度,所述第一数据库包括车辆环境信息、提示事件类别以及提示事件的紧急程度之间的对应关系;
根据所述第一状态信息、所述第一环境信息和用户特征数据库中记录的所述至少一个人员中每个人员的用户特征数据,判断所述至少一个人员的第一情绪状态;以及
根据预先建立的语音调节策略模型,确定所述第一紧急程度和所述第一情绪状态对应的目标语音调节策略,其中,所述语音调节策略模型包括提示事件的紧急程度、车辆上人员的情绪状态以及语音调节策略之间的对应关系,所述语音调节策略包括频率、速度以及语调模型曲线的组合,所述第一紧急程度包括情况紧急或情况不紧急,所述第一情绪状态包括情绪惊慌,所述目标语音调节策略包括所述待播放语音的频率低于预设频率阈值、所述待播放语音的速度低于预设速度阈值并且所述语调模型曲线应用具有安抚效果的平和语调模型曲线;
调节单元,被配置成根据所述目标语音调节策略,调节所述第一车辆上待播放语音的参数。
10.根据权利要求9所述的语音调节装置,其中,所述第一环境信息包括车内环境信息和车外环境信息中的至少一者,并且其中,所述车外环境信息包括路况信息和/或ADAS信息。
11.根据权利要求9或10所述的语音调节装置,其中,所述参数包括音调、语速和语调中的至少一者。
12.根据权利要求10所述的语音调节装置,其中,在所述第一环境信息包括车内环境信息的情况下,所述第一获取单元被配置成通过采集车辆组件状态信息获取所述车内环境信息;并且其中,在所述第一环境信息包括路况信息的情况下,所述第一获取单元被配置成至少采用以下方式之一获取所述路况信息:
通过云端获取实时高精路况信息;或
通过传感摄像头和/或雷达感知车辆附近情况。
13.根据权利要求9所述的语音调节装置,其中,所述至少一个人员包括所述车辆的驾驶员,并且其中,所述第二获取单元被配置成至少采用以下方式之一获取所述第一状态信息:
通过摄像头采集所述至少一个人员的面部表情;
通过语音接收器采集所述至少一个人员的语言;
通过驾驶动作采集器采集所述驾驶员的驾驶动作;或
通过时钟记录采集所述驾驶员本次驾驶的持续时间。
14.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。
15.一种车载系统,包括如权利要求14所述的电子设备。
16.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202010172637.4A 2020-03-12 2020-03-12 语音调节的方法、装置、电子设备、车载系统和可读介质 Active CN111402925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010172637.4A CN111402925B (zh) 2020-03-12 2020-03-12 语音调节的方法、装置、电子设备、车载系统和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010172637.4A CN111402925B (zh) 2020-03-12 2020-03-12 语音调节的方法、装置、电子设备、车载系统和可读介质

Publications (2)

Publication Number Publication Date
CN111402925A CN111402925A (zh) 2020-07-10
CN111402925B true CN111402925B (zh) 2023-10-10

Family

ID=71430758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010172637.4A Active CN111402925B (zh) 2020-03-12 2020-03-12 语音调节的方法、装置、电子设备、车载系统和可读介质

Country Status (1)

Country Link
CN (1) CN111402925B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112033417B (zh) * 2020-09-29 2021-08-24 北京深睿博联科技有限责任公司 一种针对视障人群的实时导航方法及装置
CN112349299A (zh) * 2020-10-28 2021-02-09 维沃移动通信有限公司 语音播放方法、装置及电子设备
CN112418162B (zh) * 2020-12-07 2024-01-12 安徽江淮汽车集团股份有限公司 车辆控制的方法、设备、存储介质及装置
CN112837552A (zh) * 2020-12-31 2021-05-25 北京梧桐车联科技有限责任公司 语音播报方法、装置及计算机可读存储介质
CN112667926A (zh) * 2021-01-04 2021-04-16 北京嘀嘀无限科技发展有限公司 用于提示禁停路段的方法、装置、设备和介质和程序产品
CN112776710A (zh) * 2021-01-25 2021-05-11 上汽通用五菱汽车股份有限公司 音效调节方法、音效调节系统、车机系统及存储介质
CN115083391A (zh) * 2021-03-15 2022-09-20 上海博泰悦臻网络技术服务有限公司 自适应虚拟语音助手调整方法、系统、存储介质及车载终端
CN114360241B (zh) * 2021-12-10 2023-05-16 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
CN114708864A (zh) * 2022-03-31 2022-07-05 大众问问(北京)信息科技有限公司 语音助手的信息控制方法、装置、计算机设备和存储介质
WO2023236691A1 (en) * 2022-06-08 2023-12-14 Pateo Connect+ Technology (Shanghai) Corporation Control method based on vehicle external audio system, vehicle intelligent marketing method, electronic apparatus, and storage medium
CN115460031B (zh) * 2022-11-14 2023-04-11 深圳市听见时代科技有限公司 一种基于物联网的智能音响控制监管系统及方法
CN118248117A (zh) * 2022-12-23 2024-06-25 广州汽车集团股份有限公司 语音控制方法、装置以及车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达(上海)管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技(北京)有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107117174A (zh) * 2017-03-29 2017-09-01 昆明理工大学 一种驾驶员情绪监控主动安全引导装置电路系统及其控制方法
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
CN108875682A (zh) * 2018-06-29 2018-11-23 百度在线网络技术(北京)有限公司 信息推送方法和装置
CN109036405A (zh) * 2018-07-27 2018-12-18 百度在线网络技术(北京)有限公司 语音交互方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
JP6466385B2 (ja) * 2016-10-11 2019-02-06 本田技研工業株式会社 サービス提供装置、サービス提供方法およびサービス提供プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN106652378A (zh) * 2015-11-02 2017-05-10 比亚迪股份有限公司 用于车辆的驾驶提醒方法、系统、服务器和车辆
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达(上海)管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技(北京)有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107117174A (zh) * 2017-03-29 2017-09-01 昆明理工大学 一种驾驶员情绪监控主动安全引导装置电路系统及其控制方法
CN108875682A (zh) * 2018-06-29 2018-11-23 百度在线网络技术(北京)有限公司 信息推送方法和装置
CN109036405A (zh) * 2018-07-27 2018-12-18 百度在线网络技术(北京)有限公司 语音交互方法、装置、设备及存储介质
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端

Also Published As

Publication number Publication date
CN111402925A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402925B (zh) 语音调节的方法、装置、电子设备、车载系统和可读介质
JP6953464B2 (ja) 情報プッシュ方法及び装置
CN111381673B (zh) 双向车载虚拟个人助理
CN106803423B (zh) 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN110214107B (zh) 提供驾驶员教育的自主车辆
US9771082B2 (en) Reducing cognitive demand on a vehicle operator by generating passenger stimulus
CN109760585A (zh) 与乘客通信的车载系统
DE112020003033T5 (de) Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank
CN114035533A (zh) 车辆智能化测试方法及装置
CN108860157B (zh) 一种违章风险评估方法、系统、设备及存储介质
CN115859219A (zh) 多模态交互方法、装置、设备及存储介质
KR102045320B1 (ko) 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템
CN112102584B (zh) 一种车辆的自动驾驶报警方法、装置、车辆和存储介质
CN110111536A (zh) 一种汽车的目的地提醒方法和装置
CN112677985B (zh) 车辆中控功能激活等级确定方法、装置、电子设备和介质
CN111652065B (zh) 基于车辆感知和智能穿戴的多模态安全驾驶方法、设备及系统
CN114348017A (zh) 基于车载终端和云端解析的驾驶员监控方法和系统
CN113450788A (zh) 声音输出的控制方法和声音输出控制装置
CN116161051B (zh) 针对车辆驾驶员的警示方法、装置、设备、介质及车辆
CN115631550B (zh) 一种用户反馈的方法和系统
CN116039653B (zh) 状态识别方法、装置、车辆及存储介质
CN116588015B (zh) 车辆控制方法、车辆控制系统及存储介质
CN118626846A (zh) 风险提示方法、车辆、设备及程序产品
Sun et al. Trust-oriented HMI Design for Conditional Autonomous Driving Takeover Systems
CN115556757A (zh) 行车安全辅助方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211014

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant