CN114089943A

CN114089943A - 声音输出装置及声音输出方法

Info

Publication number: CN114089943A
Application number: CN202010689914.9A
Authority: CN
Inventors: 郑宏达; 刘骁
Original assignee: Alps Electric Co Ltd
Current assignee: Alps Alpine Co Ltd
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2022-02-25
Also published as: JP2022019546A; US11735159B2; JP7643925B2; US20220020354A1

Abstract

目的是提供一种防止对象者的消息的漏听的“声音输出装置及声音输出方法”。声音输出装置(1)具备声音输出控制部(12)，所述声音输出控制部(12)在由消息接收部(11)接收到消息时，判定在规定的空间中对象者能够正常地听取声音的情况下成立的开始条件是否成立，在开始条件成立的情况下使声音输出部开始消息的声音输出，在不成立的情况下将待由声音输出部进行的消息的声音输出保留；不是对应于消息的接收而即时地进行声音输出，而是仅在对象者为能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下将消息的声音输出保留。

Description

声音输出装置及声音输出方法

技术领域

本发明涉及声音输出装置及声音输出方法，特别涉及具有将接收到的消息进行声音输出的功能的声音输出装置及声音输出方法。

背景技术

以往，存在以下这样的声音输出装置：是被设置在形成于车辆内的车内空间或住宅的一个房间等的空间中的装置，具有接收聊天应用的消息或邮件系统的消息(邮件)的功能，当接收到消息时，将其内容进行声音输出。这种声音输出装置通常如果接收到消息则立即进行消息的声音输出，以便能够对应于消息的接收而对象者即时地识别消息的内容。另外，在专利文献1中，记载有对车辆的搭乘者的讲话声音的内容进行识别、将讲话声音的内容通过与车辆周边的环境或车辆的运行状态对应的方法输出的车载信息装置。

现有技术文献

专利文献

专利文献1：国际公开第2014/002128号

发明内容

发明要解决的课题

但是，在上述以往的声音输出装置中，由于如果接收到消息则立即进行消息的声音输出，所以即使当对象者不能听取消息或不能集中于消息的听取那样的状况时，也对应于消息的接收而一律地进行声音输出，有对象者漏听消息的情况。

本发明是为了解决这样的问题而做出的，目的是防止对象者的消息的漏听。

用来解决课题的手段

为了解决上述的问题，在本发明中，关于被设置于规定的空间、具备供声音输出的声音输出部的声音输出装置，当接收到消息时，判定在规定的空间中对象者能够正常地听取声音的情况下成立的开始条件是否成立，在开始条件成立的情况下，使声音输出部开始消息的声音输出，在不成立的情况下，将待由声音输出部进行的消息的声音输出保留。

发明效果

根据如上述那样构成的本发明，不是对应于消息的接收而即时地进行声音输出，而是仅在对象者为能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下消息的声音输出被保留，所以能够防止对象者的消息的漏听。

附图说明

图1是表示有关本发明的第1实施方式的声音输出装置及便携终端的功能结构例的框图。

图2是表示有关本发明的第1实施方式的声音输出装置的动作例的流程图。

图3是表示有关本发明的第2实施方式的声音输出装置及便携终端的功能结构例的框图。

图4是表示有关本发明的第2实施方式的声音输出装置的动作例的流程图。

图5是表示有关本发明的第3实施方式的声音输出装置及便携终端的功能结构例的框图。

图6是表示有关本发明的第3实施方式的声音输出装置的动作例的流程图。

图7是表示有关本发明的第4实施方式的声音输出装置及便携终端的功能结构例的框图。

图8是表示有关本发明的第4实施方式的声音输出装置的动作例的流程图。

图9是表示有关本发明的第5实施方式的声音输出装置及便携终端的功能结构例的框图。

图10是表示有关本发明的第5实施方式的声音输出装置的动作例的流程图。

附图标记说明

1、1A、1B、1C、1D声音输出装置

11消息接收部

12、12A、12B、12C、12D声音输出控制部

13消息接收部

具体实施方式

<第1实施方式>

以下，基于附图说明本发明的第1实施方式。图1是表示有关本实施方式的声音输出装置1及连接于声音输出装置1的便携终端2的功能结构例的框图。声音输出装置1是被设置在形成于车辆的车内的车内空间(相当于权利要求书的“规定的空间”)中的装置，作为一例能够使所谓的车载导航仪作为声音输出装置1发挥功能。在本实施方式中，假设设置有声音输出装置1的车辆不是自动驾驶汽车，而是基本上通过驾驶员驾驶而行驶的汽车(但是，包括在被限定的环境下进行一定水平的自动驾驶的汽车)。以下，将设置有声音输出装置1的车辆称作“本车辆”。

如在图1中表示那样，声音输出装置1与设在车内空间中的声音处理装置3连接。声音处理装置3具备D/A变换器及放大器、设在车内的扬声器，将被输入的声音信号进行D/A变换而放大后，作为声音从扬声器输出。此外，声音输出装置1与车内照相机4连接。车内照相机4是设在车内空间中的摄影装置，将包括驾驶席区域的区域以规定周期摄影，将基于摄影结果的摄影图像数据向声音输出装置1的声音输出控制部12(后述)输出。

便携终端2是被本车辆的搭乘者带入到车内的便携型的终端，作为一例，可以使所谓的智能电话或智能电话以外的便携电话、不具有电话功能的平板型计算机作为便携终端2发挥功能。在本实施方式中，为了说明的简单，假设便携终端2是驾驶员拥有的终端。在便携终端2中，安装有能够在与他人之间以聊天形式交换消息的文本聊天的应用(以下称作“聊天应用”)。聊天应用除了在便携终端2中提供与文本聊天有关的用户接口的功能以外，还具备对应于有关消息的消息数据的接收而将声音输出用文本数据向声音输出装置1发送的功能(关于该功能在后面详述)。

如图1所示，声音输出装置1作为功能结构而具备声音输出装置侧通信部10、消息接收部11、声音输出控制部12及声音输出部13。此外，便携终端2作为功能结构而具备便携终端侧通信部20及聊天应用执行部21。上述各功能块10～13、20、21由硬件、DSP(数字信号处理器，Digital Signal Processor)、软件的哪种构成都可以。例如在由软件构成的情况下，上述各功能块10～13、20、21实际上具备计算机的CPU、RAM、ROM等而构成，通过存储在RAM或ROM、硬盘或半导体存储器等的记录介质中的程序动作而实现。以上事宜关于后述的其他实施方式也是同样的。

声音输出装置1的声音输出装置侧通信部10及便携终端2的便携终端侧通信部20按照有关无线通信的规定的通信规格而进行无线通信。有关无线通信的通信规格，例如是蓝牙即Bluetooth(注册商标)或有关无线LAN的通信规格。另外，也可以是声音输出装置1和便携终端2被有线连接、声音输出装置侧通信部10和便携终端侧通信部20按照有关有线通信的规定的通信规格进行有线通信的结构。便携终端2的聊天应用执行部21通过CPU等的硬件将聊天应用及附属于聊天应用的程序(包括OS的一部分的程序及API)读出并执行，执行各种处理。

声音输出装置1具有在动作模式是消息通知模式的情况下、对应于由便携终端2进行的有关文本聊天的消息的消息数据的接收而将与消息有关的信息的声音(以下称作“消息声音”)进行语音输出的功能。作为便携终端2的所有者的驾驶员(对象者)通过听取声音输出装置1进行语音输出的消息声音，能够确认消息的内容。另外，当声音输出装置1及便携终端2的两者的电源为接通状态时，向消息通知模式的转移通过由驾驶员进行的明示性的指示来进行。以下，对当动作模式是消息通知模式时便携终端2接收到消息数据之后的便携终端2及声音输出装置1的处理详细叙述。

便携终端2能够对包括因特网的网络N访问。向网络N的访问既可以通过直接对移动体通信网访问来进行，也可以通过利用可移动型路由器的共享(tethering)功能对移动体通信网间接地访问来进行。如果从安装有聊天应用的其他终端将与文本聊天的消息有关的消息数据发送给便携终端2，则便携终端2的聊天应用执行部21将其接收。对应于消息数据的接收，聊天应用执行部21鸣响到信音而向用户通知接收到消息，或在便携终端2的显示部上显示需要的信息等，执行基于事前的设定的处理。

除了该处理以外，有关本实施方式的聊天应用执行部21还执行生成声音输出用文本数据并向便携终端2发送的处理。声音输出用文本数据是将补充信息和消息数据中包含的消息本文用文本记述的数据。如后面变得清楚那样，将在声音输出用文本数据中作为文本记述的信息最终通过声音输出装置1作为消息声音进行声音输出。并且，所述的补充信息，是在将消息本文作为声音输出之前、用来将与消息关联的事项补充而传递的信息。在本实施方式中，补充信息包括发信人的名称和消息数据的接收日时。

例如，假设聊天应用执行部21从“AA”的名称的发信人，在“4月1日13时30分”接收到了“你好”的消息本文。在此情况下，在声音输出用文本数据中被作为文本记述的信息，是“10月1日13时30分。来自AA。你好。”。另外，聊天应用执行部21在消息本文中包含有标记或印戳、图画字符的情况下，按照预先决定的规则，执行省略或向被表现为文本的信息的变换等。

声音输出装置1的消息接收部11将聊天应用执行部21发送的声音输出用文本数据接收，保存到接收缓存22中。接收缓存22是形成在RAM等的工作区中的存储区域。声音输出用文本数据是消息接收部11作为消息接收的对象，相当于权利要求书的“消息”。在聊天应用执行部21与消息接收部11之间进行以上的处理的结果是，对应于由聊天应用执行部21进行的消息数据的接收而即时地向接收缓存22保存声音输出用文本数据。以下，有将消息接收部11接收声音输出用文本数据并将该声音输出用文本数据向接收缓存22保存单单如“消息接收部11接收消息”那样表现的情况。

如果由消息接收部11将声音输出用文本数据保存到接收缓存22中(＝如果由消息接收部11接收到消息)，则声音输出控制部12执行以下的处理。即，声音输出控制部12通过对从车内照相机4输入的摄影图像数据进行分析，判定驾驶员存在于车内空间中这一第1开始条件是否成立。

这里，驾驶员在消息通知模式为开启的期间中，并非总是就座于车内空间的驾驶席，而有从车内空间出到外面的情况。例如，驾驶员有为了将货物装入到本车辆的行李箱(或从行李箱将货物取出)而从车内空间出来、或为了短时间的购物而从车内空间出来的情况。并且，在驾驶员从车内空间出来而不存在于车内空间中的情况下(即，第1开始条件不成立的情况下)，驾驶员当然不能正常地听取声音输出装置1声音输出的声音。另一方面，在驾驶员处于车内空间中的情况下(即，第1开始条件成立的情况下)，在驾驶员存在于能够听取由声音输出装置1声音输出的消息声音的范围中这一观点上，驾驶员能够正常地听取消息声音。因而，第1开始条件可以说是在车内空间中驾驶员(对象者)能够正常地听取声音的情况下成立的条件。

声音输出控制部12通过以下的方法判定第1开始条件是否成立。即，在人就座于驾驶席的情况下，能够看作驾驶员存在于车内空间中，在人没有就座于驾驶席的情况下，可以看作驾驶员没有存在于车内空间中。据此，声音输出控制部12在所输入的摄影图像数据中确定驾驶席的区域。摄影图像数据中的驾驶席的区域被预先设定。接着，声音输出控制部12通过已存在的脸识别技术，判定在驾驶席的区域中是否包含人脸的图像，在包含的情况下判定为第1开始条件成立，在不包含的情况下判定为第1开始条件不成立。

在第1开始条件成立的情况下，声音输出控制部12对声音输出部13进行控制，使其开始基于保存在接收缓存22中的声音输出用文本数据的消息声音的声音输出。具体而言，声音输出控制部12向声音输出部13输出开始通知信号。如果输入有开始通知信号，则声音输出部13生成用来将在声音输出用文本数据中作为文本记述的信息作为声音输出的声音数据。声音数据作为一例，是以规定的采样周期将声音采样的声音波形的数据。声音数据的生成利用声音合成技术、其他的已存在的技术适当地执行。接着，声音输出部13通过将基于声音数据的声音信号向声音处理装置3输出，使声音处理装置3将基于声音数据的声音(＝消息声音)进行声音输出。结果，在第1开始条件成立的情况下，与由消息接收部11进行的消息的接收对应而即时地开始消息声音的声音输出。因此，驾驶员能够与消息的接收对应而即时地识别消息的内容。

另一方面，在第1开始条件不成立的情况下，声音输出控制部12保留由声音输出部13进行的消息声音的声音输出。具体而言，声音输出控制部12在该时点不向声音输出部13输出开始通知信号。并且，声音输出控制部12从车内照相机4持续输入摄影图像数据，通过将摄影图像数据持续地分析，监视第1开始条件是否成立。即，声音输出控制部12监视是否为驾驶员就座于驾驶席的状态。例如声音输出控制部12对间歇地输入的摄影图像数据持续地分析，监视是否成为在驾驶席的区域中新包含有人脸的图像的状态，当成为这样的状态时判定为第1开始条件成立。

在第1开始条件成立的情况下，声音输出控制部12对声音输出部13进行控制，开始保存在接收缓存22中的声音输出用文本数据的声音输出。具体而言，声音输出控制部12将开始通知信号向声音输出部13输出。

如以上这样，在由消息接收部11接收到声音输出用文本数据的时点第1开始条件不成立的情况下，声音输出控制部12将由声音输出部13进行的消息声音的声音输出保留，然后，在第1开始条件成立时，开始消息声音的声音输出。因此，能够防止当驾驶员不在车内空间中的状态时消息声音被声音输出、驾驶员漏听消息声音的状况。即，根据本实施方式，不与消息的接收对应而即时进行声音输出，而是仅在对象者能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下消息的声音输出被保留，所以能够防止对象者的消息的漏听。

接着，使用流程图对有关本实施方式的声音输出装置1的动作例进行说明。图2是表示从便携终端2接收到声音输出用文本数据后的声音输出装置1的动作例的流程图。如图2所示，声音输出装置1的消息接收部11将声音输出用文本数据接收并向接收缓存22保存(步骤SA1)。如果在接收缓存22中保存声音输出用文本数据，则声音输出控制部12基于车内照相机4的摄影图像数据判定第1开始条件是否成立(步骤SA2)。如上述那样，第1开始条件是人就座于驾驶席这一条件。

在第1开始条件成立的情况下(步骤SA2：YES)，声音输出控制部12对声音输出部13进行控制，使消息声音的声音输出开始(步骤SA3)。在第1开始条件不成立的情况下(步骤SA2：NO)，声音输出控制部12将由声音输出部13进行的消息声音的声音输出保留(步骤SA4)。接着，声音输出控制部12监视第1开始条件是否成立(步骤SA5)。在第1开始条件成立的情况下(步骤SA5：YES)，声音输出控制部12对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SA6)。

<第1实施方式的第1变形例>

接着，对上述第1实施方式的第1变形例进行说明。另外，在以下的说明中，将声音输出控制部12(或在第1实施方式以外的实施方式中与声音输出控制部12对应的构成要素)使声音输出部13开始消息声音的声音输出仅如“声音输出控制部12开始声音输出”那样表现，此外，有将声音输出控制部12保留由声音输出部13进行的消息声音的声音输出仅如“声音输出控制部12将声音输出保留”那样表现的情况。

在上述第1实施方式中，听取消息声音的对象者是驾驶员。关于这一点，在本变形例中，驾驶员以外的人是对象者。以下，对有关本变形例的声音输出装置1的结构、处理的一例简单地进行说明。首先，车内照相机4的摄影区域被设为车内空间的全域。特别是，车内照相机4被设置在不论是人就座于设在车内空间中的哪个座席的情况都能够将该人的脸从正面摄影的位置。车内照相机4也可以设置多台。此外，存储有作为对象者的人的脸的图像的图像数据(以下称作“脸图像数据”)被事前登录在声音输出装置1中。另外，作为对象者的人基本上是便携终端2的所有者。

并且，声音输出控制部12在消息接收部11接收到消息时，判定对象者存在于车内空间这一第1开始条件是否成立。具体而言，声音输出控制部12判定在从车内照相机4输入的摄影图像数据中是否包含有与登录的脸图像数据表示的脸相同人物的脸的图像。该判定基于已存在的脸识别技术来执行。作为简单的一例，声音输出控制部12对登录的脸图像数据表示的脸的图像的特征向量和摄影图像数据中包含的脸的图像的特征向量分别进行已存在的多维度向量比较处理而计算近似度，在摄影图像数据中包含有近似度为阈值以上的脸图像的情况下，判定为在摄影图像数据中包含有与登录的脸图像数据表示的脸相同人物的脸的图像。声音输出控制部12在摄影图像数据中包含有与登录的脸图像数据表示的脸相同人物的脸的图像的情况下，判定为第1开始条件成立，在不包含的情况下判定为第1开始条件不成立。

第1开始条件是否成立的判定后的声音输出装置1的动作与上述第1实施方式是同样的。根据本变形例的结构，与上述第1实施方式同样，不是与消息的接收对应而即时地进行声音输出，而是仅对象者能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下将消息的声音输出保留，所以能够防止对象者的消息的漏听。

<第1实施方式的其他变形例>

接着，对第1实施方式的其他变形例进行说明。在上述第1实施方式中，假设本车辆不是自动驾驶汽车，但本车辆也可以是自动驾驶汽车。此外，在上述第1实施方式中，声音输出控制部12通过对车内照相机4的摄影图像数据进行分析，判定第1开始条件是否成立。关于这一点，也可以设为用其他方法判定第1开始条件是否成立的结构。作为一例，也可以是在驾驶席上设置检测向驾驶席的就座的有无的传感器(重量传感器或开关式传感器、光学式传感器等)，声音输出控制部12基于传感器的检测值判定第1开始条件的成立/不成立的结构。

<第2实施方式>

接着，对第2实施方式进行说明。图3是表示有关本实施方式的声音输出装置1A的功能结构例的框图。通过图1与图3的比较可知，有关本实施方式的声音输出装置1A代替有关第1实施方式的声音输出控制部12而具备声音输出控制部12A。另外，在本实施方式中，与第1实施方式同样，假设本车辆不是自动驾驶汽车，此外听取消息声音的对象的对象者是驾驶员。

声音输出控制部12A当由消息接收部11接收到消息时，执行以下的处理。即，声音输出控制部12A判定本车辆是否是驻车中。该判定例如通过判定是否是手刹起作用的状态来进行。在本车辆不是驻车中的情况下，声音输出控制部12A不进行以下说明的第2开始条件是否成立的判定而开始声音输出。

另一方面，在本车辆是驻车中的情况下，声音输出控制部12A通过对从车内照相机4输入的摄影图像数据进行分析，判定就座于驾驶席的驾驶员不是睡眠状态这一第2开始条件是否成立。在进行第2开始条件是否成立的判定的时点，本车辆是驻车中，有可能驾驶员为了休息而正在睡眠。并且，在驾驶员是睡眠状态的情况下(即，第1开始条件不成立的情况下)，当然，驾驶员不能正常地听取声音输出装置1A声音输出的声音。另一方面，在驾驶员不是睡眠状态的情况下(即，第1开始条件成立的情况下)，驾驶员清醒，在能够听取由声音输出装置1声音输出的消息声音而识别这一观点上，驾驶员能够正常地听取消息声音。因而，第2开始条件可以说是在车内空间中驾驶员(对象者)能够正常地听取声音的情况下成立的条件。

声音输出控制部12A基于已存在的技术判定第2开始条件是否成立。如果说明简单的一例，则声音输出控制部12A在输入的摄影图像数据中，基于已存在的脸识别技术确定驾驶席的区域中的人的脸的图像，将所确定的脸的图像看作驾驶员的脸的图像。并且，声音输出控制部12A对所确定的脸的图像进行分析，判定驾驶员是否是睡眠状态。例如，声音输出控制部12A对一定期间(例如5秒)的摄影图像数据持续分析，判定眼睛闭合的状态是否持续了一定时间以上。并且，声音输出控制部12A在眼睛闭合的状态持续了一定时间以上的情况下，判定为驾驶员是睡眠状态而第2开始条件不成立，在其以外的情况下，判定为第2开始条件成立。

在第2开始条件成立的情况下，声音输出控制部12A开始声音输出。另一方面，在第2开始条件不成立的情况下，声音输出控制部12A将声音输出保留。并且，声音输出控制部12A对从车内照相机4输入的摄影图像数据持续地分析，监视第2开始条件是否成立。即，声音输出控制部12A监视驾驶员是否为不是睡眠状态的状态(＝清醒的状态)。在第2开始条件成立的情况下，声音输出控制部12A开始声音输出。

如以上这样，在由消息接收部11接收到消息的时点第2开始条件不成立的情况下，声音输出控制部12A将声音输出保留，然后，在第2开始条件成立时开始声音输出。因此，能够防止当驾驶员为睡眠状态时消息声音被声音输出、驾驶员漏听消息声音的状况发生。即，根据本实施方式，不是与消息的接收对应而即时地进行声音输出，而是仅在对象者能够正常地听取消息的状态的情况下进行声音输出、在其以外的情况下将消息的声音输出保留，所以能够防止对象者的消息的漏听。

接着，使用流程图对有关本实施方式的声音输出装置1A的动作例进行说明。图4是表示从便携终端2接收到声音输出用文本数据后的声音输出装置1A的动作例的流程图。如图4所示，声音输出装置1A的消息接收部11将声音输出用文本数据接收，向接收缓存22保存(步骤SB1)。如果声音输出用文本数据被保存在接收缓存22中，则声音输出控制部12A判定本车辆是否是驻车中(步骤SB2)。在本车辆不是驻车中的情况下(步骤SB2：NO)，声音输出控制部12A对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SB3)。在步骤SB3的处理后，流程图结束。另一方面，在本车辆是驻车中的情况下(步骤SB2：YES)，声音输出控制部12A基于车内照相机4的摄影图像数据判定第2开始条件是否成立(步骤SB4)。如上述那样，第2开始条件是驾驶员不为睡眠状态这一条件。

在第2开始条件成立的情况下(步骤SB4：YES)，声音输出控制部12A对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SB5)。在第2开始条件不成立的情况下(步骤SB4：NO)，声音输出控制部12A将由声音输出部13进行的消息声音的声音输出保留(步骤SB6)。接着，声音输出控制部12A监视第2开始条件是否成立(步骤SB7)。在第2开始条件成立的情况下(步骤SB7：YES)，声音输出控制部12A对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SB8)。

<第2实施方式的第1变形例>

接着，对第2实施方式的第1变形例进行说明。在本变形例中，本车辆是具有完全自动驾驶功能的自动驾驶汽车。另外，假设与完全自动驾驶有关的物理、技术或法律上的环境已齐备，在公共道路中本车辆能够以完全自动驾驶来行驶。在完全自动驾驶中，也容许驾驶员进行睡眠。

顺便说一下，有关本变形例的声音输出控制部12A如果在本车辆以完全自动驾驶来行驶的情况下消息接收部11接收到消息，则不判断本车辆是否是驻车中，而判定第2开始条件是否成立。这是因为，在本变形例中，不仅是本车辆为驻车中的情况，在本车辆是完全自动行驶中驾驶员也有可能是睡眠状态。判定后的声音输出装置1A的动作与第2实施方式是同样的。根据本变形例，当本车辆完全自动驾驶时，能够防止因为驾驶员是睡眠状态而漏听消息声音。

<第2实施方式的其他变形例>

接着，对第2实施方式的其他变形例进行说明。关于第2实施方式，也可以做成声音输出控制部12A在消息接收部11接收到消息时、仅在第1开始条件和第2开始条件的两者成立时即时地开始声音输出、在其以外的情况下保留声音输出的结构。此外，在上述第2实施方式中，驾驶员是听取消息声音的对象者，但对象者并不限于驾驶员。当将驾驶员以外的人作为对象者时，声音输出控制部12A能够利用第1实施方式的第1变形例的技术，基于车内照相机4的摄影图像数据，判定不是驾驶员的对象者是否是睡眠状态。此外，在上述第2实施方式中，声音输出控制部12A通过对车内照相机4的摄影图像数据进行分析，判定第2开始条件是否成立。关于这一点，也可以做成用其他方法判定第2开始条件是否成立的结构。作为一例，也可以是声音输出控制部12A取得驾驶员的生物体信息(脉波或脑波等)、基于生物体信息判定驾驶员是否是睡眠状态、基于此来判定第2开始条件的成立/不成立的结构。

<第3实施方式>

接着，对第3实施方式进行说明。图5是表示有关本实施方式的声音输出装置1B的功能结构例的框图。在本实施方式中，假设本车辆不是自动驾驶汽车。此外，在本实施方式中，听取消息声音的对象者是驾驶员，进行后述的免提通话的主体也是驾驶员。通过图1与图5的比较可知，有关本实施方式的声音输出装置1B代替有关第1实施方式的声音输出控制部12而具备声音输出控制部12B。此外，有关本实施方式的声音输出装置1B具备免提通话执行部30。免提通话执行部30是与便携终端2协同而实现免提通话的功能块。适当地设置了免提通话的实现所需要的设备(例如，输入讲话声音的麦克风)。免提通话执行部30在进行免提通话的期间中，将表示正在进行免提通话的信号向声音输出控制部12B输出。

声音输出控制部12B当由消息接收部11接收到消息时，执行以下的处理。即，声音输出控制部12B判定驾驶员不是处于电话中这一第3开始条件是否成立。另外，在本实施方式中，驾驶员既有在驾驶本车辆过程中进行免提通话的情况(当然，也可以在不是驾驶中时进行免提通话)，也有在本车辆的停车时通过自身的便携终端2以外的具有电话功能的装置进行电话的情况。另外，在本实施方式中，关于便携终端2，能够在维持动作模式是消息通知模式的状态的原状下作为电话而利用。

这里，在驾驶员处于电话中的情况下(即，第3条件不成立的情况下)，驾驶员不能集中听取声音输出装置1B声音输出的声音。另一方面，在驾驶员不处于电话中的情况下(即，第3条件成立的情况下)，在能够不受对电话的响应阻害而将意识集中于消息声音的听取这一观点上，驾驶员能够正常地听取消息声音。因而，第3开始条件可以说是在车内空间中驾驶员(对象者)能够正常地听取声音的情况下成立的条件。

声音输出控制部12B通过以下的方法判定第3开始条件是否成立。即，在消息接收部11接收到消息的时点从免提通话执行部30输入了表示正在进行免提通话的信号的情况下，声音输出控制部12B判定为驾驶员是免提通话中(＝电话中)、第3开始条件不成立。进而，声音输出控制部12B对从车内照相机4输入的摄影图像数据进行分析，判定驾驶员是否处于电话中。这里，在驾驶员处于电话中的情况下，通常驾驶员进行将便携电话抵接在耳朵上的动作、或在佩戴着耳机的原状下将嘴运动而进行谈话的动作等，在电话中的情况下特有的动作。据此，声音输出控制部12B通过使用了与处于电话中的情况下的特有的动作对应的样式图像的图像分析技术对摄影图像数据进行分析，判定驾驶员是否处于电话中。声音输出控制部12B在摄影图像数据的分析的结果判定为驾驶员处于电话中的情况下，判定为第3开始条件不成立。声音输出控制部12B基于以上的两个观点，在没有判定为第3开始条件不成立的情况下，判定为第3开始条件成立。

在第3开始条件成立的情况下，声音输出控制部12B开始声音输出。另一方面，在第3开始条件不成立的情况下，声音输出控制部12B将声音输出保留，监视第3开始条件是否成立。即，声音输出控制部12B监视驾驶员是否为不处于电话中的状态。在检测到第3开始条件成立的情况下，声音输出控制部12B开始声音输出。

如以上这样，在由消息接收部11接收到消息的时点第3开始条件不成立的情况下，声音输出控制部12B将声音输出保留，然后，在第3开始条件成立时，开始声音输出。因为该结构，能够防止当驾驶员对应于电话时消息声音被声音输出、驾驶员不能集中于消息声音的听取而漏听消息声音的状况发生。即，根据本实施方式，不是对应于消息的接收而即时地进行声音输出，而是仅在对象者能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下将消息的声音输出保留，所以能够防止对象者的消息的漏听。

接着，使用流程图对有关本实施方式的声音输出装置1B的动作例进行说明。图6是表示从便携终端2接收到声音输出用文本数据后的声音输出装置1B的动作例的流程图。如图6所示，声音输出装置1B的消息接收部11将声音输出用文本数据接收，向接收缓存22保存(步骤SC1)。如果声音输出用文本数据被保存到接收缓存22中，则声音输出控制部12B基于来自免提通话执行部30的输入及车内照相机4的摄影图像数据，判定第3开始条件是否成立(步骤SC2)。如上述那样，第3开始条件是驾驶员不为电话中这一条件。

在第3开始条件成立的情况下(步骤SC2：YES)，声音输出控制部12B对声音输出部13进行控制，使消息声音的声音输出开始(步骤SC3)。在第3开始条件不成立的情况下(步骤SC2：NO)，声音输出控制部12B将由声音输出部13进行的消息声音的声音输出保留(步骤SC4)。接着，声音输出控制部12B监视第3开始条件是否成立(步骤SC5)。在第3开始条件成立的情况下(步骤SC5：YES)，声音输出控制部12B对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SC6)。

<第3实施方式的变形例>

接着，对第3实施方式的变形例进行说明。在上述第3实施方式中，本车辆不是自动驾驶汽车，但当然也可以是自动驾驶汽车。此外，关于上述第3实施方式，也可以做成以下的结构：声音输出控制部12B在消息接收部11接收到消息时，仅在第3开始条件与第1、第2开始条件的任意的组合(在组合中，包括由1个条件构成的组合、由两个条件构成的组合)成立时即时地开始声音输出，在其以外的情况下将声音输出保留。此外，在上述第3实施方式中驾驶员是听取消息声音的对象者，但对象者并不限于驾驶员。当将驾驶员以外的人作为对象者时，声音输出控制部12B利用第1实施方式的第1变形例的技术，能够基于车内照相机4的摄影图像数据来判定不是驾驶员的对象者是否处于电话中。此外，也可以是通过在上述第3实施方式中说明的方法以外的方法来判定驾驶员是否处于电话中的结构。

<第4实施方式>

接着，对第4实施方式进行说明。图7是表示有关本实施方式的声音输出装置1C的功能结构例的框图。在本实施方式中，假设听取消息声音的对象者是驾驶员，本车辆不是自动驾驶汽车。通过图1与图7的比较可知，有关本实施方式的声音输出装置1C代替有关第1实施方式的声音输出控制部12而具备声音输出控制部12C。

当由消息接收部11接收到消息时，声音输出控制部12C执行以下的处理。即，声音输出控制部12C判定驾驶员不是谈话中这一第4开始条件是否成立。驾驶员为谈话中，是在本车辆中搭乘有驾驶员以外的搭乘者、驾驶员与该搭乘者讲话的状态。这里，在驾驶员为谈话中的情况下(即，第4开始条件不成立的情况下)，驾驶员不能集中听取声音输出装置1C声音输出的声音。另一方面，在驾驶员不是谈话中的情况下(即，第4开始条件成立的情况下)，在能够不受谈话阻碍而将意识集中于消息声音的听取这一观点上，驾驶员能够正常地听取消息声音。因而，第4开始条件可以说是在车内空间中驾驶员(对象者)能够正常地听取声音的情况下成立的条件。

声音输出控制部12C通过以下的方法判定第4开始条件是否成立。即，声音输出控制部12C对于从车内照相机4输入的摄影图像数据，通过在第1实施方式中说明的方法确定驾驶员的脸的图像。接着，声音输出控制部12C确定脸的图像中的嘴的区域，对嘴的区域在一定期间(例如5秒)中跟踪分析。声音输出控制部12C基于嘴的区域的分析的结果，在嘴一定时间以上没有连续运动的状态(最闭合的原状的状态、或打开的原状的状态)的情况下，判定为驾驶员不进行谈话，而第4开始条件成立，在其以外的情况下，驾驶员谈话，判定为第4开始条件不成立。

在第4开始条件成立的情况下，声音输出控制部12C开始声音输出。另一方面，在第4开始条件不成立的情况下，声音输出控制部12C将声音输出保留，监视第4开始条件是否成立。即，声音输出控制部12C监视驾驶员是否为没有进行谈话的状态。例如，声音输出控制部12C通过将摄影图像数据持续分析，持续监视驾驶员的嘴的运动，在出现了嘴一定时间以上没有连续运动的状态的情况下，判定为第4开始条件成立。在检测到第4开始条件成立的情况下，声音输出控制部12C开始声音输出。

如以上这样，在由消息接收部11接收到消息的时点第4开始条件不成立的情况下，声音输出控制部12C将声音输出保留，然后，在第4开始条件成立时，开始声音输出。因为该结构，能够防止在驾驶员谈话中消息声音被声音输出、驾驶员不能集中于消息声音的听取而漏听消息声音的状况发生。即，根据本实施方式，不是对应于消息的接收而即时地进行声音输出，而是仅在对象者能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下将消息的声音输出保留，所以能够防止对象者的消息的漏听。

接着，使用流程图对有关本实施方式的声音输出装置1C的动作例进行说明。图8是表示从便携终端2接收到声音输出用文本数据之后的声音输出装置1C的动作例的流程图。如由图8表示那样，声音输出装置1C的消息接收部11将声音输出用文本数据接收，向接收缓存22保存(步骤SD1)。如果声音输出用文本数据被保存到接收缓存22中，则声音输出控制部12C基于车内照相机4的摄影图像数据，判定第4开始条件是否成立(步骤SD2)。如上述那样，第4开始条件是驾驶员不为谈话中这一条件。

在第4开始条件成立的情况下(步骤SD2：YES)，声音输出控制部12C对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SD3)。在第4开始条件不成立的情况下(步骤SD2：NO)，声音输出控制部12C将由声音输出部13进行的消息声音的声音输出保留(步骤SD4)。接着，声音输出控制部12C监视第4开始条件是否成立(步骤SD5)。在第4开始条件成立的情况下(步骤SD5：YES)，声音输出控制部12C对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SD6)。

<第4实施方式的第1变形例>

接着，对第4实施方式的第1变形例进行说明。在上述第4实施方式中，声音输出控制部12C判定驾驶员不是谈话中这一第4开始条件是否成立。关于这一点，有关本变形例的声音输出控制部12C判定驾驶员不是以大声谈话中这一第4开始条件是否成立。详细地讲，在声音输出装置1C连接着输入驾驶员的讲话声音的麦克风，对于声音输出控制部12C，从对来自麦克风的输入进行处理的声音处理电路被输入声压水平，该声压水平是被输入到麦克风中的声音的声压水平。

并且，声音输出控制部12C在消息接收部11接收到消息的情况下，判定驾驶员不是以大声谈话中这一第4开始条件是否成立。具体而言，在驾驶员是谈话中(驾驶员是否是谈话中，通过在上述第4实施方式中说明的方法来判定)，并且，在被输入的声压水平是阈值以上的情况下，声音输出控制部12C认为第4开始条件不成立，在其以外的情况下，判定为第4开始条件成立。另外，在驾驶员是谈话中、并且被输入到麦克风中的声音的声压水平是阈值以上的情况下，可以看作驾驶员正在以一定以上的大小的声音进行谈话的状态。

这里，在驾驶员以小声讲话的情况下，与以大声讲话的情况相比，对于谈话的集中的程度较小，可以说是驾驶员能够将被声音输出的消息声音不漏听而听取的状态、或能够不漏听而听取的可能性较高的状态。据此，根据本变形例，在驾驶员以小声讲话的情况下，由于对应于消息的接收而消息声音即时地被声音输出，所以能够防止驾驶员感到在尽管是能够听取消息声音的状态但消息声音的输出被保留的情况下可能发生的不愉快感。

<第4实施方式的其他变形例>

接着，对第4实施方式的变形例进行说明。关于第4实施方式，也可以做成以下的结构：声音输出控制部12C在消息接收部11接收到消息时，仅在第4开始条件与第1～第3开始条件的任意的组合(在组合中，包括由1个条件构成的组合、由两个条件构成的组合、由3个条件构成的组合)成立时即时地开始声音输出，在其以外的情况下将声音输出保留。做成情况下，也可以将第4开始条件的内容设为第4实施方式的第1变形例的第4开始条件的内容。此外，在上述第4实施方式中，本车辆不是自动驾驶汽车，但当然也可以是自动驾驶汽车。此外，在上述第4实施方式中驾驶员是听取消息声音的对象者，但对象者并不限于驾驶员。此时，声音输出控制部12C能够利用第1实施方式的第1变形例的技术，基于车内照相机4的摄影图像数据来判定不是驾驶员的对象者是否是谈话中。此外，判定驾驶员是否是谈话中时的方法并不限于在上述第4实施方式中例示的方法，可以采用应用了已存在的技术的任意的方法。

<第5实施方式>

接着，对第5实施方式进行说明。图9是表示有关本实施方式的声音输出装置1D的功能结构例的框图。在本实施方式中，假设听取消息声音的对象者是驾驶员，假设本车辆不是自动驾驶汽车。通过图1与图9的比较可知，有关本实施方式的声音输出装置1D代替有关第1实施方式的声音输出控制部12而具备声音输出控制部12D。声音输出控制部12D当由消息接收部11接收到消息时，执行以下的处理。即，声音输出控制部12D判定驾驶员是放松的状态这一第5开始条件是否成立。这里，在驾驶员不是放松的状态的情况下(即，第5开始条件不成立的情况下)，驾驶员有可能不能集中听取声音输出装置1D声音输出的声音。另一方面，在驾驶员放松的状态的情况下(即，第5开始条件成立的情况下)，在能够将由声音输出装置1D声音输出的消息声音在平静的状态下集中听取这一观点上，驾驶员能够正常地听取消息。因而，第5开始条件可以说是在车内空间中驾驶员(对象者)能够正常地听取声音的情况下成立的条件。

声音输出控制部12D通过以下的方法判定第5开始条件是否成立。即，声音输出控制部12D关于从车内照相机4输入的摄影图像数据，通过在第1实施方式中说明的方法确定驾驶员的脸的图像，基于已存在的脸表情识别技术，判定驾驶员是否是放松的状态。并且，声音输出控制部12D在驾驶员是放松的状态的情况下判定为第5开始条件成立，在不放松的状态的情况下判定为第5开始条件不成立。另外，在本实施方式中，在驾驶员正在驾驶本车辆这一特性上，有驾驶员集中于驾驶的时候，在这样的时候期待被判定为第5开始条件不成立。据此，将基于脸表情识别技术进行脸表情识别的模组的各种参数适当地调整，以使得在驾驶员集中于驾驶时驾驶员被判定为不是放松的状态。

在第5开始条件成立的情况下，声音输出控制部12D开始声音输出。另一方面，在第5开始条件不成立的情况下，声音输出控制部12D将声音输出保留，监视第5开始条件是否成立。即，声音输出控制部12D监视驾驶员是否为放松的状态。在检测到第5开始条件成立的情况下，声音输出控制部12D开始声音输出。

如以上这样，在由消息接收部11接收到消息的时点第5开始条件不成立的情况下，声音输出控制部12D将声音输出保留，然后，在第5开始条件成立时，开始声音输出。因为该结构，能够防止当驾驶员为不放松的状态时消息声音被声音输出、驾驶员不能集中于消息声音的听取而将消息声音漏听的状况发生。即，根据本实施方式，由于不是对应于消息的接收而即时地进行声音输出，而是仅在对象者为能够正常地听取消息的状态的情况下进行声音输出，在其以外的情况下将消息的声音输出保留，所以能够防止对象者的消息的漏听。

接着，使用流程图对有关本实施方式的声音输出装置1D的动作例进行说明。图10是表示从便携终端2接收到声音输出用文本数据后的声音输出装置1D的动作例的流程图。如在图10中表示那样，声音输出装置1D的消息接收部11将声音输出用文本数据接收，向接收缓存22保存(步骤SE1)。如果声音输出用文本数据被保存到接收缓存22中，则声音输出控制部12D基于车内照相机4的摄影图像数据判定第5开始条件是否成立(步骤SE2)。如上述那样，第5开始条件是驾驶员为放松的状态这一条件。

在第5开始条件成立的情况下(步骤SE2：YES)，声音输出控制部12D对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SE3)。在第5开始条件不成立的情况下(步骤SE2：NO)，声音输出控制部12D将由声音输出部13进行的消息声音的声音输出保留(步骤SE4)。接着，声音输出控制部12D监视第5开始条件是否成立(步骤SE5)。在第5开始条件成立的情况下(步骤SE5：YES)，声音输出控制部12D对声音输出部13进行控制，使其开始消息声音的声音输出(步骤SE6)。

<第5实施方式的变形例>

接着，对第5实施方式的变形例进行说明。关于第5实施方式，也可以做成以下的结构：声音输出控制部12D在消息接收部11接收到消息时，仅在第5开始条件与第1～第4开始条件的任意的组合(在组合中，包括由1个条件构成的组合、由两个条件构成的组合、由3个条件构成的组合、由4个条件构成的组合)成立时即时地开始声音输出，在其以外的情况下将声音输出保留。在此情况下，也可以将第4开始条件的内容设为第4实施方式的第1变形例的第4开始条件的内容。

此外，在上述第5实施方式中，本车辆不是自动驾驶汽车，但当然也可以是自动驾驶汽车。在自动驾驶汽车的情况下，例如在驾驶员集中于读书的情况下等，能够使得消息声音不被声音输出。此外，在上述第5实施方式中，驾驶员是听取消息声音的对象者，但对象者并不限于驾驶员。此时，声音输出控制部12D能够利用第1实施方式的第1变形例的技术，基于车内照相机4的摄影图像数据来判定不是驾驶员的对象者是否是放松的状态。

此外，判定驾驶员是否是放松的状态时的方法并不限于在上述第5实施方式中例示的方法，可以采用应用了已存在的技术的任意的方法。例如，也可以是取得驾驶员的生物体信息(脉波或脑波等)、基于生物体信息来判定驾驶员是否是放松的状态的结构。此外，也可以是以下的结构：声音输出控制部12D识别本车辆的状况，鉴于本车辆的状况，当驾驶员是集中于驾驶的状态(或被要求集中于驾驶的状态)时，认为驾驶员不是放松的状态，判定为第5开始条件不成立。本车辆的状况，是陷入拥堵的状况，或本车辆即将进入交叉点之前、正在进入交叉点、用于驻车的行驶中、频繁地反复加减速的状况等。

以上，说明了本发明的实施方式(包括变形例)，但上述各实施方式都只不过表示了实施本发明时的具体化的一例，并不由它限定地解释本发明的技术范围。即，本发明能够不从其主旨或其主要的特征脱离而以各种各样的形式实施。

例如，在上述第1实施方式中，声音输出控制部12在“驾驶员存在于车内空间中”这一第1开始条件成立的情况下开始声音输出，在第1开始条件不成立的情况下将声音输出保留。将以下的该处理次序设为“第1处理次序”。关于这一点，定义“不存在于车内空间中”这一相当于第1开始条件的否定的条件，“声音输出控制部12在该条件成立的情况下将声音输出保留，在该条件不成立的情况下开始声音输出”这样的处理次序，与第1处理次序是同义的。即，关于这样的处理次序也当然包含在本发明的技术范围中。以上关于其他的实施方式(包括变形例)也是同样的。

此外，在第1实施方式中，在便携终端2中安装有聊天应用，但也可以是以下的结构：聊天应用被安装在声音输出装置1中，并且，在声音输出装置1中安装有向网络N访问的功能，声音输出装置1的消息接收部11直接接收与规定的终端发送的消息有关的消息数据。此外，在第1实施方式中，便携终端2的聊天应用执行部21生成声音输出用文本数据，但也可以做成以下的结构：在聊天应用执行部21接收到消息数据时，不生成声音输出用文本数据，而将消息数据向声音输出装置1发送。在这些结构的情况下，作为消息接收部11接收的对象的消息数据相当于权利要求书的“消息”。在这些情况下，例如可以做成当消息接收部11接收到消息数据时生成声音输出用文本数据并向接收缓存22保存的结构，或者做成当消息接收部11接收到消息数据时将消息数据向接收缓存22保存、声音输出部13在从声音输出控制部12输入了开始通知信号时将消息数据读出、基于消息数据生成声音输出用文本数据的结构。以上关于其他实施方式(包括变形例)也是同样的。

此外，在第1实施方式中，在消息接收部11接收到消息的时点第1开始条件不成立的情况下，声音输出控制部12暂且将声音输出保留，然后，当第1开始条件成立时开始声音输出。关于这一点，也可以是以下的结构：声音输出控制部12在将声音输出保留后，不是自动开始声音输出，而是输出接收到了消息的警告，在从驾驶员(但是，也可以是驾驶员以外的人)有明示性的指示的情况下，开始声音输出。警告例如在声音输出装置1具备显示部的情况下通过在显示部上显示规定的信息，此外例如在声音输出装置1的箱体上设有LED的情况下通过LED以规定的样式点亮/闪灭来进行。以上关于其他的实施方式(包括变形例)也是同样的。

此外，在上述实施方式中，设置有声音输出装置1的空间是车内空间，车内空间相当于权利要求书的“规定的空间”。但是，设置有声音输出装置1、进行由对象者进行的消息声音的听取的空间并不限于车内空间。作为一例，也可以是住宅的一个房间或办公室的一个房间等。以上关于其他的实施方式(包括变形例)也是同样的。

此外，关于上述第1实施方式，也可以做成将说明为声音输出装置1的各功能块执行的全部或一部分的处理由连接于声音输出装置1的外部装置执行的结构。外部装置例如是便携终端2，此外例如是连接在网络N上的云服务器。在此情况下，声音输出装置1和外部装置协同作为“声音输出装置”发挥功能。以上关于其他实施方式(包括变形例)也是同样的。

此外，在上述各实施方式中，消息是在文本聊天中被交换的，消息并不限于此，例如也可以是邮件。

Claims

1.一种声音输出装置，其特征在于，

被设置于规定的空间，具备供声音输出的声音输出部，

上述声音输出装置还具备：

消息接收部，接收消息；以及

声音输出控制部，当由上述消息接收部接收到消息时，判定在上述规定的空间中对象者能够正常地听取声音的情况下成立的开始条件是否成立，在上述开始条件成立的情况下，使上述声音输出部开始消息的声音输出，在不成立的情况下，将待由上述声音输出部进行的消息的声音输出保留。

2.如权利要求1所述的声音输出装置，其特征在于，

上述声音输出控制部在将待由上述声音输出部进行的消息的声音输出保留后，监视上述开始条件是否成立，在成立的情况下，使上述声音输出部开始消息的声音输出。

3.如权利要求1所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者存在于上述规定的空间中这一条件是否成立。

4.如权利要求3所述的声音输出装置，其特征在于，

5.如权利要求1所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者不是睡眠状态这一条件是否成立。

6.如权利要求5所述的声音输出装置，其特征在于，

7.如权利要求1所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者不是正在打电话这一条件是否成立。

8.如权利要求7所述的声音输出装置，其特征在于，

9.如权利要求1所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者不是谈话中这一条件是否成立。

10.如权利要求9所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者不是以大声谈话中这一条件是否成立。

11.如权利要求9所述的声音输出装置，其特征在于，

12.如权利要求1所述的声音输出装置，其特征在于，

作为上述开始条件是否成立的判定，上述声音输出控制部判定上述对象者处于放松的状态这一条件是否成立。

13.如权利要求12所述的声音输出装置，其特征在于，

14.如权利要求1所述的声音输出装置，其特征在于，

上述规定的空间是形成在车辆内的车内空间。

15.一种声音输出方法，其特征在于，

是基于被设置于规定的空间、具备供声音输出的声音输出部的声音输出装置的声音输出方法，

包括：

上述声音输出装置的消息接收部接收消息的步骤；

上述声音输出装置的声音输出控制部在由上述消息接收部接收到消息时，判定在上述规定的空间中对象者能够正常地听取声音的情况下成立的开始条件是否成立，在上述开始条件成立的情况下使上述声音输出部开始消息的声音输出，在不成立的情况下将待由上述声音输出部进行的消息的声音输出保留的步骤。