CN111724798B - 车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质 - Google Patents

Abstract

本发明提供一种车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质。车载设备控制系统具备：取得部，其取得包括搭乘于车辆的乘员的讲话内容的声音；车载设备控制部；声音识别部，其识别声音；确定部，其确定指示动作的车载设备；判定部，其判定确定出的车载设备是否是属于规定的组的车载设备；以及通用开关，其中，在接受指示的车载设备是属于规定的组的车载设备的情况下，车载设备控制部通过扬声器或显示部来输出询问是否可以执行动作的声音、以及催促同意执行动作的促进同意图像中的至少一方，且在通过通用开关接受到表示同意的输入的情况下，控制接受指示的车载设备的动作。

Description

车载设备控制系统、车载设备控制装置、车载设备控制方法及 存储介质

技术领域

本发明涉及车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质。

背景技术

通过与人进行声音对话来提供信息的人机接口的研究不断进展。与此相关联，已知有基于作为机器人的交流的对象的人的状况来决定是否与该人讲话、讲话音量、讲话语调的技术、或利用登录有词汇的词典来识别乘员讲话的声音并根据识别出的声音的内容来控制车室内的多个控制对象设备的技术(例如，参照日本专利第4976903号公报、日本特开2007-286136号公报)。

发明的概要

发明要解决的课题

然而，在现有的技术中，例如在车室内存在多个乘员的情况下，有时难以通过乘员讲话的声音来可靠地指示仅允许特定的乘员(例如，车辆的驾驶员)进行的车载设备的操作。

发明内容

本发明的方案的目的之一在于，提供一种能够可靠地指示仅允许特定的乘员进行的操作且减轻指示所涉及的车辆的驾驶负责人的负担的车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质。

用于解决课题的方案

本发明的车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质采用了以下的结构。

(1)：本发明的一方案的车载设备控制系统具备：取得部，其取得包括搭乘于车辆的乘员的讲话内容的声音；车载设备控制部，其搭载于所述车辆，且控制包括扬声器及显示部的车载设备的动作；声音识别部，其识别由所述取得部取得的包括所述车辆的乘员的讲话内容的声音；确定部，其确定通过由所述声音识别部识别出的所述乘员的声音来指示动作的所述车载设备；判定部，其判定确定出的所述车载设备是否是属于规定的组的车载设备；以及通用开关，其中，在由所述判定部判定为接受所述指示的车载设备是属于所述规定的组的车载设备的情况下，所述车载设备控制部通过所述扬声器或所述显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方，且在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作。

(2)：在上述(1)的方案的基础上，属于所述规定的组的车载设备是对所述车辆的行为产生影响的车载设备。

(3)：在上述(1)的方案的基础上，属于所述规定的组的车载设备是与仅允许所述车辆中的驾驶员进行的操作对应的车载设备。

(4)：在上述(1)的方案的基础上，所述通用开关是除了接受包括表示所述同意的输入在内的与声音指示相关的规定的输入的场景以外，还能够使用于其他用途的开关。

(5)：在上述(4)的方案的基础上，在通过所述通用开关接受到表示开始接受声音的输入的情况下，所述声音识别部开始识别由作为所述取得部的话筒收集到的包括所述乘员的讲话内容的声音。

(6)：在上述(1)至(5)中任一方案的基础上，所述通用开关设置于转向盘。

(7)：在上述(1)至(6)中任一方案的基础上，所述车载设备控制系统还具备开关，该开关在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备以外的车载设备时，使所述车载设备控制部控制属于所述规定的组以外的组的车载设备的动作。

(8)：本发明的一方案的车载设备控制装置具备：取得部，其取得包括搭乘于车辆的乘员的讲话内容的声音；车载设备控制部，其搭载于所述车辆，且控制包括扬声器及显示部的车载设备的动作；声音识别部，其识别由所述取得部取得的包括所述乘员的讲话内容的声音；确定部，其确定通过由所述声音识别部识别出的所述乘员的声音来指示动作的所述车载设备；判定部，其判定确定出的所述车载设备是否是属于规定的组的车载设备；以及通用开关，其中，在由所述判定部判定为接受所述指示的车载设备是属于所述规定的组的车载设备的情况下，所述车载设备控制部通过所述扬声器或所述显示部来输出询问属于规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方，且在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作。

(9)：本发明的一方案的车载设备控制方法使具备取得包括车辆的乘员的讲话内容的声音的取得部和通用开关的车载设备控制系统中的单一或多个计算机执行如下步骤：识别包括所述乘员的讲话内容的声音；确定通过识别出的所述乘员的声音来指示动作的车载设备；判定确定出的所述车载设备是否是属于规定的组的车载设备；在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备的情况下，通过扬声器或显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于规定的组的车载设备中的所述动作的促进同意图像中的至少一方；以及此时，在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作。

(10)：本发明的一方案的存储介质存储有程序，所述程序安装于具备取得包括车辆的乘员的讲话内容的声音的取得部和通用开关的车载设备控制系统中的单一或多个计算机，且所述程序使所述计算机执行如下处理：识别包括所述乘员的讲话内容的声音；确定通过识别出的所述乘员的声音来指示动作的车载设备；判定确定出的所述车载设备是否是属于规定的组的车载设备；在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备的情况下，通过扬声器或显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方；以及此时，在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作。

发明效果

根据上述(1)～(10)的方案，能够保持车辆的安全性，且向乘员简便地指示车载设备的动作。

附图说明

图1是表示第一实施方式的智能体系统的结构的一例的图。

图2是表示第一实施方式的智能体装置的结构的一例的图。

图3是表示从驾驶员座观察到的车室内的一例的图。

图4是表示从上方观察车辆M的车室内的一例的图。

图5是表示驾驶员座的躺倒机构的促进同意图像的一例的图。

图6是表示第一实施方式的服务器装置的结构的一例的图。

图7是表示回答信息的内容的一例的图。

图8是表示接收到表示影响车载设备的车载设备控制的信息的场景的时序图的一例的图。

图9是表示第一实施方式的智能体装置的一系列处理的流程的流程图。

图10是表示第一实施方式的服务器装置的一例的处理的流程的流程图。

图11是表示第二实施方式的智能体装置的一例的图。

图12是表示第二实施方式的智能体装置的一系列处理的流程的流程图。

符号说明：

1…智能体系统，100、100A…智能体装置，102…智能体侧通信部，106、106A、106B、106C、106D、106E…话筒，108、108A、108B、108C、108D、108E…扬声器，110、110A、110B、110C…显示部，112…通用开关，120、120A…智能体侧控制部，122…取得部，124…声音合成部，126…输出控制部，128…通信控制部，130…确定部，132…判定部，134…车载设备控制部，150、150A…智能体侧存储部，152…车载设备信息，200…服务器装置，202…服务器侧通信部，210…服务器侧控制部，212…取得部，214、214A…讲话区间提取部，216、216A…声音识别部，222、222A…智能体数据生成部，224…通信控制部，230…服务器侧存储部，234、234A…回答信息，VE…车载设备，NVE…非影响车载设备，EVE…影响车载设备，M…车辆。

具体实施方式

以下，参照附图对本发明的车载设备控制系统、车载设备控制装置、车载设备控制方法及存储介质的实施方式进行说明。

<第一实施方式>

[系统结构]

图1是表示第一实施方式的智能体系统1的结构的一例的图。第一实施方式的智能体系统1例如具备搭载于车辆(以下，称为车辆M)的智能体装置100、以及服务器装置200。车辆M例如是二轮、三轮、四轮等的车辆。这些车辆的驱动源可以是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。

智能体装置100和服务器装置200经由网络NW而连接成能够通信。网络NW包括LAN(Local Area Network)、WAN(Wide Area Network)等。网络NW例如也可以包括Wi-Fi、Bluetooth(注册商标，以下省略)等利用了无线通信的网络。智能体系统1也可以由多个智能体装置100及多个服务器装置200构成。

智能体装置100使用智能体功能取得来自车辆M的乘员的声音，并将取得的声音向服务器装置200发送。另外，智能体装置100基于从服务器装置得到的数据(例如，智能体数据)等，来与乘员进行对话，或提供图像、影像等信息，或控制车载设备VE、其他装置。车辆M中例如搭载有动作影响车辆M的行为的车载设备VE(以下，称为影响车载设备EVE)和动作不影响车辆M的行为的车载设备VE(以下，称为成为非影响车载设备NVE)。影响车载设备EVE例如是对驾驶员的姿势产生影响的设备(驾驶员座的躺倒机构、驾驶员座的座椅位置控制机构等)、自动驾驶、高度驾驶支援(例如，ACC(Adaptive Cruise Control)、VSA(VehicleStability Assist)等)所涉及的设备等，是仅允许(许可)驾驶员进行操作的设备。与此相对，非影响车载设备NVE例如是空调、电动车窗、音响、汽车导航仪等，是也允许驾驶员以外的乘员进行操作的设备。而且，作为车载设备VE的分类方法，例如存在分类为与仅允许(许可)所述车辆中的驾驶员进行的操作对应的车载设备VE和除此以外的车载设备VE的方法。作为与仅允许(许可)驾驶员进行的操作对应的车载设备，除了影响车载设备EVE之外，例如为驾驶员座侧的电动车窗等。

服务器装置200与搭载于车辆M的智能体装置100进行通信，从智能体装置100取得各种数据。服务器装置200基于取得的数据，生成与基于声音等进行的询问相关的智能体数据，并将生成的智能体数据向智能体装置100提供。第一实施方式的服务器装置200的功能包含于智能体功能。另外，服务器装置200的功能将智能体装置100中的智能体功能更新为更高精度的功能。

[智能体装置的结构]

图2是表示第一实施方式的智能体装置100的结构的一例的图。第一实施方式的智能体装置100例如具备智能体侧通信部102、话筒(麦克风)106、扬声器108、显示部110、第一通用开关112、第二通用开关113(包括113b、113c、113d)、智能体侧控制部120及智能体侧存储部150。这些装置、设备可以通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而相互连接。需要说明的是，图2所示的智能体装置100的结构只不过是一例，可以省略结构的一部分，也可以进一步追加其他的结构。

智能体侧通信部102包括NIC(Network Interface controller)等通信接口。智能体侧通信部102经由网络NW与服务器装置200等进行通信。

话筒106是将车室内的声音电信号化并进行接收的声音输入装置。话筒106将接收到的声音的数据(以下，称为声音数据)向智能体侧控制部120输出。例如，话筒106设置在乘员就座于车室内的座椅时的前方附近。例如，话筒106设置在脚垫灯(mat lamp)、转向盘、仪表板、或座椅的附近。话筒106可以在车室内设置有多个。

扬声器108例如设置在车室内的座椅附近或显示部110附近。扬声器108基于由智能体侧控制部120输出的信息来输出声音。

显示部110包括LCD(Liquid Crystal Display)、有机EL(Electroluminescence)显示器等显示装置。显示部110基于由智能体侧控制部120输出的信息来显示图像。

第一通用开关112例如是按钮等用户接口。第一通用开关112接受乘员的操作，并将与接受的操作对应的信号向智能体侧控制部120输出。第一通用开关112例如设置于转向盘。第一通用开关112例如不分配专用的功能，在用于某些用途时，由智能体装置100确定用途，并通过从扬声器108输出的声音、显示于显示部110的图像来指示用途。具体而言，第一通用开关112如从扬声器108发出“打开驾驶员座侧的电动车窗吗？在同意的情况下，请按压第一通用开关112。”等那样，指示其用途。

需要说明的是，第一通用开关112也可以用于接受表示乘员同意的输入以外的用途。例如，第一通用开关112可以用作接受讲话的开始的开关。另外，第一通用开关112在接受包括表示乘员同意的输入在内的与声音指示相关的规定的输入的场景以外，还可以使用于其他的用途。其他的用途例如是与车辆M的音响装置配对的便携式电话的通话开始、音响装置的音量调节、音响装置的起动/停止、车内照明的点亮/熄灭等。另外，第一通用开关112也可以具有发光的结构，在接受表示乘员同意的输入时使用的时机、或者能够在其他的用途中使用的时机，进行点亮、闪烁，来向乘员示出接受输入的时机。另外，第一通用开关112在接受输入时，也可以根据用途使发光颜色不同，来向乘员示出用途。

第二通用开关113例如是按钮等用户接口。第二通用开关113接受乘员的操作，并将与接受的操作对应的信号向智能体侧控制部120输出。第二通用开关113例如不分配专用的功能，在用于某些用途时，由智能体装置100确定用途，并通过从扬声器108输出的声音、显示于显示部110的图像来指示用途。具体而言，第二通用开关113如从扬声器108发出“起动空调吗？在同意的情况下，请按压第二通用开关113。”等那样，指示其用途。

图3是表示从驾驶员座观察到的车室内的一例的图。在图示例的车室内设置有话筒106A～106C、扬声器108A～108C及显示部110A～110C。话筒106A例如设置于转向盘，主要接收驾驶员讲话的声音。话筒106B例如设置于副驾驶座正面的仪表板(前围板或装饰件)IP，主要接收副驾驶座的乘员讲话的声音。话筒106C例如设置于仪表板的中央(驾驶员座与副驾驶座之间)附近。

扬声器108A例如设置在驾驶员座侧的车门的下部，扬声器108B例如设置在副驾驶座侧的车门的下部，扬声器108C例如设置在显示部110C的附近、即仪表板IP的中央附近。

显示部110A例如是使虚像在驾驶员视觉确认车外时的视线的前方显示的HUD(Head-Up Display)装置。HUD装置例如是通过向车辆M的前风窗玻璃、或被称为合成器的具有光透过性的透明的构件投射光，来使乘员视觉确认虚像的装置。乘员主要是驾驶员，但也可以是驾驶员以外的乘员。

显示部110B设置在驾驶员座(最接近转向盘的座位)的正面附近的仪表板IP，且设置在乘员能够从转向盘的间隙视觉确认、或越过转向盘视觉确认的位置。显示部110B例如是LCD、有机EL显示装置等。在显示部110B例如显示有车辆M的速度、发动机转速、燃料余量、散热器水温、行驶距离、其他信息的图像。

显示部110C设置在仪表板IP的中央附近。显示部110C例如与显示部110B同样，为LCD、有机EL显示装置等。显示部110C显示电视节目、电影等内容。

第一通用开关112例如设置在转向盘中的不妨碍驾驶操作的位置(例如，转向盘的外周以外的位置)。

需要说明的是，在车辆M中，还可以在后部座位附近设置话筒和扬声器。图4是表示从上方观察车辆M的车室内的一例的图。在车室内，除了图3所例示的话筒、扬声器之外，还可以设置话筒106D、106E和扬声器108D、108E。

话筒106D例如设置于在副驾驶座ST2的后方设置的后部座位ST3的附近(例如，副驾驶座ST2的后面)，主要接收就座于后部座位ST3的乘员讲话的声音。话筒106E例如设置于在驾驶员座ST1的后方设置的后部座位ST4的附近(例如，驾驶员座ST1的后面)，主要接收就座于后部座位ST4的乘员讲话的声音。

扬声器108D例如设置在后部座位ST3侧的车门的下部，扬声器108E例如设置在后部座位ST4侧的车门的下部。

第二通用开关113例如设置在话筒106A～106D的附近。

需要说明的是，说明了图1所例示的车辆M如图3或图4所例示的那样是具备作为乘员的驾驶员能够操作的转向盘的车辆的情况，但不限于此。例如，车辆M也可以是无车顶、即无车室的(或没有其明确的区分)车辆。另外，在图3或图4的例子中，说明了对车辆M进行驾驶操作的驾驶员就座的驾驶员座和其他的不进行驾驶操作的乘员就座的副驾驶座、后部座位处于一个室内的情况，但不限于此。例如，车辆M也可以是代替转向盘而具有转向车把的跨骑型机动二轮车辆。另外，在图3或图4的例子中，说明了车辆M是具备转向盘的车辆的情况，但不限于此。例如，车辆M也可以是未设置转向盘那样的驾驶操作设备的自动驾驶车辆。自动驾驶车辆例如是不依赖于乘员的操作地控制车辆的转向或加减速中的一方或双方来执行驾驶控制的车辆。

返回图2的说明，智能体侧控制部120例如具备取得部122、声音合成部124、输出控制部126、通信控制部128、确定部130、判定部132及车载设备控制部134。这些构成要素例如通过CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过LSI(Large ScaleIntegration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等硬件(电路部：包括circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于智能体侧存储部150(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置而安装于智能体侧存储部150。

智能体侧存储部150通过HDD、闪存器、EEPROM(Electrically ErasableProgrammable Read Only Memory)、ROM(Read Only Memory)、或RAM(Random AccessMemory)等来实现。在智能体侧存储部150中例如保存有由处理器参照的程序等和车载设备信息152。车载设备信息152是表示搭载于车辆M的车载设备VE(的一览)的信息，是表示车载设备VE是影响车载设备EVE还是非影响车载设备NVE的信息。

取得部122从话筒106取得声音数据，或者取得其他信息。

在智能体侧通信部102从服务器装置200接收到的数据(后述的智能体数据)中包含声音控制内容的情况下，作为声音控制，声音合成部124基于通过讲话而指示(即，声音指示)的声音数据，来生成人工的合成声音(以下，称为智能体声音)。

输出控制部126在由声音合成部124生成智能体声音时，使扬声器108输出该智能体声音。另外，输出控制部126在智能体数据中包含图像控制内容的情况下，使显示部110显示作为图像控制而指示的图像数据。另外，输出控制部126也可以使显示部110显示声音数据的识别结果(语句等文本数据)的图像。

通信控制部128经由智能体侧通信部102将由取得部122取得的声音数据向服务器装置200发送。

确定部130在智能体数据中包含表示车载设备控制的信息的情况下，基于车载设备信息152来确定进行车载设备控制的车载设备VE。确定部130例如将意思信息所包含的车载设备VE名作为检索关键词来检索车载设备信息152，并确定车载设备VE。

判定部132基于车载设备信息152，来判定由确定部130确定出的车载设备VE是否为影响车载设备EVE。

在由判定部132判定为通过车载设备控制内容来指示动作的车载设备VE不是影响车载设备EVE(即，是非影响车载设备NVE)的情况下，车载设备控制部134基于车载设备控制内容，来控制非影响车载设备NVE的动作。关于在判定为车载设备VE是影响车载设备EVE的情况下车载设备控制部134执行车载设备控制内容所示的控制的情况，判定是否由第一通用开关112接受到表示乘员同意的输入。在由第一通用开关112接受到表示乘员同意的输入的情况下，车载设备控制部134基于车载设备控制内容来控制影响车载设备EVE的动作。

需要说明的是，车辆M还在仪表板IP的中央、后座用的话筒106D、及话筒106E附近具备第一通用开关112以外的其他开关即第二通用开关113，在由判定部132判定为通过车载设备控制内容来指示动作的车载设备VE不是属于规定的组的车载设备(即，为非影响车载设备NVE、或与驾驶员以外也允许进行的操作对应的车载设备)的情况下，关于车载设备控制部134基于车载设备控制内容来执行非影响车载设备NVE的控制内容，也可以通过在上述的仪表板IP的中央、后座用的话筒106D、及话筒106E附近所具备的第二通用开关113来接受乘员同意的情况。此时，在由第二通用开关113接受到表示乘员同意的输入的情况下，基于车载设备控制内容来控制非影响车载设备NVE(或与驾驶员以外也允许进行的操作对应的车载设备)的动作。

在此，在判定部132判定为通过车载设备控制内容来指示动作的车载设备VE是影响车载设备EVE的情况下，询问是否可以执行车载设备控制内容所示的控制，且在同意执行的情况下，声音合成部124生成催促操作(例如，按下)第一通用开关112的声音。输出控制部126通过扬声器108输出由声音合成部124生成的催促操作第一通用开关112的声音。另外，在判定部132判定为通过车载设备控制内容来指示动作的车载设备VE是影响车载设备EVE的情况下，询问是否可以对影响车载设备EVE执行车载设备控制内容所示的指示，在同意的情况下，输出控制部126使显示部110显示催促操作(例如，按下)第一通用开关112的图像(以下，称为促进同意图像)。

图5是表示驾驶员座的躺倒机构(即，影响车载设备EVE)的促进同意图像IM1的一例的图。在促进同意图像IM1中，例如包含询问是否可以对驾驶员座的躺倒机构执行车载设备控制内容所示的指示(在该情况下，为躺倒)的消息MS、以及示出对第一通用开关112的表示同意的操作的方法的图像(图示的图像IM2)。消息MS例如是“可以使驾驶员座躺倒吗？若可以请按压通用开关。”等消息。

[服务器装置的结构]

图6是表示第一实施方式的服务器装置200的结构的一例的图。第一实施方式的服务器装置200例如具备服务器侧通信部202、服务器侧控制部210及服务器侧存储部230。

服务器侧通信部202包括NIC等通信接口。服务器侧通信部202经由网络NW与搭载于各车辆M的智能体装置100等进行通信。

服务器侧控制部210例如具备取得部212、讲话区间提取部214、声音识别部216、智能体数据生成部222及通信控制部224。这些构成要素例如通过CPU、GPU等处理器执行程序(软件)来实现。另外，这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA等硬件(电路部：包括circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于服务器侧存储部230(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质装配于驱动装置而安装于服务器侧存储部230。

服务器侧存储部230通过HDD、闪存器、EEPROM、ROM、或RAM等来实现。在服务器侧存储部230中，例如除了由处理器参照的程序之外，还保存有回答信息234等。

图7是表示回答信息234的内容的一例的图。在回答信息234中，例如将使智能体侧控制部120执行的控制内容与意思信息建立对应关系。意思信息例如是由声音识别部216根据讲话内容整体识别出的意思。在控制内容中例如包含与对车载设备VE的动作的指示(控制)相关的车载设备控制、输出智能体声音的声音控制、使显示部110显示的图像控制等。例如，在回答信息234中，将“使空调起动”的车载设备控制、“起动了空调”这样的声音控制、显示车室内温度及设定温度的显示控制与“空调的起动”这样的意思信息建立对应关系。需要说明的是，在车载设备控制内容是与影响车载设备EVE相关的内容的情况下，在未由第一通用开关112得到乘员的同意的情况下，不能执行控制，因此声音信息、显示控制未与影响车载设备EVE的意思信息建立对应关系。

返回图6，取得部212经由服务器侧通信部202从智能体装置100取得声音数据。

讲话区间提取部214从由取得部122取得的声音数据来提取乘员讲话的期间(以下，称为讲话区间)。例如，讲话区间提取部214可以利用零交叉法并基于声音数据所包含的声音信号的振幅来提取讲话区间。另外，讲话区间提取部214也可以基于混合高斯分布模型(GMM：Gaussian mixture model)来从声音数据提取讲话区间，还可以通过与将讲话区间特有的声音信号模板化了的数据库进行模板匹配处理，来从声音数据提取讲话区间。

声音识别部216对由讲话区间提取部214提取的各讲话区间识别声音数据，并将识别到的声音数据文本化，从而生成包含讲话内容的文本数据。例如，声音识别部216将讲话区间的声音信号分离成低频、高频等多个频带，并对分类出的各声音信号进行傅立叶变换，从而生成频谱图。声音识别部216将生成的频谱图向递归型神经网络输入，由此从频谱图得到字符串。递归型神经网络例如可以通过利用教师数据来预先学习，在该教师数据中，与学习用的声音对应的已知的字符串作为教师标签而与从该学习用的声音生成的频谱图建立对应关系。然后，声音识别部216将从递归型神经网络得到的字符串的数据作为文本数据而输出。

另外，声音识别部216进行自然语言的文本数据的句法解析，将文本数据分为词素，从各词素识别文本数据所包含的语句。

智能体数据生成部222基于由声音识别部216识别出的讲话内容的意思，参照回答信息234的意思信息，来取得与一致的意思信息建立对应关系的控制内容。需要说明的是，作为识别结果，在识别出“打开空调”、“请接通空调的电源”等意思的情况下，智能体数据生成部222将上述的意思置换成标准文字信息“空调的起动”、标准指令信息“TURN_AC_ON”等。由此，即使在讲话内容的要求中存在文字波动的情况下，也能够容易取得符合要求的控制内容。

另外，智能体数据生成部222生成用于使与取得的控制内容(例如，车载设备控制、声音控制或显示控制中的至少一个)对应的处理执行的智能体数据。

通信控制部224将由智能体数据生成部222生成的智能体数据经由服务器侧通信部202向车辆M发送。由此，车辆M通过智能体侧控制部120来执行与智能体数据对应的控制。

[表示影响车载设备EVE的车载设备控制的信息的接收时的时序图]

图8是表示接收到表示影响车载设备EVE的车载设备控制的信息的场景的时序图的一例的图。在图8中，各轴(图示的轴AX1～AX4)表示时间经过，在轴AX1上示出车辆M的乘员的行动，在轴AX2上示出扬声器108的动作，在轴AX3上示出显示部110的动作，在轴AX4上示出第一通用开关112的状态。

首先，在时刻t1～t2中，乘员进行“使驾驶员座躺倒”这样的讲话(图示的事项EV1)。根据事项EV1的产生，取得部122取得由话筒106接收到的讲话声音来作为声音数据，通信控制部128经由智能体侧通信部102将由取得部122取得的声音数据向服务器装置200发送。在声音识别部216中，确定由取得部122取得的声音数据的讲话内容，识别声音数据的意思信息、及车载设备控制为“使驾驶员座躺倒”的情况。另外，服务器装置200将包含表示车载设备控制的信息的智能体数据向智能体装置100发送，其中，该车载设备控制表示“使驾驶员座躺倒”的情况。

判定部132从服务器装置200接收智能体数据，来判定表示智能体数据所包含的车载设备控制的信息是否是影响车载设备EVE所涉及的信息。在由判定部132判定为车载设备控制所示的车载设备VE是影响车载设备EVE(在该一例中，为驾驶员座的躺倒机构)的情况下，声音合成部124生成“可以使驾驶员座躺倒吗？若可以请按压通用开关。”等声音。在时刻t3，输出控制部126通过扬声器108输出由声音合成部124生成的声音(图示的事项EV2)。另外，在时刻t3，在由判定部132判定为车载设备控制所示的车载设备VE是影响车载设备EVE(在该一例中，为驾驶员座的躺倒机构)的情况下，询问是否可以使驾驶员座躺倒，在同意的情况下，输出控制部126使显示部110显示催促操作第一通用开关112的促进同意图像(图示的事项EV3)。乘员在确认通过事项EV2或事项EV3输出的声音和显示的促进同意图像中的一方或双方、且同意“使驾驶员座躺倒”的情况下，操作第一通用开关112。

第一通用开关112从在时刻t3开始询问是否可以使驾驶员座躺倒起的规定的时间(例如，几十[秒]～几[分钟])内成为接受输入的接受状态(图示的事项EV4)。车载设备控制部134在规定的时间内即时刻t4，通过第一通用开关112接受到表示同意的输入，因此对驾驶员座的躺倒机构指示驾驶员座的躺倒的控制。

[处理流程]

接着，使用流程图对第一实施方式的智能体系统1的处理的流程进行说明。需要说明的是，以下，分开说明智能体装置100的处理和服务器装置200的处理。另外，以下所示的处理的流程可以在规定的时机下反复执行。规定的时机例如是从声音数据提取出使智能体装置起动的特定词(例如，唤醒词)的时机、接受到搭载于车辆M的各种开关中的使智能体装置100起动的开关的选择的时机等。

图9是表示第一实施方式的智能体装置100的一系列处理的流程的流程图。首先，智能体侧控制部120的取得部122在识别到唤醒词之后、或者在按压了使智能体装置起动的开关之后，判定是否由话筒106收集到乘员的声音数据(步骤S100)。取得部122在收集到乘员的声音数据为止的期间进行等待。接着，通信控制部128经由智能体侧通信部102将声音数据向服务器装置200发送(步骤S102)。接着，通信控制部128从服务器装置200接收智能体数据(步骤S304)。

确定部130在接收到的智能体数据中包含控制内容的情况下，基于车载设备信息152来确定进行控制的车载设备VE(步骤S306)。判定部132判定由确定部130确定出的车载设备VE是否是影响车载设备EVE(步骤S308)。在由判定部132判定为车载设备控制的车载设备VE不是影响车载设备EVE(即，为非影响车载设备NVE)的情况下，车载设备控制部134使非影响车载设备NVE(扬声器108、显示部110)执行智能体数据所示的控制(例如，声音控制、显示控制)(步骤S310)。

在由判定部132判定为车载设备VE是影响车载设备EVE的情况下，输出控制部126使扬声器108输出由声音合成部124生成的请求乘员同意的声音数据、或者使显示部110显示促进同意图像，由此请求乘员同意控制的执行(步骤S312)。车载设备控制部134判定是否由第一通用开关112接受到表示同意的输入(步骤S314)。车载设备控制部134在接受到同意的情况下，对影响车载设备EVE执行智能体数据所示的车载设备控制(步骤S110)。车载设备控制部134在规定的时间内未由第一通用开关112接受到表示同意的输入的情况下，不执行智能体数据所示的车载设备控制而结束处理(步骤S316)。

图10是表示第一实施方式的服务器装置200的一例的处理的流程的流程图。首先，服务器侧通信部202从智能体装置100取得声音数据(步骤S200)。接着，讲话区间提取部214提取声音数据所包含的讲话区间(步骤S202)。接着，声音识别部216根据提取到的讲话区间中的声音数据来识别讲话内容。具体而言，声音识别部216将声音数据转换为文本数据，最终识别文本数据所包含的语句(步骤S204)。智能体数据生成部222生成基于讲话内容整体的意思得到的智能体数据(步骤S206)。接着，服务器侧控制部210的通信控制部224经由服务器侧通信部202将智能体数据向智能体装置100发送(步骤S208)。由此，本流程图的处理结束。

[催促同意的声音控制及显示控制的另一例]

需要说明的是，在上述内容中，说明了在车载设备控制是对影响车载设备EVE的控制时，询问是否可以执行车载设备控制且声音合成部124生成催促乘员同意的声音的情况，但并不限于此。例如，回答信息234也可以是如下信息：作为影响车载设备EVE的控制内容而预先与询问是否可以执行车载设备控制且催促乘员的同意的声音控制建立对应关系。同样，回答信息234也可以是如下信息：作为影响车载设备EVE的控制内容而预先与显示促进同意图像的显示控制建立对应关系。在该情况下，声音合成部124、输出控制部126执行智能体数据所示的声音控制、显示控制。

根据以上说明的第一实施方式的智能体系统1，即使在误识别了车载设备VE的控制所涉及的用户(乘员)的讲话内容的情况下、或车载设备VE的控制所涉及的用户的讲话有误的情况下，也能够抑制车载设备VE根据误识别而动作的情况，并保持车辆M的安全性，且向乘员简便地指示车载设备VE的动作。

<第二实施方式>

在上述的第一实施方式中，说明了搭载于车辆M的智能体装置100和服务器装置200为相互不同的装置的情况，但并不限定于此。例如，智能体功能所涉及的服务器装置200的构成要素也可以包含于智能体装置100的构成要素。在该情况下，服务器装置200也可以作为由智能体装置100的智能体侧控制部120虚拟地实现的虚拟机而发挥功能。以下，将包含服务器装置200的构成要素的智能体装置100A作为第二实施方式进行说明。在该情况下，智能体装置100A为“智能体系统”的一例。需要说明的是，在第二实施方式中，对与上述的第一实施方式相同的构成要素标记相同的符号，并省略在此的具体的说明。

图11是表示第二实施方式的智能体装置100A的一例的图。智能体装置100A例如具备智能体侧通信部102、话筒106、扬声器108、显示部110、第一通用开关112、第二通用开关113、智能体侧控制部120A、以及智能体侧存储部150A。智能体侧控制部120A例如具备取得部122、声音合成部124、输出控制部126、通信控制部128、判定部132、车载设备控制部134、讲话区间提取部214A、声音识别部216A、以及智能体数据生成部222A。

另外，智能体侧存储部150A例如除了由处理器参照的程序之外，还保存有车载设备信息152、回答信息234A等。回答信息234A也可以通过从服务器装置200取得的最新的信息来更新。

[处理流程]

图12是表示第二实施方式的智能体装置100A的一系列处理的流程的流程图。另外，以下所示的处理的流程与第一实施方式的处理的流程同样，可以在规定的时机下反复执行。首先，智能体侧控制部120的取得部122判定是否由话筒106收集到乘员的声音数据(步骤S400)。取得部122在收集到乘员的声音数据为止的期间进行等待。接着，讲话区间提取部214提取声音数据所包含的讲话区间(步骤S402)。接着，声音识别部216根据取出到的讲话区间中的声音数据来识别讲话内容。具体而言，使声音数据转换为文本数据，最终识别文本数据所包含的语句(步骤S404)。智能体数据生成部222生成基于讲话内容整体的含义得到的智能体数据(步骤S406)。

确定部130在接收到的智能体数据中包含控制内容的情况下，基于车载设备信息152来确定进行控制的车载设备VE(步骤S408)。判定部132判定由确定部130确定出的车载设备VE是否是影响车载设备EVE(步骤S410)。在由判定部132判定为车载设备控制的车载设备VE不是影响车载设备EVE(即，为非影响车载设备NVE)的情况下，车载设备控制部134使非影响车载设备NVE(扬声器108、显示部110等)执行智能体数据所示的控制(例如，声音控制、显示控制)(步骤S412)。

在由判定部132判定为车载设备控制的车载设备VE是影响车载设备EVE的情况下，输出控制部126使扬声器108输出由声音合成部124生成的请求同意执行对影响车载设备EVE的控制的声音数据，并使显示部110显示促进同意图像，由此请求乘员同意控制的执行(步骤S414)。车载设备控制部134判定是否由第一通用开关112接受到表示同意的输入(步骤S416)。车载设备控制部134在接受到同意的情况下，使影响车载设备EVE执行智能体数据所示的车载设备控制(步骤S412)。车载设备控制部134在规定的时间内未由第一通用开关112接受到表示同意的输入的情况下，不执行智能体数据所示的车载设备控制而结束处理(步骤S418)。

根据以上说明的第二实施方式的智能体装置100A，除了起到与第一实施方式相同的效果之外，还不需要在每次取得来自乘员的声音时都经由网络NW进行与服务器装置200的通信，因此能够更迅速地识别讲话内容。另外，即使在车辆M不能与服务器装置200进行通信的状态下，也能够生成智能体数据而向乘员提供信息。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

例如，在上述的实施方式中，作为一例，说明了车辆为四轮机动车的情况，但并不限定于此。例如，车辆也可以是二轮机动车、运输卡车等其他车辆。另外，车辆也可以是租赁车、共享车等车辆。在该情况下，例如，在多个租赁车、出租二轮车、多个共享车等上配设智能体装置100即可。在该情况下，智能体装置100通过与乘员进行对话，从而即使在乘员初次乘坐于搭载智能体装置100的车辆的情况下、或者即使是操作不熟练的乘员，也能够通过声音简便地实施操作。另外，对于驾驶员以外的其他乘员也允许进行的操作，智能体装置100可以将操作委托给其他乘员，因此能够减轻驾驶员的负担。

Claims (9)

1.一种车载设备控制系统，其中，

所述车载设备控制系统具备：

取得部，其取得包括搭乘于车辆的乘员的讲话内容的声音；

车载设备控制部，其搭载于所述车辆，且控制包括扬声器及显示部的车载设备的动作；

声音识别部，其识别由所述取得部取得的包括所述车辆的乘员的讲话内容的声音；

确定部，其确定通过由所述声音识别部识别出的所述乘员的声音来指示动作的所述车载设备；

判定部，其判定确定出的所述车载设备是否是属于规定的组的车载设备；以及

通用开关，

在由所述判定部判定为接受所述指示的车载设备是属于所述规定的组的车载设备的情况下，所述车载设备控制部通过所述扬声器或所述显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方，且在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作，

所述车载设备控制系统还具备开关，该开关在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备以外的车载设备时，使所述车载设备控制部控制属于所述规定的组以外的组的车载设备的动作。

2.根据权利要求1所述的车载设备控制系统，其中，

属于所述规定的组的车载设备是对所述车辆的行为产生影响的车载设备。

3.根据权利要求1所述的车载设备控制系统，其中，

属于所述规定的组的车载设备是与仅允许所述车辆中的驾驶员进行的操作对应的车载设备。

4.根据权利要求1所述的车载设备控制系统，其中，

所述通用开关是除了接受包括表示所述同意的输入在内的与声音指示相关的规定的输入的场景以外，还能够使用于其他用途的开关。

5.根据权利要求4所述的车载设备控制系统，其中，

在通过所述通用开关接受到表示开始接受声音的输入的情况下，所述声音识别部开始识别由作为所述取得部的话筒收集到的包括所述乘员的讲话内容的声音。

6.根据权利要求1或5所述的车载设备控制系统，其中，

所述通用开关设置于转向盘。

7.一种车载设备控制装置，其中，

所述车载设备控制装置具备：

取得部，其取得包括搭乘于车辆的乘员的讲话内容的声音；

车载设备控制部，其搭载于所述车辆，且控制包括扬声器及显示部的车载设备的动作；

声音识别部，其识别由所述取得部取得的包括所述乘员的讲话内容的声音；

确定部，其确定通过由所述声音识别部识别出的所述乘员的声音来指示动作的所述车载设备；

判定部，其判定确定出的所述车载设备是否是属于规定的组的车载设备；以及

通用开关，

在由所述判定部判定为接受所述指示的车载设备是属于所述规定的组的车载设备的情况下，所述车载设备控制部通过所述扬声器或所述显示部来输出询问属于规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方，且在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作，

所述车载设备控制装置还具备开关，该开关在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备以外的车载设备时，使所述车载设备控制部控制属于所述规定的组以外的组的车载设备的动作。

8.一种车载设备控制方法，其中，

所述车载设备控制方法使具备取得包括车辆的乘员的讲话内容的声音的取得部和通用开关的车载设备控制系统中的单一或多个计算机执行如下步骤：

识别包括所述乘员的讲话内容的声音；

确定通过识别出的所述乘员的声音来指示动作的车载设备；

判定确定出的所述车载设备是否是属于规定的组的车载设备；

在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备的情况下，通过扬声器或显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于规定的组的车载设备中的所述动作的促进同意图像中的至少一方；以及

此时，在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作，

所述车载设备控制系统还具备开关，该开关在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备以外的车载设备时，控制属于所述规定的组以外的组的车载设备的动作。

9.一种存储介质，其中，

所述存储介质存储有程序，所述程序安装于具备取得包括车辆的乘员的讲话内容的声音的取得部和通用开关的车载设备控制系统中的单一或多个计算机，且所述程序使所述计算机执行如下处理：

识别包括所述乘员的讲话内容的声音；

确定通过识别出的所述乘员的声音来指示动作的车载设备；

判定确定出的所述车载设备是否是属于规定的组的车载设备；

在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备的情况下，通过扬声器或显示部来输出询问属于所述规定的组的车载设备是否可以执行与所述指示对应的动作的声音、以及催促同意执行属于所述规定的组的车载设备中的所述动作的促进同意图像中的至少一方；以及

此时，在通过所述通用开关接受到表示所述乘员同意执行所述指示的输入的情况下，控制接受所述指示的所述车载设备的动作，

所述车载设备控制系统还具备开关，该开关在判定为接受所述指示的所述车载设备是属于所述规定的组的车载设备以外的车载设备时，控制属于所述规定的组以外的组的车载设备的动作。