[go: up one dir, main page]

CN101669090A - 情绪提示系统和方法 - Google Patents

情绪提示系统和方法 Download PDF

Info

Publication number
CN101669090A
CN101669090A CN200880013046A CN200880013046A CN101669090A CN 101669090 A CN101669090 A CN 101669090A CN 200880013046 A CN200880013046 A CN 200880013046A CN 200880013046 A CN200880013046 A CN 200880013046A CN 101669090 A CN101669090 A CN 101669090A
Authority
CN
China
Prior art keywords
speech
virtual image
emotional state
passenger
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880013046A
Other languages
English (en)
Inventor
迪米塔·彼特诺夫·菲利夫
奥莱格·由里维奇·古斯京
埃里克·克拉夫
陈一帆
法扎尔·阿拉曼·塞伊德
佩里·麦尼尔
马克·申德
托马斯·吉由里
巴萨瓦拉杰·托恩沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN101669090A publication Critical patent/CN101669090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)

Abstract

可以将关于装置的信息带感情地传达给装置的用户。可接收指示装置的运行状态的输入。可以将所述输入变换成表示模拟情绪状态的数据。可产生及显示表示表达所述模拟情绪状态的虚拟形象的数据。可从用户接收与虚拟形象表达的模拟情绪状态有关的询问。可对所述询问做出答复。

Description

情绪提示系统和方法
本申请要求于2007年4月26日提交的第60/914,152号美国临时专利申请的权益。
背景
阿伽俚等的公开号为2007/0074114的美国专利申请公开了一种用于人机界面和用户之间的自动的诱导对话的人机界面以及一种操作这种界面的方法。所述方法包括向用户呈现用于向用户传达信息的虚拟形象(Avatar)或动画图像并且接收与用户的个人属性有关的实时数据，从而修改所述虚拟形象或动画图像的视觉外观和/或音频输出作为与用户的个人属性有关的接收的数据的功能。
发明内容
一种用于向装置的用户带感情地传达信息的方法可包括：接收指示所述装置的运行状态的输入，将所述输入变换为表示模拟情绪状态的数据，并且产生表示表达所述模拟情绪状态的虚拟形象的数据。所述方法还可包括：显示所述虚拟形象，从用户接收与虚拟形象表达的模拟情绪状态有关的询问，并对所述询问做出答复。
附图说明
图1是用于机动车辆的情绪提示系统的实施例的框图。
图2是图1的情绪提示系统的一部分的框图。
图3是图1的情绪提示系统的另一部分的框图。
图4是图1的机动车辆的一部分的框图。
图5是图1的机动车辆的另一部分的框图。
图6是图1的情绪提示系统的再另一部分的框图。
图7是用于图1的情绪提示系统的通信管理器的实施例的框图。
图8是用于图1的情绪提示系统的通信管理器的另一实施例的框图。
图9A和图9B是用于图1的情绪提示系统的情绪引擎的一部分的框图。
图10是用于图1的情绪提示系统的言语对话管理器的框图。
图11是图10的言语对话管理器的另一框图。
图12是描述图10的言语对话管理器使用的算法的流程图。
图13是用于图1的情绪提示系统的情绪言语合成器的框图。
图14A和图14B是描述图13的情绪言语合成器使用的算法的流程图。
图15是用于图1的情绪提示系统的显示渲染引擎和文本言语转换引擎的框图。
图16是图1的情绪提示系统的学习模块的框图。
图17A至图17C是描述图16的学习模块使用的算法的流程图。
图18是用于图1的情绪提示系统的任务管理器的框图。
图19是图18的任务管理器的另一框图。
图20A和图20B是描述图18的任务管理器使用的算法的流程图。
图21是配置与图1的情绪提示系统交互的智能体(agent)的框图。
具体实施方式
现在参考图1，情绪提示系统(EAS)10的实施例帮助车辆14的乘客/用户12操作车辆14并通过网络17访问远离车辆14的信息源16n(例如，网络服务器等)。当然，可在任何类型的装置和/或机器范围内实施EAS 10的其他实施例。例如，EAS 10可附于家用电器、手持计算装置等。可以将EAS10的特定实施例实现为可与另一装置和/或机器连接的集成的模块。这样用户可携带他们的EAS 10，并且使用EAS 10与他们期望交互的装置和/或机器进行交互。也可以使用其他的配置和结构。
在图1的实施例中，传感器18检测乘客12产生的输入，并且将所述输入转换为用于计算机20的数字信息。计算机20接收这些输入以及来自信息源16n和车辆系统22的输入。计算机20处理这些输入并且产生用于乘客12、信息源16n和车辆系统22中的至少一个的输出。致动器/输出等24将用于乘客12的输出从数字格式转换为乘客12可领会的格式，如视觉的、可听的、可触知的、触觉的等。
在一些实施例中，乘客12可通过遵循公开的规则的言语对话与EAS 10通信。例如，乘客12可提问“在这个地区内有好餐馆吗？”。作为答复，EAS10可查询适当的信息源16n，以及从车辆系统22查询地理位置信息，并且确定车辆14的当前位置附近的评级高的餐馆列表。EAS 10可使用模拟对话答复“有几个。要听列表吗？”乘客12的肯定回答可使得EAS 10读取所述列表。
乘客14还可命令EAS 10改变与车辆系统22相关的特定参数。例如，乘客14可以说“今天我想开快点”。作为答复，EAS 10可以提问“你要优化动力传动系统进行性能驾驶吗？”。乘客12的肯定回答可使得EAS 10改变引擎调节参数以增强性能。
在一些实施例中，可启动EAS 10的言语对话，而不必按任何按钮或实际将输入提供给EAS 10。此开放麦克风功能允许乘客12以与乘客12会与车辆14的另一乘客发起交谈相同的方式与EAS 10发起交谈。
乘客12也可在EAS 10讲话时加以“干涉”(“barge-in”)。例如，当EAS 10读取上述的餐馆列表时，乘客12可插话“告诉我更多餐馆X的信息。”。作为答复，EAS 10可停止读取所述列表，并且查询适当的信息源16n以搜集有关餐馆X的附加信息。然后，EAS 10可将所述附加信息读给乘客12。
在一些实施例中，致动器/输出24包括选择地显示虚拟形象的屏幕。所述虚拟形象可以是人、动物、机器、植物、车辆等的图形表示，并且可包括能够视觉地传达情绪的特征(如脸等)。如果例如车辆14的速度大于生产商或用户限定的阈值，则可从视野隐藏所述虚拟形象。但是，可以继续听到所述虚拟形象的声音。当然，可使用任何适合的类型的显示技术(如全息或平视显示)。
所述虚拟形象的模拟的人的情绪状态可取决于包括乘客12的估计情绪状态、车辆14的状况和/或EAS 10执行任务的质量等的各种不同的标准。例如，传感器18可检测乘客12的头部运动、言语韵律、生物测定信息等，当计算机20处理后的所述头部运动、言语韵律、生物测定信息等时，指示乘客12为愤怒。在一个示例答复中，EAS 10可限制或中止当乘客12愤怒时发起的与乘客12的对话。在另一个示例答复中，可将所述虚拟形象处理成蓝色调带有关注的面部表情，并且用平静的声音问“有什么烦心事吗？”。如果乘客12回答“因为这种路况，我想上班会迟到”，所述虚拟形象可能问“要我找更快捷的路线吗？”或者“要我给什么人打电话吗？”。如果乘客12回答“不要。这是唯一的一条路......”，那么所述虚拟形象可提问“要听点古典音乐吗？”。乘客12可回答“不要。不过你能告诉我有关即将进行的选举吗？”。作为回答，EAS 10可查询适当的信息源16n收集有关选举的最新消息。在所述查询期间，如果与信息源16n之间的通信链路稳固，则所述虚拟形象可显出开心的样子。但是，如果与信息源16n之间的通信链路微弱，则所述虚拟形象可显出难过的样子，促使乘客提问“有困难得到选举的新闻吗？”。所述虚拟形象可以回答“是的。我无法建立远程通信链路。”。
在上述交流期间，如果例如，车辆14频繁地加速和减速或者遭遇操纵困难，则所述虚拟形象可显出受挫的样子。这种模拟情绪的改变可促使乘客12问“怎么了？”。虚拟形象可回答“你的驾驶在损害我的燃油效率。你也许该减少频繁的加速和减速。”。如果例如，虚拟形象不明白乘客12的命令或查询，则虚拟形象还可显出困惑的样子。这种类型的对话可继续，虚拟形象通过其外观、表情、声音的语调、字词选择等动态地改变其模拟情绪状态以向乘客12传达信息。
EAS 10还可基于乘客12和EAS 10之间的交互历史来学习预测乘客12的请求、命令和/或喜好。例如，EAS 10可能认识到，当环境温度高于华氏80°时，乘客12喜好华氏72°的舱内温度，而当环境温度低于华氏40°并且是多云天气时，乘客12喜好华氏78°的舱内温度。这种气候控制设置和环境温度的记录可通知EAS 10乘客12的这种明显的喜好。类似地，EAS 10可能认识到，启动车辆时，乘客12喜好收听当地路况报告。紧跟车辆启动后的对路况新闻的若干请求的记录可促使EAS 10在车辆启动时收集这种信息，并且询问乘客12他们是否想收听当地路况。也可以学习其他行为。
可以用乘客定义的标准补充和/或初始化这些学习的请求、命令和/或喜好。例如，乘客12可通知EAS 10其不喜欢讨论体育而喜欢讨论音乐等。在此例中，EAS 10可避免与乘客12发起有关体育的谈话，而是阶段性地与乘客12谈论音乐。
现在参照图2，计算机20双向地与以下两者通信：(i)无线网络接口26，以访问图1示出的信息源16n；(ii)集线器，如USB集线器28，以访问外围设备(如按钮30、摄像机32、车辆总线控制器34、声音设备和私人车辆网络38)。计算机20还与在其上可渲染虚拟形象的显示器40(如上所述)通信。当然，也可以使用其他配置和结构。
现在参照图3，无线网络接口26可通过例如，演进数据最优化(evolution-data optimized，EVDO)设备42和网络17(如蜂窝式宽带/互联网等)建立与远程网络服务器16a的通信链路。EVDO设备通过蜂窝网络提供链接等级(如IEEE802.1)的分组数据服务。将来自无线网络接口26的信息提供给EVDO 42，并且通过网际协议(IP)传输给与网络17链接的网络(未示出)。通过IP分组传送传输控制协议(TCP)和通用数据报协议(UDP)数据分组。使用套接字提供与网络服务器16a的面向连接(TCP)或无连接(UDP)连接。在其他实施例中，可使用任何适合的无线通信技术，如正交频分复用(OFDM)、城域网(WAN)、WiMax等。
现在参考图4，车辆总线控制器34可提供用于图2示出的计算机20的端口以交换有关车辆系统22的信息。图4的车辆总线控制器34通过数据传递插接器(DLC)50与例如动力传动控建模块46和仪表盘/板48交换信息信号。类似地，车辆总线控制器34可通过智能分线盒(smart junction box)56和DLC 50交换有关导航系统52、HVAC系统54等的信息信号。可通过控制区域网络(CAN)总线、局域网总线或电阻梯形网络(resistor ladder network，RLN)(也称作线联电阻)执行车辆内的这种通信。但是，可以使用任何适合的通信技术。
现在参照图5，声音装置36可从麦克风58接收模拟音频输入。声音装置36将所述模拟输入转换为用于图2所示的计算机20的数字输出。声音装置36也可以从计算机20接收表示例如虚拟形象的声音的数字输入。声音装置36将所述数字输入转换为用于放大器60的模拟输出。可以在一组扬声器62上播放这些放大的模拟输出。
现在参照图6，计算机20可包括与特定硬件(如图2示出的硬件)相应的装置驱动程序64。装置驱动程序64与软件模块66交互，以此可提供图2示出的硬件和软件模块66之间的接口。软件模块66提供和/或接收如下所述图1示出的EAS 10内的各种子系统使用的输出和/或输入。
如USB集线器驱动程序68、CAN总线、蓝牙等的外围接口总线解复用/复用来自/到图2所示的USB集线器28的信息给摄像机驱动程序70、麦克风驱动程序72、按钮驱动程序76、车辆总线控制驱动程序76、个人车辆网络驱动程序78、扬声器驱动程序80和显示器驱动程序81。当然，也可以根据意愿包括其他和/或不同的驱动程序。
可使用多种网络，包括环形、网格形、星形、完全连接形、线形、树形和总线等。USB是以每秒1.5、12、480和4800兆比特运行的混合星/树状网络。网络可以是有线或无线的，广泛使用利用行业标准芯片集(如SMSC半导体的USB251x族芯片)的商业产品。USB实施可具有足够吞吐量来支持6个音频信道、一个视频信道和各种其他装置。网络可以有线或无线的。当然，也可以使用其他配置。
摄像机驱动程序70通过I/O流将数字视频数据提供给图像识别模块82。图6的图像识别模块82处理所述数字视频数据，并且输出指示来自图1示出的乘客12的视觉提示的参数。当然，参数是可以使用适合的图像识别技术跟踪的乘客特征的数学抽象。这些参数可包括乘客识别、注视方向、点头数、微笑指数、嘴唇大小和形状、瞳孔位置、瞳孔大小、鼻孔位置、眼眉、面部轮廓等。也可以使用其他的参数，如发迹线和皱纹等。
乘客识别是表示乘客12的身份的参数。注视方向、点头数、微笑指数、嘴唇运动是表示乘客12的运动的参数。
在图6的实施例中，图像识别模块82识别乘客特征，逐个图像地跟踪这些特征，并且识别运动的模式。然后，通过姿态分类算法(如顺序矢量机器、神经网络等)将这些运动分类成具体姿态，得到指示来自乘客12的视觉提示的参数。在其他实施例中，图像识别模块82可利用任何适合的图像识别技术。在本领域中有多个这样的算法/方法为公众所知。一种方式使用光谱图技术(spectral graph technique)聚集形状和外观特征，然后将所述聚集分组成随时间变化的面部姿态。第二种方式使用基于在用于快速处理的专用硬件上实现的实值超平面的分类器。第三种方法结合自适应基于视点的外观模型(Adaptive View-based Appearance Model)和3D视点注册算法(3D viewRegistration Algorithm)。也可以使用其他方法。
麦克风驱动程序72通过I/O流将音频提供给自动言语识别/语音识别模块84。图6的自动言语识别/语音识别模块84处理数字音频数据并且输出指示来自图1所示的乘客12的音频提示的参数。在其他实施例中，自动言语识别/语音识别模块84也可处理图像识别模块82输出的所述一个或多个参数(如嘴唇运动)。自动言语识别/语音识别模块84输出的参数包括N佳列表和乘客识别。但是，可以使用任何适合的参数。
在该例中，N佳列表可包括来自图1示出的乘客12的部分言语的发言记录(即声音记录)以及一组相关的识别条目。每个识别条目可包括文本版本的发言记录连同信心参数。所述信心参数指示所述文本准确地捕捉与所述发言记录相关的词语的信心度。每个识别条目也可包括所述发言记录的自然语言版本。例如，口语句子“The brown dog ran fast.”可用自然语言“(((The(brown*(dog)))(fast*(ran)))”来表示。
在图6的实施例中，一旦收到音频数据，就从所述数字数据提取音位特征，并且使用例如终点算法识别句子的终点。每个句子的音位特征与作为假设的组与一组可能的句子进行比较。选择系统确定是音位数据的正确转录(transcription)的信心最高的假设，并且将所述选择的假设连同信心级别放置在N佳列表。将具体句子的发言记录记录在如下所述随后可用于情绪内容分析的音频文件中。自动言语识别/语音识别模块84还输出自然语言版本的包含句法信息的音位特征。
如上所述，具体发言记录可导致若干识别条目。例如，如果图1示出的乘客12说“要新闻”，则自动言语识别/语音识别模块84可仅产生基于其接收的声音信号的两个假设：“要新闻”和“要评论”。可使用与图1示出的乘客12和EAS 10之间的对话相关的交谈的情景来在多个假设之间做选择。
可通过使用当前话题实现交谈情景分析算法以确定具体假设是否合适。例如，有关餐馆的讨论不会涉及关于新闻的查询。结果，可使用当前交谈的情景来对所述N佳列表重新进行优先级排序，在识别信心中引入情景。
在具体情景(如“新闻”或“餐馆”)中，可识别的句子的特定子集较其他子集更可能出现。例如，句子“要新闻”可能在“新闻”情景中更可能出现，而句子“要评论”可能在“餐馆”情景中更可能出现。如果N佳列表包含来自不同情景的句子，则可为当前情景的句子指定更高的识别信心，大致地对所述N佳列表重新排序。
也可使用所述情景确定是否向图1示出的EAS 10提及具体的发言或是否向车辆14的其他乘客(未示出)提及所述具体的发言。例如，如果EAS 10宣布油量低并且请求驾驶员输入如何继续，如果驾驶员回复“我饿了”，则EAS10可使用情景帮助确定是否向EAS 10提及了短语“我饿了”。用上述的车辆系统接口，可通过从乘客分级系统(OCS)得到输入首先确定在车辆14中是否有多个乘客。如果有多个乘客，则EAS 10可假设超出情景的短语“我饿了”是与其他车辆乘客的部分讨论，而不是指示EAS 10查找餐馆的请求。
可通过来自如下所述的自动言语识别/语音识别模块的语音识别、图像识别(如嘴唇的运动等)和声学确定说话者的位置等来确定说话者的身份。
乘客识别参数指示自动言语识别/语音识别模块84是否识别图1示出的乘客12的声音以及是谁的声音。在图6的实施例中，通过将从乘客12捕捉的声音记录和存储的与一组已知的乘客相关的声音特征进行比较产生乘客识别参数。但是，可以使用任何适合的语音识别算法。
按钮驱动程序74通过应用程序接口(API)将指示例如图2中示出的按钮30是否被按下的数字信息提供给按钮接口模块86。图6的按钮接口模块86处理此信息并且输出指示该按钮按下的参数。在此描述的实施例是多模式的，按下按钮等同于说命令，并且改变交谈的情景。因此，可使用按钮操作(Button push)确定乘客的位置和身份，并且可改变N佳列表中识别假设的选择。
车辆总线控制器76通过API将例如包括CAN I.D.(一种消息类型)和8个数据字节的CAN消息提供给CAN总线接口88。当然，可使用任何适合的车辆网络(如flex ray、J-1850等)和相关协议。CAN总线接口88处理这些CAN消息，并且输出指示车辆系统的状态(如节流阀位置、轮速、油位、油耗、传动装置、刹车转矩等)的协议。
如下所述，CAN总线接口88还以EAS协议的形式从智能体接收输入。但是，可以使用任何适合的协议。CAN总线接口88将这些消息重新打包成CAN协议，并且将所述消息通过驱动程序68、76转送到图2示出的USB集线器28。在一些实施例中，这些消息可包括用于图4中示出的车辆系统22的命令和/或操作参数。例如，消息可包括关于图4中示出的动力传动控建模块46应当如何控制所述引擎(未示出)的信息。也可以使用其他的结构。
个人车辆网络驱动程序78通过API将与特定车辆系统未与图4示出的CAN通信相关的数字信息提供给辅助网络接口90。例如，可能不能够通过CAN广播窗口位置和窗口发动机电压信息，但是可以通过个人车辆网络驱动程序78读取这些信息。此外，在个人车辆网络上安装的装置可具有允许图1中示出的EAS 10确定与RLN连接的常规控制的状态并控制RLN网络模拟常规控制的使用的模数和数模转换器。
图6的辅助网络接口90获得模拟信号，并且将所述模拟信号转换为数字协议。然后，辅助网络接口90将所述数字协议转换为EAS协议供特定EAS智能体(随后将更为详细地描述)使用。这样的信息可指示车辆系统未与图4示出的CAN通信的状态。
与CAN总线接口88相似，辅助网络接口90还从特定EAS智能体以EAS协议的形式接收输入。辅助网络接口90将这些消息重新打包成用于数模转换的格式。然后，可将模拟输出递送给例如图1中示出的致动器24和/或图1中示出的车辆14内的各种RLN(未示出)。
在图6的实施例中的虚拟形象控制器92可以是计算机程序和渲染引擎，所述渲染引擎使用多组应用程序接口(API)之一支持在图2中示出的显示器40上渲染虚拟形象。为此，可以使用许多渲染引擎，包括Renderware、TorqueGame Engine、TV3D、3D Game Studio、C4 Engine、DX Studio、Crystal Space、Game Blender等。这些渲染引擎使用多种面向图形的API，包括Direct3D、OpenGL、DirectX、SDL、OpenAL等。
虚拟形象控制器92接收数字以及用于控制虚拟形象的几何变换的文本输入和其合成的文本输出。在图6的实施例中，这些输入包括指示按钮渲染、虚拟形象情绪、文本语音转换控制和情绪标记文本的参数。也可以使用其他和/或不同的输入。
按钮渲染参数通知虚拟形象控制器92如何渲染从图2示出的显示器40可见的任何虚拟按钮。虚拟形象姿态和文本语音转换控制通知虚拟形象控制器92当虚拟形象讲话时如何渲染虚拟形象的运动和面部表情。例如，虚拟形象姿态可控制虚拟形象的手的运动、注视方向等。文本语音转换控制可控制何时开始、结束、暂停、异常中止或重新开始任何文本语音转换操作。如下的详细描述，虚拟形象情绪和情绪标记文本通知虚拟形象控制器92当虚拟形象表达情绪时如何渲染虚拟形象的运动和面部表情。
简短地说，图6的实施例中的虚拟形象情绪包括一组虚拟形象情绪的加权矢量表示。情绪标记文本包括指示与短语的特定词相关的情绪内容的标记短语。动态地改变虚拟形象外观以表达情绪、指示在讲话和/或传达信息等。通过操纵虚拟形象表面上的特定点来控制虚拟形象表达。在计算机产生的虚拟形象中，通常使用多边形建模技术/算法制作物理的虚拟形象的三维表面的数学表示。或者，可使用样条曲线(如NURBS)、细分表面、基于方程的表示等对表面建模。在多边形建模中，使用许多一致的扁平多边形来近似实际表面。每个多边形可与颜色和纹理映射相关，所述颜色和纹理映射定义如表面粗糙度、颜色变化、反射率、镜面反射度(specularity)等的光学特性。然后可使用采用点光源和环境光的分布的明暗算法为该模型照明。明暗算法一般在渲染速度和图像看起来多自然之间进行折衷，在本领域有几种公知的方法，如光线跟踪、Nebulaud明暗处理、Gouraud明暗处理、Phong明暗处理、Cel-shading等。在一些实施例中，明暗处理的自然度应匹配声音的自然度和虚拟形象的措辞。可通过在渲染引擎中移动多边形顶点的位置、改变多边形的颜色和纹理、改变光的颜色和位置等动态地操纵虚拟形象的外观。
虚拟形象控制器92处理上述输入，并通过流将图像帧提供给显示器驱动程序81。显示器驱动程序81使用任何适合的技术处理所述图像帧，并且将处理的图像帧输出给图2示出的显示器40。
虚拟形象控制器92还通过I/O流将与上述输入相关的数字音频数据提供给扬声器驱动程序80。扬声器驱动程序80将该数据提供给USB集线器驱动程序68以递送给图5示出的声音装置36。
虚拟形象控制器92产生如下所述可用作定时信息的若干输出以帮助控制虚拟形象。在图6的实施例中，虚拟形象控制器92输出指示虚拟形象的完成的文本串、句子、词、音节、视位(viseme)、姿态等(在此统称为虚拟形象事件)的参数。当然，可以使用其他和/或不同的参数。可使用虚拟形象是否完成了文本串以及虚拟形象的当前嘴唇位置来确定是否和/或何时用例如更紧迫性质的言语中断虚拟形象当前的言语。
可使用对言语的每个语音变体相关的一组预定义的嘴唇位置将虚拟形象的嘴唇运动动画化。可使用与视位相应的数字来为语素或连接到虚拟形象脸部的其余部分的每个位置编索引。存在标准的视位集(如迪斯尼视位)以及一些其他常用的视位集。文本语音转换引擎产生与产生的言语在时间上同步的视位流。将所述视位流传输到渲染引擎来影响嘴唇运动。
在图6的实施例中，HTTP客户机94可建立与图1示出的远程服务器16n之一的进程间套接字连接。HTTP客户机94形成HTTP URL，通过套接字连接将所述HTTP URL发送给远程服务器16n并且等待答复。远程服务器16n形成例如XML格式的答复，并且通过套接字连接将所述答复发送给HTTP客户机94。然后，HTTP客户机94可将所述答复格式化成例如EAS协议，供EAS智能体使用。
如在此描述，图1示出的EAS 10和其他有关的系统包括彼此通过例如进程间通信进行通信的多个硬件和/或软件模块。为了清楚起见，参照图7和图8描述可用于帮助这种通信的技术，而在讨论在此提供的其他附图时不再详细地描述这种通信问题。但是，也可使用其他适合的通信构架。
现在参照图7，通信管理器96(如面向消息的中间件方案(MOM)，例如SunJava、Java消息服务、高级消息队列协议等)的实施例包括允许硬件接口程序100将信息广播到在此示出的EAS 10的模块/从在此示出的EAS 10的模块接收信息的一组数据库98和一组旗语(semaphore)99。自/至数据库98的事务可以是原子的(atomic)，并且可以使用旗语99对所述事务进行同步。
在一些实施例中，图6中和其他地方描述的一些软件模块66的每个可实施图7的通信模型。例如，硬件接口程序100可表示图6示出的图像识别模块82、按钮接口86等。
在图7的实施例中，将软件模块102逻辑分组成若干类别：输入函数104、输入/输出函数106、输出函数108和阻断的输出函数110。正如对本领域的普通技术人员来说显而易见，软件模块102使用任何合适的I/O函数实施自/至数据库98的事务，并且将任何硬件协议(例如，CAN消息等)转换为例如EAS协议、XML等。
将来自硬件接口程序100的将由任何软件模块102中的任何一个处理的数据存储在数据库98的一个或多个中。将用于输入/输出函数106、输出函数108和阻断的输出函数110的硬件接口程序100的输出数据存储在输出数据库112中，并且根据需要这些函数访问所述输出数据。将用于阻断的输出函数110的硬件接口程序100的输出数据存储在旗语数据库99中，并且与前述相似，根据需要所述阻断的输出函数访问所述输出数据。
同样，将来自软件模块102的将由硬件接口程序100处理的数据存储在数据库98中。将输入函数104和输入/输出函数106的输入数据存储在输入数据库116中，并且根据需要所述硬件接口程序100访问所述输出数据。
正如对本领域的普通技术人员来说显而易见的，逻辑地布置图7的通信管理器96，从而将硬件接口程序100和软件模块102的时基分离。分布式数据库98是允许硬件接口程序100和软件模块102在其各自的时间限制内操作的调解者。这种分离可促进组成图1示出的EAS 10的软件和硬件之间的可伸缩性。
现在参照图8，通信管理器118的另一实施例(如智能纵横制系统等)包括逻辑地与一组规则122接口的集中式数据库120。规则122控制与各种EAS应用124、126、128等相关的各种EAS应用线程123n(123a、123b、123c等)如何将数据写入数据库120和从数据库120提取数据。在此例中，EAS应用124可表示图6和其他地方示出的软件模块66中的一个或更多。EAS应用126可表示图6和其他地方等示出的软件模块中的另一个或更多。
当需要在EAS应用124、126、128等之间进行数据通信时，为这些EAS应用建立线程123n。例如，通信管理器118可建立与EAS应用124的线程123a以允许EAS应用124将EAS应用126随后使用的数据写入数据库120中。
将该数据装配到协议中并且通过套接字在EAS应用124和通信管理器118之间对该数据进行通信。规则122将所述数据解析，然后根据例如数据的性质以及哪个应用产生了该数据来为其指定数据库120中适当的位置。然后，调用适当的一组其他的线程123n来通过例如EAS协议将所述数据发送给其相关的应用。例如，建立线程123b以协助EAS应用126和通信管理器118之间的通信。
EAS应用126通过套接字提交对数据的请求。规则122解析所述请求，并且提供请求的数据线程123b，因此通过所述套接字将数据线程123b提供给EAS应用126。
如上所述，虚拟形象可向图1示出的乘客12传达信息和/或通过模拟情绪的使用帮助与乘客的言语对话。可通过虚拟形象例如通过图5示出的扬声器62在视觉和/或听觉上表达此模拟情绪。参考图9A和图9B描述产生模拟情绪的技术。
现在参照图9A，情绪产生器132从在此描述的各模块接收一组输入，分析/变换这些输入，并且产生用于虚拟形象的模拟情绪状态。在图9A的实施例中，该模拟情绪状态是加权的情绪矢量的形式。
将所述模拟情绪状态通信到图6示出的虚拟形象控制器92并且所述虚拟形象控制器92对所述模拟情绪状态进行处理。如下所述，情绪矢量的每个变量的相对权重指导虚拟形象控制器92虚拟形象应当出现和讲话表达适当的情绪的方式。
在图9A的实施例中，用软件实施情绪产生器132。但是，可以用固件或任何其他合适的配置实施情绪产生器132。
如恐惧的情绪可与会被识别为恐惧的表情的具体一组虚拟形象面部位置和言语模式/语调相关联。回到图6，虚拟形象控制器82将图9A示出的情绪产生器132产生的情绪矢量(即虚拟形象情绪)变换为指示将表达的情绪的一组运动和面部表情。例如，虚拟形象控制器92，可包括将用于每个情绪的权重值范围变换(如映射)为一组相应的面部表情的数据库：“开心”的虚拟形象情绪可与指示微笑的嘴唇位置相应；“开心”和“惊讶”的虚拟形象情绪可与指示微笑的嘴唇位置和挑高的眉毛位置相应。在此例中，虚拟形象微笑和/或挑高眉毛的程度是对与所述情绪相关的变量加权的函数。“惊讶”的权重越重，眉毛位置越高等。例如，如果将情绪矢量加权为50％的“惊讶”和50％的“恐惧”，则虚拟形象将以暗示其吃惊和害怕的方式表现(和讲话)。
可使用几个系统和/或算法确定面部表情和情绪之间的对应。例如，美术领域长久的传统已经将表情和情绪之间的关系整编成法。此外，还有整编成法与如面部行为编码系统的科学方法相应。动画商已经开发了用于将情绪注入预渲染的动画人物中的多种打包的系统，如Maya的面部动画工具套装(Facial Animation Toolset)和Intel面部动画库。但是，不同的情绪之间的关系可能更复杂。例如，“恐惧”激发特定的面部肌肉组，正如“惊讶”一样。两组肌肉的程度不同，他们产生的动作也不同。但是，两种情绪可激发相同的肌肉，在程度相同的情况下，那些动作可能被折衷/混和。
现在参照图9B，韵律分析模块134、词法分析模块136和/或句法分析模块138中的一个或多个可对图6示出的自动言语识别/语音识别模块84的输出进行预处理。将模块134、136和138的输出提供给情绪估计模块140。情绪估计模块140聚集这些输出以产生对图1示出的乘客12的情绪状态的估计。在图9B的实施例中，用软件实施模块134、136、138和140。但是，可以以任何适合的方式实施这些模块。
图9B的韵律分析模块134可使用多参数言语分析算法来确定乘客的情感状态。例如，计算言语输入的特定特征，如语速、音调、音调改变速率、音调变化、Teager能量算子、强度、强度改变、清晰度、音韵、语音质量、谐噪比或其他言语特性。使用与基线值相比这些值的改变作为输入给确定在连续比例上或作为言语类别的情绪的分类器算法。
如果与语义分析结合，可使韵律分析算法更强。这些算法分析乘客言语的韵律。例如，可实施将言语的音量映射到情绪“激动”的规则：音量越大，“激动”的等级越高。当然，也可以实施其他规则。基本的情绪可包括“恐惧”、“愤怒”、“悲伤”、“开心”和“厌恶”。可指示这些情绪的语音要素可包括语速、平均音调、音调范围、强度、音色和清晰度。
言语的词法分析也会有帮助：“多云”更常用时，使用如“阴天”的词会指示负面情绪。此外，可以分析句法来确定例如讲话者使用被动或主动的语音。主动语音的使用可指示信心和开心。但是，也可以使用其他技术和/或算法等。
词法分析模块136和句法分析模块138中的每个将一组在特定实施例中实现的算法作为规则应用到言语识别输出，以产生指示图1示出的评价的乘客12情绪状态的各情绪矢量。词法分析算法可提取乘客12说出的词的文本形式，并且使用情感词典。一个这样的词典是包含明确情绪内容的情感语音词典(DAL)将它们分类。可以使用明确情绪内容将统计分析应用到语料库中的所有的词，以确定讲话者想要表达的情绪。例如，词法分析模块136可将乘客12的诅咒语使用的频率映射到情绪“挫折感”：频率越高，“挫折感”的等级越高。将在特定实施例中作为句法分析模块138中的规则实施的算法可将口语句子的平均的词的长度映射到情绪“愤怒”：平均句子越短，“愤怒”的等级越高。也可以实施其他算法和/或规则等。句法分析算法可使用口语讲话中如句子长度、标点的使用、动词的种类(经历或动作)、动词评价(正或负)、动词的力度(高或低)等的要素来确定讲话者的情绪。
在在此描述的特定实施例中，使用四种情绪来表示图1示出的乘客12的评价的情绪状态：“开心”、“悲伤”、“恐惧”和“惊讶”。也可以使用其他和/或不同的情绪。可通过三个变量表示这四种情绪：“HS”、“FR”和“SP”。例如，可对负-高(“NH”)、负-低(“NL”)、中性(“NT”)、正-低(“PL”)和正-高(“PH”)的值采用“HS”变量。“NH”和“NL”指示“悲伤”的程度。“PL”和“PH”指示“开心”的程度。可对中性(NT)、正-低(PL)和正-高(PH)的值采用“FR”和“SP”变量中的每一个。
图9B的情绪估计器140将实现为一组规则的算法应用到模块134、136和138输出的情绪矢量，并且将所述情绪矢量变换为图1示出的乘客12的情绪的估计。也可使用其他适合的算法和/或分析技术(如神经网络)。例如，可将一组基于模糊的规则应用到模块134、136、138中的每个对“恐惧”进行评价(即“FR”变量)以实现对“恐惧”的聚集测量。例如，如果从模块134、136、138对“恐惧”的各测量为“HP”、“LP”和“NT”，则情绪估计器140应用的模糊规则可得出乘客12“恐惧”的聚集测量为“LP”。因此，在该例中，有效地对来自模块134、136、138的每个的“恐惧”测量给予同等的权重。
在一些实施例中，例如，根据每个模块测量乘客12的情绪状态的准确度和精确度，情绪估计器140应用的算法可能偏重于模块134、136、138中的特定模块的结果。在其他实施例中，基于从图1示出的乘客12的反馈，情绪估计器140可动态地偏重于模块134、136、138中的特定模块的结果。图1示出的EAS 10可例如，偶尔请求乘客12按照“开心”、“悲伤”、“恐惧”和“惊讶”的形式描述他们的情绪状态。在从乘客12接收到乘客12的这种反馈时，可调节情绪产生器140从而其结果紧密地跟踪乘客自己对他们情绪状态的评价。例如，如果词法分析模块136产生与乘客自己对他们情绪状态的评价最接近的评价情绪状态，则情绪产生器140可开始忽略或更少地依赖来自韵律模块138和句法模块134的情绪评价。
可执行与上述那些评价相似的评价以获得来自模块134、136、138的每个的情绪矢量的其他变量。总地来说，这些变量形成基于图1示出的乘客12的言语，表示估计的乘客情绪状态的情绪矢量。如下所述，可将该估计的乘客情绪状态用作确定虚拟形象的适当的模拟情绪状态时的输入。
回到图9A，可以将来自图9B示出的情绪估计器140的乘客情绪、来自图6示出的图像识别模块82的图像识别输出、来自图6示出的CAN总线接口88的车辆系统输出和智能体情绪作为输入提供给情绪产生器132。
如以下更详细地描述的，智能体可以是与图1示出的EAS 10交互以实现特定任务/功能的独立程序。在图9A的实施例中，可以由智能体输出智能体情绪，并且所述智能体情绪指示智能体在图1示出的车辆14的状态执行任务或结果的质量。例如，如果引擎(未示出)油量低，则虚拟形象可以用负的表情给予反映。同样，负责建立和维护与远程位置的无线通信链路的web智能体可输出作为对与所述通信链路相关的连接性和性能的测量的情绪。
以下是实施为用于将与上述的web智能体相关的连接性和性能变换为一组情绪的一组规则的示例算法。对本领域普通技术人员来说显而易见，该示例也可以说明在此讨论的其他类型的算法。在该示例中，将图1示出的计算机20与通过图1示出的远程网络17可访问的信息源的连接性(“Conn”)描述为“差”(“Poor”)或“好”(“Good”)。将与所述连接性相关的性能描述为“低”(“Low”)、“中”(“Medium”)或“高”(“High”)。将连接性的改变(“ConnChng”)和性能的改变(“PerfChng”)描述为正(“Pos”)、零(“Zero”)或负(“Neg”)：
1.If(Conn is Poor)and(ConnChng is Pos)then(HS isnL)(FR is PL)(SPis PL).
2.If(Conn is Poor)and(ConnChng is Zero)and(Perf is Low)and(PerfChng is Zero)then(HS is NL)(FR is PL)(SP is NT).
3.If(Conn is Good)and(ConnChng is Zero)and(Perf is Low)and(PerfChng is Neg)then(HS is NL)(FR is PL)(SP is NT).
4.If(Conn is Good)and(ConnChng is Zero)and(Perf is Low)and(PerfChng is Zero)then(HS is NL)(FR is PL)(SP is NT).
5.If(Conn is Good)and(ConnChng is Zero)and(Perf is Low)and(PerfChng is Pos)then(HS isnT)(FR is NT)(SP is NT).
6.If(Conn is Good)and(ConnChng is Zero)and(Perf is Medium)and(PerfChng is Neg)then(HS is NT)(FR is NT)(SP is NT).
7.If(Conn is Good)and(ConnChng is Zero)and(Perf is Medium)and(PerfChng is Zero)then(HS is PH)(FR is NT)(SP is NT).
8.If(Conn is Good)and(ConnChng is Zero)and(Perf is Medium)and(PerfChng is Pos)then(HS is PL)(FR is NT)(SP is NT).
9.If(Conn is Good)and(ConnChng is Zero)and(Perf is High)and(PerfChng is Zero)then(HS is PL)(FR is NT)(SP is NT).
10.If(Conn is Good)and(ConnChng is Zero)and(Perf is High)and(PerfChng is Pos)then(HS is PL)(FR is NT)(SP is NT).
11.If(Conn is Good)and(ConnChng isneg)and(Perf is Low)and(PerfChng is Neg)then(HS is NL)(FR is PL)(SP is NT).
12.If(Conn is Good)and(ConnChng is Neg)and(Perf is Low)and(PerfChng is Zero)then(HS is NT)(FR is PL)(SP is NT).
13.If(Conn is Good)and(ConnChng isneg)and(Perf is Low)and(PerfChng is Pos)then(HS is NT)(FR is NT)(SP is NT).
14.If(Conn is Good)and(ConnChng isneg)and(Perf is Medium)and(PerfChng is Neg)then(HS is NT)(FR is NT)(SP is PL).
15.If(Conn is Good)and(ConnChng isneg)and(Perf is Medium)and(PerfChng is Zero)then(HS is PL)(FR is NT)(SP is PL).
16.If(Conn is Good)and(ConnChng isneg)and(Perf is Medium)and(PerfChng is Pos)then(HS is PL)(FR is NT)(SP is NT).
17.If(Conn is Good)and(ConnChng is Neg)and(Perf is High)and(PerfChng is Neg)then(HS is PL)(FR is PL)(SP is PL).
18.If(Conn is Good)and(ConnChng is Neg)and(Perf is High)and(PerfChng is Zero)then(HS is PL)(FR is PL)(SP is NT).
19.If(Conn is Good)and(ConnChng is Neg)and(Perf is High)and(PerfChng is Pos)then(HS is PL)(FR is NT)(SP is PL).
第一规则指示，如果连接性差并且连接性的改变为正，则“开心/不开心”为低-负，“恐惧”为低-正并且“惊讶”为低-正。可以按照相似的方式解释其他规则。
可以由情绪产生器132使用上述一个或多个输入以产生虚拟形象情绪。作为示例，情绪产生器132可忽略除了车辆运行期间的车辆输出以外的其他输出，从而虚拟形象表达的情绪为有效的车辆估计。例如，可将指示图1中示出的车辆14的加速器踏板的位置的参数映射到虚拟形象的眉毛角度。当加速时，虚拟形象可显示眉毛角度向下的攻击性表情。当减速时，虚拟形象可显示眉毛角度朝上的放松表情。类似地，可将图1示出的乘客12可用的功率映射到虚拟形象的嘴的弯曲。当可用的功率大于请求的功率时，虚拟形象可显示嘴角露出微笑的开心表情。当可用的功率小于请求的功率时，虚拟形象可显示嘴角现出不悦的不开心表情。当然，也可以使用其他配置。作为另一个例子，如果例如非驾驶员乘客(未示出)在与虚拟形象谈话，则情绪产生器132可忽略除了言语和图像识别输出以外的其他输出。在该示例配置中，虚拟形象不将与车辆有关的信息传达给非驾驶员乘客。也可以使用其他配置和结构。
情绪产生器132的这种选择能力可将动机和意图反映在图1示出的部分EAS 10上。例如，EAS 10可使用模拟的情绪传达正在讲的话的紧迫性，以配合乘客的情绪，来传达图1示出的车辆系统22的状态等。EAS 10可因此确定显示指示各种输入的情绪的适当时间。
可通过乘客请求和/或自动的方式实施上述的选择能力。在一些实施例中，当产生情绪时，图1示出的乘客12可指令EAS 10忽略除车辆信息(如车辆系统输出或图9A示出的其他输入)以外的其他信息。在其他实施例中，如果例如EAS 10在与乘客12通信时想要强调图1示出的车辆14的状态，则EAS 10在车辆运行期间可自动地忽略除车辆信息以外的其他信息。如果例如，如轮胎压力、油位、引擎温度等的特定车辆运行参数达到危险级别，则算法可指示EAS 10这样做。这样的算法可规定如果引擎温度为“热”，则忽略除车辆系统输出以外的输出。在其他实施例中，如果例如，EAS遇到新的驾驶员并且试图与该新驾驶员建立情绪联接，则EAS 10可自动地忽略除了图像识别输出以外的其他输出。也可以使用其他结构。
情绪产生器132可将在图9A的实施例中实施的一个或多个算法作为与参照图9B示出的情绪估计器140讨论的规则相似的一组规则来应用，以聚集输入，并产生虚拟形象的模拟情绪状态，即虚拟形象情绪。该情绪状态采用加权的多变量矢量(即情绪矢量)的形式。如上所述，该情绪矢量可包括指示“开心”、“悲伤”、“惊讶”和“恐惧”(“激动-安静”、“高兴-不高兴”等)情绪的变量。每个变量可包括用于指示将表达具体情绪的程度的相关权重值。但是，如上所述，可使用其他技术产生虚拟形象的情绪状态。例如，可提供将情绪产生器132接收的各种输入聚集成虚拟形象的模拟情绪状态的适合的神经网络。
如上所述，图1示出的EAS 10可与也是图1也示出的乘客12交谈，以从乘客12收集信息和/或将信息提供给乘客12。参照图10到图12讨论用于管理和协助此谈话的算法/技术/方法。
现在参照图10，言语对话管理器142接收图1示出的乘客12发起的输入(如图像识别、言语识别、按钮的按动、乘客情绪)以及智能体发起的输入(如智能体发起的任务)。言语对话管理器142处理这些输入，并且生产用于虚拟形象、智能体和/或图4示出的车辆系统22。
可以将图10的言语对话管理器142实施为使用如PROLOG、Datalog、HiLog、λProlog等的逻辑编程语言的软件。可以将这些语言与计算语言学相关联。当然，也可以使用其他高级语言，如Java、LISP等。在其他实施例中，可以在嵌入式处理器、现场可编程门陈列、网络服务器上实现言语对话管理器142。
言语对话管理器142产生的任务可包括虚拟形象讲话的文本、言语对话管理器142要传达的意思、将触发所说文本的事件、要说的给定文本的优先级、应如何中断当前虚拟形象操作的性质(传达紧迫性给乘客)、情绪、虚拟形象的动作、动作的优先级和将触发动作执行的事件等。
言语对话管理器142可基于在图10的实施例中实施的作为用于解释给定情景内的乘客和/或智能体输入的一系列规则的算法来产生具体任务的内容。例如，规则可规定，向下注视至少20秒钟可导致产生将提醒驾驶员注意看路的任务。与此任务相关的文本和优先级可以分别是“注意看路！”和“高”。任务优先级高将使得虚拟形象例如在词之间中断并且异常中止任何当前任务以传达需要确保乘客被警告的紧迫性。在该例中，因为没有智能体参与此任务的执行，所以该任务不包括智能体的动作。由于想要立刻执行该任务，所以该任务也不包括触发事件。另一规则可规定，乘客“将车辆置于节油模式”的请求将导致产生将改变适当的引擎调节参数以提高引擎的燃油效率的任务。假设这种引擎调节参数的改变必须在引擎(未示出)空转时发生，那么与此任务相关的文本和优先级可以分别是“我正在将引擎置于节油模式”和“中”。可以将该动作指令给动力传动智能体，并且将包括将允许智能体改变期望的参数的合适的指令。该触发事件可以是引擎空转至少3秒钟。而另一规则可规定，任何智能体发起的任务(随后将更为详细地描述)可导致产生任务，该任务将询问图1示出的乘客12，如果乘客情绪是“不开心”，则是否可执行。与该任务相关的文本和优先级可以分别是“我不想打扰你，但是X智能体建议我做Y。可以吗？”和“低”。也可以实施其他和/或不同的规则。
现在参照图11，可以在作为软件或固件的任务产生器144中实施上述的算法/规则。但是，也可以考虑其他适合的替代。
图11的任务产生器144将多个输入(如言语识别、乘客情绪等)顺次排队，并且处理他们以产生任务。通过从一组预编程语句、智能体选择文本来在图11的任务产生器144内创建虚拟形象将要讲的任何文本，或者使用最优性理论技术来合成所述文本。也可以用一种抽象的类似“言外之意”的一阶谓词演算来产生所述文本，从而下述的情绪言语合成器可创建情绪标记文本。从一列可用的动作选择需要执行的任何动作。可以由智能体或模块(如在此描述的即插即用模块)做出动作。通过例如上述的规则来确定任务的优先级和任何触发事件。将所述任务的这些分量组合成发送给任务管理器的EAS协议消息(随后更为详细地讨论)。当然，可以使用任何适合的协议(如XML)。
如示出，可以将智能体发起的任务分类成高优先级和低优先级的任务。在一些实施例中，可以由使用与以上参照任务产生器144描述相似的技术生产所述任务的智能体来指定这种分类。例如，与监视车辆14的滑轮和车速的安全智能体等相关的算法可将高优先级指定给其产生指示因路滑驾驶员慢行的请求的任务。在其他实施例中，可由言语对话管理器142指定该分类。例如，可以由言语对话管理器142为也在图1示出的乘客12有兴趣的新闻而监视通过图1示出的网络17可访问的各种数据源的新闻智能体的任务指定低优先级。也可以使用其他配置。
智能体任务具有与按钮任务和言语任务相似的性质，按钮任务和言语任务可改变图1示出的乘客和EAS之间的对话的情景。
如上所述，图1示出的EAS 10包括开放麦克风功能。开放麦克风146使得EAS 10从图1示出的乘客12接收指令，而不需要乘客12例如按下按钮。该开放麦克风系统在一些实施例中工作，因为如上所述，EAS 10可使用上述的OCS能够确定图1示出的车辆14中乘客的数目和这些乘客的位置，使用声学确定讲话者的位置、确定其接收的发言是否在情景中、使用注视检测确定乘客13是否正在看虚拟形象、使用声音消除等从来自麦克风的声学信号去除虚拟形象的语音等。还可以对在乘客有必要打断虚拟形象时的“干涉”使用开放麦克风。
在如当车辆启动时进入的初始状态期间，由开放麦克风146实施的算法静听有限数目的词/语句(如虚拟形象的名字等)的至少一个。一旦检测到，开放麦克风146转移到允许其接受较大组的词/语句的交谈模式。这样，在此例中，仅通过图1示出的乘客12的语音触发此转移。
在交谈模式下可被接受的较大组的词/语句可能受限于交谈的情景。例如，图1示出的乘客12说出的在当前情景以外的语句可能被开放麦克风146忽略。在其他实施例中，也可使用图像识别信息、言语韵律等确定是否将所述言语提供给图1示出的EAS 10。例如，如果乘客12正在看另一乘客(未示出)并且正在讲话，则不会将言语提供给EAS 10。同样，如果乘客12的言语指示唱歌，则这样的歌唱可能不被提供给EAS 10。因此，EAS 10可能能够确定其是乘客言语的听众还是讲话者。
现在参照图12，任务产生器144实施的算法以串行的方式评价来自图像识别、言语识别、按钮的按动、乘客情绪和智能体的每个的输入。也就是，当接收到各种类型的输入时，任务产生器144阻断并顺序地或以循环的方式评价所述输入。为了启动这种阻断功能，言语对话管理器142包括用于每种输入类型的各写命令150、152、154、156和158。
在其他的实施例中，通过任务产生器144实现的算法可以基于与图像识别、言语识别、按钮的按动、乘客的情绪和智能体等的每种的输入相关的时间戳来评价来自每种输入。这些时间戳可以通过图6或者在本文其他地方描述的软件模块66中的任何一种来产生。当接收到数据时，时间戳可以通过系统时钟(未示出)的状态来确定。任务产生器144通过接收到的输入的各时间戳将接收到的输入进行排队。一旦经过排队，任务产生器144可以如上所述来对它们进行评价。大体来说，这是例如公平排队、加权公平排队、令牌桶算法和轮转算法等的排队算法的应用。
对普通技术人员来说显而易见的是，在将图12的言语识别输入写入到任务产生器144之前需要额外的处理。如160所示的，言语对话管理器142使用任何适合的言语识别引擎(例如Nuance Recognizer、Nuance Vocon、SRIInternational DECIPHER、MIT Jupiter等)将任何识别的文本形式的言语翻译成识别，即，与识别的言语相关的一组假设和发言记录。言语对话管理器142之后可以应用任意一种或多种情景、注视方向等，以如162所示确定所述识别是不是输入。
在图12的实施例中，可以执行由情景到识别(通过例如有限状态机)的应用，以确定在图1中示出的乘客12是否要与EAS 10通信或者与在图1中示出的车辆14中的另一乘客交流。如果，例如所述识别包括“要新闻”，言语对话管理器142可以确定所述识别是输入，即对话是针对在图1中示出的EAS10的，而不是针对例如车辆14上的另一名乘客的。另一方面，如果所述识别包括“嗨，妈妈”，言语对话管理器142可以确定该言语不是针对它的，并且返回到160。
如164所示的，言语对话管理器142之后从识别选择中选择最好的句子。例如，如果与图1中示出的乘客12的当前对话是关于当地餐馆的，即，言语对话管理器142在餐馆情景中，则言语对话管理器142可能选择“要评价”的短语。在关于餐馆的谈话的情景中，乘客12可能更需要评价而不是需要新闻。
如上面所讨论的，在图1中示出的EAS 10可以传达模拟情绪状态。参照图13至图15，将描述有利于这种情绪状态的算法/技术/方法等。
现在参照图13，情绪言语合成器164将虚拟形象情绪和虚拟形象提示(即虚拟形象讲话的文本)组合为情绪标记文本。如上面所讨论的，在特定的实施例中，虚拟形象情绪具有矢量表示。图13的情绪言语合成器164使用该适矢量表示，以用情绪指示器标记出将由虚拟形象讲出的部分文本。之后文本语音转换引擎解释这些情绪标记(在下文中讨论)，以动态地改变说标记的词的韵律、音调和抑扬等。这种词发音的动态改变可以传达言语的情绪内容。
例如，如果虚拟形象提示包括文本“度过愉快的一天”并且虚拟形象情绪指示为“平静”，则情绪言语合成器164可以输出情绪标记文本：“<讲话风格 情绪＝“平静”>”度过</讲话风格>愉快的一天。”。在句子构成上，词“度过”由标记“<讲话风格 情绪＝“平静”>”和“</讲话风格.>”所围绕。该指定指示对文本语音转换引擎而言，词“度过”具有与之相关的情绪内容。(句子“好的一天”不具有这样的内容，结果将以中性的方式讲出)。当然，可以使用其他的句子构成。在这个例子中，词“度过”被标记为以“平静”的方式讲出。如将在下面详细讨论的，在文本语音转换引擎中实现的规则可以将情绪标记“平静”翻译为一组相关的语速、音调、音调改变、音量和高频内容等，从而影响说词“度过”时的方式。
在万维网联盟(W3C)的言语合成标记语言规范中定义了其他讲话标记。指示虚拟形象情绪的韵律和强调元素是“度过<强调>愉快的</强调>一天！”的形式，其能将重音放在词“愉快”上。可以被类似地实现的其他元素是：可以用来模拟言语中不同清晰度和停顿的暂停元素；韵律元素音调、音高轮廓线、音调范围、语速、讲话持续时间和讲话音量(强度)。使用这些元素的能力可能受到所使用的文本语音转换(TTS)技术的限制。TTS可以是计算机程序，并且通常可以使用连接、表达建模(articulation modeling)、共振峰合成或特定域合成等。TTS还可以是机械装置，其在听觉上与人的声道相似。
言语合成器的选择影响声音是否自然，进而影响为言语选择的确实的词。如果机械性的发音像来自计算机的，那么应该限制例如“我(I)”和“我(me)”的词的使用。如果计算机的发音非常自然，如在特定域合成的情况下，那么可以更便利地使用“我(I)”和“我(me)”。
发音的机械性的本质可能是在图1中示出的EAS 10的一部分特性，其同样关系到虚拟形象的外观。情绪言语合成器164可以具有这样的能力，即替换文本中的措辞以反映被动-主动声音、自省-自查、主动情绪状态-被动情绪状态、积极或消极情绪的化合价(valance)、生气、愤怒、挫折、开心等。因而，情绪言语合成器164可能能够替换词和语法，并且为特定的虚拟形象情绪插入正确的韵律、将文本的明确含义和同样需要传达的隐含含义编排在一起。
在特定的实施例中，与情绪言语合成器164相关的算法在有限状态转换器中实现，其接受非情绪言语(例如词汇磁带)和虚拟形象的情绪状态作为输入。情绪言语合成器164首先使用语义分析处理输入，以创建文本的意思表示。意思表示可以选择多种形式，例如一阶谓词演算、语义网络、概念依赖关系图、框架式表征等。这样产生句子的字面意思的表示。情绪言语合成器164可以包括由虚拟形象作出的情绪标记句子(已经计算了字面意思和情绪)的目录。情绪言语合成器164将编成目录的句子的字面意思和当前虚拟形象情绪匹配在一起，以选择将要发送给虚拟形象的情绪标记句子。情绪言语合成器164还可以基于同义词替换并使用那些如最优性理论的技术来产生新的句子。
在情绪言语合成器164中实现的算法还可以修改词的发音(例如改变词“the”的发音为“thee”或者“th[schwa]”)，并且使用合并虚拟形象的情绪的音位变体转录规则来设定重音音节。在这个过程中产生的音位变体由音位变体字母(例如，国际音标(IPA)，ARPAbet等)来表示。例如PRONLEX，CMUdict，和CELEX等的发音字典也广泛使用。
除了保持在过去已经使用的句子的历史信息以避免重复(长时间后将会令人生厌)之外，在情绪言语合成器164中实现的算法之后可以获取由上述程序创建的句子，并且在由上述程序创建的句子中选择最为符合语法规则、语言正字法和情绪等的规则的句子。选择的句子之后可以从情绪言语合成器164输出以被TTS处理。
现在参照图14A和图14B中的算法，情绪言语合成器164等待来自虚拟形象提示的文本(如166所示)。如168所示，当检测到文本时，情绪言语合成器164获得该文本，并且之后获得虚拟形象情绪(如170所示)。如172所示，情绪言语合成器164在文本中插入情绪标记。如174所示，情绪言语合成器164输出情绪标记文本。
如176所示，解析文本的第一个词。如178所示，确定该解析的词是否需要具有情绪内容。在图14B的实施例中，所述确定基于解析的词和虚拟形象情绪。例如，可以查询包括映射到情绪的关键词的数据库，以确定特定词是否需要具有情绪内容。数据库可以包括与情绪“平静”和“开心”相关的词“度过”。由情绪言语合成器164实现的规则可以指示如果解析的词是“度过”，并且虚拟形象情绪指示的是“平静”或者“开心”，那么虚拟形象情绪指示的情绪用词“度过”标记。然而，如果虚拟形象情绪指示的情绪不是“平静”或者“开心”，那么词“度过”将不被标记。(例如，可以使用词汇情绪分析技术确定数据库中的哪些词是否需要具有情绪内容。)
在实现以上描述的方案的实施例中，根据与虚拟形象相关的情绪，特定的词可以具有情绪内容，也可以不具有情绪内容。在其他实施例中，可以实现这样的规则：其指示情绪言语合成器164用虚拟形象的情绪标记文本中的第一个解析的词，或者用所述情绪标记在文本中出现的第一个动词。其他配置和技术当然也是可以的。
如果解析的词将要加情绪标记，则如180所示，情绪言语合成器164将情绪标记插入到解析的词中。如182所示，解析文本中的下一个词。如184所示，随后确定是否到达文本的结尾。如果是，程序进行到174。如果不是，程序返回到178。
返回到178，如果解析的词将不加情绪标记，那么程序进行到182。
现在参照图15，虚拟形象控制器92可以包括渲染引擎184(例如Renderware，Torque Game Engine、TV3D、3D Game Studio、C4 Engine、DXStudio、Crystal Space、Game Blender等。它们中的一些使用包括Direct3D、OpenGL、DirectX、SDL、OpenAL等的数个面向图形的API)，和用软件实现的文本语音转换引擎185(例如Nuance Recognizer、Nuance VoCon、SRIInternational DECIPHER、MIT Jupiter等)。当然，引擎184、185可以如所期望的在固件和硬件等中实现。如上面所讨论的，基于按键渲染输入，渲染引擎184为在图2中示出的显示器40渲染适合的虚拟按键。相似地，基于虚拟形象姿势输入，渲染引擎184为显示器40渲染适合的虚拟形象运动，例如，手部运动、头部运动等。
在图15的实施例中，渲染引擎184接收情绪标记文本，并且将其提供给文本语音转换引擎185。文本语音转换引擎185之后可以执行虚拟形象的声音与情绪语音数据库的连接合成(concatenative synthesis)，以及对韵律的后处理。
文本语音转换引擎185可以包括记录有情绪声音的音位变体的数据库(未示出)，所述音位变体的数据库例如以线性预测编码(LPC)或者倒谱表存储，并且由情绪以及音位变体本身来索引。该数据库中的用于情绪“平静”的条目可以命令施加到以情绪“平静”进行情绪标记的词的一组参数，例如韵律、音调、音高、语速等。该数据库中的用于情绪“悲伤”的另一条目可以命令应用于以情绪“悲伤”进行情绪标记的词的一组参数，例如韵律、音调、音高、语速等。
在文本语音转换引擎185中实现的算法可以基于想要发出的声音和需要的韵律来从数据库中选择音位变体，对用于调节持续时间、音高和音高轮廓(pitch profile)等的音位变体解码，之后将音位变体连接到语音中，之后进行数字信号处理，其使音位变体的边界平滑，并且加入其他情绪韵律效果(如在句尾处的升调或特定音节上的重音)。
虚拟形象事件由文本语音转换引擎185产生，并且提供给渲染引擎184。在图15的实施例中，虚拟形象事件包括视位、音节、词、句子和段落。还可以使用其他和/或不同的虚拟形象事件。图15的文本语音转换引擎185包括将相应视位与音位映射。每当表示音位的数字音频数据被输出到在图6中示出的扬声器驱动器80时，表示视位的虚拟形象事件被发送到渲染引擎184。同样，每当表示词的数字音频数据已经被输出给扬声器驱动器80等时，表示词的虚拟形象事件被发送给渲染引擎184。作为例子，表示句子“How areyou？”(“你好吗？”)的数字音频数据将导致以下虚拟形象事件流(假设有两个视位与词“How”相关，一个视位与词“are”相关，以及两个视位与词“you”相关)：视位、视位、音节、词、视位、音节、词、视位、视位、音节、词、句子。
图15的渲染引擎184包括与嘴唇位置相应的视位等的映射。如对普通技术人员来说显而易见的是，虚拟形象事件流可以通知渲染引擎184与输出给扬声器驱动器80(在图6中示出)的数字音频数据相应的嘴唇位置。
如将要在下文中详细描述的，虚拟形象事件可以用作确定是否/何时以更为紧迫的言语来打断虚拟形象当前言语的时间基准。例如，虚拟形象言语可以被接下来的视位、音节、词、句子和段落等打断。如此，渲染引擎184输出从文本语音转换引擎185接收的虚拟形象事件，以通知这里讨论的其他模块关于与虚拟形象相关的语音的状态。
如上所讨论的，渲染引擎184可以将虚拟形象情绪翻译成为相应于虚拟形象情绪的一组面部表情/颜色等。图15的渲染引擎184包括将情绪与面部位置映射的数据库。例如，数据库可以包括这样的条目，即，将情绪“愤怒”与红色映射，从而当虚拟形象愤怒时虚拟形象变成红色。该数据库还可以包括这样的条目，即，将情绪“嫉妒”与绿色映射，从而当虚拟形象嫉妒时虚拟形象变成绿色。相似地，各种特征的位置或特征本身可以随着情绪而改变。其他构造也是可以的。
在其他实施例中，渲染引擎184可以在将情绪标记文本提供给文本语音转换引擎185之前对情绪标记文本进行翻译，以确定如何改变虚拟形象的外观。使用前面的例子，在渲染引擎184中实现的算法可以解释情绪标记文本“<语音类型情绪＝“平静”>度过</语音类型>愉快的一天”，以确定虚拟形象表达的情绪是“平静”。当然，可以使用用于情绪标记文本的其他和/或不同句法，以有助于渲染引擎184的解释。例如，可以在情绪标记文本的结尾处附加虚拟形象情绪。渲染引擎184可以解析文本，去除虚拟形象情绪，并且将取得的带有标记的文本提供给文本语音转换引擎185。
如上所讨论的，基于乘客12和EAS 10之间的交互历史，在图1中示出的EAS 10可以学习预测同样在图1中示出的乘客12的请求、命令和/或喜好。参照图16至图17C，将对使能够进行该学习的技术/算法/方法等进行讨论。
现在参照图16，在软件、固件等中实现的EAS学习模块186接收引指示图1中示出的EAS 10的乘客请求。请求和作出请求的相关条件(如图6中示出的一些条件)记录在数据库188中。例如，学习模块186可以记录，在四种不同场合，驾驶员在以每小时60英里的速度行驶至少一分钟后，驾驶员对在图1中的车辆14设置巡航定速控制。
在一些实施例中，学习模块186是实现这样的算法的智能系统，即，首先使用近似推理来确定需要什么样的动作，然后通过以下来学习：观察在图1中示出的乘客12何时选择特定的动作；建议乘客12进行动作，并且学习乘客的答复；观察乘客12何时撤消在图1中示出的EAS 10自动发起的动作等。
如上所讨论的，所记录的条件可以是如在图6中示出的言语识别输出、图像识别输出、按钮按动、车辆系统输出等中的任何一个。如所期望的，也可以记录，如地理位置、天气信息、乘客情绪、虚拟形象情绪等其他条件。
如将在下面解释的，学习模块186对所述请求和条件信息进行编制(compile)，以预测将来的请求和/或过滤智能体产生的任务。一旦编制完，学习模块186会基于一组识别条件为虚拟形象和/或智能体创建至少一项任务。
继续上面的例子，学习模块186可以提供规则来规定，如果当在高速公路上持续地维持固定的速度时至少四次设置巡航定速控制(需要来自导航系统的信息和使用统计过程控制处理的轮速数据)，那么将产生虚拟形象任务来询问驾驶员他们是否希望当图1中示出的车辆14的速度到达每小时60英里时就设置巡航定速控制。在这个例子中，学习模块186现在便具有该条件的记录了，并且该记录满足规则。结果，学习模块186可以使用在此描述的技术来产生所描述的任务。在图10中示出的言语对话管理器142可以对这样的询问解释肯定的反应，结果，产生动力传动智能体实现巡航定速控制的任务。
类似于如上所描述的那些例子，学习模块186可以记录对请求的答复，以进一步对在图1中示出的乘客12进行学习。还继续上面的例子，学习模块186可以进一步提供规则来规定，如果驾驶员对该询问三次确定地答复，那么应该自动设置巡航定速控制，并且通知驾驶员完成了这样的设置。相似地，学习模块186还可以提供规则来规定，如果驾驶员对该询问两次否定地答复，那么在2周的时间内不再关于巡航定速控制对驾驶员进行询问。当然，可以在学习模块186中实现其他和/或不同的规则。
在其他实施例中，数据库188可以包括一组预设的条件和相关的任务。每次实现任务时，都要检查预设的条件。如果满足了预设的条件，则计数增加。一旦计数到达阈值，规则可以例如规定下一次条件发生时，学习模块186将产生任务，以询问在图1中示出的乘客12是否希望任务被完成或者完成任务并且通知乘客12任务被完成等。作为例子，数据库188可以包括第一任务条目“设置巡航定速控制”和相关的条件“速度大于每小时60英里”。数据库188也可以包括第二任务条目“设置巡航定速控制”和相关的条件“速度大于每小时10英里且小于每小时20英里”。为每种这样的条目设置计数器。如果在以每小时65英里、每小时68英里和每小时60英里的速度的这三种不同场合下设置了巡航定速控制，那么与第一任务条目相关的计数器将增加三次，而与第二任务条目相关的计数器不增加。假设阈值为3，则下一次在图1中示出的车辆14的速度超过每小时60英里时，在学习模块186中实现的规则可以使用在此描述的技术来触发任务的产生，该任务将促使在图1中示出的EAS10询问乘客12他们是否希望设置巡航定速控制。作为另一个例子，数据库188可以包括任务条目“开启古典音乐”和相关的条件“乘客情绪＝愤怒”。如果乘客12例如在当乘客情绪是“愤怒”四种不同场合下播放古典音乐，则在下次乘客情绪是“愤怒”时，EAS 10可以播放古典音乐(或者，如果规则允许可以询问乘客12他们是否希望收听古典音乐)。当然，其他EAS行为、车辆操作参数等可以以与上面描述的方式类似的方式改变。
在其他实施例中，可以使用分析技术来产生允许学习模块186对在图1中示出的乘客12进行学习的规则。例如，学习模块186可以实现神经网络，所述神经网络监视条件输入，并且尝试将条件模式和乘客的请求匹配。这样的神经网络可以识别例如，在一天的特定时间，特定的驾驶员要求关于金融市场的新闻。结果，学习模块186可以产生在一天的特定时间之前智能体搜集关于金融市场的这类新闻的任务，并产生询问驾驶员他们是否想要关于金融市场的新闻的任务。在这个示例中，神经网络还可以识别出，在对该学习模块186发起的请求做出若干否定答复后，神经网络可以不再搜集这类新闻，或者可以在一天的特定时间之前关于这类新闻而提示驾驶员。同样，对这样的请求做出的若干肯定答复可以加强由神经网络控制的这一行为。然而，也可以使用其它合适的技术。
如上所述，学习模块186可以从数据库188筛选与编制的信息一致的智能体产生的任务。例如，可以配置节油智能体默认地使虚拟形象请求在引擎启动时将车辆设置在节约燃料模式。例如，如果学习模块186对一组大多数为否定的答复进行了编制，则学习模块186可以终止节油智能体发起的任务。来自数据库188的编制的信息可披露对这种全球的肯定或否定答复的记录。例如，如果学习模块186对一组大多数为肯定的答复进行了编制，则学习模块186可以产生自动将车辆14设置到节约燃料模式并只通知驾驶员它正在这么做的任务。
图1所示的EAS 10还可以将其从学习模块186获知的喜好下载到图1所示的一个或多个服务器16n。一个或多个服务器16n可以从其它EAS聚集这种信息以及其它这类信息。然后，EAS 10可以请求该聚集的喜好信息，以使用多个EAS的总体经历来对学习模块186进行预先下载/更新。
现在参照图17A的算法，如190所示，学习模块186的线程等待乘客请求。如192所示，当接收到乘客请求时，该线程用即时条件更新数据库188。
现在参照图17B的算法，如194所示，学习模块186的另一线程等待更新数据库188。如196所示，当更新了数据库188时，该线程对来自数据库188的乘客喜好进行编制。
现在参照图17C的算法，如198所示，学习模块186的又一线程等待输入条件的改变。如200所示，当发生改变时，该线程将新的条件与先前在196编制的任何乘客喜好进行比较。然后，如202所示，该线程确定是否发起动作。例如，该线程可以确定当前的一组条件达到了与上述规则类似的特定规则。如果是，则如204所示，该线程输出任务。然后，该线程返回198。如果否，则如260所示，该线程确定是否请求乘客输入。例如，即，如果规则规定了，如果乘客对询问提供了肯定答复，可以发起动作的任务，则该线程可以请求这样的输入。如果否，则该线程返回198。如果是，则如208所示，该线程得到乘客答复。如210所示，该线程更新历史数据库188。然后，如212所示，该线程确定是否发起任务。例如，该确定可依据于图1所示的乘客12是否提供了肯定答复。如果是，则该线程进行至204。如果否，则该线程返回198。
上面已经讨论了由不同模块产生的各种任务。参照图18至20讨论可以用于将这些任务区分优先次序并执行这些任务的技术/方法/算法等。
现在参照图18，任务管理器214管理与图1所示的EAS 10和车辆14相关并且由上述各种任务需求的资源。在特定的实施例中，虚拟形象可以每次仅参与一项任务。这样，由任务管理器214实施的算法基于优先级方案调度并执行与虚拟形象的使用有关的任务。该优先级方案等指示是否可以立即执行特定的任务因此中断任何当前的任务，或者，是否可以在一段时间之后再执行特定的任务。如下所述，虚拟形象可以被中断，以执行任务，或者，一旦完成当前任务，就可以开始新的任务。因此，任务管理器214通过在此描述的系统内的各种角色使得虚拟形象的使用与对其设置的负载平衡。
任务管理器214可以接收EAS发起的任务、乘客发起的任务和/或智能体发起的任务等。然后，任务管理器214可以将它们排队，并相应地执行它们。在一些实施例中，任务管理器214基于每个任务的优先级将其排队，并基于该优先级执行每个任务。因为任务管理器214可以中断当前的任务，以执行更高优先级的任务，所以它可以终止、暂停和/或重新开始当前的任务。
如上所述，虚拟形象事件(例如，视位、音节、话语等等)由图18的任务管理器214接收并使用，以此确定何时执行排队的任务(假若已经满足如下所述的任何触发事件)。例如，在虚拟形象的下一个音节，高优先级任务可以中断当前的任务。可以在虚拟形象的一句话结束时执行中优先级任务。当没有其它更高优先级任务要执行时，可以执行低优先级任务。
任务的执行可以涉及到一个或多个智能体。例如，任务可涉及到从经由网络可获得的信息源收集新闻的新闻智能体。例如，如果这类智能体需要虚拟形象资源，则可能需要中断这类智能体。结果，图18的任务管理器214可以输出智能体例化(instantiation)、终止、暂停、重新开始等命令。任务的执行还可能涉及到虚拟形象所说的文本。任务管理器214经由虚拟形象提示输出这样的文本。
现在参照图19，基于例如，与任务相关的任何触发事件和优先级，可以使用任务队列216对由任务管理器214管理的任务进行排队。在图19的实施例中，将触发事件表示为任务队列216内的不同类(bin)。例如，可以将没有触发事件的任务归位为“立即”任务，例如，“任务1”。可以将应该在加油站附近执行的任务归位为“等待地理位置事件”，例如，“任务2”。可以将当轮胎气压小于特定值时应当执行的任务归位为“等待车辆系统事件”，例如，“任务3”。当然，可以使用其它和/或不同的归位技术(binning technique)。
在特定的类内，基于嵌有任务的特定虚拟形象事件，将每个任务排序。如上所述，虚拟形象事件可以包括视位、音节、词、句子、段落等。在下一个段落将要执行的任务(例如，“任务5”)之前，将执行在下一个视位将要执行的这些任务(例如，“任务4”)。因此，当产生每个任务时，每个任务可包括指示将触发其执行的虚拟形象事件的信息。
当任务管理器214接收到新的任务时，将新的任务归位在任务队列216内。在每个类内，如果需要，则根据与每个任务相关的虚拟形象事件，将任务重新排序。
再返回到图18，可以将被中断的任务异常中止、暂停或重新排队。暂停的任务在更高优先级的任务完成之后，将从其中断的点继续。例如，如果新闻阅读任务被暂停，则将从其被中断的停止位置开始阅读新闻。在更高优先级的任务完成之后，重新排队的任务将重新开始。例如，如果新闻阅读任务被重新排队，则当执行该任务时，它将从新闻广播的开头开始。
异常中止、暂停或重新排队任务会需要任务管理器214来例化、终止、暂停或重新开始一个或多个智能体。如下所述，如果任务需要没有被例化的智能体，那么，例如当任务的触发事件发生时，任务管理器214可以发出命令，以例化智能体。如果要执行更高优先级的任务，则会需要终止或暂停耗用虚拟形象资源的任何当前智能体。在这类情况下，由任务管理器214发出上述的终止和暂停指令。如果智能体被暂停，则可以随后通过上述的重新开始命令将其重新开始。
在多个智能体还需要完成它们的任务并且还需要虚拟形象资源的情况下，可以将多个任务暂停。在一些实施例中，任务管理器214可以按照智能体的优先级的顺序依次发出重新开始指令，以重新开始智能体。然而，也可以使用其它方案。
现在参照图20A的算法，如218所示，任务管理器214的线程等待任务。如220所示，所述线程在接收到任务时，将所述任务插入到任务队列216中。所述线程然后回到218。
现在参照图20B的算法，如222所示，任务管理器214的另一线程等待将任务插入到任务队列216中。如224所示，该线程(基于触发事件以及优先级)选择最高优先级的智能体任务。如226所示，该线程确定是否存在要例化的智能体，如果否，则如228所示，该线程将任务传递到适合的智能体。然后，该线程返回到222。如果是，则如230所示，该线程输出智能体例化指令。然后，该线程进行至228。可以构造类似的线程来选择和执行虚拟形象任务。
在此已经讨论了各个智能体。在特定的实施例中，智能体是可以与图1所示的EAS 10交互的程序。如上所述，这些程序可以执行特定的(在一些情况下为指定的)功能、算法等。
现在参照图21，可以将智能体232配置为接收各种输入。智能体232可以处理这些输入，提供各种输出，并根据输入执行其指定的任务。例如，驾驶员的培训智能体可以通过音频和视觉反馈训练图1所示的车辆14的乘客12驾驶车辆14，以使其可用寿命最大化。智能体232可以处理车辆系统输出，以确定例如乘客12是否频繁地过分用力地刹车，并警示驾驶员这种行为会不利地影响与车辆14相关的任何刹车系统。为了便于这种反馈，智能体232可以包括与在此描述的任务产生器类似的任务产生器(未示出)，以产生虚拟形象传达反馈的必要任务。
如上所述，智能体232还可以输出情绪输出，例如，在特定的实施例中，智能体情绪是智能体232执行其指定功能执行得怎么样的指示符。
一些智能体作为独立程序运行，所述独立程序使用在此讨论的中间件消息传递系统，以与图1所示的EAS 10交互。它们通常具有智能，并在EAS 10中与图1所示的乘客12或图16所示的学习模块186具有相同的状态。
虽然已经示出并描述了本发明的实施例，但这些实施例并不意图对本发明的所有可能形式进行举例说明和描述。在说明书中使用的词语是描述性词语，而不具有限制性，应当理解，在不脱离本发明的精神和范围的情况下，可以做出各种改变。

Claims (24)

1、一种供机动车辆的乘客使用的情绪提示系统，所述系统包括：
计算机，配置为：
接收指示所述车辆的运行状态的输入和指示乘客的情绪状态的输入，
产生表示具有外观的虚拟形象的数据和表示具有至少一种言语特性的虚拟形象的言语语句的数据，所述外观和所述至少一种言语特性将所述虚拟形象的模拟情绪状态传达给所述乘客，所述模拟情绪状态依赖于所述车辆的运行状态和所述乘客的情绪状态中的至少一个，
输出表示虚拟形象用于视觉显示的数据和表示虚拟形象用于音频播放的语句的数据。
2、根据权利要求1所述的系统，其中，所述计算机还配置为从所述乘客接收与所述虚拟形象的模拟情绪状态有关的询问。
3、根据权利要求1所述的系统，其中，所述计算机还配置为：确定预定事件是否已经发生，并通过言语对话询问所述乘客所述预定事件是否已经发生。
4、根据权利要求3所述的系统，其中，所述计算机还配置为：从所述乘客接收对所述询问的言语答复。
5、根据权利要求4所述的系统，其中，所述计算机还配置为：基于对所述询问的言语答复而改变所述车辆的运行参数。
6、根据权利要求1所述的系统，其中，指示乘客的情绪状态的输入是基于所述乘客的音频特性和视觉特性中的至少一个。
7、根据权利要求1所述的系统，其中，所述计算机还配置为：确定预定事件是否已经发生，如果所述预定事件已经发生，则从远离所述车辆的源存取信息，并将所存取的信息的至少一部分以视觉或音频的方式提供给所述乘客。
8、根据权利要求2所述的系统，其中，所述计算机还配置为对所述询问做出答复。
9、一种供机动车辆的用户使用的情绪信息系统，所述系统包括：
至少一个传感器，配置为检测所述用户的音频特性和视觉特性中的至少一个；
计算机，配置为：接收所检测的信息，接收与车辆的运行状态有关的信息，基于所接收的信息的至少一部分产生表示模拟情绪状态的数据，从所述用户接收与所述模拟情绪状态有关的言语询问，对所述言语询问做出答复；
接口，配置为将所述模拟情绪状态传达给所述用户。
10、根据权利要求9所述的系统，其中，通过虚拟形象将所述模拟情绪状态传达给所述用户。
11、根据权利要求10所述的系统，其中，所述计算机还配置为基于所述车辆的运行状态选择性地显示所述虚拟形象。
12、根据权利要求9所述的系统，其中，所述计算机还配置为：确定预定事件是否已经发生，如果所述预定事件已经发生，则发起与所述用户的言语对话。
13、根据权利要求9所述的系统，其中，所述至少一个传感器包括开放麦克风。
14、根据权利要求9所述的系统，其中，所述至少一个传感器还配置为检测来自所述用户的按钮的按动。
15、一种将信息带感情地传达给装置的用户的方法，包括以下步骤：
接收表示所述装置的运行状态的输入；
将所述输入变换成表示模拟情绪状态的数据；
产生表示虚拟形象的数据，所述虚拟形象表达所述模拟情绪状态，所述模拟情绪状态将与所述装置的运行状态有关的信息传达给所述用户；
显示所述虚拟形象；
从所述用户接收与所述虚拟形象表达的模拟情绪状态有关的询问；
对所述询问做出答复。
16、根据权利要求15所述的方法，其中，对所述询问做出的答复包括指示由所述虚拟形象表达的模拟情绪状态的至少一种言语特性。
17、根据权利要求15所述的方法，还包括：确定预定事件是否已经发生，如果所述预定事件已经发生，则与所述用户发起与所述装置的运行状态有关的言语对话。
18、根据权利要求17所述的方法，其中，所述言语对话包括指示由所述虚拟形象表达的模拟情绪状态的至少一种言语特性。
19、一种供机动车辆的用户使用的情绪信息系统，包括：
用于检测车辆的运行状态的装置；
用于基于检测的信息的至少一部分产生表示模拟情绪状态的数据的装置；
用于向所述用户表达所述模拟情绪状态的装置，所述模拟情绪状态将与所述车辆的运行状态有关的信息传达给所述用户。
20、一种将信息带感情地传达给装置的用户的方法，包括以下步骤：
用于接收指示所述装置的运行状态的输入的步骤；
用于将所述输入变换成表示模拟情绪状态的数据的步骤；
用于产生表示虚拟形象的数据的步骤，所述虚拟形象数据表达所述模拟情绪状态，所述模拟情绪状态将与所述装置的运行状态有关的信息传达给所述用户；
用于显示所述虚拟形象的步骤。
21、一种将信息情绪化地传达给机动车辆的用户的方法，包括以下步骤：
接收指示所述车辆的运行状态的输入；
将所述输入变换成表示模拟情绪状态的数据；
产生表示言语语句的数据，所述言语语句表达所述模拟情绪状态，所述模拟情绪状态将与所述车辆的运行状态有关的信息传达给所述用户；
播放所述言语语句；
从所述用户接收与所述模拟情绪状态有关的询问；
对所述询问做出答复。
22、一种用于客车的情绪提示系统，包括：
麦克风；
扬声器；
数据源；和
计算机，与麦克风、扬声器和数据源通信，所述计算机配置为：(a)根据所述麦克风接收的驾驶员的言语模式和对话语义的组合，检测驾驶员的情绪状态，(b)响应于从所述数据源获得的信息和情绪状态，通过所述扬声器对驾驶员实时地产生自然语言言语。
23、一种用于客车的情绪提示系统，包括：
麦克风；
车辆控制器；
计算机，与麦克风和车辆控制器通信，所述计算机配置为：(a)根据所述麦克风接收的车辆驾驶员的言语模式和对话语义的组合，检测驾驶员的情绪状态，(b)响应于驾驶员的情绪状态和言语，命令所述车辆控制器调整车辆功能。
24、一种由计算机实施的在客车的驾驶员和所述车辆之间进行实时情绪交互的方法，所述方法包括：
(a)与所述驾驶员进行双向通信；
(b)根据所述驾驶员的言语模式和对话语义的组合，检测所述驾驶员的情绪状态；
(c)响应于所述驾驶员的情绪状态和答复，调整车辆功能。
CN200880013046A 2007-04-26 2008-04-28 情绪提示系统和方法 Pending CN101669090A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US91415207P 2007-04-26 2007-04-26
US60/914,152 2007-04-26

Publications (1)

Publication Number Publication Date
CN101669090A true CN101669090A (zh) 2010-03-10

Family

ID=39887970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880013046A Pending CN101669090A (zh) 2007-04-26 2008-04-28 情绪提示系统和方法

Country Status (7)

Country Link
US (7) US9811935B2 (zh)
EP (1) EP2140341B1 (zh)
JP (1) JP2010531478A (zh)
CN (1) CN101669090A (zh)
AT (1) ATE555433T1 (zh)
BR (1) BRPI0809759A2 (zh)
WO (1) WO2008134625A1 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323919A (zh) * 2011-08-12 2012-01-18 百度在线网络技术（北京）有限公司 一种基于用户情绪指示信息显示输入信息的方法与设备
CN103373300A (zh) * 2012-04-16 2013-10-30 通用汽车环球科技运作有限责任公司 自适应人机系统和方法
CN103513868A (zh) * 2012-06-18 2014-01-15 通用汽车有限责任公司 生成拟人化车辆图像的方法
CN103733171A (zh) * 2011-08-11 2014-04-16 株式会社电装 显示控制装置
CN104011791A (zh) * 2011-11-21 2014-08-27 （株）未来机器人 角色的多语言语音系统及方法
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
CN105292125A (zh) * 2015-10-30 2016-02-03 北京九五智驾信息技术股份有限公司 驾驶员状态监测方法
CN105383497A (zh) * 2015-10-30 2016-03-09 北京九五智驾信息技术股份有限公司 车载系统
CN105530521A (zh) * 2015-12-16 2016-04-27 广东欧珀移动通信有限公司 一种流媒体查找方法、装置及系统
CN105549841A (zh) * 2015-12-02 2016-05-04 小天才科技有限公司 一种语音交互方法、装置及设备
CN106383595A (zh) * 2016-10-28 2017-02-08 维沃移动通信有限公司 一种输入法显示界面的调整方法及移动终端
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN106562792A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN106716341A (zh) * 2014-07-22 2017-05-24 通用汽车环球科技运作有限责任公司 用以改进车内的用户体验的自适应界面的系统和方法
CN106774830A (zh) * 2016-11-16 2017-05-31 网易（杭州）网络有限公司 虚拟现实系统、语音交互方法及装置
CN106874265A (zh) * 2015-12-10 2017-06-20 深圳新创客电子科技有限公司 一种与用户情绪匹配的内容输出方法、电子设备及服务器
CN107577385A (zh) * 2015-09-08 2018-01-12 苹果公司 媒体环境中的智能自动化助理
CN107647873A (zh) * 2017-08-31 2018-02-02 维沃移动通信有限公司 一种情绪的检测方法及移动终端
CN107888652A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 处理结果异常检测装置、检测程序、检测方法和移动体
CN109086287A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于选择自主车辆中的音景选择的系统和方法
CN109243438A (zh) * 2018-08-24 2019-01-18 上海擎感智能科技有限公司 一种车主情绪调节方法、系统及存储介质
CN109328155A (zh) * 2016-06-24 2019-02-12 微软技术许可有限责任公司 状况感知个人助理
CN109753147A (zh) * 2017-11-01 2019-05-14 丰田自动车株式会社 车内系统
CN110192864A (zh) * 2019-06-12 2019-09-03 北京交通大学 一种跨域心电图生物特征身份识别方法
CN111667333A (zh) * 2019-03-08 2020-09-15 本田技研工业株式会社 智能体装置、智能体装置的控制方法及存储介质
CN113212448A (zh) * 2021-04-30 2021-08-06 恒大新能源汽车投资控股集团有限公司 一种智能交互方法和装置
CN113287117A (zh) * 2019-01-04 2021-08-20 塞伦妮经营公司 交互系统和方法
CN113320537A (zh) * 2021-07-16 2021-08-31 北京航迹科技有限公司 一种车辆控制方法和系统
CN113401129A (zh) * 2020-03-17 2021-09-17 丰田自动车株式会社 信息处理装置、记录介质以及信息处理方法
CN113460070A (zh) * 2019-03-21 2021-10-01 百度在线网络技术（北京）有限公司 车辆控制方法和装置
CN113744738A (zh) * 2021-09-10 2021-12-03 安徽淘云科技股份有限公司 一种人机交互方法及其相关设备
CN114639395A (zh) * 2020-12-16 2022-06-17 观致汽车有限公司 车载虚拟人物的语音控制方法、装置及具有其的车辆
CN115062471A (zh) * 2022-06-15 2022-09-16 宁波大学科学技术学院 基于交通虚拟仿真的车辆智能体情绪化行为可视化方法
CN115214703A (zh) * 2022-04-06 2022-10-21 长城汽车股份有限公司 一种车辆控制的方法及装置
CN115346512A (zh) * 2022-08-24 2022-11-15 北京中科深智科技有限公司 一种基于数字人的多情感语音合成方法

Families Citing this family (520)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120240045A1 (en) * 2003-08-08 2012-09-20 Bradley Nathaniel T System and method for audio content management
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
US8259117B2 (en) 2007-06-18 2012-09-04 Brian Mark Shuster Avatar eye control in a multi-user animation environment
US8721554B2 (en) 2007-07-12 2014-05-13 University Of Florida Research Foundation, Inc. Random body movement cancellation for non-contact vital sign detection
US7728636B2 (en) * 2007-08-14 2010-06-01 Qimonda Ag Clock signal synchronizing device with inherent duty-cycle correction capability
US20090055484A1 (en) * 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
DE602009000214D1 (de) * 2008-04-07 2010-11-04 Ntt Docomo Inc Gefühlerkennungsmitteilungssystem und Mitteilungsspeicherserver dafür
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
DE102008028512A1 (de) * 2008-06-16 2009-12-17 Audi Ag Kommunikationssystem und Verfahren zur Darstellung von Informationen bei einer Kommunikation
US9710816B2 (en) * 2008-08-05 2017-07-18 Ford Motor Company Method and system of measuring customer satisfaction with purchased vehicle
US8316393B2 (en) 2008-10-01 2012-11-20 At&T Intellectual Property I, L.P. System and method for a communication exchange with an avatar in a media communication system
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
US9075901B2 (en) * 2008-12-15 2015-07-07 International Business Machines Corporation System and method to visualize activities through the use of avatars
EP2380170B1 (en) * 2008-12-19 2012-05-09 Koninklijke Philips Electronics N.V. Method and system for adapting communications
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US9123341B2 (en) * 2009-03-18 2015-09-01 Robert Bosch Gmbh System and method for multi-modal input synchronization and disambiguation
WO2010108033A1 (en) * 2009-03-18 2010-09-23 Inxile Entertainment, Inc. Gaming voice reaction system
US20100251094A1 (en) * 2009-03-27 2010-09-30 Nokia Corporation Method and apparatus for providing comments during content rendering
US20120026174A1 (en) * 2009-04-27 2012-02-02 Sonoma Data Solution, Llc Method and Apparatus for Character Animation
KR101597286B1 (ko) * 2009-05-07 2016-02-25 삼성전자주식회사 아바타 영상 메시지를 생성하는 장치 및 방법
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US20120116186A1 (en) * 2009-07-20 2012-05-10 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
US9026131B2 (en) 2009-07-21 2015-05-05 Modena Enterprises, Llc Systems and methods for associating contextual information and a contact entry with a communication originating from a geographic location
WO2011011224A1 (en) * 2009-07-24 2011-01-27 Dynavox Systems, Llc Hand-held speech generation device
US20110040707A1 (en) * 2009-08-12 2011-02-17 Ford Global Technologies, Llc Intelligent music selection in vehicles
US8893049B2 (en) * 2009-08-28 2014-11-18 International Business Machines Corporation Creation and prioritization of multiple virtual universe teleports in response to an event
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
US20110093158A1 (en) * 2009-10-21 2011-04-21 Ford Global Technologies, Llc Smart vehicle manuals and maintenance tracking system
TWI430189B (zh) * 2009-11-10 2014-03-11 Inst Information Industry 訊息擬真處理系統、裝置及方法
US8909414B2 (en) * 2009-12-14 2014-12-09 Volkswagen Ag Three-dimensional corporeal figure for communication with a passenger in a motor vehicle
US20110213218A1 (en) * 2009-12-17 2011-09-01 Weiner Bert A Patient healthcare monitoring/maintenance system
US9222798B2 (en) 2009-12-22 2015-12-29 Modena Enterprises, Llc Systems and methods for identifying an activity of a user based on a chronological order of detected movements of a computing device
US20110172873A1 (en) 2010-01-08 2011-07-14 Ford Global Technologies, Llc Emotive advisory system vehicle maintenance advisor
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8400332B2 (en) * 2010-02-09 2013-03-19 Ford Global Technologies, Llc Emotive advisory system including time agent
US9215735B2 (en) 2010-03-03 2015-12-15 Modena Enterprises, Llc Systems and methods for initiating communications with contacts based on a communication specification
US20110238402A1 (en) * 2010-03-23 2011-09-29 Fujitsu Limited System and methods for remote maintenance in an electronic network with multiple clients
US9286913B2 (en) 2010-03-30 2016-03-15 Nec Corporation Atmosphere expression word selection system, atmosphere expression word selection method, and program
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
JP5403822B2 (ja) * 2010-05-24 2014-01-29 本田技研工業株式会社 情報提供装置および情報提供方法
US8694899B2 (en) 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
US10424342B2 (en) 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
CN102385858B (zh) * 2010-08-31 2013-06-05 国际商业机器公司 情感语音合成方法和系统
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
CN102479291A (zh) * 2010-11-30 2012-05-30 国际商业机器公司 情感描述生成与体验方法和设备以及情感交互系统
EP2659486B1 (en) * 2010-12-30 2016-03-23 Nokia Technologies Oy Method, apparatus and computer program for emotion detection
CN102651217A (zh) * 2011-02-25 2012-08-29 株式会社东芝 用于合成语音的方法、设备以及用于语音合成的声学模型训练方法
JP2012198277A (ja) * 2011-03-18 2012-10-18 Toshiba Corp 文書読み上げ支援装置、文書読み上げ支援方法および文書読み上げ支援プログラム
US9284016B2 (en) * 2011-03-31 2016-03-15 Shimano Inc. Bicycle component control apparatus
US9535817B2 (en) * 2011-06-10 2017-01-03 Microsoft Technology Licensing, Llc Application development environment for portable electronic devices
KR101779505B1 (ko) * 2011-06-29 2017-09-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 생체신호 측정 방법
US20130031476A1 (en) * 2011-07-25 2013-01-31 Coin Emmett Voice activated virtual assistant
US8650031B1 (en) * 2011-07-31 2014-02-11 Nuance Communications, Inc. Accuracy improvement of spoken queries transcription using co-occurrence information
US8635270B2 (en) * 2011-09-19 2014-01-21 Verizon Patent And Licensing Inc. Thread mechanism for media and metadata upload
US20130117021A1 (en) * 2011-11-03 2013-05-09 Gm Global Technolog Operations Llc Message and vehicle interface integration system and method
US8862462B2 (en) * 2011-12-09 2014-10-14 Chrysler Group Llc Dynamic method for emoticon translation
US20130166274A1 (en) * 2011-12-21 2013-06-27 Avaya Inc. System and method for managing avatars
US9547832B2 (en) * 2012-01-10 2017-01-17 Oracle International Corporation Identifying individual intentions and determining responses to individual intentions
US20130212501A1 (en) * 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
WO2013127413A1 (de) 2012-03-02 2013-09-06 Siemens Enterprise Communications Gmbh & Co.Kg Kopplungseinrichtung und verfahren zum dynamischen belegen von usb-endpunkten einer usb-schnittstelle sowie börsen-tradingsystem-endgerät mit kopplungseinrichtung
US20140306814A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Pedestrian monitoring application
US9378601B2 (en) 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US9412273B2 (en) 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
US9384609B2 (en) 2012-03-14 2016-07-05 Autoconnect Holdings Llc Vehicle to vehicle safety and traffic communications
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US9002768B2 (en) * 2012-05-12 2015-04-07 Mikhail Fedorov Human-computer interface system
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
CN102874259B (zh) * 2012-06-15 2015-12-09 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
US9104231B2 (en) 2012-09-27 2015-08-11 Microsoft Technology Licensing, Llc Mood-actuated device
US9570064B2 (en) * 2012-11-08 2017-02-14 Nec Corporation Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program
US9336192B1 (en) 2012-11-28 2016-05-10 Lexalytics, Inc. Methods for analyzing text
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
WO2014095067A1 (en) * 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh A system for a vehicle
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
US9046884B2 (en) 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
US9530409B2 (en) * 2013-01-23 2016-12-27 Blackberry Limited Event-triggered hands-free multitasking for media playback
AU2014214676A1 (en) 2013-02-07 2015-08-27 Apple Inc. Voice trigger for a digital assistant
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20150287410A1 (en) * 2013-03-15 2015-10-08 Google Inc. Speech and semantic parsing for content selection
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
US20140303982A1 (en) * 2013-04-09 2014-10-09 Yally Inc. Phonetic conversation method and device using wired and wiress communication
CN104379414B (zh) * 2013-04-15 2018-05-29 自动连接控股有限责任公司 用户接口和基于用户简档的虚拟个性呈现
US12039243B2 (en) 2013-04-15 2024-07-16 Autoconnect Holdings Llc Access and portability of user profiles stored as templates
CN104321620A (zh) 2013-04-15 2015-01-28 弗莱克斯电子有限责任公司 基于用户简档信息通过改变的地图路线进行行为修改
US9330088B2 (en) 2013-04-23 2016-05-03 International Business Machines Corporation Preventing frustration in online chat communication
US20160203729A1 (en) * 2015-01-08 2016-07-14 Happify, Inc. Dynamic interaction system and method
US20140358552A1 (en) * 2013-05-31 2014-12-04 Cirrus Logic, Inc. Low-power voice gate for device wake-up
EP3007165B1 (en) * 2013-05-31 2018-08-01 Yamaha Corporation Technology for responding to remarks using speech synthesis
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US20160162154A1 (en) * 2013-06-27 2016-06-09 Plotagon Ab System, apparatus and method for movie camera placement based on a manuscript
CN104541306B (zh) 2013-08-02 2019-10-25 索美智能有限公司 神经行为动画系统
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
GB2517212B (en) * 2013-08-16 2018-04-25 Toshiba Res Europe Limited A Computer Generated Emulation of a subject
US9761249B2 (en) 2013-09-25 2017-09-12 Intel Corporation Improving natural language interactions using emotional modulation
US9298766B2 (en) 2013-10-09 2016-03-29 International Business Machines Corporation Empathy injection for question-answering systems
US9313646B2 (en) 2013-10-17 2016-04-12 At&T Intellectual Property I, Lp Method and apparatus for adjusting device persona
US9342501B2 (en) * 2013-10-30 2016-05-17 Lenovo (Singapore) Pte. Ltd. Preserving emotion of user input
US10311482B2 (en) 2013-11-11 2019-06-04 At&T Intellectual Property I, Lp Method and apparatus for adjusting a digital assistant persona
US9742836B2 (en) 2014-01-03 2017-08-22 Yahoo Holdings, Inc. Systems and methods for content delivery
US9940099B2 (en) 2014-01-03 2018-04-10 Oath Inc. Systems and methods for content processing
USD760791S1 (en) 2014-01-03 2016-07-05 Yahoo! Inc. Animated graphical user interface for a display screen or portion thereof
USD775183S1 (en) 2014-01-03 2016-12-27 Yahoo! Inc. Display screen with transitional graphical user interface for a content digest
US10503357B2 (en) 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
US9558180B2 (en) 2014-01-03 2017-01-31 Yahoo! Inc. Systems and methods for quote extraction
USD760792S1 (en) 2014-01-03 2016-07-05 Yahoo! Inc. Animated graphical user interface for a display screen or portion thereof
US9971756B2 (en) 2014-01-03 2018-05-15 Oath Inc. Systems and methods for delivering task-oriented content
KR102222122B1 (ko) * 2014-01-21 2021-03-03 엘지전자 주식회사 감성음성 합성장치, 감성음성 합성장치의 동작방법, 및 이를 포함하는 이동 단말기
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US10402718B2 (en) * 2014-03-02 2019-09-03 Microsoft Technology Licensing, Llc Assignation of emotional states to computer-implemented entities
US20150286698A1 (en) * 2014-04-07 2015-10-08 Microsoft Corporation Reactive digital personal assistant
US9542648B2 (en) * 2014-04-10 2017-01-10 Palo Alto Research Center Incorporated Intelligent contextually aware digital assistants
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US11632464B2 (en) * 2014-04-22 2023-04-18 Avaya Inc. Communications arbitrator
US9412393B2 (en) * 2014-04-24 2016-08-09 International Business Machines Corporation Speech effectiveness rating
US20150324348A1 (en) * 2014-05-09 2015-11-12 Lenovo (Singapore) Pte, Ltd. Associating an image that corresponds to a mood
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
EP2949536B1 (en) * 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9451578B2 (en) * 2014-06-03 2016-09-20 Intel Corporation Temporal and spatial bounding of personal information
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102337509B1 (ko) * 2014-08-29 2021-12-09 삼성전자주식회사 컨텐츠 제공 방법 및 그 전자 장치
USD761833S1 (en) 2014-09-11 2016-07-19 Yahoo! Inc. Display screen with graphical user interface of a menu for a news digest
US9824681B2 (en) 2014-09-11 2017-11-21 Microsoft Technology Licensing, Llc Text-to-speech with emotional content
WO2016044290A1 (en) 2014-09-16 2016-03-24 Kennewick Michael R Voice commerce
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
US9854436B2 (en) 2014-09-25 2017-12-26 Intel Corporation Location and proximity beacon technology to enhance privacy and security
WO2016057781A1 (en) 2014-10-08 2016-04-14 The University Of Florida Research Foundation, Inc. Method and apparatus for non-contact fast vital sign acquisition based on radar signal
EP3207467A4 (en) 2014-10-15 2018-05-23 VoiceBox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10614799B2 (en) * 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US9953028B2 (en) 2015-01-09 2018-04-24 International Business Machines Corporation Cognitive contextualization of emergency management system communications
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9531875B2 (en) 2015-03-12 2016-12-27 International Business Machines Corporation Using graphical text analysis to facilitate communication between customers and customer service representatives
WO2016146488A1 (en) * 2015-03-13 2016-09-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for automatically identifying at least one user of an eye tracking device and eye tracking device
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US20160306421A1 (en) * 2015-04-16 2016-10-20 International Business Machines Corporation Finger-line based remote control
US9833200B2 (en) 2015-05-14 2017-12-05 University Of Florida Research Foundation, Inc. Low IF architectures for noncontact vital sign detection
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
TWI564791B (zh) * 2015-05-19 2017-01-01 卡訊電子股份有限公司 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10386996B2 (en) 2015-06-11 2019-08-20 Microsoft Technology Licensing, Llc Communicating emotional information via avatar animation
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11295506B2 (en) * 2015-09-16 2022-04-05 Tmrw Foundation Ip S. À R.L. Chip with game engine and ray trace engine
CN106547511B (zh) 2015-09-16 2019-12-10 广州市动景计算机科技有限公司 一种语音播读网页信息的方法、浏览器客户端及服务器
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
WO2017075452A1 (en) * 2015-10-29 2017-05-04 True Image Interactive, Inc Systems and methods for machine-generated avatars
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
RU2704616C1 (ru) * 2015-12-09 2019-10-30 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Оповещение о забытом мобильном устройстве
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10664741B2 (en) 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
WO2017191711A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 制御装置、制御方法およびコンピュータプログラム
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN107516511B (zh) * 2016-06-13 2021-05-25 微软技术许可有限责任公司 意图识别和情绪的文本到语音学习系统
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
WO2018009897A1 (en) * 2016-07-07 2018-01-11 Harman International Industries, Incorporated Portable personalization
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
JP6612707B2 (ja) * 2016-09-30 2019-11-27 本田技研工業株式会社 情報提供装置
US10659398B2 (en) * 2016-10-03 2020-05-19 Nohold, Inc. Interactive virtual conversation interface systems and methods
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10074359B2 (en) * 2016-11-01 2018-09-11 Google Llc Dynamic text-to-speech provisioning
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
WO2018089700A1 (en) * 2016-11-10 2018-05-17 Warner Bros. Entertainment Inc. Social robot with environmental control feature
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US9812151B1 (en) * 2016-11-18 2017-11-07 IPsoft Incorporated Generating communicative behaviors for anthropomorphic virtual agents based on user's affect
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
CN106803423B (zh) * 2016-12-27 2020-09-04 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
US11016719B2 (en) 2016-12-30 2021-05-25 DISH Technologies L.L.C. Systems and methods for aggregating content
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US10831796B2 (en) * 2017-01-15 2020-11-10 International Business Machines Corporation Tone optimization for digital content
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
FR3062102B1 (fr) 2017-01-20 2019-03-29 Peugeot Citroen Automobiles Sa Dispositif d'assistance d'usager(s) d'un vehicule, a agents conversationnels multiples
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
JP6689215B2 (ja) * 2017-01-25 2020-04-28 株式会社日立製作所 システム及び対話情報の出力方法
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US20180342095A1 (en) * 2017-03-16 2018-11-29 Motional LLC System and method for generating virtual characters
JP6243564B1 (ja) * 2017-03-17 2017-12-06 ヤフー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10170100B2 (en) * 2017-03-24 2019-01-01 International Business Machines Corporation Sensor based text-to-speech emotional conveyance
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
WO2018201106A1 (en) 2017-04-27 2018-11-01 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US10250532B2 (en) * 2017-04-28 2019-04-02 Microsoft Technology Licensing, Llc Systems and methods for a personality consistent chat bot
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
JP6768597B2 (ja) * 2017-06-08 2020-10-14 株式会社日立製作所 対話システム、対話システムの制御方法、及び装置
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
EP3652664A1 (de) * 2017-07-14 2020-05-20 Cognigy GmbH Verfahren zur dialogführung zwischen mensch und computer
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10311872B2 (en) 2017-07-25 2019-06-04 Google Llc Utterance classifier
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
DE102017213246A1 (de) * 2017-08-01 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Erzeugen auditiver Meldungen
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
DE102017117570A1 (de) * 2017-08-02 2019-02-07 Alexander Augst Verfahren, System, Anwendergerät sowie Computerprogramm zum Erzeugen einer auditiven Meldung in einem stationären Wohnraum
DE102017117569A1 (de) * 2017-08-02 2019-02-07 Alexander Augst Verfahren, System, Anwendergerät sowie ein Computerprogramm zum Erzeugen eines in einem stationären Wohnraum auszugebenden Audiosignals
CN107450367A (zh) * 2017-08-11 2017-12-08 上海思依暄机器人科技股份有限公司 一种语音透传方法、装置及机器人
US10497370B2 (en) * 2017-08-18 2019-12-03 2236008 Ontario Inc. Recognition module affinity
US10410655B2 (en) * 2017-09-18 2019-09-10 Fujitsu Limited Estimating experienced emotions
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
WO2019077013A1 (en) * 2017-10-18 2019-04-25 Soapbox Labs Ltd. METHODS AND SYSTEMS FOR PROCESSING AUDIO SIGNALS CONTAINING VOICE DATA
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US11132503B2 (en) 2017-10-30 2021-09-28 Nohold, Inc. Query a system via natural language NLP2X
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11769159B2 (en) * 2017-11-13 2023-09-26 Aloke Chaudhuri System and method for human emotion and identity detection
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
WO2019108702A1 (en) 2017-11-29 2019-06-06 Snap Inc. Graphic rendering for electronic messaging applications
KR102480767B1 (ko) 2017-11-29 2022-12-23 스냅 인코포레이티드 전자 메시징 애플리케이션에서의 그룹 스토리들
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US10225621B1 (en) 2017-12-20 2019-03-05 Dish Network L.L.C. Eyes free entertainment
EP3732677A4 (en) * 2017-12-29 2021-09-29 DMAI, Inc. SYSTEM AND PROCEDURE FOR AN AUTOMATIC COMPANION DRIVEN BY ARTIFICIAL INTELLIGENCE
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10430447B2 (en) 2018-01-31 2019-10-01 International Business Machines Corporation Predicting intent of a user from anomalous profile data
US10741176B2 (en) * 2018-01-31 2020-08-11 International Business Machines Corporation Customizing responses to users in automated dialogue systems
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
US10796468B2 (en) 2018-02-26 2020-10-06 Didimo, Inc. Automatic rig creation process
US11508107B2 (en) 2018-02-26 2022-11-22 Didimo, Inc. Additional developments to the automatic rig creation process
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US11062494B2 (en) 2018-03-06 2021-07-13 Didimo, Inc. Electronic messaging utilizing animatable 3D models
US11741650B2 (en) 2018-03-06 2023-08-29 Didimo, Inc. Advanced electronic messaging utilizing animatable 3D models
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Ｊｖｃケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US10719968B2 (en) 2018-04-18 2020-07-21 Snap Inc. Augmented expression system
EP3561644A1 (en) * 2018-04-27 2019-10-30 Ningbo Geely Automobile Research & Development Co. Ltd. Multimedia effect based on physiological data of a user of a vehicle
US11438283B1 (en) * 2018-05-03 2022-09-06 Progressive Casualty Insurance Company Intelligent conversational systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
WO2019220254A1 (en) * 2018-05-14 2019-11-21 Gentex Corporation Vehicle control module for smart home control system
JP7347414B2 (ja) * 2018-05-15 2023-09-20 ソニーグループ株式会社 情報処理システム、情報処理方法、および記録媒体
KR20190131163A (ko) * 2018-05-16 2019-11-26 현대자동차주식회사 감정 지도 작성 방법, 감정 지도 장치 및 감정 지도 작성 장치를 포함한 차량
KR20200006739A (ko) * 2018-07-11 2020-01-21 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
CN110562260B (zh) * 2018-05-17 2024-12-27 现代自动车株式会社 对话系统和对话处理方法
US10872604B2 (en) 2018-05-17 2020-12-22 Qualcomm Incorporated User experience evaluation
US20190355352A1 (en) * 2018-05-18 2019-11-21 Honda Motor Co., Ltd. Voice and conversation recognition system
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11132681B2 (en) 2018-07-06 2021-09-28 At&T Intellectual Property I, L.P. Services for entity trust conveyances
CN109101490B (zh) * 2018-07-24 2021-04-27 山西大学 一种基于融合特征表示的事实型隐式情感识别方法和系统
EP3832560A4 (en) * 2018-07-27 2021-09-15 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10802872B2 (en) 2018-09-12 2020-10-13 At&T Intellectual Property I, L.P. Task delegation and cooperation for automated assistants
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
EP3856596A4 (en) 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC Intelligent transportation systems
US11486721B2 (en) 2018-09-30 2022-11-01 Strong Force Intellectual Capital, Llc Intelligent transportation systems
DE102018217126A1 (de) * 2018-10-08 2020-04-09 Audi Ag Verfahren zum Anzeigen von Informationen auf einer Anzeigeeinheit mit einem nutzeridentifizierenden Avatar, sowie Kraftfahrzeug
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
US11481186B2 (en) 2018-10-25 2022-10-25 At&T Intellectual Property I, L.P. Automated assistant context and protocol
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
JP7053432B2 (ja) 2018-11-14 2022-04-12 本田技研工業株式会社 制御装置、エージェント装置及びプログラム
US11068654B2 (en) * 2018-11-15 2021-07-20 International Business Machines Corporation Cognitive system for declarative tone modification
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
CN109572705B (zh) * 2018-12-11 2020-07-28 武汉格罗夫氢能汽车有限公司 一种驾驶员情绪管理方法、设备及存储设备
US20200193264A1 (en) * 2018-12-14 2020-06-18 At&T Intellectual Property I, L.P. Synchronizing virtual agent behavior bias to user context and personality attributes
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
CN109697290B (zh) * 2018-12-29 2023-07-25 咪咕数字传媒有限公司 一种信息处理方法、设备及计算机存储介质
US10909328B2 (en) * 2019-01-04 2021-02-02 International Business Machines Corporation Sentiment adapted communication
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
JP7266418B2 (ja) * 2019-02-14 2023-04-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
US11854538B1 (en) * 2019-02-15 2023-12-26 Amazon Technologies, Inc. Sentiment detection in audio data
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
JP7340940B2 (ja) * 2019-03-07 2023-09-08 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US12242979B1 (en) 2019-03-12 2025-03-04 Snap Inc. Departure time estimation in a location sharing system
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10978069B1 (en) * 2019-03-18 2021-04-13 Amazon Technologies, Inc. Word selection for natural language interface
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US12070682B2 (en) 2019-03-29 2024-08-27 Snap Inc. 3D avatar plugin for third-party games
WO2020200081A1 (zh) * 2019-03-29 2020-10-08 广州虎牙信息科技有限公司 一种直播控制方法、装置、直播设备及存储介质
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11113859B1 (en) * 2019-07-10 2021-09-07 Facebook Technologies, Llc System and method for rendering three dimensional face model based on audio stream and image data
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11182945B2 (en) 2019-08-29 2021-11-23 Didimo, Inc. Automatically generating an animatable object from various types of user input
US11645800B2 (en) 2019-08-29 2023-05-09 Didimo, Inc. Advanced systems and methods for automatically generating an animatable object from various types of user input
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11335360B2 (en) 2019-09-21 2022-05-17 Lenovo (Singapore) Pte. Ltd. Techniques to enhance transcript of speech with indications of speaker emotion
US11343209B2 (en) 2019-09-27 2022-05-24 Snap Inc. Presenting reactions from friends
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11544921B1 (en) 2019-11-22 2023-01-03 Snap Inc. Augmented reality items based on scan
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11593984B2 (en) 2020-02-07 2023-02-28 Apple Inc. Using text for avatar animation
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11636850B2 (en) * 2020-05-12 2023-04-25 Wipro Limited Method, system, and device for performing real-time sentiment modulation in conversation systems
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US10991142B1 (en) * 2020-06-16 2021-04-27 Justin Harrison Computer-implemented essence generation platform for posthumous persona simulation
US20230237242A1 (en) * 2020-06-24 2023-07-27 Joseph SEROUSSI Systems and methods for generating emotionally-enhanced transcription and data visualization of text
KR20230025475A (ko) 2020-06-25 2023-02-21 스냅 인코포레이티드 메시징 시스템에서의 아바타 상태 업데이트
EP4172948A4 (en) 2020-06-25 2024-07-10 Snap Inc. UPDATE AVATAR CLOTHES IN A MESSAGING SYSTEM
US11741965B1 (en) * 2020-06-26 2023-08-29 Amazon Technologies, Inc. Configurable natural language output
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
GB2597092A (en) * 2020-07-15 2022-01-19 Daimler Ag A method for determining a state of mind of a passenger, as well as an assistance system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11756251B2 (en) * 2020-09-03 2023-09-12 Sony Interactive Entertainment Inc. Facial animation control by automatic generation of facial action units using text and speech
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
CN112161621B (zh) * 2020-09-24 2022-11-25 北京理工大学 一种无模型辅助导航适配区域选取方法
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
CN112270168B (zh) * 2020-10-14 2023-11-24 北京百度网讯科技有限公司 对白情感风格预测方法、装置、电子设备及存储介质
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
EP3996047A1 (en) * 2020-11-04 2022-05-11 Tata Consultancy Services Limited Method and system for generating face animations from speech signal input
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US12056792B2 (en) 2020-12-30 2024-08-06 Snap Inc. Flow-guided motion retargeting
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US12106486B2 (en) 2021-02-24 2024-10-01 Snap Inc. Whole body visual effects
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US12067804B2 (en) 2021-03-22 2024-08-20 Snap Inc. True size eyewear experience in real time
US12165243B2 (en) 2021-03-30 2024-12-10 Snap Inc. Customizable avatar modification system
US12170638B2 (en) 2021-03-31 2024-12-17 Snap Inc. User presence status indicators generation and management
US12175570B2 (en) 2021-03-31 2024-12-24 Snap Inc. Customizable avatar generation system
US12034680B2 (en) 2021-03-31 2024-07-09 Snap Inc. User presence indication data management
US12100156B2 (en) 2021-04-12 2024-09-24 Snap Inc. Garment segmentation
JP6993034B1 (ja) 2021-05-14 2022-01-13 Ａｉインフルエンサー株式会社 コンテンツ再生方法、及びコンテンツ再生システム
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US12182583B2 (en) 2021-05-19 2024-12-31 Snap Inc. Personalized avatar experience during a system boot process
DE102021003074B3 (de) 2021-06-15 2022-08-25 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erzeugung von Sprachausgaben in einem Fahrzeug
US11848019B2 (en) * 2021-06-16 2023-12-19 Hewlett-Packard Development Company, L.P. Private speech filterings
WO2022271162A1 (en) * 2021-06-23 2022-12-29 Google Llc Supporting multiple roles in voice-enabled navigation
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US12198664B2 (en) 2021-09-02 2025-01-14 Snap Inc. Interactive fashion with music AR
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US12086916B2 (en) 2021-10-22 2024-09-10 Snap Inc. Voice note with face tracking
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12096153B2 (en) 2021-12-21 2024-09-17 Snap Inc. Avatar call platform
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
KR20240139063A (ko) 2022-01-17 2024-09-20 스냅 인코포레이티드 Ar 신체 부분 추적 시스템
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11824819B2 (en) 2022-01-26 2023-11-21 International Business Machines Corporation Assertiveness module for developing mental model
US12142257B2 (en) 2022-02-08 2024-11-12 Snap Inc. Emotion-based text to speech
WO2023166850A1 (ja) * 2022-03-04 2023-09-07 ソニーグループ株式会社 音声処理装置及び音声処理方法、情報端末、情報処理装置、並びにコンピュータプログラム
US20230305900A1 (en) * 2022-03-28 2023-09-28 Hewlett Packard Enterprise Development Lp Workload execution on backend systems
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US12148105B2 (en) 2022-03-30 2024-11-19 Snap Inc. Surface normals for pixel-aligned object
US12254577B2 (en) 2022-04-05 2025-03-18 Snap Inc. Pixel depth determination for object
US12164109B2 (en) 2022-04-29 2024-12-10 Snap Inc. AR/VR enabled contact lens
FR3135372A1 (fr) * 2022-05-03 2023-11-10 Orange Procédés et dispositifs permettant une interaction enrichie entre un véhicule connecté et un agent conversationnel.
US12062144B2 (en) 2022-05-27 2024-08-13 Snap Inc. Automated augmented reality experience creation based on sample source and target images
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US12235991B2 (en) 2022-07-06 2025-02-25 Snap Inc. Obscuring elements based on browser focus
US20240013462A1 (en) * 2022-07-07 2024-01-11 Nvidia Corporation Audio-driven facial animation with emotion support using machine learning
US12062146B2 (en) 2022-07-28 2024-08-13 Snap Inc. Virtual wardrobe AR experience
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
US12051163B2 (en) 2022-08-25 2024-07-30 Snap Inc. External computer vision for an eyewear device
US12154232B2 (en) 2022-09-30 2024-11-26 Snap Inc. 9-DoF object tracking
US12229901B2 (en) 2022-10-05 2025-02-18 Snap Inc. External screen streaming for an eyewear device
DE102022211269A1 (de) * 2022-10-24 2024-04-25 Volkswagen Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zum Beeinflussen eines Nutzerverhaltens, sowie Speichermedium mit einem darauf gespeicherten Computerprogrammprodukt
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
US12243266B2 (en) 2022-12-29 2025-03-04 Snap Inc. Device pairing using machine-readable optical label
US12149489B2 (en) 2023-03-14 2024-11-19 Snap Inc. Techniques for recommending reply stickers
US12047337B1 (en) 2023-07-03 2024-07-23 Snap Inc. Generating media content items during user interaction

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085134B2 (ja) * 1990-05-22 1996-01-24 凸版印刷株式会社 再封可能な包装袋の製造方法
DE4139064C2 (de) * 1991-11-28 1996-10-10 Wilhelm Dr Buck Verfahren zur Überwachung des Füllungsgrads eines Kältemittelverdampfers
DE19603175A1 (de) * 1996-01-30 1997-07-31 Wilhelm Dr Buck Verfahren und Einrichtung zur Überwachung, Einstellung und Regelung des Füllungsgrads eines Kältemittelverdampfers
US6405111B2 (en) * 1997-05-16 2002-06-11 Snap-On Technologies, Inc. System and method for distributed computer automotive service equipment
US6249720B1 (en) * 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JPH11259271A (ja) * 1998-03-13 1999-09-24 Aqueous Reserch:Kk エージェント装置
JPH11259446A (ja) 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置
JPH11272640A (ja) 1998-03-23 1999-10-08 Aqueous Reserch:Kk エージェント装置
JP3873386B2 (ja) 1997-07-22 2007-01-24 株式会社エクォス・リサーチ エージェント装置
JP4032492B2 (ja) * 1998-03-23 2008-01-16 株式会社エクォス・リサーチ エージェント装置
JP3965538B2 (ja) * 1998-02-27 2007-08-29 株式会社エクォス・リサーチ エージェント装置
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
JP4085500B2 (ja) * 1999-01-29 2008-05-14 株式会社エクォス・リサーチ 車両状況把握装置、エージェント装置、および、車両制御装置
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
JP4163839B2 (ja) * 2000-02-08 2008-10-08 本田技研工業株式会社 車両用コミニュケーション装置
US6381534B2 (en) * 2000-02-14 2002-04-30 Fujitsu Limited Navigation information presenting apparatus and method thereof
JP2001227962A (ja) * 2000-02-15 2001-08-24 Fujitsu Ten Ltd ナビゲーション装置
US7319992B2 (en) * 2000-09-25 2008-01-15 The Mission Corporation Method and apparatus for delivering a virtual reality environment
JP3632607B2 (ja) * 2001-03-22 2005-03-23 トヨタ自動車株式会社 乗物の表現動作制御システム及び乗物のコミュニケーションシステム、表現動作を行う乗物
GB0111607D0 (en) 2001-05-11 2001-07-04 Netdecisions Ltd Spoken interface systems
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
JP4701564B2 (ja) * 2001-08-31 2011-06-15 ソニー株式会社 メニュー表示装置及びメニューの表示方法
JP5019145B2 (ja) 2001-09-28 2012-09-05 株式会社エクォス・リサーチ 運転者情報収集装置
EP1462317A4 (en) * 2001-11-13 2009-10-28 Equos Research Kk APPARATUS FOR CREATING DATA
US8555164B2 (en) * 2001-11-27 2013-10-08 Ding Huang Method for customizing avatars and heightening online safety
JP2003237490A (ja) * 2002-02-19 2003-08-27 Altia Co Ltd 車両用コミュニケーション装置
JP4077656B2 (ja) * 2002-05-02 2008-04-16 日本放送協会 発言者特定映像装置
WO2003100760A1 (fr) * 2002-05-29 2003-12-04 Yamaha Hatsudoki Kabushiki Kaisha Systeme d'indication de l'etat de produits, programme pour systeme d'indication de l'etat de produits, support d'enregistrement pour systeme d'indication de l'etat de produits
US6817979B2 (en) * 2002-06-28 2004-11-16 Nokia Corporation System and method for interacting with a user's virtual physiological model via a mobile terminal
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
JP4533705B2 (ja) * 2003-09-01 2010-09-01 パナソニック株式会社 車載対話装置
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
JP4700904B2 (ja) * 2003-12-08 2011-06-15 パイオニア株式会社 情報処理装置及び走行情報音声案内方法
US7222019B2 (en) * 2004-01-14 2007-05-22 Yamaha Hatsudoki Kabushiki Kaisha Vehicle image display apparatus and vehicle having the same
WO2005074588A2 (en) * 2004-01-30 2005-08-18 Yahoo! Inc. Method and apparatus for providing dynamic moods for avatars
WO2005074596A2 (en) * 2004-01-30 2005-08-18 Yahoo! Inc. Method and apparatus for providing real-time notification for avatars
US7707520B2 (en) * 2004-01-30 2010-04-27 Yahoo! Inc. Method and apparatus for providing flash-based avatars
JP2006154926A (ja) * 2004-11-25 2006-06-15 Denso Corp キャラクタ表示を利用した電子機器操作システム及び電子機器
US20060122834A1 (en) * 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
KR20060080317A (ko) * 2005-01-05 2006-07-10 현대자동차주식회사 감성기반을 갖는 자동차용 소프트웨어 로봇
JP4371057B2 (ja) * 2005-01-11 2009-11-25 トヨタ自動車株式会社 車両用エージェント装置、エージェントシステム及びエージェント制御方法
JP4604173B2 (ja) * 2005-03-16 2010-12-22 学校法人東海大学 遠隔会議・教育システム
US20060224046A1 (en) * 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
JP4535272B2 (ja) * 2005-04-04 2010-09-01 株式会社デンソー 自動車用ユーザーもてなしシステム
DE102005017313A1 (de) 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
JP4682714B2 (ja) 2005-06-14 2011-05-11 トヨタ自動車株式会社 対話システム
US20070074114A1 (en) * 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Automated dialogue interface
CN101304902B (zh) 2005-11-11 2013-08-28 大众汽车有限公司 信息装置，优选用于汽车；用于提供关于汽车数据、尤其关于汽车功能及其运作的信息的方法
DE102006049965A1 (de) 2006-02-11 2007-10-18 Volkswagen Ag Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733171B (zh) * 2011-08-11 2016-11-09 株式会社电装 显示控制装置
CN103733171A (zh) * 2011-08-11 2014-04-16 株式会社电装 显示控制装置
CN102323919A (zh) * 2011-08-12 2012-01-18 百度在线网络技术（北京）有限公司 一种基于用户情绪指示信息显示输入信息的方法与设备
CN104011791A (zh) * 2011-11-21 2014-08-27 （株）未来机器人 角色的多语言语音系统及方法
CN103373300B (zh) * 2012-04-16 2017-04-26 通用汽车环球科技运作有限责任公司 自适应人机系统和方法
CN103373300A (zh) * 2012-04-16 2013-10-30 通用汽车环球科技运作有限责任公司 自适应人机系统和方法
CN103513868B (zh) * 2012-06-18 2017-01-18 通用汽车有限责任公司 生成拟人化车辆图像的方法
CN103513868A (zh) * 2012-06-18 2014-01-15 通用汽车有限责任公司 生成拟人化车辆图像的方法
CN106716341A (zh) * 2014-07-22 2017-05-24 通用汽车环球科技运作有限责任公司 用以改进车内的用户体验的自适应界面的系统和方法
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
CN107577385A (zh) * 2015-09-08 2018-01-12 苹果公司 媒体环境中的智能自动化助理
CN106562792A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
CN105383497B (zh) * 2015-10-30 2020-10-27 北京九五智驾信息技术股份有限公司 车载系统
CN105292125B (zh) * 2015-10-30 2020-10-27 北京九五智驾信息技术股份有限公司 驾驶员状态监测方法
CN105383497A (zh) * 2015-10-30 2016-03-09 北京九五智驾信息技术股份有限公司 车载系统
CN105292125A (zh) * 2015-10-30 2016-02-03 北京九五智驾信息技术股份有限公司 驾驶员状态监测方法
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
CN105549841A (zh) * 2015-12-02 2016-05-04 小天才科技有限公司 一种语音交互方法、装置及设备
CN106874265B (zh) * 2015-12-10 2021-11-26 深圳新创客电子科技有限公司 一种与用户情绪匹配的内容输出方法、电子设备及服务器
CN106874265A (zh) * 2015-12-10 2017-06-20 深圳新创客电子科技有限公司 一种与用户情绪匹配的内容输出方法、电子设备及服务器
CN105530521A (zh) * 2015-12-16 2016-04-27 广东欧珀移动通信有限公司 一种流媒体查找方法、装置及系统
CN109328155A (zh) * 2016-06-24 2019-02-12 微软技术许可有限责任公司 状况感知个人助理
US11636305B2 (en) 2016-06-24 2023-04-25 Microsoft Technology Licensing, Llc Situation aware personal assistant
CN107888652A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 处理结果异常检测装置、检测程序、检测方法和移动体
CN107888652B (zh) * 2016-09-30 2020-12-25 本田技研工业株式会社 处理结果异常检测装置、存储介质、检测方法和移动体
CN106383595A (zh) * 2016-10-28 2017-02-08 维沃移动通信有限公司 一种输入法显示界面的调整方法及移动终端
CN106774830A (zh) * 2016-11-16 2017-05-31 网易（杭州）网络有限公司 虚拟现实系统、语音交互方法及装置
CN106774830B (zh) * 2016-11-16 2020-04-14 网易（杭州）网络有限公司 虚拟现实系统、语音交互方法及装置
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN109086287A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于选择自主车辆中的音景选择的系统和方法
CN107647873A (zh) * 2017-08-31 2018-02-02 维沃移动通信有限公司 一种情绪的检测方法及移动终端
CN109753147A (zh) * 2017-11-01 2019-05-14 丰田自动车株式会社 车内系统
CN109243438A (zh) * 2018-08-24 2019-01-18 上海擎感智能科技有限公司 一种车主情绪调节方法、系统及存储介质
CN109243438B (zh) * 2018-08-24 2023-09-26 上海擎感智能科技有限公司 一种车主情绪调节方法、系统及存储介质
CN113287117A (zh) * 2019-01-04 2021-08-20 塞伦妮经营公司 交互系统和方法
CN113287117B (zh) * 2019-01-04 2025-03-04 塞伦妮经营公司 交互系统和方法
CN111667333A (zh) * 2019-03-08 2020-09-15 本田技研工业株式会社 智能体装置、智能体装置的控制方法及存储介质
CN113460070B (zh) * 2019-03-21 2022-12-16 百度在线网络技术（北京）有限公司 车辆控制方法和装置
CN113460070A (zh) * 2019-03-21 2021-10-01 百度在线网络技术（北京）有限公司 车辆控制方法和装置
CN110192864A (zh) * 2019-06-12 2019-09-03 北京交通大学 一种跨域心电图生物特征身份识别方法
CN113401129A (zh) * 2020-03-17 2021-09-17 丰田自动车株式会社 信息处理装置、记录介质以及信息处理方法
CN113401129B (zh) * 2020-03-17 2023-12-26 丰田自动车株式会社 信息处理装置、记录介质以及信息处理方法
US11904868B2 (en) 2020-03-17 2024-02-20 Toyota Jidosha Kabushiki Kaisha Information processing device, recording medium, and information processing method
CN114639395A (zh) * 2020-12-16 2022-06-17 观致汽车有限公司 车载虚拟人物的语音控制方法、装置及具有其的车辆
CN113212448A (zh) * 2021-04-30 2021-08-06 恒大新能源汽车投资控股集团有限公司 一种智能交互方法和装置
CN113320537A (zh) * 2021-07-16 2021-08-31 北京航迹科技有限公司 一种车辆控制方法和系统
CN113744738A (zh) * 2021-09-10 2021-12-03 安徽淘云科技股份有限公司 一种人机交互方法及其相关设备
CN113744738B (zh) * 2021-09-10 2024-03-19 安徽淘云科技股份有限公司 一种人机交互方法及其相关设备
CN115214703A (zh) * 2022-04-06 2022-10-21 长城汽车股份有限公司 一种车辆控制的方法及装置
CN115062471A (zh) * 2022-06-15 2022-09-16 宁波大学科学技术学院 基于交通虚拟仿真的车辆智能体情绪化行为可视化方法
CN115346512A (zh) * 2022-08-24 2022-11-15 北京中科深智科技有限公司 一种基于数字人的多情感语音合成方法

Also Published As

Publication number Publication date
US9495787B2 (en) 2016-11-15
EP2140341B1 (en) 2012-04-25
US20090063154A1 (en) 2009-03-05
US20080269958A1 (en) 2008-10-30
JP2010531478A (ja) 2010-09-24
US9811935B2 (en) 2017-11-07
US20090055824A1 (en) 2009-02-26
US8812171B2 (en) 2014-08-19
US20090055190A1 (en) 2009-02-26
US9189879B2 (en) 2015-11-17
BRPI0809759A2 (pt) 2014-10-07
EP2140341A1 (en) 2010-01-06
US10839583B2 (en) 2020-11-17
ATE555433T1 (de) 2012-05-15
US20180047201A1 (en) 2018-02-15
EP2140341A4 (en) 2011-03-23
US20090064155A1 (en) 2009-03-05
WO2008134625A1 (en) 2008-11-06
US20140313208A1 (en) 2014-10-23
US9292952B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
CN101669090A (zh) 情绪提示系统和方法
US20220180867A1 (en) Multiple virtual assistants
Moore PRESENCE: A human-inspired architecture for speech-based human-machine interaction
JP2024521053A (ja) 自動アシスタント応答を生成する際に大規模言語モデルを使用すること
KR20190109868A (ko) 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
CN109189980A (zh) 与用户进行语音交互的方法和电子设备
CN111145721A (zh) 个性化提示语生成方法、装置和设备
CN102145695A (zh) 包括时间代理的情感咨询系统
Singh The role of speech technology in biometrics, forensics and man-machine interface
KR20190113693A (ko) 단어 사용 빈도를 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
KR20220070466A (ko) 지능적 음성 인식 방법 및 장치
KR20190109651A (ko) 인공지능 기반의 음성 모방 대화 서비스 제공 방법 및 시스템
KR20220130952A (ko) 이모지 생성 장치, 차량 및 이모지 생성 방법
US20240402989A1 (en) Human-computer interaction method and apparatus, and terminal device
CN115329057A (zh) 语音交互方法、装置、电子设备及存储介质
CN110310648A (zh) 移动终端的控制方法、装置、移动终端及可读存储介质
JP2020144081A (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN114201596A (zh) 虚拟数字人使用方法、电子设备和存储介质
JP2020160285A (ja) エージェント装置、情報提供方法、及びプログラム
KR20230067501A (ko) 음성 합성 장치 및 그의 음성 합성 방법
CN115214703A (zh) 一种车辆控制的方法及装置
CN113035181A (zh) 语音数据处理方法、设备和系统
CN119180335A (zh) 智能网联汽车数字虚拟人对话方法、装置、车辆及介质
Julia et al. Cooperative agents and recognition systems (CARS) for drivers and passengers
JP2024159719A (ja) 行動制御システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100310