[go: up one dir, main page]

CN1573928A - 用语音应用语言标记执行的语义对象同步理解 - Google Patents

用语音应用语言标记执行的语义对象同步理解 Download PDF

Info

Publication number
CN1573928A
CN1573928A CNA2004100595687A CN200410059568A CN1573928A CN 1573928 A CN1573928 A CN 1573928A CN A2004100595687 A CNA2004100595687 A CN A2004100595687A CN 200410059568 A CN200410059568 A CN 200410059568A CN 1573928 A CN1573928 A CN 1573928A
Authority
CN
China
Prior art keywords
input
semantic
language
computer
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100595687A
Other languages
English (en)
Other versions
CN100578614C (zh
Inventor
王冠三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1573928A publication Critical patent/CN1573928A/zh
Application granted granted Critical
Publication of CN100578614C publication Critical patent/CN100578614C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Telephone Function (AREA)

Abstract

一种语音理解系统包括一个语言模式，该语言模式包含一个N－gram语言模式和一个上下文无关文法语言模式的一个组合，该语言模式存储涉及字以及将要识别的语义信息的信息。该语音理解系统还包括一个适用于接收用户输入并捕获该输入用来处理的模块。该模块进一步适用于接收与输入识别有关的SALT应用程序接口，该模块配置成处理SALT用程序接口输入以用来确定与输入的第一部分有关的语义信息并通过访问语言模式来输出包括第一部分的文本和语义信息的语义对象，其中当连续捕获输入的随后部分时执行识别并输出语义对象。

Description

用语音应用语言标记执行 的语义对象同步理解
发明背景
本发明涉及计算机系统中的信息访问和汇报。尤其涉及使用识别和理解来访问信息。
近来，已经发展了允许用户通过提供语音命令，在计算机系统上访问信息的技术。一旦收到一个用户命令，那么为了确定用户的意图，计算机系统将在用户输入的基础上执行语音识别并对该输入作进一步的处理，其目的在于使计算机系统执行所期望的动作。
在某些情况下，用户提供的输入是不完整或不确定的，这将需要计算机系统以视频或音频提示的形式向用户请求进一步的信息。因此可以在用户与计算机系统之间建立一个对话框，其中在确定了用户意图并可以执行一个动作之前，用户和计算机系统轮流提供问题，答案和/或确认。在其他情况中，创建这样一个话框是用于与计算机系统相互作用的优选模式。
为了使语音成为现代用户接口设计的可行输入/输出方式，已经引入了语音应用语言标记(SALT)。SALT的设计目的是使通用语音任务易于编程，而且具有简易实现的高级性能。例如，一个专门通过语音对话框仅与用户相互作用的基于电话的纯语音应用程序。
SALT包括语音输入和输出对象(“listen”和“prompt”)，他们具有同一种合并技术的模式设计以检测用户轮次的开始和结尾。因此，许多语音应用程序采用需要用户发信号通知一个用户轮次开始的用户接口。一些计算机系统包括便携式计算机，语音启动模式装置或多模式装置(由一个诸如鼠标此类的输入装置为选择的区域提供语音输入)以及其他解放双眼的应用。尽管如此，在每个情况中，在对话框中仍然存在对比计算机系统的用户轮次上清楚切分的情况。
然而人类对话通常不遵循参与者之间的清楚切分的、轮流的对话。相反地，对话可以包括由一个参与者提供的确认，确定，提问等，此时其他参与者正提供可以彻底影响，轻微影响或甚至一点也不影响说话者正提供信息的方式。人类发言者喜欢这种自然形式的对话。同样地，电话系统采用全双工技术以允许发生这种对话。
相比之下，基于接口的对话框采用在一个用户和一个计算机系统之间固定轮流操作的模式，这导致计算机系统在处理和进行后来的动作之前要等到用户对话框的结束。尽管在用户完成他的/她的轮次而且计算机系统作出了响应之前，诸如穿过计算屏幕的一系列点进程那样的视频指示的简单反馈可以提供给用户一些保证，保证计算机系统至少在处理着什么，但是该计算机系统理解的程度还是未知的。
因此，在计算机系统中需要基于识别和理解的改善。这种改善将提供一种通过对用户更自然，更易于使用的用于访问信息的系统或方法。
发明概述
一种提供动态汇报部分语义解析的语音输入模式的方法和系统，而音频说明仍在进行。可以使用一个立即汇报给用户的结果来评价该语义分析。
一方面，一种语音理解系统包括一个语言模式，该语言模式包含一个N-gram语言模式和一个上下文无关文法语言模式的一个组合。该语言模式存储有关字以及将要识别的语义信息的信息。该语音理解系统还包括一个适用于接收用户输入并捕获该输入以用于处理的模块。该模块进一步适用于接收与输入识别有关的SALT应用程序接口。该模块配置成处理SALT应用程序接口和输入以用来确定与输入的第一部分有关的语义信息并通过访问语言模式来输出包括第一部分的文本和语义信息的语义对象，其中当连续捕获输入的随后部分时执行识别并输出语义对象。
附图简述
图1是一个数据显示系统的方框图；
图2是一个计算装置运行环境的平面图；
图3是图2中计算装置的方框图；
图4是一个电话的平面图；
图5是一个通用计算机的方框图；
图6是一个对于客户/服务器系统的体系结构的方框图；
图7是一个语音识别和理解模块的方框图。
说明性实施例的详细描述
图1是一个用于在声音输入的基础上再现数据的数据显示系统10的方框图。系统10包括一个语音接口模块12，一个语音识别和理解模块14和一个数据再现模块16。用户用声音查询的形式提供输入给语音接口模块12。语音接口模块12从一个用户那儿搜集语音信息并提供一个它的指示性信号。在语音接口模块12搜集了输入的语音之后，语音识别和理解模块14用一个语音识别器识别语音，并且还执行语音理解，其中在本发明的一个方面，提供至今为止接收到的输入的部分语义解析，同时仍然捕获音频语音输入。
将此部分语义解析提供给能够使用多种不同形式实现的应用模块16，该部分语义解析一般包括所接收输入的文本(或者输入文本的其他指示性数据)，而且还包括确定的语义信息。例如，在一个实施例中，应用模块16可以是一个用来发送，接收和答复电子邮件，安排会议等诸如此类的个人信息管理器。在这种方式下，用户可以提供音频命令来执行这些任务。更重要的是应用模块16可以提供交互式的反馈和/或在接收部分语义解析信息时对部分语义分析信息采取动作，藉此给用户提供一个应用模块16的高度交互式接口。例如，在一种纯声音的操作方式中，输出20可以包括返回到用户的音频指令，当然，同时可能执行其他涉及此应用程序的任务。该部分语义解析或语义对象可以用来在应用程序中执行对话逻辑。例如，该对话逻辑可以在一个或更多的语义对象基础上向用户显示一个选项或多个选项或一栏选项。
这使得系统10能够在一个部分发言的基础上来立即汇报结果，即在用户轮次结束之前。换言之，通过使用秘密渠道通信来汇报并执行通常与一个系统轮次相关的任务，使用户和系统轮次的定义变得模糊。最传统的对话框计划经常将秘密渠道通信视为仅传送诸如肯定应答，否定应答或中立应答那样简单信号的非交互式反馈，这尤其是那些在人对人对话框基础上的对话框计划。然而，输出20所提供的反馈大概可以传送更多的信息以致于稍微插入到正在进行的用户发言中，该反馈可以导致或不导致用户阐明用户的意图或方向。尽管如此，该方法在用户和系统10之间提供一个更逼真的仿人对话框，多数情况下不认为该对话框烦人，而是对于用户而言更加轻松并逐渐有信心满足用户的需求。
在这一点上，应该注意本发明并不局限于一个纯声音运行环境，而是可以包括在部分语义解析或对象处理基础上反馈给用户的其它形式。例如，在上述应用模块16执行电子邮件任务的应用程序中，输出20可以包括视频反馈，诸如仅仅在一个来自用户的包含“发送电子邮件给Bob”的连续命令中的“发送电子邮件”的短语回执基础上激活一个电子邮件模块，其中短语“给Bob”的处理可以导致应用模块访问数据存储器18中的进一步信息并再现一个名为“Bob”的人员列表。因此参看该列表，用户可简单地确定该预定收件人为“Bob Green”，于是由于系统将已经为此部分发言“Bob Green”提供了另一个语义对象，所以可以选择此人，这依据于应用程序提供的回执，而且对其进行的处理将导致选择“Bob Green”。
如上所示，应用模块16能够以多种形式实现，本发明以下对此方面的进一步描述或许有益。在没有限制的情况下，应用模块16还可以是一个口述模块，用来提供用户口头输入的文本输出。然而，通过同样处理输入的部分输入或输入短语处理语义信息，可以获得一个更精确的转换。
尽管上述关于一个来自用户并包含声音命令的输入，但是本发明的这些方面还可以适用于其它输入形式，诸如手写，DTMF，手势或视频指示。
给予部分语义解析或对象处理广阔的适用性，可以有利于描述上述能够运行于系统10中的一般计算装置。如本领域技术人员所理解那样，系统10的部件可以位于单个计算机之内或分布于使用网络连接或协议的一个分布式计算环境中。
请参看图2，用30来举例说明一个移动装置的示范形式，诸如一个数据管理装置(PIM，PDA等)。然而，应预料的是本发明还可以使用以下讨论的其它计算装置来实现。例如，电话机和/或数据管理装置也将受益于本发明。与现有便携式个人信息管理装置和其他便携式电子装置相比，这种装置将具有一个增强的实用性。
在图2举例说明的数据管理移动装置30的示范形式中，该移动装置30包括一个外壳32并具有一个包括显示屏34的用户界面，该用户界面使用一个结合了指示笔33的触感显示屏。指示笔33用来在设定的坐标上按压或接触显示屏34来选择一个区域，有选择性地移动一个光标的启动位置或另外的用来提供诸如通过手势或手写那样的命令信息。可选或附加地，在设备30上可以包括一个或更多个用于导航的按钮35。另外，还可以提供诸如旋转轮，滚轴等其他输入机制。然而应该注意到本发明并不限于这些输入机制形式。例如，另一种输入形式可以包括诸如通过计算机视觉那样的一种视频输入。
请参看图3，一个举例说明包含移动装置30的功能部件的方框图。中央处理单元(CPU)50执行软件控制功能。CPU50连接于显示器34使得在显示器34上显示根据控制软件所生成的文本和图形图标。扬声器43一般可以通过一个数模转换器59连接到CPU50以提供一个音频输出。在与CPU50双向连接的非易失性读/写随机存取存储器54中存储下载的或由用户输入到移动装置30中的数据。随机存取存储器(RAM)54为CPU50所执行的指令提供易失性存储器，而且为诸如寄存器值此类的临时数据提供存储器。在只读存储器(ROM)58中存储配置选项和其他变量的默认值。ROM58还可以用来为那些控制移动装置30的基本函数以及其它操作系统核函数(例如往RAM54中加载软件部件)的装置存储操作系统软件。
RAM54还充当一个与PC上一个用来存储应用程序的硬盘的功能类似的当场代码存储器。应该注意到尽管非易失性存储器用于存储代码，但可选地，可以在不用于执行代码的易失性存储器中存储该代码。
可以由移动装置通过连接到CPU50的无线收发装置52来发射/接收无线信号。如果需要的话，可以提供一个任选的通信接口60来从一个计算机(例如，台式计算机)或一个有线网络直接下载数据。另外，接口60可以包括多种形式的通信装置，例如红外线路，调制解调器，网卡等。
移动装置30包括一个麦克风29，模数转换器(A/D)37，以及一个在存储器54中存储的任选识别程序(语音，DTMF，手写，手势或计算机视觉)。举例来说，响应来自用户装置30的音频信息，指令或命令，麦克风29提供由A/D转换器37数字化的语音信号。该语音识别程序可以在数字化语音信号上执行标准化和/或特征析取功能来获得中间语音识别结果。使用无线收发装置52或通信接口60可以将语音数据发射到以下讨论并在图6的体系结构中举例说明的远程识别服务器204。然后可以将识别结果返回移动装置30以在其上再现(例如视频的和/或音频的)，最后传送到网络服务器202(图6)，其中网络服务器202与移动装置30以客户机/服务器的关系进行操作。
类似的处理可以用于其他输入形式。例如，在设备30上可以使用预处理地数字化手写输入或不使用预处理地数字化手写输入。与语音数据类似，可以将这种形式的输入发射到识别服务器204中识别，其中将处理结果返回到装置30和/或网络服务器202中的至少一个上。同样地，可以类似地处理DTMF数据，手势数据和视频数据。取决于输入形式，装置30(和以下讨论的其他客户机形式)将包括对于视频输入所必要的硬件，如照相机。
图4是一个便携式电话机80的实例平面图。该电话机80包括显示屏82和键区84。一般而言，虽然可以要求执行其他功能所必需的附加电路，但是图3的方框图通常应用于图4的电话机。例如，对图3的实施例将需要一个必要的收发装置来作为一个电话机；然而，该电路与本发明无关。
除了上述便携式或移动计算装置以外，还应该理解到本发明可以采用其他众多诸如一般台式计算机那样的计算装置。例如，当其他诸如全字母-数字键盘那样的传统输入设备难于操作时，本发明将允许用户以有限的体能来往计算机或其他计算装置中输入或键入文本。
本发明还可以供其他众多通用或专用计算系统，环境或配置使用。可以适合采用本发明的公知计算系统，环境和/或配置的例子包括(但不限于)常规电话(没有任何屏幕)个人计算机，服务器计算机，手持或膝上型装置，平板计算机，多处理器系统，基于微处理器的系统，置顶盒，可编程消费电子装置，网络PC，小型计算机，大型机，包括以上任何系统或装置等的分布式计算环境等等类似物。
接下来简要描述图5中举例说明的通用计算机120。然而，计算机120仍仅是一个适合的计算环境的例子，而且也不认为是对本发明的用途或功能进行任何限定。不应该将计算机120理解为具有涉及在此举例说明的任何一个部件或这些部件的组合的任何从属性或必要条件。
可以在计算机所执行的诸如程序模块那样的计算机可执行指令的通用上下文中描述本发明。通常，程序模块包括例行程序，程序，对象，部件，数据结构等，他们执行部分任务或执行部分抽象数据类型。本发明还可以在分布计算环境中实现，其中由通过一个通信网络连接的远程处理装置执行该计算环境中的任务。在分布计算环境中，程序模块可以位于包含存储器装置的本地和远程计算机存储媒体中。以下借助于附图来描述由程序和模块执行的任务。本领域技术人员可以将描述和附图实现为可以在任何形式的计算机可读媒体上编写的处理器可执行指令。
参照图5，计算机120的部件可以包括但不局限于：一个处理装置140，一个系统存储器150以及一个把包括系统存储器的多个系统部件连接到处理装置140的系统总线141。系统总线141可以是其中任何一种包括一个存储器总线或存储器控制器，一个外围总线，以及使用多个总线体系结构中的一种的一个本地总线的总线结构。举例来说(但并不局限于此)，这种体系结构包括工业标准结构(ISA)总线，通用串行总线(USB)，微通道结构(MCA)总线，扩展ISA(EISA)总线，视频电子协会标准(VESA)本地总线，以及也称为附加板总线的周边元件扩展接口(PCI)总线。计算机120一般包括多个计算机可读媒体。计算机可读媒体可以是任何一种能够由计算机120访问的有效媒体并包括易失性和非易失性媒体，可移动和不可移动媒体。举例来说(但并不局限于此)，计算机可读媒体可以包含计算机存储媒体和通信媒体。计算机存储媒体包括为了存储诸如计算机可读指令，数据结构，程序模块或其他数据那样的信息，以任何方式或技术实现的易失性和非易失性，可移动和不可移动的媒体。计算机存储媒体包括(但并不限于)：RAM，ROM，EEPROM，闪存或其他存储技术，CD-ROM，数字化视频光盘或其他光盘存储器，磁带盒，磁带，磁性光盘存储器或其他磁性存储器装置，或其他任何由计算机120访问并存储想要的信息的媒体。
通信媒体一般在诸如载波或其他传送机制那样的调制数据信号中包含有计算机可读指令，数据结构，程序模块或其他数据，并且该通信媒体包括任何信息传送媒体。术语“调制数据信号”意味着一个具有一个或更多个自己的特征集的信号，或者是一种以这种方式变化以在该信号中对信息编码的信号。举例来说(但并不局限于此)，通信媒体包括诸如一个有线网络或直线连接那样的有线媒体，以及诸如声音的，FR，红外线的那样的无线媒体和其他无线媒体。以上任何组合应该包含在计算机可读媒体的范围之内。
系统存储器150包括以诸如只读存储器(ROM)151和随机存取存储器(RAM)152那样的易失性和/或非易失性存储器形式的计算机存储媒体。一般在ROM151中存储一个基本输入/输出系统153(BIOS)，该BIOS包含有助于传送计算机120内元件之间信息的基本例行程序，诸如在启动过程中。RAM152一般包含由处理装置140立即可存取的和/或当前执行的数据和/或程序模式。举例来说(但并不局限于此)，图5举例说明操作系统154，应用程序155，其他程序模式156和程序数据157。
计算机120还可以包括其他可移动/不可移动的易失性/非易失性计算机存储媒体。仅举例来说，图5举例说明一个从不可移动的，非易失性磁性媒体读取或往其中写东西的硬盘驱动器161，一个从可移动的，非易失性磁盘172读取或往其中写东西的磁盘驱动器171，以及一个从诸如CD-ROM或其他光媒体那样的可移动的，非易失性光盘176中读取或往其中写东西的光盘驱动器175。可以在示范运行环境中使用的其他可移动/不可移动的，易失性/非易失性计算机存储媒体包括(但并不局限于)：磁带盒，闪存卡，数字化视频光盘，数字视频磁带，固态RAM，固态RAM等。硬盘驱动器161一般通过诸如接口160那样一个不可移动的存储器接口与系统总线141相连接，而且磁盘驱动器171和光盘驱动器175一般通过诸如接口170那样一个可移动的存储接口与系统总线141相连接。
以上讨论的并在图5中举例说明的驱动器及其相关的计算机存储媒体为计算机120提供计算机可读指令，数据结构，程序模式以及其他数据的存储器。例如在图5中，是以存储了操作系统164、应用程序165、其他程序模块166，以及程序数据167来说明硬盘驱动器161的。注意，这些部件可以相同或不同于操作系统154，应用程序155，其他程序模块156以及程序数据157。在这里将用不同的数字来描述操作系统164，应用程序165，其他程序模块166和程序数据167，至少他们是不同版本的。
用户可以通过诸如键盘182，麦克风183和像鼠标，跟踪球或触摸屏那样的点击装置的输入设备往计算机120中输入命令和指令。其他输入设备(未显示)可以包括游戏控制杆，游戏垫，圆盘式卫星电视天线，扫描仪等。这些输入设备和其他输入设备经常通过一个连接到系统总线的用户输入接口180相连于处理设备140，但是可以通过其他诸如并行端口，游戏端口或通用串行总线(USB)这样的接口和总线结构来连接这些输入设备。监视器184或其他类型的显示设备还经由一个诸如视频接口185那样的接口与系统总线141相连接。除监视器以外，计算机还可以包括其他诸如扬声器187和打印机186那样的外围输出设备，可以通过一个输出外围接口188连接这些外围输出设备。
计算机120可以运行在使用逻辑连接到一个或更多个远程计算机的网络工作环境中，例如一个远程计算机194。远程计算机可以是个人计算机，手持装置，服务器，路由器，网络工作PC，对等装置或其他通用网络节点，而且计算机120一般包括多个或所有上述与计算机120有关的部件。在图5中描述的该逻辑连接包括局域网(LAN)191和广域网(WAN)193，但它还可以包括其他网络。这种网络环境在办公室，企业宽带计算机网络，企业内部互联网和国际互联网中是很平常的。
当应用在一个局域网的网络环境中时，计算机120通过一个网络接口或适配器190与局域网连接。当应用在一个广域网的网络环境中时，计算机120一般包括一个调制解调器192或其他用于在WAN193上建立连接的装置，如国际互联网。或是内部的或是外部的调制解调器192可以经由用户输入接口180或其他合适的机制与系统总线141连接。在一个网络环境中，可以在远程存储器装置中存储与计算机120有关的程序模块或相应的段。举例说明但(并不局限于此)，图5说明的远程应用程序195保存在远程计算机194上。应理解得是，所显示的网络连接仅是示例，也可以使用其他装置在计算机之间建立连接。
图6举例说明基于识别和数据再现的网络体系结构200，该体系结构是本发明的一个示范环境。通常，可以通过诸如移动装置30或计算机120那样的一个客户机访问存储在网络服务器202中的信息(其中表示其他形式的具有一个显示屏，一个麦克风，一个照相机，一个触摸板等的计算设备，这需要以输入形式为基础)，或者通过其中要求音频信息的电话机80或者响应按下的键由电话机80而产生的音调，而且其中仅将来自网络服务器202的音频信息返回给用户。
在该实施例中，体系结构200在是否通过客户机100或电话机80获得信息是统一标准的，单个识别服务器204可以支持每一种操作模式。另外，体系结构200用一种扩展的众所周知的标记语言来进行操作(例如HTML，XHTML，cHTML，XML，WML等)。因此，还可以使用以这些标记语言创建的众所周知的GUI方法来访问存储在网络服务器202上的信息。使用这些扩展的众所周知的标记语言使得更容易在网络服务器上进行创建，而且还可以易于修改目前存在的传统应用程序使其包含声音识别。
通常，客户100执行由网络服务器202使用一个浏览器所提供的通常用206表示的HTML页面，脚本等。举例来说，当需要声音识别时，将已经如上所述由客户机100预处理其中音频数据的语音数据提供给识别服务器204，该识别服务器具有一个可以由客户100机所提供的在语音识别期间使用的文法或语言模式220的指示。另外，语音服务器204可以包括语言模式220。可以以多种形式来实现该识别服务器，其中一种形式如上所述，但通常包括一个识别器211。如果需要或合适的话，提供识别结果返回到客户100机用来本地再现。如果需要的话，文本-到-语音模块222可以用来提供口头文本到客户机100。如果必要的话，根据通过识别和任何图形用户接口(如果使用)进行的信息编译，客户机100发送信息到网络服务器202用以进一步处理以及进一步接收HTML页面/脚本。
如图6中所述，客户机100，网络服务器202和识别服务器204通常是通过网络205连接并分别寻址的，在这里是诸如国际互联网那样一个广域网。因此任何这些装置没有必要彼此实际互连定位。特别是，网络服务器202没有必要包括识别服务器204。照这样，可以把在网络服务器202上的创建集中在应用程序上，而不需要让创建者知道识别服务器204的复杂性。相反地，可以独立设计识别服务器204并将其连接到网络205，并不需要进一步的改变而对网络服务器202进行更新和改善。网络服务器202还可以包括一个能够动态地产生客户端标记和脚本的创建机制。在进一步的实施例中，可以根据执行机制的能力来结合网络服务器202，识别服务器204和客户机100。例如，如果客户机100包含一个诸如个人计算机那样的通用计算机，该客户机可以包括识别服务器204等，如果需要的话，可以在单个机器中结合网络服务器202和识别服务器204。
通过电话机80对网络服务器202的访问包括将电话机80连接到一个有线或无线的电话网络208，轮流地，将电话机80连接到一个第三部分通路210。通路210把电话机80连接到一个电话声音浏览器212。电话声音浏览器212包括一个提供电话接口和声音浏览器216的媒体服务器214。与客户机100类似，电话声音浏览器212接收HTML页面/脚本或来自网络服务器202的相同东西。在一个实施例中，该HTML页面/脚本与提供给客户100的HTML页面/脚本在形式上相近。照这样，网络服务器不必分别支持客户100和电话80，或者甚至不必分别支持标准GUI客户机。相反地，可以使用一种通用标记语言。另外与客户机100类似，通过网络205或通过专用路线207，例如使用TCP/IP，从声音浏览器216把来自于由电话机80发射的音频信号的声音识别提供给识别服务器204。可以在诸如图5中所描述的通用计算机那样的任何合适的计算环境中嵌入网络服务器202，识别服务器204和电话声音浏览器212。
已经描述了多种环境以及在系统10中运行的体系结构，现在将对多个部件和系统10的功能提供一个更详细的描述。图7举例说明语音识别和理解模块14的一个方框图。把接收自语音接口模块12的输入语音发送到语音识别和理解模块14。语音识别和理解模块14包括具有一个相关的语言模块310的识别引擎306。识别引擎306用语言模块310来确定可能的表面语义结构以显示每一个形成该输入的短语，当接收输入时提供部分语义解析。与等候用户完成发言然后处理所接收的完整输入的系统不同，模块14仅基于至今为止已接收的持续提供语义对象。
识别引擎306在部分发言的基础上提供至少一个表面语义输出对象。在一些实施例中，识别引擎306能够对每一个可选择的结构提供多于一个的可选择表面语义对象。
尽管在图7中举例说明中提供了语音输入，但是本发明可以利用手写识别，手势识别或图形用户接口(其中该用户与一个键盘或其他输入设备相互作用)。在另外的实施例中，用一个合适的识别引擎取代语音识别器306是本领域公知的技术。对于图形用户接口，具有语言模式的文法与诸如通过一个输入框的用户输入有关。另外，在输入方式基础上以一种不需要显著修改的连贯方式处理用户输入。
上述交互式对话框还包括系统10基于部分语义或对象提供的其他形式的信息反馈，该交互式对话框10可以用SALT(语音应用语言标记)或其他语音、手写，以及支持一个语言模式结构的模式识别AIP(应用程序接口)来实现，该语言模式结构能够在一个给定的应用程序和语义对象同步解码的已选择模式的基础上提供语义信息。SALT是一种能够从个人计算机，电话，平面PC和无线移动装置中访问信息，应用程序和网络服务的发展中的标准，例如，SALT还可以应用于应用接口，同时不需要经过网络进行互连。SALT扩展现有诸如HTML，XHTML和XML那样的标记语言。可以在http：//www.SALTforum.org上在线找到SALT.10规范。还应该注意到，SALT可以基于用户的输入提供语义信息，例如从语音服务器204，这种信息在完成一个发言后构成提供给数据再现模块16的对象；然而如下进一步描述的，可以先前不打算提供部分语义解析或对象的方式使用SALT。使用SALT扩展或在其他API中类似的扩展，为驱动用户交互的高度交互式事件提供支持。
举例来说使用SALT，该SALT的listen对象可以用来执行语音识别和理解任务。这是因为该设计遵循将语音识别理解为模式识别问题的观点和公式化，，就像语音识别。同样力求从最匹配一个给予的语音信号的一个可能输出的集合中找到一个模式。对于语音识别，要找到的模式是一个字符串，而对于理解是一个语义对象树。传统语音识别任务命令用包含可能的字符串的语言模式进行搜索处理。一个语音理解任务可以以一种类似的方式指导相同的搜索引擎来用一个语义模式组成合适的语义对象树。如经常暗示一个专门词汇和从专门词汇入口组合短语段的规则这样的语言模式，一个语义模式暗示一个所有语义对象和组成它们的规则的字典。当识别结果是一个文本串时，该理解结果是语义对象树。
尽管有可能扩展N-gram来返回一个构成的搜索结果，但是多数标准语音理解应用程序是在其中设计者可以指定组成语义对象的规则而没有庞大的注释培训数据的树库的随机上下文无关文法基础上的。一种指定这些规则的方法与每一个带有产品指向的PCFG有关，该产品执行是关于搜索引擎如何将部分PCFG短语树转换成一个语义对象树。以下显示的是一个用微软语音应用接口(SAPI)编写的实施例(它也是可以用在本发明一个语音API的实施例)：
<rule name＝”nyc”>
<list>
<phrase>new york？city</phrase>
<phrase>the big apple</phrase>
</list>
<output>
<city_location>
<city>New York</city>
<state>New York</state>
<country>USA</country>
</city_location>
</output>
</rule>
...
<rule name＝”NewMeeting”>
<rulerefmin＝”0”name＝”CarrierPhrase”>
<rulerefmax＝”inf”name＝”Apptproperty”>
<output>
<NewMeeting>
<DateTime>
<xsl：apply-templates select＝”//Date”/>
<xsl：apply-templates select＝”//Time”/>
<xsl：apply-templates select＝”//Duration”/>
</DateTime>
<Invitees>
<xsl：apply-templates select＝”//Person”/>
</Invitees>
...
</NewMeeting>
</output>
</rule>
<rule name＝”ApptProperty”>
<list>
<rulerefname＝”Date”/>
<rulerefname＝”Duration”/>
<rulerefname＝”Time”/>
<rulerefname＝”Person”max＝”inf”/>
<rulerefname＝”ApptSubject”/>
....
</list>
</rule>
....
该文法程序段包含三个法则。第一，一个名为“nyc”的前端列出关于纽约市的表达式。本实施例中的标记<output>揭示关于构造语义对象的法则。当搜索路径退出文法节点时启用他们，通过优先立即标记来表示该文法节点。在这种情况下，当一个搜索路径退出“nyc”法则时，创建一个表示为具有一个<city_location>元素的XML的语义对象。该语义对象分别由以下三个语义对象轮流组成：城市名，州和国家名缩写。
语义对象的组成还可以是一个动态过程，例如，在安排一个新的会面中。例如，当用户完成对诸如日期，时间，持续时间和出席者那样的会面属性的指定时将产生一个NewMeeting语义对象。可以用模板往NewMeeting语义对象中粘帖其他语义对象作为其组成部分。还可以把相同的法则运用到这里没有显示的其他法则中。举例来说，以下语义对象将导致一个发言“在1月1日安排LiDeng与AlexAcero进行一个为时1个小时的会面”：
<NewMeeting>
<DateTime>
<Date>01/01/2003</Date>
<Duration>3600</Duration>
</DateTime>
<Invitees>
<Person>Li Deng</Person>
<Person>Alex Acero</person>
</Invitees>
</NewMeeting>
在实际应用中，提高PCFG有效区域是一项艰难的任务。因此需要能够使用一个N-gram到模式，其中，功能语句不传送关键的语义信息，但通常在文法结构中具有相当大的变化(例如，”May I...”，”Couldyou show me...”，”Please showme...”)。在一个实施例中，语言模式310包含一个结合了PCFG和N-gram的语义语言模式。该技术与同样也可以使用的一个统一语言模式稍微不同。除了该统一语言模式允许CFG分段而不仅仅是一列字之外，该统一语言模式是对传统分类N-gram的自然扩展来形成N-gram中的一个特殊标记。使用该模式的识别器306仍然产生接着要解析的文本串。因此设计该统一语言模式以结合某个语言结构来辅助文本翻译。
另一方面，该语义语言模式旨在使用解码器或识别器来对语义结构进行搜索，通常由PCFG来捕获会更好。因此，与在N-gram中嵌入CFG分段相反，通过创建一个响应内部N-gram的专用PCFG前端，PCFG用来包含N-gram。在微软SAPI文法格式中，这可以用带有一个XML<dictation>标记的一个前端来表示，就如同在LCFG<dictateon max＝”inf”/>RCFG中。
其中LCFG和RCFG分别表示嵌入的N-gram的左、右上下文。该搜索处理创建作为一个作为标记的<dictation>标记并在N-gram中扩展，仿佛进入一个规则的非终结符号。该标记上的最大属性指定N-gram能够耗费的最大字数。在N-gram内，通过对补偿N-gram内插PCFG来计算字符串概率，更特别地：
P(Wn|Wn-1，Wn-2，...)＝λP(Wn|Ngram，Wn-1，Wn-2，...)+
(1-λ)P(Wn|RCFG)P(RCFG|Wn-1，Wn-2，...)            (1)
其中λ是N-gram内插权而且P(RCFG|Wn-1，...)使用N-gram的补偿概率，即创建Wn就好像它不是一个词汇单词。在一个实施例中，术语P(Wn|RCFG)取决于是否达到最大N-gram字符串大小而且该字是否在CFG分段的传送中来假定二元值。既然取自PCFG的字经常具有一个较高概率，那么甚至在将最大N-gram字计算设置成无穷大时，真正适合CFG所转换的路径也倾向于克服他们N-gram副本的障碍。除了功能语句以外，嵌入的N-gran还可以用来构建具有一个作为属性的口述的语义对象。例如，meeting对象是我们以下任务中的模式：
<rule name＝”ApptSubject”>
<p><dictation rnax＝”inf”/><P>
在K.Wang的“Semantic modeling for dialog system in a pattern recognitionframework”(Proc.Asru-2001，Trento Italy 2001)中描述了关于语义语言模式的进一步细节，在此结合参考了它的全部内容。
本发明进一步包括对SALT的listen对象的新的运用。SALT提供一组具有相关属性和DOM对象属性的XML元素，可以连同一个源标记文件一起用来把一个语音接口运用到一个源页面的事件和方法。通常，该主要元素包括：
<Promt...>用于语音合成配置并提示运行
<Listen...>用于语音识别器配置，识别执行和错后处理，并记录
<dtmf...>用于DTMF配置和控制
<smex...>用于具有平台部件的通用通信
listen和dtmf对象还包含grammar和bind控制：
<grammar...>用于指定输入文法
<bind...>用于处理识别结果
listen元素可以包括一个用来区分三种识别模式的“mode”属性，它命令识别服务器(例如204)怎样以及什么时候返回结果。该返回结果酌情暗示提供“onReco”事件或激活“bind”时间。
在第一个模式中，语音平台“automatic”而非应用程序控制何时停止识别处理。该模式还为电话或解放双手方案进行了发展。一旦一个识别结果有效，和/或一个过去的时间周期表示停止，语音平台自动停止识别器并返回其结果，该结果可以通过bind元素与合适的字段相关。
在第二个操作模式中，一个识别结果的返回“single”是受一个明确的“stop”请求控制的。该停止请求将响应用户的诸如“pen-up”那样的事件，而且该模式为了用在一个多模式环境中而得到了发展，其中在多模式环境中的装置允许语音输入，但是用户一般受到用什么以及什么时候选择字段的控制，诸如通过使用指示笔33(图1)。
语音识别器的第三种操作模式是一个“多模式”。该操作模式用于“打开麦克风”或用在一个口述方案中。通常，在此操作模式中，在接收一个明确的停止请求或其他超出了关于非识别输入的时间周期或听的一个最大时间之前，不时地返回识别结果。通常，以这种操作方式，在接收停止请求之前对每一个识别的语句声明一个“onReco”事件并且返回结果。
然而，作为本发明另一个方面，该操作模式可以提供一种方法，用于通过允许他们每当达到一个显著的语言界标时立即汇报，对于检索引擎用来揭示更多对用户的交互能力。众所周知检索算法基于时间同步解码，并可以对该模式以简单的方式执行该算法。H.Ney，S.Ortmanns 1999年在IEEE Signal ProcessingMagazine，pp.64-83上的“Dynamic programming search for continuous speechrecognition”中描述了其中一种该算法。对于语音识别，该语言界标通常响应一个字或一个短语界面。一旦他们有效，一个SALT多模式识别就可以用来动态显示该字符串假设，通常在多种商业命令软件中显示一个UI效果。然而，在本发明中，该多模式可以创建语义对象的实例作为语言界标和汇报，即提供一些答复用作可以理解的东西的功能，同样以一种动态方式在他们上返回应用程序。这看起来似乎是SALT的应用程序设计者正在执行一个语义对象同步理解。
通过将该操作模式与一个多模式方案进行比较，可以更容易地理解该操作模式。例如，在多模式方案中，用户通过当说话时在一个输入字段中点击并保持指示笔来指示一个字段。当用户可以在一个通用字段上轻敲并发射出一个详细的句子以用一个单句充满多个字段时，该指定-交谈接口(tap-and-talk interface)仍然占用着用户的眼睛和手，这是一种不适合于多种情况的方案。另外，尽管指定-交谈特征在于一个显示有限语音语言处理的容量和进度条的有意义的秘密渠道通信。这些反馈仅对按照速度和精度量化语音语言处理提供非常原始的提示。对于长句可以假定这是更成问题的，其中可以把误差传送到一个宽频带示波器，最后要求仅仅在检验和校正该识别和理解结果方面作进一步的努力。既然可用的方案似乎指示长句是用实验证明语音的实用性超过了增强的或选择的键盘的关键区别因素，那么一个满意的用户界面技巧对成功使用语音作为一个可行的模式是绝对必要的。
为了促使一个仿人的计算机感知在完成一个共同目标中接近于合作伙伴，通过在他们有效时马上汇报部分语义解析或对象来进行语义对象同步理解。在一个实施例中，通过使用SALT中听元素的多模式来实现这个。特别是，对于该听元素，设计一个多模式然后为了识别该输入语音，指定所有识别文法。还可以在Listen对象中指定该指定结果。例如用来获得必要信息的HTML输入代码，诸如日期，时间，地点，对象和与会者等，可以用以下形式创建一个新的会面：
<listen mode＝”multiple”...>
<grammar src＝”subject.grm”/>
<grammar src＝”date.grm”/>
<grammar src＝”time_duration.grm”/>
<grammar src＝”attendees.grm”/>
<bind targetElement＝”subject”
value＝”//ApptSubject”/>
<bind targetElement＝”date”
value＝”//DateTime”/>
<bind targetElement＝”start_time”
value＝”//start_time”
targetElement＝”end_time”
value＝”//end_time”
targetElement＝”duration”
value＝”//DateTime/duration”/>
...
</Listen>
该多个文法包含一个并行搜索空间。用于带有一个返回到入口点的空转换的识别。照这样，SALT允许Listen对象在一旦退出一个文法时产生一个事件。当进行优先音频采集和识别的时侯，该事件派生一个并行处理来依次启用bind指令，因此在对具有一个领域视频再现的应用程序仍然发出一个语音命令的时侯，为用户创建在形式上是充实的相关领域的影响。
对于为了解放双眼应用的用户接口，也许要求有伴生的语音输出。照这样，SALT的prompt对象可以用来提供立即返回。例如，接下来的prompt对象可以用于在数据领域里动态常量的基础上进行同步响应，而且可以如下所述用附加的SALT的bind指令触发该语音同步：
<prompt id＝”say_date”>
on<value targetElement＝”date”/>
</prompt>
...
<listen...>
<bind targetElement＝”date”
value＝”//date”
targeElement＝”say_date”
targetMethod＝”Start”/>
...
</listen>
总效应是用户感觉就像他/她和另一个参与者在交谈，不仅仅是草草记录下来而是重复所听到的东西，就像在下个星期二(10/29/02)两点(在下午两点开始)为时两个小时(持续时间：两个小时)的“安排一个会面(新会面)”中，其中在括号内提供返回到用户的表示音频和/或视频提示(也可以是同步的)的短语。
还应该注意到SALT允许设计者附上自定义识别事件处理程序，该处理程序执行超出诸如SALT的bind指令那样的简单指定的高级计算。在以上实施例中，可以在语义文法中完成数据归一化，然而该数据归一化无法促进高级参考结果(例如，“安排Li Deng与它的经理的一次会面”)。例如，可以将算法作为可达到目标事件处理程序的脚本对象来访问能存储数据以确定无穷的参考。K.Wang的“A plan based dialog system with probabilistic inferences”(Proc.ICSLP-2000，Beijing China 2000)中以及2002年4月24日公开的欧洲专利申请EP1199630A2中描述了这种算法，在此结合参考了它们的全部内容。
还应该注意到尽管为了listen对象退出了该多模式操作，但是在当前执行过程中，该模式对于诸如在口述方案中的输入数据仅提供文本。然而，在本发明中所接收作为输入的部分结果不仅仅是文本，而是还包括与该文本相关的响应语义信息，因此该输出包含部分语义解析或对象，这可以如上所述用来提供用户更多有关计算机已经完全理解所接收的东西的质量反馈。取决于应用程序接收部分语义解析或对象的技巧，系统可以在所接收的部分语义解析或对象的基础上提供反馈给用户确定，选择，校正和澄清。
尽管公知在多模式应用程序中包括多个文法来允许用户在前发言，从而提供该提供还未指定的信息的能力，由于listen元素提供给用户一个更高的理解指示，所以在多模式操作中使用listen元素会更好。在一个纯声音应用程序中产生一个自然形式对话框，反而如果使用执行的视频再现，可以在用户持续发言时，在用户至今为止所提供的部分语义解析的基础上开始处理一个应用程序(开始，显示临时结果或选项，例如通过弹出窗)。
尽管参照部分实施例描述了本发明，但是本领域技术人员将认识到可以在不脱离本发明的精神和范围的情况下进行形式上以及详细地改变。

Claims (10)

1.一种语音理解系统包括：
一个语言模式，包含一个N-gram语言模式和一个上下文无关文法语言模式的一个组合，该语言模式存储涉及字以及将要识别的语义信息的信息；
一个适用于接收用户输入并捕获该输入用来处理的模块，该模块进一步适用于接收与输入识别有关的SALT应用程序接口，该模块配置成处理SALT应用程序接口和输入以用来确定与输入的第一部分有关的语义信息并通过访问语言模式来输出包括第一部分的文本和语义信息的语义对象，其中当连续捕获输入的随后部分时执行识别并输出语义对象。
2.根据权利要求1所述的系统，其中语言模式包含一个统一语言模式。
3.根据权利要求1所述的系统，其中语言模式包含一个语义语言模式。
4.根据权利要求1，2或3所述的系统，其中在继续捕获输入的随后的部分时，为了执行识别和输出语义对象，该模块适用于以一种多模式来识别一个SALT的Listen对象。
5.根据权利要求4所述的系统，其中模块适用于确定文法对象来定义语言模式的一个搜索空间。
6.根据权利要求1，2或3所述的系统，其中模块适用于确定文法对象来定义语言模式的一个搜索空间。
7.一种包括计算装置可读指令的计算机可读媒体，当执行该计算机可读媒体时将导致计算装置通过执行以下步骤来处理信息，步骤包括：
接收来自一个用户的输入并捕获要处理的该输入；
接收SALT应用程序接口来确定一个执行识别和理解的语言模式，该语言模式适合于为所接收的输入提供识别的输入文本和语义信息；
通过访问该语言模式来处理输入以在输入上执行识别，以便确定与输入的第一部分有关的语义信息，以及为第一部分输出包含已识别输入的文本和语义信息的语义对象，其中当连续捕获输入的随后部分时执行识别并输出语义对象。
8.根据权利要求7所述的计算机可读媒体，其中处理包括当连续捕获输入的随后部分时，为了执行识别和输出语义对象，以一种多模式来识别一个SALT的Listen对象。
9.根据权利要求8所述的计算机可读媒体，其中接收SALT应用程序接口包括确定文法对象来定义语言模式的一个搜索空间。
10.根据权利要求7所述的计算机可读媒体，其中接收SLT应用程序接口包括确定文法对象来定义语言模式的一个搜索空间。
CN200410059568A 2003-05-29 2004-05-28 用语音应用语言标记执行的语义对象同步理解 Expired - Fee Related CN100578614C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/448,018 2003-05-29
US10/448,018 US7200559B2 (en) 2003-05-29 2003-05-29 Semantic object synchronous understanding implemented with speech application language tags

Publications (2)

Publication Number Publication Date
CN1573928A true CN1573928A (zh) 2005-02-02
CN100578614C CN100578614C (zh) 2010-01-06

Family

ID=33131605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200410059568A Expired - Fee Related CN100578614C (zh) 2003-05-29 2004-05-28 用语音应用语言标记执行的语义对象同步理解

Country Status (16)

Country Link
US (1) US7200559B2 (zh)
EP (2) EP1482481B1 (zh)
JP (1) JP4768970B2 (zh)
KR (1) KR101042119B1 (zh)
CN (1) CN100578614C (zh)
AT (1) ATE398325T1 (zh)
AU (1) AU2004201992B2 (zh)
BR (1) BRPI0401850B1 (zh)
CA (1) CA2467220C (zh)
DE (1) DE602004014316D1 (zh)
HK (1) HK1071466A1 (zh)
MX (1) MXPA04005122A (zh)
MY (1) MY142974A (zh)
RU (1) RU2349969C2 (zh)
TW (1) TWI376681B (zh)
ZA (1) ZA200403492B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665706A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 快速语音交互方法及系统
CN108010525A (zh) * 2017-12-07 2018-05-08 横琴七弦琴知识产权服务有限公司 一种语音控制智能抽屉系统
CN108133701A (zh) * 2017-12-25 2018-06-08 江苏木盟智能科技有限公司 一种机器人语音交互的系统与方法
CN108831482A (zh) * 2018-08-24 2018-11-16 深圳市云采网络科技有限公司 一种基于语音识别搜索电子元器件的方法
CN109994105A (zh) * 2017-12-29 2019-07-09 宝马股份公司 信息输入方法、装置、系统、车辆以及可读存储介质
CN110291582A (zh) * 2017-02-14 2019-09-27 谷歌有限责任公司 语言模型偏置系统
CN110379428A (zh) * 2019-07-16 2019-10-25 维沃移动通信有限公司 一种信息处理方法及终端设备

Families Citing this family (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) * 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) * 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US20110267263A1 (en) 2000-07-17 2011-11-03 Microsoft Corporation Changing input tolerances based on device movement
US7249018B2 (en) * 2001-01-12 2007-07-24 International Business Machines Corporation System and method for relating syntax and semantics for a conversational speech application
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US20080313282A1 (en) 2002-09-10 2008-12-18 Warila Bruce W User interface, operating system and architecture
US7386449B2 (en) * 2002-12-11 2008-06-10 Voice Enabling Systems Technology Inc. Knowledge-based flexible natural speech dialogue system
US7426329B2 (en) 2003-03-06 2008-09-16 Microsoft Corporation Systems and methods for receiving, storing, and rendering digital video, music, and pictures on a personal media player
US7669134B1 (en) * 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US7966188B2 (en) * 2003-05-20 2011-06-21 Nuance Communications, Inc. Method of enhancing voice interactions using visual messages
US8301436B2 (en) * 2003-05-29 2012-10-30 Microsoft Corporation Semantic object synchronous understanding for highly interactive interface
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7739117B2 (en) * 2004-09-20 2010-06-15 International Business Machines Corporation Method and system for voice-enabled autofill
US20060155530A1 (en) * 2004-12-14 2006-07-13 International Business Machines Corporation Method and apparatus for generation of text documents
TWI276046B (en) * 2005-02-18 2007-03-11 Delta Electronics Inc Distributed language processing system and method of transmitting medium information therefore
US20060247925A1 (en) * 2005-04-27 2006-11-02 International Business Machines Corporation Virtual push-to-talk
US20060277525A1 (en) * 2005-06-06 2006-12-07 Microsoft Corporation Lexical, grammatical, and semantic inference mechanisms
JP4733436B2 (ja) * 2005-06-07 2011-07-27 日本電信電話株式会社 単語・意味表現組データベースの作成方法、音声理解方法、単語・意味表現組データベース作成装置、音声理解装置、プログラムおよび記憶媒体
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7636794B2 (en) 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US7817991B2 (en) * 2006-02-14 2010-10-19 Microsoft Corporation Dynamic interconnection of mobile devices
US7865357B2 (en) * 2006-03-14 2011-01-04 Microsoft Corporation Shareable filler model for grammar authoring
US7752152B2 (en) * 2006-03-17 2010-07-06 Microsoft Corporation Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling
US8032375B2 (en) * 2006-03-17 2011-10-04 Microsoft Corporation Using generic predictive models for slot values in language modeling
US20070239453A1 (en) * 2006-04-06 2007-10-11 Microsoft Corporation Augmenting context-free grammars with back-off grammars for processing out-of-grammar utterances
US7689420B2 (en) * 2006-04-06 2010-03-30 Microsoft Corporation Personalizing a context-free grammar using a dictation language model
US7797672B2 (en) * 2006-05-30 2010-09-14 Motorola, Inc. Statechart generation using frames
US7505951B2 (en) * 2006-05-30 2009-03-17 Motorola, Inc. Hierarchical state machine generation for interaction management using goal specifications
US7493293B2 (en) * 2006-05-31 2009-02-17 International Business Machines Corporation System and method for extracting entities of interest from text using n-gram models
US8140267B2 (en) * 2006-06-30 2012-03-20 International Business Machines Corporation System and method for identifying similar molecules
US8346555B2 (en) * 2006-08-22 2013-01-01 Nuance Communications, Inc. Automatic grammar tuning using statistical language model generation
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8019590B1 (en) 2006-09-11 2011-09-13 WordRake Holdings, LLC Computer processes for analyzing and improving document readability
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8515733B2 (en) * 2006-10-18 2013-08-20 Calculemus B.V. Method, device, computer program and computer program product for processing linguistic data in accordance with a formalized natural language
ES2302640B1 (es) * 2006-12-21 2009-05-21 Juan Jose Bermudez Perez Sistema para la interaccion mediante voz en paginas web.
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US8074199B2 (en) * 2007-09-24 2011-12-06 Microsoft Corporation Unified messaging state machine
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8370160B2 (en) * 2007-12-31 2013-02-05 Motorola Mobility Llc Methods and apparatus for implementing distributed multi-modal applications
US8386260B2 (en) * 2007-12-31 2013-02-26 Motorola Mobility Llc Methods and apparatus for implementing distributed multi-modal applications
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352272B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8380507B2 (en) * 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
GB0905457D0 (en) 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US9424246B2 (en) 2009-03-30 2016-08-23 Touchtype Ltd. System and method for inputting text into electronic devices
US10191654B2 (en) 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
US9189472B2 (en) 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
GB0917753D0 (en) 2009-10-09 2009-11-25 Touchtype Ltd System and method for inputting text into electronic devices
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
KR20110036385A (ko) * 2009-10-01 2011-04-07 삼성전자주식회사 사용자 의도 분석 장치 및 방법
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) * 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
TWI423044B (zh) * 2010-10-25 2014-01-11 Univ Nat Taiwan Science Tech 基於普及運算的意見交流方法與系統
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120265784A1 (en) * 2011-04-15 2012-10-18 Microsoft Corporation Ordering semantic query formulation suggestions
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US20120310642A1 (en) 2011-06-03 2012-12-06 Apple Inc. Automatically creating a mapping between text data and audio data
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
WO2013116461A1 (en) * 2012-02-03 2013-08-08 Kextil, Llc Systems and methods for voice-guided operations
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9294539B2 (en) 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9437186B1 (en) * 2013-06-19 2016-09-06 Amazon Technologies, Inc. Enhanced endpoint detection for speech recognition
US9123336B1 (en) * 2013-06-25 2015-09-01 Google Inc. Learning parsing rules and argument identification from crowdsourcing of proposed command inputs
US9026431B1 (en) * 2013-07-30 2015-05-05 Google Inc. Semantic parsing with multiple parsers
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9495359B1 (en) 2013-08-21 2016-11-15 Athena Ann Smyros Textual geographical location processing
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US8868409B1 (en) 2014-01-16 2014-10-21 Google Inc. Evaluating transcriptions with a semantic parser
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
WO2016044321A1 (en) 2014-09-16 2016-03-24 Min Tang Integration of domain information into state transitions of a finite state transducer for natural language processing
EP3195145A4 (en) 2014-09-16 2018-01-24 VoiceBox Technologies Corporation Voice commerce
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9747896B2 (en) 2014-10-15 2017-08-29 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9836527B2 (en) * 2016-02-24 2017-12-05 Google Llc Customized query-action mappings for an offline grammar model
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
GB201610984D0 (en) 2016-06-23 2016-08-10 Microsoft Technology Licensing Llc Suppression of input images
US10140260B2 (en) * 2016-07-15 2018-11-27 Sap Se Intelligent text reduction for graphical interface elements
US10503808B2 (en) 2016-07-15 2019-12-10 Sap Se Time user interface with intelligent text reduction
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
RU2648572C1 (ru) * 2017-01-12 2018-03-26 Общество с ограниченной ответственностью "Инвестиционная группа "Коперник" Алгоритм поиска в компьютерных системах и базах данных
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
TWI640877B (zh) * 2017-06-14 2018-11-11 財團法人資訊工業策進會 語意分析裝置、方法及其電腦程式產品
US11037554B1 (en) * 2017-09-12 2021-06-15 Wells Fargo Bank, N.A. Network of domain knowledge based conversational agents
US11430433B2 (en) 2019-05-05 2022-08-30 Microsoft Technology Licensing, Llc Meeting-adapted language model for speech recognition
CN110619873A (zh) * 2019-08-16 2019-12-27 北京小米移动软件有限公司 音频处理方法、装置及存储介质
CN113223510B (zh) * 2020-01-21 2022-09-20 青岛海尔电冰箱有限公司 冰箱及其设备语音交互方法、计算机可读存储介质
US12211517B1 (en) 2021-09-15 2025-01-28 Amazon Technologies, Inc. Endpointing in speech processing

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2981254A (en) * 1957-11-12 1961-04-25 Edwin G Vanderbilt Apparatus for the gas deflation of an animal's stomach
US3657744A (en) * 1970-05-08 1972-04-25 Univ Minnesota Method for fixing prosthetic implants in a living body
US3788327A (en) * 1971-03-30 1974-01-29 H Donowitz Surgical implant device
US3874388A (en) * 1973-02-12 1975-04-01 Ochsner Med Found Alton Shunt defect closure system
US4014318A (en) * 1973-08-20 1977-03-29 Dockum James M Circulatory assist device and system
US4086665A (en) * 1976-12-16 1978-05-02 Thermo Electron Corporation Artificial blood conduit
US4212463A (en) * 1978-02-17 1980-07-15 Pratt Enoch B Humane bleeder arrow
DE3019996A1 (de) * 1980-05-24 1981-12-03 Institute für Textil- und Faserforschung Stuttgart, 7410 Reutlingen Hohlorgan
US4808183A (en) * 1980-06-03 1989-02-28 University Of Iowa Research Foundation Voice button prosthesis and method for installing same
EP0203124B1 (en) * 1984-11-15 1991-06-05 NAZARI, Stefano Device for selective bronchial intubation and separate lung ventilation
ES8705239A1 (es) * 1984-12-05 1987-05-01 Medinvent Sa Un dispositivo para implantar,mediante insercion en un lugarde dificil acceso, una protesis sustancialmente tubular y radialmente expandible
US4759758A (en) * 1984-12-07 1988-07-26 Shlomo Gabbay Prosthetic heart valve
US4831550A (en) 1986-03-27 1989-05-16 International Business Machines Corporation Apparatus and method for estimating, from sparse data, the probability that a particular one of a set of events is the next event in a string of events
US4832680A (en) * 1986-07-03 1989-05-23 C.R. Bard, Inc. Apparatus for hypodermically implanting a genitourinary prosthesis
US4795449A (en) * 1986-08-04 1989-01-03 Hollister Incorporated Female urinary incontinence device
US4852568A (en) * 1987-02-17 1989-08-01 Kensey Nash Corporation Method and apparatus for sealing an opening in tissue of a living being
DE3723078A1 (de) 1987-07-11 1989-01-19 Philips Patentverwaltung Verfahren zur erkennung von zusammenhaengend gesprochenen woertern
DE3821631A1 (de) * 1987-07-28 1989-02-09 Bader Paul Verschluss fuer eine maennliche harnroehre
DE3739681A1 (de) 1987-11-24 1989-06-08 Philips Patentverwaltung Verfahren zum bestimmen von anfangs- und endpunkt isoliert gesprochener woerter in einem sprachsignal und anordnung zur durchfuehrung des verfahrens
US4830003A (en) * 1988-06-17 1989-05-16 Wolff Rodney G Compressive stent and delivery system
JP2710355B2 (ja) * 1988-09-20 1998-02-10 日本ゼオン株式会社 医用弁装置
US4846836A (en) * 1988-10-03 1989-07-11 Reich Jonathan D Artificial lower gastrointestinal valve
DE3834545A1 (de) * 1988-10-11 1990-04-12 Rau Guenter Flexibles schliessorgan, insbesondere herzklappe, und verfahren zur herstellung desselben
EP0474748B1 (en) * 1989-05-31 1995-01-25 Baxter International Inc. Biological valvular prosthesis
US5263117A (en) 1989-10-26 1993-11-16 International Business Machines Corporation Method and apparatus for finding the best splits in a decision tree for a language model for a speech recognizer
DK124690D0 (da) * 1990-05-18 1990-05-18 Henning Rud Andersen Klapprotes til implantering i kroppen for erstatning af naturlig klap samt kateter til brug ved implantering af en saadan klapprotese
US5411552A (en) * 1990-05-18 1995-05-02 Andersen; Henning R. Valve prothesis for implantation in the body and a catheter for implanting such valve prothesis
US5193525A (en) * 1990-11-30 1993-03-16 Vision Sciences Antiglare tip in a sheath for an endoscope
US5116360A (en) * 1990-12-27 1992-05-26 Corvita Corporation Mesh composite graft
US5477451A (en) 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US5123919A (en) * 1991-11-21 1992-06-23 Carbomedics, Inc. Combined prosthetic aortic heart valve and vascular graft
DE69324239T2 (de) * 1992-01-21 1999-11-04 The Regents Of The University Of Minnesota, Minneapolis Verschlusseinrichtung eines septumschadens
US5329887A (en) * 1992-04-03 1994-07-19 Vision Sciences, Incorporated Endoscope control assembly with removable control knob/brake assembly
US5502774A (en) 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information
US5382261A (en) * 1992-09-01 1995-01-17 Expandable Grafts Partnership Method and apparatus for occluding vessels
JP3378595B2 (ja) * 1992-09-30 2003-02-17 株式会社日立製作所 音声対話システムおよびその対話進行制御方法
US5409019A (en) * 1992-10-30 1995-04-25 Wilk; Peter J. Coronary artery by-pass method
US5419310A (en) * 1992-11-03 1995-05-30 Vision Sciences, Inc. Partially inflated protective endoscope sheath
US5384892A (en) 1992-12-31 1995-01-24 Apple Computer, Inc. Dynamic language model for speech recognition
US5306234A (en) * 1993-03-23 1994-04-26 Johnson W Dudley Method for closing an atrial appendage
US5447148A (en) * 1993-07-08 1995-09-05 Vision Sciences, Inc. Endoscopic contamination protection system to facilitate cleaning of endoscopes
DE69423838T2 (de) 1993-09-23 2000-08-03 Xerox Corp., Rochester Semantische Gleichereignisfilterung für Spracherkennung und Signalübersetzungsanwendungen
US5615296A (en) 1993-11-12 1997-03-25 International Business Machines Corporation Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors
US5483951A (en) * 1994-02-25 1996-01-16 Vision-Sciences, Inc. Working channels for a disposable sheath for an endoscope
US5520607A (en) * 1994-03-04 1996-05-28 Vision Sciences, Inc. Holding tray and clamp assembly for an endoscopic sheath
US5499995C1 (en) * 1994-05-25 2002-03-12 Paul S Teirstein Body passageway closure apparatus and method of use
US5417226A (en) * 1994-06-09 1995-05-23 Juma; Saad Female anti-incontinence device
US5675819A (en) 1994-06-16 1997-10-07 Xerox Corporation Document information retrieval using global word co-occurrence patterns
US5752052A (en) 1994-06-24 1998-05-12 Microsoft Corporation Method and system for bootstrapping statistical processing into a rule-based natural language parser
US5755770A (en) * 1995-01-31 1998-05-26 Boston Scientific Corporatiion Endovascular aortic graft
US5689617A (en) 1995-03-14 1997-11-18 Apple Computer, Inc. Speech recognition system which returns recognition results as a reconstructed language model with attached data values
IT1279171B1 (it) 1995-03-17 1997-12-04 Ist Trentino Di Cultura Sistema di riconoscimento di parlato continuo
DE29507519U1 (de) * 1995-05-05 1995-08-10 Angiomed Ag, 76227 Karlsruhe Endosphinkter und Set zum freigebbaren Verschließen der Urethra
US5710866A (en) 1995-05-26 1998-01-20 Microsoft Corporation System and method for speech recognition using dynamically adjusted confidence measure
US5667476A (en) * 1995-06-05 1997-09-16 Vision-Sciences, Inc. Endoscope articulation system to reduce effort during articulation of an endoscope
US5680511A (en) 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition
US5645565A (en) * 1995-06-13 1997-07-08 Ethicon Endo-Surgery, Inc. Surgical plug
CA2234389A1 (en) * 1995-10-13 1997-04-17 Transvascular, Inc. A device, system and method for interstitial transvascular intervention
JPH09114488A (ja) * 1995-10-16 1997-05-02 Sony Corp 音声認識装置，音声認識方法，ナビゲーション装置，ナビゲート方法及び自動車
DE69517705T2 (de) 1995-11-04 2000-11-23 International Business Machines Corp., Armonk Verfahren und vorrichtung zur anpassung der grösse eines sprachmodells in einem spracherkennungssystem
US6567778B1 (en) 1995-12-21 2003-05-20 Nuance Communications Natural language speech recognition using slot semantic confidence scores related to their word recognition confidence scores
US5913193A (en) 1996-04-30 1999-06-15 Microsoft Corporation Method and system of runtime acoustic unit selection for speech synthesis
US5937384A (en) 1996-05-01 1999-08-10 Microsoft Corporation Method and system for speech recognition using continuous density hidden Markov models
EP0906135B1 (en) * 1996-05-20 2004-12-29 Medtronic Percusurge, Inc. Low profile catheter valve
DE69719237T2 (de) * 1996-05-23 2003-11-27 Samsung Electronics Co., Ltd. Flexibler, selbstexpandierbarer Stent und Verfahren zu dessen Herstellung
US5835888A (en) 1996-06-10 1998-11-10 International Business Machines Corporation Statistical language model for inflected languages
KR980000327U (ko) * 1996-06-13 1998-03-30 이정행 귀걸이 설치용 귀걸이홀 성형구
US5855601A (en) * 1996-06-21 1999-01-05 The Trustees Of Columbia University In The City Of New York Artificial heart valve and method and device for implanting the same
US5963903A (en) 1996-06-28 1999-10-05 Microsoft Corporation Method and system for dynamically adjusted training for speech recognition
US5685822A (en) * 1996-08-08 1997-11-11 Vision-Sciences, Inc. Endoscope with sheath retaining device
US5782916A (en) * 1996-08-13 1998-07-21 Galt Laboratories, Inc. Device for maintaining urinary continence
JPH1097280A (ja) * 1996-09-19 1998-04-14 Hitachi Ltd 音声画像認識翻訳装置
US5905972A (en) 1996-09-30 1999-05-18 Microsoft Corporation Prosodic databases holding fundamental frequency templates for use in speech synthesis
US5819220A (en) 1996-09-30 1998-10-06 Hewlett-Packard Company Web triggered word set boosting for speech interfaces to the world wide web
US5829000A (en) 1996-10-31 1998-10-27 Microsoft Corporation Method and system for correcting misrecognized spoken words or phrases
GB9701866D0 (en) 1997-01-30 1997-03-19 British Telecomm Information retrieval
DE19708183A1 (de) 1997-02-28 1998-09-03 Philips Patentverwaltung Verfahren zur Spracherkennung mit Sprachmodellanpassung
US6083255A (en) * 1997-04-07 2000-07-04 Broncus Technologies, Inc. Bronchial stenter
US6200333B1 (en) * 1997-04-07 2001-03-13 Broncus Technologies, Inc. Bronchial stenter
US6245102B1 (en) * 1997-05-07 2001-06-12 Iowa-India Investments Company Ltd. Stent, stent graft and stent valve
US5855597A (en) * 1997-05-07 1999-01-05 Iowa-India Investments Co. Limited Stent valve and stent graft for percutaneous surgery
US6073091A (en) 1997-08-06 2000-06-06 International Business Machines Corporation Apparatus and method for forming a filtered inflected language model for automatic speech recognition
US5954766A (en) * 1997-09-16 1999-09-21 Zadno-Azizi; Gholam-Reza Body fluid flow control device
US6154722A (en) 1997-12-18 2000-11-28 Apple Computer, Inc. Method and apparatus for a speech recognition system language model that integrates a finite state grammar probability and an N-gram probability
DE59812219D1 (de) * 1998-03-04 2004-12-09 Schneider Europ Gmbh Buelach Vorrichtung zum Einführen einer Endoprothese in einen Katheterschaft
US6182039B1 (en) 1998-03-24 2001-01-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus using probabilistic language model based on confusable sets for speech recognition
US6141641A (en) 1998-04-15 2000-10-31 Microsoft Corporation Dynamically configurable acoustic model for speech recognition system
US6009614A (en) * 1998-04-21 2000-01-04 Advanced Cardiovascular Systems, Inc. Stent crimping tool and method of use
US5974652A (en) * 1998-05-05 1999-11-02 Advanced Cardiovascular Systems, Inc. Method and apparatus for uniformly crimping a stent onto a catheter
US6174323B1 (en) * 1998-06-05 2001-01-16 Broncus Technologies, Inc. Method and assembly for lung volume reduction
US6188976B1 (en) 1998-10-23 2001-02-13 International Business Machines Corporation Apparatus and method for building domain-specific language models
US6174280B1 (en) * 1998-11-19 2001-01-16 Vision Sciences, Inc. Sheath for protecting and altering the bending characteristics of a flexible endoscope
US6020380A (en) * 1998-11-25 2000-02-01 Tap Holdings Inc. Method of treating chronic obstructive pulmonary disease
US6051022A (en) * 1998-12-30 2000-04-18 St. Jude Medical, Inc. Bileaflet valve having non-parallel pivot axes
US6350231B1 (en) * 1999-01-21 2002-02-26 Vision Sciences, Inc. Apparatus and method for forming thin-walled elastic components from an elastomeric material
US6530881B1 (en) * 1999-01-21 2003-03-11 Vision Sciences, Inc. Sheath apparatus for endoscopes and methods for forming same
US6081799A (en) 1999-05-05 2000-06-27 International Business Machines Corporation Executing complex SQL queries using index screening for conjunct or disjunct index operations
US6206918B1 (en) * 1999-05-12 2001-03-27 Sulzer Carbomedics Inc. Heart valve prosthesis having a pivot design for improving flow characteristics
US6234996B1 (en) * 1999-06-23 2001-05-22 Percusurge, Inc. Integrated inflation/deflation device and method
US6287290B1 (en) * 1999-07-02 2001-09-11 Pulmonx Methods, systems, and kits for lung volume reduction
US6712812B2 (en) * 1999-08-05 2004-03-30 Broncus Technologies, Inc. Devices for creating collateral channels
US6190330B1 (en) * 1999-08-09 2001-02-20 Vision-Sciences, Inc. Endoscopic location and vacuum assembly and method
US6293951B1 (en) * 1999-08-24 2001-09-25 Spiration, Inc. Lung reduction device, system, and method
US6416554B1 (en) * 1999-08-24 2002-07-09 Spiration, Inc. Lung reduction apparatus and method
US6402754B1 (en) * 1999-10-20 2002-06-11 Spiration, Inc. Apparatus for expanding the thorax
US6398775B1 (en) * 1999-10-21 2002-06-04 Pulmonx Apparatus and method for isolated lung access
US6510846B1 (en) * 1999-12-23 2003-01-28 O'rourke Sam Sealed back pressure breathing device
US6865528B1 (en) 2000-06-01 2005-03-08 Microsoft Corporation Use of a unified language model
US6568387B2 (en) * 2000-07-19 2003-05-27 University Of Florida Method for treating chronic obstructive pulmonary disorder
TW472232B (en) * 2000-08-11 2002-01-11 Ind Tech Res Inst Probability-base fault-tolerance natural language understanding method
US6785651B1 (en) * 2000-09-14 2004-08-31 Microsoft Corporation Method and apparatus for performing plan-based dialog
US6527761B1 (en) * 2000-10-27 2003-03-04 Pulmonx, Inc. Methods and devices for obstructing and aspirating lung tissue segments
JP2004530982A (ja) * 2001-05-04 2004-10-07 ユニシス コーポレーション Ｗｅｂサーバからの音声アプリケーション情報の動的な生成
JP4602602B2 (ja) * 2001-07-19 2010-12-22 オリンパス株式会社 医療器具
US20030018327A1 (en) * 2001-07-20 2003-01-23 Csaba Truckai Systems and techniques for lung volume reduction
JP4094255B2 (ja) * 2001-07-27 2008-06-04 日本電気株式会社 コマンド入力機能つきディクテーション装置
US20030050648A1 (en) * 2001-09-11 2003-03-13 Spiration, Inc. Removable lung reduction devices, systems, and methods
US6592594B2 (en) * 2001-10-25 2003-07-15 Spiration, Inc. Bronchial obstruction device deployment system and method
JP4000828B2 (ja) * 2001-11-06 2007-10-31 株式会社デンソー 情報システム、電子機器、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665706A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 快速语音交互方法及系统
CN110291582A (zh) * 2017-02-14 2019-09-27 谷歌有限责任公司 语言模型偏置系统
CN110291582B (zh) * 2017-02-14 2023-02-28 谷歌有限责任公司 语言模型偏置系统
CN108010525A (zh) * 2017-12-07 2018-05-08 横琴七弦琴知识产权服务有限公司 一种语音控制智能抽屉系统
CN108133701A (zh) * 2017-12-25 2018-06-08 江苏木盟智能科技有限公司 一种机器人语音交互的系统与方法
CN109994105A (zh) * 2017-12-29 2019-07-09 宝马股份公司 信息输入方法、装置、系统、车辆以及可读存储介质
CN108831482A (zh) * 2018-08-24 2018-11-16 深圳市云采网络科技有限公司 一种基于语音识别搜索电子元器件的方法
CN110379428A (zh) * 2019-07-16 2019-10-25 维沃移动通信有限公司 一种信息处理方法及终端设备

Also Published As

Publication number Publication date
US20040243393A1 (en) 2004-12-02
JP2004355630A (ja) 2004-12-16
CN100578614C (zh) 2010-01-06
CA2467220C (en) 2014-07-08
RU2349969C2 (ru) 2009-03-20
MY142974A (en) 2011-01-31
KR20040103445A (ko) 2004-12-08
ZA200403492B (en) 2006-04-26
EP1482481A1 (en) 2004-12-01
BRPI0401850A (pt) 2005-03-08
HK1071466A1 (en) 2005-07-15
BRPI0401850B1 (pt) 2018-09-11
JP4768970B2 (ja) 2011-09-07
ATE398325T1 (de) 2008-07-15
EP1482481B1 (en) 2008-06-11
US7200559B2 (en) 2007-04-03
EP1970897A1 (en) 2008-09-17
TWI376681B (en) 2012-11-11
TW200515369A (en) 2005-05-01
KR101042119B1 (ko) 2011-06-17
RU2004116304A (ru) 2005-11-10
MXPA04005122A (es) 2005-02-17
DE602004014316D1 (de) 2008-07-24
AU2004201992B2 (en) 2009-10-22
AU2004201992A1 (en) 2004-12-16
CA2467220A1 (en) 2004-11-29

Similar Documents

Publication Publication Date Title
CN1573928A (zh) 用语音应用语言标记执行的语义对象同步理解
CN100424632C (zh) 用于高级交互接口的语义对象同步理解
JP5320064B2 (ja) 音声制御型ワイヤレス通信デバイス・システム
US11093110B1 (en) Messaging feedback mechanism
EP3640938B1 (en) Incremental speech input interface with real time feedback
US9349367B2 (en) Records disambiguation in a multimodal application operating on a multimodal device
CN101075435A (zh) 一种智能聊天系统及其实现方法
KR101213835B1 (ko) 음성 인식에 있어서 동사 에러 복원
CN1881206A (zh) 对话系统
KR20240046508A (ko) 통화에 대한 음성 메뉴의 결정 및 시각적 디스플레이
CN1894658A (zh) 用于话音激活网页的系统和方法
US11450325B1 (en) Natural language processing
CN114840168A (zh) 人机交互装置及方法
Fischer et al. Towards multi-modal interfaces for embedded devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100106

Termination date: 20200528