[go: up one dir, main page]

CN105793813B - 智能辅助电子设备 - Google Patents

智能辅助电子设备 Download PDF

Info

Publication number
CN105793813B
CN105793813B CN201480065085.XA CN201480065085A CN105793813B CN 105793813 B CN105793813 B CN 105793813B CN 201480065085 A CN201480065085 A CN 201480065085A CN 105793813 B CN105793813 B CN 105793813B
Authority
CN
China
Prior art keywords
audio input
devices
personal assistant
memory
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480065085.XA
Other languages
English (en)
Other versions
CN105793813A (zh
Inventor
S·达杜
S·沙阿
F·M·塔拉佩尔
L·克里希纳穆尔蒂
B·K·弗格尔
S·卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105793813A publication Critical patent/CN105793813A/zh
Application granted granted Critical
Publication of CN105793813B publication Critical patent/CN105793813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

在一个示例中，控制器包括逻辑，至少部分地包括硬件逻辑，被配置为：在接收到的音频信号中检测关键短语，以及响应于所述关键短语，向远程电子设备中的个人助理发送信号，确定是否接收到音频输入，以及，响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，将所述音频输入缓冲在存储器中，以及将所述音频输入转发给所述远程电子设备中的所述个人助理。可以描述其他示例。

Description

智能辅助电子设备
相关申请
无
背景技术
本文所描述的主题总体上涉及电子设备领域，并且更具体地涉及智能辅助电子设备。
诸如膝上型计算机、上网本型计算机、平板型计算机、移动电话、电子阅读器等许多电子设备具有内置到设备中的通信能力，例如，语音和文本消息传递。在一些情形下，使用诸如头戴式耳机、装备有计算机的眼镜等的辅助电子设备上的接口来与这些电子设备进行通信可能是有用的。
此外，许多网络电子设备现在提供经由基于语音的接口与电子设备的用户进行交互的个人助理服务。在这样的情形下，经由诸如头戴式耳机、装备有计算机的眼镜等的辅助电子设备上的接口来与个人助理服务进行通信可能是有用的。
因此，提供智能辅助电子设备的系统和技术可能具有实用性。
附图说明
具体实施方式是参照附图来描述的。
图1是根据一些示例的可以适合于结合智能记录工作的示例性的电子设备的图示。
图2是根据一些示例的智能辅助电子设备的部件的示意性图示。
图3是根据一些示例的其中可以实现智能辅助电子设备的环境的高级示意图。
图4是示出根据一些示例的用于实现智能辅助设备的方法中的操作的流程图。
图5是根据一些示例的电子设备之间的通信的时序图。
图6-10是根据一些示例可以适合于实现智能记录的电子设备的示意图。
具体实施方式
本文描述的是用于实现智能辅助电子设备的示例性的系统和方法。在下面的说明书中，阐述了大量的具体细节来提供对各种示例的充分理解。然而，本领域技术人员将理解的是，可以在没有这些具体细节的情况下来实现各种示例。在其它实例中，没有详细示出或描述公知的方法、程序、部件和电路，以便于不使特定示例变得模糊。
简言之，本文所描述的主题至少部分地通过提供包括具有管理与远程电子设备的通信的逻辑的控制器的智能辅助电子设备来解决上文阐述的问题。例如，远程电子设备可以被实现为移动通信或计算设备、移动电话等，并且辅助电子设备可以被实现为诸如耳机、头戴式耳机等可穿戴设备。
辅助电子设备中的控制器可以实现使得辅助电子设备能够在“单触发(one-shot)”模式下与在远程电子设备上执行的个人助理进行交互的操作,在“单触发”模式中，辅助电子设备不等待来自个人助理的就绪响应信号。在单触发模式下操作使得能够与个人助理的进行更自然的用户交互。此外，在单触发模式下操作对个人助理与辅助电子设备之间的通信过程中固有的延时进行管理。
在一些示例中，辅助电子设备中的控制器可以包括在接收到的音频信号中检测关键短语的逻辑。例如，个人助理可以提供激活个人助理的预配置的关键短语，例如“HelloJarvis”。可替代地，用户可以在配置过程期间输入定制的关键短语。当关键短语在辅助设备中的音频输入(例如，麦克风)中被检测到时，该逻辑将信号发送到远程电子设备中的个人助理以激活个人助理。
辅助电子设备上的逻辑随后可以针对来自用户的进一步的音频输入来监测音频输入设备。在接收到来自远程电子设备中的个人助理管理器的响应之前在音频输入设备处接收到额外的音频输入的事件中，控制器将辅助电子设备配置为在单触发模式下操作。当以单触发模式下操作时，辅助电子设备将来自用户的音频输入缓冲在存储器中并且在适当的时间将音频输入转发到远程电子设备中的个人助理。
因此，辅助电子设备的用户能够与个人助理交互，而不必等待来自个人助理的就绪提示。
下面将参照图1-10来描述具体的特征和细节。
图1是可以耦合到远程电子设备的远程电子设备100的示例的示意图。在一些方面，远程电子设备100可以被实现为移动电话、平板计算设备、个人数字助理(PDA)、笔记本计算机、视频照相机、诸如智能手表、智能腕带、智能耳机之类的可穿戴设备等。远程电子设备100的具体实施例不是决定性的。
在一些示例中，远程电子设备100可以包括：RF收发机120，用于收发RF信号；以及信号处理模块122，用于处理由RF收发机120接收到的信号。RF收发机120可以经由诸如例如Bluetooth或802.11X等的协议来实现本地无线连接。IEEE 802.11a、b或者g-兼容的接口(参见例如用于系统LAN/MAN之间的IT电信和信息交换的IEEE标准--部分II：无线LAN介质访问控制(MAC)和物理层(PHY)规范修改4：在2.4GHz频带中的更高数据速率扩展，802.11G-2003)。无线接口的另一个示例将是通用分组无线服务(GPRS)接口(例如，参见“Guidelineson GPRS Handset Requirements,Global System for Mobile Communications/GSMAssociation,Ver.3.0.1，2002年12月”)。
远程电子设备100还可以包括一个或多个处理器124和存储器140。如本文所使用的，术语“处理器”意指任何类型的计算元件，例如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集(RISC)微处理器、超长指令字(VLIW)微处理器、或者任何其它类型的处理器或处理电路。在一些示例中，处理器124可以是可从加利福尼亚的圣克拉拉的公司获得的处理器家族中的一个或多个处理器。可替代地，可以使用其它处理器，例如Intel的XEONTM、ATOMTM和处理器。此外，可以利用来自其它制造商的一个或多个处理器。此外，处理器可具有单核心或多核心设计。
在一些示例中，存储器140包括随机存取存储器(RAM)；然而，存储器模块140可以使用诸如动态RAM(DRAM)、同步DRAM(SDRAM)等的其它存储器类型来实现。存储器140可以包括一个或多个应用，其包含在(多个)处理器124上执行的个人助理142。
远程电子设备100可进一步包括一个或多个输入/输出设备126，例如，键盘、触摸板、麦克风等，以及一个或多个显示器128、扬声器134和一个或多个记录设备130。通过示例的方式，(多个)记录设备130可以包括一个或多个照相机和/或麦克风。图像信号处理器132可以被提供以用于处理由(多个)记录设备130收集的图像。
在一些示例中，远程电子设备100可以包括低功率控制器170，其可以与上文描述的(多个)处理器124分离。在图1所描绘的示例中，控制器170包括一个或多个处理器172、存储器模块174、和I/O模块176。在一些示例中，存储器模块174可以包括持久性闪速存储器模块，并且I/O模块176可以被实现为编码到持久性存储器模块中的逻辑指令，例如固件或软件。I/O模块176可以包括串行I/O模块或并行I/O模块。而且，由于附属控制器170物理地与(多个)主处理器124分离，因此控制器170能够独立地操作，同时(多个)处理器124保持在低功耗状态，例如，休眠状态。此外，在低功率控制器170对通过操作系统的攻击来说是不可访问的意义上，低功率控制器170可以是安全的。
在一些示例中，个人助理178的实例可以在控制器170上执行。个人助理178的实例可以具有存储器140中的个人助理142的全部功能。在可替代示例中，在控制器170上执行的个人助理178的实例可以仅包括存储在存储器140中的个人助理142的功能的一部分。例如，个人助理178的实例可以提供前端访问服务以接收和响应对个人助理142的请求，例如当(多个)处理器124处于低功率或休眠状态时。个人助理178可以接收来自个人助理142的对服务的请求并且可以实现认证过程来确保请求者被授权使用个人助理142。例如，个人助理178可以收集密码、匹配声纹(voice print)、或者实现另一个认证技术。个人助理178随后可以将(多个)处理器124从低功率或休眠状态唤醒并且将请求传递给个人助理142。
图2是根据一些示例的智能辅助电子设备200的部件的示意图。辅助电子设备200的部件中的许多部件可以与图1描绘的远程电子设备100的相对应部件相同。为了简要和清晰，对这些部件的描述将不再重复。
图2所描绘的辅助电子设备200包括低功率语音检测器(LPSD)277。例如，LPSD 277可以实现为低功耗控制器，其总是开启并且定期地监测来自辅助电子设备上的麦克风的输入。在一些示例中，LPSD 277可以包括语音识别模块，使得LPSD仅对一个或多个识别出的语音做出响应。
如图2所示，在一些示例中，辅助电子设备200可以被实现为诸如耳机或头戴式耳机等的可穿戴电子设备。
图3是根据一些示例的其中可以实现智能辅助电子设备的环境的高级示意图。参照图3，在一些环境中，如上文所描述的远程电子设备100可以在建立与一个或多个辅助电子设备200的通信信道的范围内。例如，远程电子设备100与辅助电子设备200之间的通信信道可以是无线通信信道、有线通信信道、光通信信道等。
远程电子设备100还可以通过通信信道来耦合到网络接入设备310。例如，网络接入设备310可以被实现为向远程电子设备100提供经由(多个)通信网络340对一个或多个网络资源330或其它远程电子设备100的访问的网络接入设备(例如，路由器、基站等)。例如，(多个)网络340可以包括无线网络，例如无线局域网、以及诸如互联网等的一个或多个公共网。
已经描述了实现辅助电子设备的各种结构，将参照图4-5来说明操作方面。图4是示出根据一些示例的实现智能辅助设备的方法中的操作的流程图，并且图5是根据一些示例的电子设备之间的通信的时序图。在图4的流程图中所描绘的一些操作可以通过辅助电子设备200的个人助理管理器242来实现。
参照图4和图5，在操作410，辅助电子设备200检测关键短语。例如，在一些示例中，LPSD 277可以检测与指定的关键短语相对应的到麦克风中的语音输入的接收。例如，简要参照图5，在一些示例中，用户可以将关键短语(例如，“Hello Jarvis”)输入到诸如麦克风等的输入/输出设备226中。关键短语充当对LPSD 277的触发。
LPSD 277接收关键短语，并且在操作415，LPSD 277在辅助电子设备200上生成激活处理器224的信号。在操作420，处理器224将信号发送到在远程电子设备100上执行的(多个)个人助理142/178。如图5所示，当在远程电子设备100上执行的(多个)个人助理142/178经过建立过程时，将产生建立延时。
在操作425中，辅助电子设备200继续监测到辅助电子设备200上的麦克风的语音输入。
如果在操作430中音频输入被接收到，则控制传递到操作435，并且辅助电子设备200将接收到的音频缓冲在存储器中，例如存储器240。在一些示例中，辅助电子设备200可以阻挡来自远程电子设备100的就绪响应的呈现，直到音频输入完成。相比之下，如果在操作430中没有音频输入，则控制传递到操作440，其确定辅助电子设备是否已经接收到来自在远程电子设备100上执行的(多个)个人助理142/178的响应。
如果在操作440中还没有接收到响应，则控制传递到操作445，并且确定是否已经经过超时阈值。如果在操作445中尚未经过超时阈值，则控制回传到操作425并且辅助电子设备200继续监测到辅助电子设备上的麦克风中的语音输入。相比之下，如果在操作445中，已经经过了超时时间段，则控制传递到操作450。
因此，操作425-445定义了循环，按照该循环，辅助电子设备200使用户能够继续向在远程电子设备100上执行的(多个)个人助理142/178提供问题，而无需等待来自在电子设备100上执行的(多个)个人助理142/178指示在电子设备100上执行的(多个)个人助理142/178已就绪的响应。确切地说，用户能够输入问题并且辅助电子设备200将问题缓冲在存储器240中。
例如，返回参照图5，用户可以输入关键短语“Hello Jarvis”，其后跟随有问题，例如“波特兰今天天气如何？”。在辅助电子设备200上执行的(多个)个人助理管理器使得问题“波特兰今天天气如何？”被缓冲在存储器240中。
返回参照图4，在操作460中，远程电子设备100响应于在操作420中发送的信号而激活在远程电子设备上执行的(多个)个人助理142/178。(多个)个人助理142/178的建立过程引入了延迟。参照图5，延迟由PA延迟表示。当(多个)个人助理142/178就绪时，控制传递到操作465并且(多个)个人助理142/178将指示它们就绪的信号发送到辅助电子设备200。该信号由图5中的PA就绪信号来指示。
从远程电子设备100接收到就绪响应信号或者经过了超时时间段使得由操作425-445限定的循环终止并且控制传递到操作450，该操作是可选操作。
在操作450中，辅助电子设备200可选地检测并且移除在存储器240中缓冲的语音中的静默时段。例如，语音分析器可以分析在存储器240中缓冲的语音并且可以删除与大于阈值时间量的静默时段相对应的数据。在可替代的示例中，与静默时段相对应的数据不需要从存储器140中删除。事实上，与静默时段相对应的数据可以被标识为静默数据。
在操作455中，辅助电子设备200将缓冲的音频转发到在远程电子设备100上执行的(多个)个人助理142/178。在其中与静默时段相对应的缓冲数据被标识而不是被删除的示例中，与静默时段相对应的缓冲数据不需要被传送。在一些示例中，音频可以在加速的数据速率上以突发模式被转发以加快向在远程电子设备100上执行的(多个)个人助理142/178的问题交付。
在操作470中，远程电子设备100根据正常处理操作来处理音频输入。因此，参照图5，在远程电子设备上执行的(多个)个人助理可以接收问题、获得答案、并且将答案转发到辅助电子设备200。
在操作475中，辅助电子设备监测来自远程电子设备的结束信号。例如，远程电子设备100上的个人助理142/178可以发送指示个人助理142/178接收到音频输入并且正在处理该输入的信号。如果在操作475中检测到结束信号，则控制传递到操作480并且辅助电子设备200能够简单地清除音频缓冲且开始实时的音频传送。
如上所述，在一些示例中，电子设备可以被实现为计算机系统。图6示出了根据示例的计算系统600的框图。计算系统600可以包括经由互连网络(或总线)604通信的一个或多个中央处理单元602或处理器。处理器602可以包括通用处理器、网络处理器(其处理经由计算机网络603传送的数据)、或其它类型的处理器(包括精简指令集计算机(RISC)处理器或复杂指令集计算机(CISC))。此外，处理器602可以具有单核心或多核心设计。具有多核心设计的处理器602可以将不同类型的处理器核心集成在同一集成电路(IC)管芯上。此外，具有多核心设计的处理器602可以被实现为对称或非对称多处理器。在示例中，处理器602中的一个或多个可以与图1的处理器102相同或类似。例如，处理器602中的一个或多个可以包括参照图1论述的控制单元124或者图2的处理器224。此外，参照图4-5所论述的操作可以由系统600的一个或多个部件来执行。
芯片组606还可以与互连网络604通信。芯片组606可以包括存储器控制集线器(MCH)608。MCH 608可以包括与存储器612通信的存储器控制器610。存储器612可以存储数据，包括可以由处理器602执行的，或者由包含在计算系统600中的任何其他设备执行的指令序列。在一个示例中，存储器612可包括一个或多个易失性存储(或存储器)设备，例如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、或其它类型的存储设备。还可以使用非易失性存储器，例如硬盘。诸如多个处理器和/或多个系统存储器等的额外的设备可经由互连网络604通信。
MCH 608还可以包括与显示设备616通信的图形接口614。在一个示例中，图形接口614可以经由加速图形端口(AGP)与显示设备616通信。在示例中，显示设备616(例如平板显示器)可以通过例如信号转换器与图形接口614通信，信号转换器将存储在诸如视频存储器或系统存储器等的存储设备中的图像的数字表示转换成由显示设备616解释和显示的显示信号。由显示设备产生的显示信号可以在由显示设备616解释以及随后显示在显示设备616上之前经过各种控制设备。
集线器接口618可以允许MCH 608和输入/输出控制集线器(ICH)620通信。ICH 620可以提供到与计算系统600通信的(多个)I/O设备的接口。ICH 620可以通过诸如外围部件互连(PCI)桥接器、通用串行总线(USB)控制器、或其它类型的外围桥接器或控制器等外围桥接器(或控制器)624来与总线622通信。桥接器624可以提供处理器602与外围设备之间的数据路径。可以利用其它类型的拓扑结构。此外，多个总线可以与ICH 620通信，例如通过多个桥接器或控制器。此外，与ICH 620通信的其它外围设备在各种示例中可以包括集成驱动电子器件(IDE)或(多个)小型计算机系统接口(SCSI)硬盘驱动器、(多个)USB端口、键盘、鼠标、(多个)并行端口、(多个)串行端口、(多个)软盘驱动器、数字输出支持(例如，数字视频接口(DVI))、或其它设备。
总线622可以与音频设备626、一个或多个磁盘驱动器628、以及网络接口设备630(其与计算机网络603通信)进行通信。其它设备可以经由总线622通信。此外，在一些示例中，各种部件(例如网络接口设备630)可以与MCH 608通信。此外，处理器602以及本文所论述的一个或多个其它部件可以组合以形成单个芯片(例如，提供片上系统(SOC))。此外，在其它示例中，图形加速器616可以被包括在MCH 608内。
此外，计算系统600可以包括易失性和/或非易失性的存储器(或存储设备)。例如，非易失性存储器可以包括如下中的一个或多个：只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电EPROM(EEPROM)、磁盘驱动器(例如，628)、软盘、压缩盘ROM(CD-ROM)、数字多功能盘(DVD)、闪速存储器、磁光盘、或能够存储电子数据(例如，包括指令)的其它类型的非易失性机器可读介质。
图7示出了根据示例的计算系统700的框图。系统700可以包括一个或多个处理器702-1至702-N(本文中一般被称为“多个处理器702”或者“处理器702”)。多个处理器702可以经由互连网络或总线704进行通信。每个处理器可以包括各种部件，为清楚起见，仅参照处理器702-1来论述部件中的一些。因此，其余的处理器702-2至702-N中的每一个均可以包括参照处理器702-1所论述的相同或相似的部件。
在示例中，处理器702-1可以包括一个或多个处理器核心706-1至706-M(本文称为“多个核心706”或更一般地称为“核心706”)、共享高速缓存708、路由器710、和/或处理器控制逻辑或单元720。处理器核心706可以在单个的集成电路(IC)芯片上实现。此外，芯片可以包括一个或多个共享和/或专用的高速缓存(例如高速缓存708)、总线或互连(例如总线或互连网络712)、存储器控制器、或其它部件。
在一个示例中，路由器710可以用于在处理器702-1和/或系统700的各种部件之间进行通信。此外，处理器702-1可包括一个以上的路由器710。此外，多个路由器710可以进行通信以使得能够在处理器702-1内部或外部的各种部件之间进行数据路由。
共享高速缓存708可以存储由处理器702-1的一个或多个部件(例如核心706)利用的数据(例如，包括指令)。例如，共享高速缓存708可以对存储在存储器714中的数据进行本地高速缓存，以便于处理器702的部件的更快的访问。在示例中，高速缓存708可以包括中级高速缓存(例如2级(L2)、3级(L3)、4级(L4)或其它级的高速缓存)、末级高速缓存(LLC)和/或其组合。此外，处理器702-1的各种部件可以直接地、通过总线(例如，总线712)、和/或存储器控制器或集线器来与共享高速缓存708通信。如图7所示，在一些示例中，核心706中的一个或多个可以包括1级(L1)高速缓存716-1(本文一般称为“L1高速缓存716”)。
图8示出了根据示例的计算系统的处理器核心706的部分以及其它部件的框图。在一个示例中，图8所示的箭头示出了指令通过核心706的流向。一个或多个处理器核心(例如由处理器核心706)可以在诸如参照图7论述的单个的集成电路芯片(或管芯)上实现。此外，芯片可以包括一个或多个共享和/或专用的高速缓存(例如，图7的高速缓存708)，互连(例如，图7的互连704和/或112)、控制单元、存储器控制器、或其它部件。
如图8所示，处理器核心706可以包括取回单元802，用于取回由核心706执行的指令(包括具有条件分支的指令)。指令可以从诸如存储器714等的任何存储设备取回。核心706还可以包括解码单元804，用于对取回的指令进行解码。例如，解码单元804可以将取回的指令解码成多个微指令(微操作)。
此外，核心706可以包括调度单元806。调度单元806可以执行与存储解码后的指令(例如，从解码单元804接收到的)相关联的各种操作，直到指令就绪以用于分派，例如，直到解码后的指令的全部源值变得可用。在一个示例中，调度单元806可以将解码后的指令调度和/或发布(或分派)到执行单元808以用于执行。执行单元808可以在分派的指令被解码(例如，由解码单元804)和分派(例如由调度单元806)之后执行分派的指令。在示例中，执行单元808可以包括一个以上的执行单元。执行单元808还可以执行各种算术操作，例如加、减、乘、和/或除，并且可以包括一个或多个算术逻辑单元(ALU)。在示例中，协处理器(未示出)可以结合执行单元808来执行各种算术操作。
此外，执行单元808可以无序地执行指令。因此，处理器核心706在一个示例中可以是无序处理器核心。核心706还可以包括引退单元810。引退单元810可以在被执行的指令被提交后引退被执行的指令。在示例中，对被执行的指令的引退可以使得处理器状态根据指令的执行被提交，指令所使用的物理寄存器被解分配，等等。
核心706还可以包括总线单元714，其使得能够在处理器核心706的部件与其它部件(例如参照图8所论述的部件)之间经由一个或多个总线(例如，总线804和/或812)进行通信。核心706还可以包括一个或多个寄存器816，用于存储由核心706的各种部件访问的数据(例如与功耗状态设置有关的值)。
此外，虽然图7示出了控制单元720经由互连812耦合到核心706，但是在各种示例中，控制单元720可以位于任何地方，例如核心706的内部，经由总线704耦合到核心，等等。
在一些示例中，本文论述的部件中的一个或多个可以在片上系统(SOC)设备上实现。图9示出了根据示例的SOC封装的框图。如图9所示，SOC 902包括一个或多个处理器核心920、一个或多个图形处理器核心930、输入/输出(I/O)接口940、以及存储器控制器942。SOC封装902的各种部件可以耦合到互连或总线，例如本文参照其它附图所论述的。此外，SOC封装902可以包括更多或更少的部件，例如本文参照其它附图所论述的那些。此外，SOC封装902的每个部件可以包括一个或多个其它部件，例如，如参照本文的其它附图论述的。在一个示例中，SOC封装902(以及其部件)在一个或多个集成电路(IC)管芯上被提供，例如，该管芯被封装到单个的半导体器件上。
如图9所示，SOC封装902经由存储器控制器942耦合到存储器960(其可以与本文参照其它附图论述的存储器相似或相同)。在示例中，存储器960(或其部分)能够被集成在SOC封装902上。
I/O接口940可以例如经由诸如本文参照其它附图论述的互连和/或总线耦合到一个或多个I/O设备970。(多个)I/O设备970可以包括键盘、鼠标、触摸板、显示器、图像/视频捕获设备(例如照相机或者摄像录像机/视频记录仪)、触摸表面、扬声器等中的一个或多个。
图10示出了根据示例的以点对点(PtP)配置布置的计算系统1000。特别地，图10示出了一种系统，其中处理器、存储器和输入/输出设备通过多个点对点接口互连。参照图2论述的操作可以由系统1000的一个或多个部件来执行。
如图10所示，系统1000可以包括多个处理器，为清楚起见，仅示出了其中的两个，处理器1002和1004。处理器1002和1004可以每个包括使得能够与存储器1010和1012通信的本地存储器控制器集线器(MCH)1006和1008。在一些示例中，MCH 1006和1008可以包括图1的存储器控制器120和/或逻辑125。
在示例中，处理器1002和1004可以是参照图7论述的处理器702中的一个。处理器1002和1004可以分别使用PtP接口电路1016和1018经由点对点(PtP)接口1014来交换数据。此外，处理器1002和1004可以每个使用点对点接口电路1026、1028、1030和1032经由单独的PtP接口1022和1024来与芯片组1020交换数据。芯片组1020还可以例如使用PtP接口电路1037经由高性能图形接口1036来与高性能图形电路1034交换数据。
如图10所示，图1的核心106和/或高速缓存108中的一个或多个可以位于处理器1004内。然而，其它示例可以存在于图10的系统1000内的其它电路、逻辑单元或设备中。此外，其它示例可以分布在图10中所示的多个电路、逻辑单元或设备中。
芯片组1020可以利用PtP接口电路1041与总线1040通信。总线1040可以具有与其通信的一个或多个设备，例如总线桥1042和I/O设备1043。经由总线1044，总线桥1043可以与诸如键盘/鼠标1045、通信设备1046(例如调制解调器、网络接口设备、或可以与计算机网络1003通信的其它通信设备)、音频I/O设备、和/或数据存储设备1048等的其它设备进行通信。数据存储设备1048(其可以是硬盘驱动器或基于NAND闪存的固态驱动器)可以存储可由处理器1004执行的代码1049。
下面的示例涉及进一步的示例。
示例1是一种控制器，包括逻辑，其至少部分地包括硬件逻辑，被配置为：在接收到的音频信号中检测关键短语；以及响应于所述关键短语，来：向远程电子设备中的个人助理发送信号；确定是否接收到音频输入；以及，响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：将所述音频输入缓冲在存储器中；以及将所述音频输入转发给所述远程电子设备中的所述个人助理。
在示例2中，示例1的主题可以可选地包括，其中逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器的布置。
在示例3中，示例1-2中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定，来激活处理器。
在示例4中，示例1-3中的任一个的主题可以可选地包括，逻辑进一步被配置为：监测来自所述远程电子设备中的个人助理的就绪响应。
在示例5中，示例1-4中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，阻止来自所述个人助理的所述就绪响应的呈现。
在示例6中，示例1-5中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备。
在示例7中，示例1-6中的任一个的主题可以可选地包括，逻辑进一步被配置为：在缓冲在存储器中的所述音频输入中检测静默时段；以及在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段。
在示例8中，示例1-7中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
示例9是一种电子设备，包括：音频输入设备；通信接口；以及控制器，包括：逻辑，至少部分地包括硬件逻辑，被配置为：在接收到的音频信号中检测关键短语；以及响应于所述关键短语，来：向远程电子设备中的个人助理发送信号；确定是否接收到音频输入；以及响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：将所述音频输入缓冲在存储器中；以及，将所述音频输入转发给所述远程电子设备中的所述个人助理。
在示例10中，示例9的主题可以可选地包括，其中逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器的布置。
在示例11中，示例9-10中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定，来激活处理器。
在示例12中，示例9-11中的任一个的主题可以可选地包括，逻辑进一步被配置为：监测来自所述远程电子设备中的所述个人助理的就绪响应。
在示例13中，示例9-12中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，阻止来自所述个人助理的所述就绪响应的呈现。
在示例14中，示例9-13中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备。
在示例15中，示例9-14中的任一个的主题可以可选地包括，逻辑进一步被配置为：在缓冲在存储器中的所述音频输入中检测静默时段；以及，在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段。
在示例16中，示例9-15中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
示例17是一种电子设备，包括音频输入设备、通信接口以及：用于在接收到的音频信号中检测关键短语的单元；用于响应于所述关键短语向远程电子设备中的个人助理发送信号的单元，用于确定是否接收到音频输入的单元；以及，用于响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定来将所述音频输入缓冲在存储器中的单元；以及用于将所述音频输入转发给所述远程电子设备中的所述个人助理的单元。
在示例18中，示例17的主题可以可选地包括，其中逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器的布置。
在示例19中，示例17-18中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定，来激活处理器。
在示例20中，示例17-19中的任一个的主题可以可选地包括，逻辑进一步被配置为：监测来自所述远程电子设备中的个人助理的就绪响应。
在示例21中，示例17-20中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，阻止来自所述个人助理的所述就绪响应的呈现。
在示例22中，示例17-21中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备。
在示例23中，示例17-22中的任一个的主题可以可选地包括，逻辑进一步被配置为：在缓冲在存储器中的所述音频输入中检测静默时段；以及在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段。
在示例24中，示例17-23中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
示例25是一种计算机程序产品，包括存储在有形计算机可读介质上的逻辑指令，当由控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：在接收到的音频信号中检测关键短语；以及响应于所述关键短语，来：向远程电子设备中的个人助理发送信号；确定是否接收到音频输入；以及响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：将所述音频输入缓冲在存储器中；以及将所述音频输入转发给所述远程电子设备中的所述个人助理。
在示例26中，示例25的主题可以可选地包括其中所述逻辑包括检测接收到的音频信号中的关键短语的低功率控制器的布置。
在示例27中，示例25-26中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定，来激活处理器。
在示例28中，示例25-27中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：监测来自所述远程电子设备中的个人助理的就绪响应。
在示例29中，示例25-28中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，阻止来自所述个人助理的所述就绪响应的呈现。
在示例30中，示例25-29中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：将所述音频输入从所述存储器发送到所述远程电子设备。
在示例31中，示例25-30中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：在缓冲在存储器中的所述音频输入中检测的静默时段；以及在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段。
在示例32中，示例25-31中的任一个的主题可以可选地包括存储在有形计算机可读介质上的逻辑指令，当由所述控制器执行时，所述逻辑指令将所述控制器配置为执行以下操作：将音频输入从存储器发送到远程电子设备包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
示例33是一种方法，包括：在接收到的音频信号中检测关键短语；以及响应于所述关键短语，来：向远程电子设备中的个人助理发送信号；确定是否接收到音频输入；以及，响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：将所述音频输入缓冲在存储器中；以及将所述音频输入转发给所述远程电子设备中的所述个人助理。
在示例34中，示例33的主题可以可选地包括，其中逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器的布置。
在示例35中，示例33-34中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定，来激活处理器。
在示例36中，示例33-35中的任一个的主题可以可选地包括，逻辑进一步被配置为：监测来自所述远程电子设备中的个人助理的就绪响应。
在示例37中，示例33-36中的任一个的主题可以可选地包括，逻辑进一步被配置为：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，阻止来自所述个人助理的所述就绪响应的呈现。
在示例38中，示例33-37中的任一个的主题可以可选地包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备。
在示例39中，示例33-38中的任一个的主题可以可选地包括，逻辑进一步被配置为：在缓冲在存储器中的所述音频输入中检测静默时段；以及在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段。
在示例40中，示例33-39中的任一个的主题可以可选包括，逻辑进一步被配置为：将所述音频输入从所述存储器发送到所述远程电子设备包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
本文所引用的术语“逻辑指令”涉及可以由一个或多个机器理解以用于执行一个或多个逻辑操作的表达。例如，逻辑指令可以包括能够由处理器编译器解释以用于对一个或多个数据对象执行一个或多个操作的指令。然而，这仅是机器可读指令的示例，并且示例不限于该方面。
本文所引用的术语“计算机可读介质”涉及能够保存可以由一个或多个机器理解的表达的介质。例如，计算机可读介质可包括用于存储计算机可读指令或数据的一个或多个存储设备。这样的存储设备可以包括诸如例如光、磁或半导体存储介质等的存储介质。然而，这仅是计算机可读介质的示例，并且示例不限于该方面。
本文所使用的术语“逻辑”涉及用于执行一个或多个逻辑操作的结构。例如，逻辑可以包括基于一个或多个输入信号来提供一个或多个输出信号的电路。这样的电路可以包括接收数字输入并且提供数字输出的有限状态机、或者响应于一个或多个模拟输入信号而提供一个或多个模拟输出信号的电路。这样的电路可以在专用集成电路(ASIC)或现场可编程门阵列(FPGA)中提供。此外，逻辑可以包括存储在存储器中的机器可读指令，与处理电路系统相结合来执行该机器可读指令。然而，这仅是可以提供逻辑的结构的示例，并且示例不限于该方面。
本文描述的方法中的一些可以实现为计算机可读介质上的逻辑指令。当在处理器上执行时，逻辑指令使得处理器被编程为实现所描述的方法的专用机器。当被逻辑指令配置为执行本文所述的方法时，处理器构成了用于执行所描述的方法的结构。可替代地，本文所描述的方法可以被还原成例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)等上的逻辑。
在说明书和权利要求书中，可使用术语耦合和连接以及它们的衍生词。在特定示例中，连接可以用于指示两个或更多元件彼此直接物理或电接触。耦合可以表示两个或更多的元件直接物理或电接触。然而，耦合还可以表示两个或更多的元件可以不直接彼此接触，而是仍然可以彼此配合或交互。
在说明书中对“一个示例”或“一些示例”的引用表示结合示例所描述的特定的特征、结构或特性包括在至少一个实现方式中。在说明书各种位置出现的短语“在一个示例中”可以或者可以不都指代相同的示例。
尽管已经特定于结构特征和/或方法动作的语言描述了示例，但应当理解的是，权利要求的主题可以不限于所描述的具体特征或动作。事实上，这些具体的特征和动作被公开为实现要求保护的主题的样本形式。

Claims (16)

1.一种控制器，包括：
逻辑，至少部分地包括硬件逻辑，被配置为：
在接收到的音频信号中检测关键短语；以及
响应于所述关键短语，来：
向远程电子设备中的个人助理发送信号；
确定是否接收到音频输入；以及
响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：
将所述音频输入缓冲在存储器中；
监测来自所述远程电子设备中的所述个人助理的就绪响应；
阻止来自所述个人助理的所述就绪响应的呈现；
在缓冲在存储器中的所述音频输入中检测静默时段；
在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段；以及
将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理。
2.如权利要求1所述的控制器，其中，所述逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器。
3.如权利要求2所述的控制器，包括用于响应于在接收到来自所述远程电子设备中的个人助理管理器的响应之前接收到额外的音频输入的确定来激活处理器的逻辑。
4.如权利要求1所述的控制器，其中，将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理的所述逻辑包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
5.一种电子设备，包括：
音频输入设备；
通信接口；以及
控制器，包括：
逻辑，至少部分地包括硬件逻辑，被配置为：
在接收到的音频信号中检测关键短语；以及
响应于所述关键短语，来：
向远程电子设备中的个人助理发送信号；
确定是否接收到音频输入；以及
响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：
将所述音频输入缓冲在存储器中；以及
监测来自所述远程电子设备中的所述个人助理的就绪响应；
阻止来自所述个人助理的所述就绪响应的呈现；
在缓冲在存储器中的所述音频输入中检测静默时段；
在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段；以及
将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理。
6.如权利要求5所述的电子设备，其中，所述逻辑包括用于在接收到的音频信号中检测关键短语的低功率控制器。
7.如权利要求6所述的电子设备，包括用于响应于在接收到来自所述远程电子设备中的个人助理的响应之前接收到额外的音频输入的确定来激活处理器的逻辑。
8.如权利要求5所述的电子设备，其中，将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理的所述逻辑包括在加速的数据速率上以突发模式发送所述音频输入的逻辑。
9.一种电子设备，包括：
音频输入设备；
通信接口；以及
用于进行以下操作的单元：
在接收到的音频信号中检测关键短语；以及
响应于所述关键短语，以：
向远程电子设备中的个人助理发送信号；
确定是否接收到音频输入；以及
响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：
将所述音频输入缓冲在存储器中；以及
监测来自所述远程电子设备中的所述个人助理的就绪响应；
阻止来自所述个人助理的所述就绪响应的呈现；
在缓冲在存储器中的所述音频输入中检测静默时段；
在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段；以及
将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理。
10.如权利要求9所述的电子设备，包括用于在接收到的音频信号中检测关键短语的单元。
11.如权利要求10所述的电子设备，包括用于响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来激活处理器的单元。
12.如权利要求9所述的电子设备，其中，用于将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理的所述单元包括用于在加速的数据速率上以突发模式发送所述音频输入的单元。
13.一种有形计算机可读介质，其上存储有指令，所述指令在由控制器执行时，将所述控制器配置为进行以下操作：
在接收到的音频信号中检测关键短语；以及
响应于所述关键短语，以：
向远程电子设备中的个人助理发送信号；
确定是否接收到音频输入；以及
响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定，来：
将所述音频输入缓冲在存储器中；以及
监测来自所述远程电子设备中的所述个人助理的就绪响应；
阻止来自所述个人助理的所述就绪响应的呈现；
在缓冲在存储器中的所述音频输入中检测静默时段；
在缓冲在存储器中的所述音频输入被发送到所述远程电子设备之前，从缓冲在存储器中的所述音频输入中移除所述静默时段；以及
将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理。
14.如权利要求13所述的有形计算机可读介质，包括在由所述控制器执行时将所述控制器配置为进行以下操作的指令：在接收到的音频信号中检测关键短语。
15.如权利要求14所述的有形计算机可读介质，包括在由所述控制器执行时将所述控制器配置为进行以下操作的指令：响应于在接收到来自所述远程电子设备中的所述个人助理的响应之前接收到额外的音频输入的确定来激活处理器。
16.如权利要求13所述的有形计算机可读介质，其中，将所述音频输入从所述存储器转发给所述远程电子设备中的所述个人助理包括在加速的数据速率上以突发模式发送所述音频输入。
CN201480065085.XA 2013-12-28 2014-11-25 智能辅助电子设备 Active CN105793813B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/142,818 2013-12-28
US14/142,818 US9460735B2 (en) 2013-12-28 2013-12-28 Intelligent ancillary electronic device
PCT/US2014/067327 WO2015099939A1 (en) 2013-12-28 2014-11-25 Intelligent ancillary electronic device

Publications (2)

Publication Number Publication Date
CN105793813A CN105793813A (zh) 2016-07-20
CN105793813B true CN105793813B (zh) 2019-01-22

Family

ID=53479508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480065085.XA Active CN105793813B (zh) 2013-12-28 2014-11-25 智能辅助电子设备

Country Status (6)

Country Link
US (1) US9460735B2 (zh)
EP (1) EP3087468A4 (zh)
JP (1) JP6234573B2 (zh)
KR (1) KR101821639B1 (zh)
CN (1) CN105793813B (zh)
WO (1) WO2015099939A1 (zh)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
CN107004410B (zh) * 2014-10-01 2020-10-02 西布雷恩公司 语音和连接平台
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) * 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US20170092278A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10558421B2 (en) 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
KR102629385B1 (ko) * 2018-01-25 2024-01-25 삼성전자주식회사 바지-인 관련 직접 경로를 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2594861Y (zh) * 2003-01-07 2003-12-24 浩鑫股份有限公司 影音播放装置
US8468023B1 (en) * 2012-10-01 2013-06-18 Google Inc. Handsfree device with countinuous keyword recognition

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697748B2 (ja) 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US20020077830A1 (en) 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
US6915246B2 (en) 2001-12-17 2005-07-05 International Business Machines Corporation Employing speech recognition and capturing customer speech to improve customer service
JP2004233793A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 電子機器および同機器で用いられる遠隔制御方法
US7216221B2 (en) * 2003-09-30 2007-05-08 Microsoft Corporation Method and system for unified audio control on a personal computer
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
JP2006301266A (ja) * 2005-04-20 2006-11-02 Canon Inc 音声情報処理装置及び方法
JP4934990B2 (ja) * 2005-04-28 2012-05-23 ティアック株式会社 音声信号記録再生装置
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8498425B2 (en) * 2008-08-13 2013-07-30 Onvocal Inc Wearable headset with self-contained vocal feedback and vocal command
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
KR20220002750A (ko) * 2011-12-07 2022-01-06 퀄컴 인코포레이티드 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로
US9838810B2 (en) * 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
DE102013001219B4 (de) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
EP3084760A4 (en) 2013-12-20 2017-08-16 Intel Corporation Transition from low power always listening mode to high power speech recognition mode

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2594861Y (zh) * 2003-01-07 2003-12-24 浩鑫股份有限公司 影音播放装置
US8468023B1 (en) * 2012-10-01 2013-06-18 Google Inc. Handsfree device with countinuous keyword recognition

Also Published As

Publication number Publication date
EP3087468A1 (en) 2016-11-02
US9460735B2 (en) 2016-10-04
KR101821639B1 (ko) 2018-01-24
JP2016541051A (ja) 2016-12-28
WO2015099939A1 (en) 2015-07-02
KR20160077154A (ko) 2016-07-01
JP6234573B2 (ja) 2017-11-22
US20150187369A1 (en) 2015-07-02
CN105793813A (zh) 2016-07-20
EP3087468A4 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
CN105793813B (zh) 智能辅助电子设备
WO2020192456A1 (zh) 一种语音交互方法及电子设备
US9761116B2 (en) Low power voice trigger for finding mobile devices
US9837043B1 (en) Methods and systems for rendering images using wirelessly received configuration parameters
CN107277754A (zh) 一种蓝牙连接的方法及蓝牙外围设备
CN106030440A (zh) 智能循环音频缓冲器
CN109905545A (zh) 一种消息处理方法及终端、计算机可读存储介质
CN107667401A (zh) 用于电子设备的降噪
CN107316637A (zh) 语音识别方法及相关产品
CN112449284A (zh) 无线扬声器系统
CN117097797B (zh) 云边端协同方法、装置、系统、电子设备及可读存储介质
CN105471998A (zh) 一种用于在多个终端中同步应用数据的方法和装置
CN117711420B (zh) 目标人声提取方法、电子设备及存储介质
US9247572B2 (en) Intelligent wireless charging device
CN118283380A (zh) 一种视频描述生成方法、装置、计算机设备及存储介质
US11997445B2 (en) Systems and methods for live conversation using hearing devices
CN118433316A (zh) 语音通话的方法和电子设备
CN113823266A (zh) 关键词检测方法、装置、设备及存储介质
CN113419702A (zh) 一种数据累加方法、处理器、电子设备及可读介质
CN114511779B (zh) 场景图生成模型的训练方法、场景图生成方法及装置
CN113327611B (zh) 语音唤醒方法、装置、存储介质及电子设备
CN117714271B (zh) 消息处理方法及相关装置
US12166918B2 (en) Scam communication engagement
US12067171B1 (en) Systems and methods for operating artificial reality devices using gestures
US20200349490A1 (en) Context-aware instruction delivery to agents

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant