[go: up one dir, main page]

KR20110036385A - 사용자 의도 분석 장치 및 방법 - Google Patents

사용자 의도 분석 장치 및 방법 Download PDF

Info

Publication number
KR20110036385A
KR20110036385A KR1020090094019A KR20090094019A KR20110036385A KR 20110036385 A KR20110036385 A KR 20110036385A KR 1020090094019 A KR1020090094019 A KR 1020090094019A KR 20090094019 A KR20090094019 A KR 20090094019A KR 20110036385 A KR20110036385 A KR 20110036385A
Authority
KR
South Korea
Prior art keywords
sentence
intention
semantic role
determined
frame
Prior art date
Application number
KR1020090094019A
Other languages
English (en)
Inventor
김정은
조정미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090094019A priority Critical patent/KR20110036385A/ko
Priority to US12/894,846 priority patent/US20110082688A1/en
Publication of KR20110036385A publication Critical patent/KR20110036385A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

OOG(Out-of-Grammar)가 포함된 문장에 대해서도 의도 분석이 가능한 의도 분석 시스템이 개시된다. 의도 분석 장치는 적어도 하나의 문장에 대하여 각각 적어도 하나의 구문들 단위로 문맥 자유 문법을 적용하여 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행하여 OOG에 대한 인식 범위를 확장한다. 한편, 의도 분석 장치는 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터링하고, 유효한 문장에 대해서 의도 분석 결과를 생성함으로써 음성 인식 범위를 확장하면서도 음성 인식된 문장을 문법적으로 또는 의미적으로 검증한다.
Figure P1020090094019
음성 인식, 의도 분석, Out-of-Grammar, 문맥 자유 문법, 의존 문법, 구문 스포팅

Description

사용자 의도 분석 장치 및 방법{Apparatus for analyzing intention of user and method thereof}
하나 이상의 양상은 사용자의 의도를 분석하는 시스템에 관한 것으로, 더욱 상세하게는 사용자에 의해 생성된 문장의 의도 분석 장치 및 방법에 관한 것이다.
사람과 컴퓨터 시스템 간의 인터랙션에서도 음성을 통한 인터랙션 기술이 필수적 요소가 되고 있다. 현재의 음성 인식 기술은 기술적으로 상당한 진보를 이루어 미리 정의된 발화들에 대해서는 높은 성능을 보여주고 있다.
현재 사용자 발화를 모델링하기 위하여 사용되는 언어 모델은 크게 문맥 자유 문법(Context Free Grammar)과 같은 문법 기반 모델(grammar-based model)과 n-그램(n-gram)과 같은 통계적 언어 모델(statistical language model)로 나누어질 수 있다. 문법 기반 모델은 구조적 의미적으로 옳은 문장만을 인식 결과로 허용하는 장점이 있으나 사전에 문법으로 정의되지 않은 문장에 대해서는 인식이 불가능한 단점이 있다. 통계적 언어 모델은 이와 반대로 미리 정의되지 않은 문장도 일부 인식이 가능하고 수동으로 문법을 작성해야 할 필요가 없다는 장점이 있다. 그러나, 전체 문장 구조를 보지 못하기 때문에 비문과 같은 문장도 인식 결과로 나올 수 있고, 언어 모델을 만들기 위해 대량의 학습 데이터가 필요한 문제점도 있다. 이러한 단점들로 인해 현재의 음성 대화 시스템은 실세계의 애플리케이션에서 사용되기 어려운 면이 있다.
사용자의 발화 등에 의해 생성된 문장에 대한 정확한 의도 분석을 위해서 미리 정의되지 않은 문장 즉, OOG(Out-of-Grammar)가 포함된 문장에 대해서도 의도 분석을 할 수 있는 의도 분석 장치 및 방법이 제공된다.
일 양상에 따른 의도 분석 장치는 구문 스포팅부, 유효 문장 결정부 및 의도 분석부를 포함한다. 구문 스포팅부는 적어도 하나의 문장에 대하여 각각 단어 또는 구문 단위로 문맥 자유 문법을 적용하여 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행한다. 유효 문장 결정부는 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터링한다. 의도 분석부는 유효한 문장으로 판별된 문장에 대해서 의도 분석 결과를 생성한다.
의도 분석부는 의미 역할 값을 할당할 때, 구문 스포팅이 수행된 문장의 적어도 하나의 의미 역할 요소와 선정된 의도 프레임 내의 적어도 하나의 의미 역할 요소가 서로 일치하는 경우, 구문 청킹을 통하여 구문 스포팅이 수행된 문장으로부터 의미 역할 값들을 결정하고, 결정된 의미 역할 값들을 선정된 의도 프레임내의 의미 역할 요소에 할당할 수 있다.
의도 분석부는 구문 스포팅이 수행된 문장 내에 의도 프레임 내의 적어도 하나의 의미 역할 요소에 존재하지 않는 의미 역할 요소가 있으면, 역할 네트워크를 이용하여 존재하지 않는 의미 역할 요소를 의도 프레임에서 존재하는 의미 역할 요소로 대체할 수 있는지 결정하고, 대체할 수 있는 것으로 결정되는 경우, 결정된 의미 역할 요소들에 대한 의미 역할 값들을 구문 청킹을 통하여 구문 스포팅이 수행된 문장으로부터 결정하고, 결정된 의미 역할 값들을 선정된 의도 프레임내의 의미 역할 요소에 할당할 수 있다.
의도 분석부는 온톨로지를 이용하여 의도 프레임 내의 적어도 하나의 의미 역할 요소에 대한 의미 역할 값을 구문 스포팅이 수행된 문장으로부터 추정할 수 있다.
의도 분석부는 선정된 의도 프레임에 포함된 의미 역할 요소의 의미 역할 역할 값이 할당된 적어도 하나의 의도 분석 결과 후보들에 대하여 의도 분석이 맞게 되었을 확률을 계산하여 점수를 부여할 수 있다.
의도 분석 장치는 의도 분석 결과를 애플리케이션에 적용하여 의도 분석 적용 결과를 생성하는 분석 적용부를 더 포함할 수 있다.
의도 분석 장치는 오디오 입력을 적어도 하나의 문장으로 변환하는 음성 인식부를 더 포함하고, 상기 적어도 하나의 문장은 상기 음성 인식부를 통해 변환된 n-best 문장일 수 있다.
다른 양상에 따른 의도 분석 방법은 적어도 하나의 문장에 대하여 각각 단어 또는 구문 단위로 문맥 자유 문법을 적용하여 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행하는 동작과, 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터링하는 동작과, 유효한 문장으로 판별된 문장에 대해서 의도 분석 결과를 생성하는 동작을 포함한다.
일 실시예에 따르면, 사용자에 의해 생성된 문장에 OOG가 포함된 경우에도 문장의 의도 분석을 할 수 있다. 또한, 문법적으로 유효한 문장에 대해서 의도 분석 결과를 생성함으로써 음성 인식 범위를 확장하면서도 음성 인식된 문장을 문법적으로 또는 의미적으로 검증하여 음성 인식 오류 문장이 음성 인식 결과를 출력되는 것을 방지할 수 있다. 이와 같이, 의도 분석에서 OOG를 처리할 수 있도록 함으로써 사용자가 이용하는 문장의 자유도를 높여 미리 정의된 범위내에서만 의도 분석이 가능한 기존의 의도 분석 시스템에 비하여 의도 분석 성공률을 높이고 전체 성능을 높일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러 므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 의도 분석 장치의 구성의 일 예를 나타내는 도면이다.
도 1은 의도 분석 장치(100)가 사용자의 발화가 입력되면 이에 대한 음성인식을 수행하고 음성인식 결과 후보들에 대한 의도분석을 수행하는 음성 대화 시스템으로 구현된 일 예를 나타낸다.
의도 분석 장치(100)는 전처리부(110), 음성 인식부(120), 음향 모델(130), 언어 모델(140), 의도 분석부(150), 의도 분석 DB(160) 및 분석 적용부(170)를 포함할 수 있다.
전처리부(110)는 입력되는 음향 신호로부터 음성 구간을 검출하고, 검출된 음성 구간으로부터 음성 특징 정보를 생성하여 음성 인식부(120)에 전달한다.
음성 인식부(120)는 음향 모델(130) 및 언어 모델(140) 중 적어도 하나를 이용하여 입력된 음성 특징 정보를 적어도 하나의 문장 즉, 음성 인식 후보 문장으로 변환한다. 즉, 음성 인식부(120)는 음향 특성(acoustic feature)만을 이용하여 또는 음향 특성(acoustic feature)과 언어 모델(language model)을 모두 이용하여 음성 인식을 수행할 수 있다. 언어 모델(140)로는 n-그램 모델과 같은 통계 기반 언어 모델 또는 문맥 자유 문법과 같은 문법 기반 언어 모델이 이용될 수 있다. 음성 인식부(120)는 음성 인식의 결과로서 n-best 문장으로 표현될 수 있는 음성 인식 후보 문장의 집합을 의도 분석부(150)에 전달한다. 음성 인식부(120)에서 출력되는 적어도 하나의 문장은 각 문장의 형태소별로 형태소의 속성을 나타내는 태그 정보를 포함할 수 있다.
음성 인식부(120)에서는 음향 특성 정보를 포함하는 음향 모델(130) 또는 언어 모델(140) 중 통계 기반 언어 모델을 이용하여 음성 인식을 수행하는 경우, 문장 전체의 구조 및 의미에 대한 고려는 전혀 이루어지지 않는다. 음성 인식에서 흔히 사용되는 n-그램 모델을 적용할 경우 문법에 맞지 않는 비문이 음성 인식 결과로 나올 수 있다. 의도 분석부(150)는 이러한 한계를 극복하면서 사전에 정의되지 않은 발화 패턴 즉, OOG에 대해서도 의도 분석을 수행할 수 있다.
의도 분석부(150)는 음성 인식부(120)에서 산출한 음성 인식 후보 문장들에 대해서 의도분석을 수행하여 문장의 의도가 부착된 음성 인식 결과 후보들을 생성하여 출력한다. 또한, 의도 분석부(150)는 음성 인식 결과 후보들에 대하여 검증을 하고, 검증된 음성 인식 결과 후보들에 대하여 스코어링(scoring)을 수행하여 점수가 높은 순서대로 재정렬을 수행할 수 있다.
의도 분석부(150)는 문맥 자유 문법(context-free grammar) 및 의존 문법(dependency grammar) 등을 이용하여 인식된 음성에 대한 의도를 분석할 수 있다. 문장에 문맥 자유 문법이 적용되면 문장의 단어 또는 구문에 의미 역할(semantic role)이 부착되고, 문장 전체에 대해 분석된 의도가 결정될 수 있다. 의도 분석 DB(160)는 일 실시예에 따른 의도 분석에 이용되는 다양한 정보를 저장한다. 의도 분석부(150)의 상세한 구성에 대해서는 도 2를 참조하여 후술한다.
분석 적용부(170)는 분석된 의도에 따라 소정의 행위를 생성할 수 있다. 분석 적용부(170)는 분석된 의도에 따라 소정의 애플리케이션을 실행하고, 애플리케이션 실행 결과를 생성하여 사용자에게 제공할 수 있다. 분석된 의도는 승차권 예 매, 공연 예매, 방송 녹화 등 음성 인식이 적용되는 분야에 따라 다양할 수 있다.
도 2는 도 1의 의도 분석 장치의 의도 분석부(150)의 구성의 일 예를 나타내는 도면이다.
의도 분석부(150)는 문장 분석부(210), 구문 스포팅부(220), 유효 문장 결정부(230), 의도 추론부(240), 스코어링부(250), 문맥 자유 문법 DB(151), 의존 문법 DB(152), 구문 청킹(phrase chunking) DB(153), 온톨로지 DB(154), 역할 네트워크 DB(155)를 포함할 수 있다. 문맥 자유 문법 DB(151), 의존 문법 DB(152), 구문 청킹 DB(153), 온톨로지 DB(154), 역할 네트워크 DB(155)는 도 1의 의도 분석 DB(160)에 포함될 수 있다.
문장 분석부(210)는 사용자 발화 등에 의해 생성된 문장의 인식 결과 후보가 되는 적어도 하나의 문장에 대하여 문맥 자유 문법 DB(151)의 정보를 적용하여 각 문장의 의도를 분석할 수 있다. 입력되는 모든 문장에 대하여 후술할 구문 스포팅이 수행되는 경우에는 문장 분석부(210)는 의도 분석부(150)에 포함되지 않을 수 있다. 문맥 자유 문법을 이용한 의도 분석이 성공하면 의도 분석이 성공한 의도 분석 결과를 저장해두고 다음 인식 후보 문장에 대하여 문맥 자유 문법을 적용하여 의도 분석을 수행할 수 있다. 의도 분석이 성공한 음성 인식 후보 문장 및 의도 분석 결과는 스코어링부(250)로 전달될 수 있다.
도 5는 문맥 자유 문법의 일 예를 나타내는 도면이다.
문맥 자유 문법 DB(151)에 저장된 문맥 자유 문법 정보는 각 단어 또는 구문에 대한 의미 역할 및 각 단어나 구문 사이의 문법적 연관 관계에 대한 정보를 포 함할 수 있다. 소정의 문장에 문맥 자유 문법을 적용하여 문맥 자유 문법에 정의될 수 있는 의도 프레임(intention frame)에 속하는지를 결정할 수 있다. 문맥 자유 문법 DB(151)는 도 6에 도시된 바와 같은 문맥 자유 문법 네트워크(620)로 나타낼 수 있다.
의도 프레임은 문장에 문맥 자유 문법을 적용해서 얻을 수 있는 사용자 의도를 나타내는 포맷을 의미한다. 의도 프레임은 의도 이름 및 의도 프레임에 속하는 적어도 하나의 의미 역할 요소로 구성될 수 있다. 의도 프레임은 사용자 의도의 적용 분야 예를 들어, 신문 기사 검색, 티켓 예약, 날씨 검색 등 여러 분야마다 적어도 하나의 의도 프레임이 미리 정의될 수 있다.
도 5는 뉴스 검색 분야에 대한 문맥 자유 문법 DB(151)의 정보의 일 예를 나타낸다. 예를 들어, 사용자 발화 등에 의해 생성된 문장에 대하여 신문 기사 검색의 의도 프레임으로 "search(@object, @day, @section)" 이 결정된 경우, 사용자가 발화한 문장은 의도 이름이 search이고, 객체(@object)에 대한, 무슨 요일(@day)의 무슨 섹션(@section)의 기사를 검색하라는 의도를 나타내는 것으로 결정된다.
음성 인식 후보 문장이 문맥 자유 문법에서 정의된 의도 프레임에 속하여, 음성 인식 후보 문장이 문맥 자유 문법으로 분석될 때에는 문장 분석부(210)는 분석 결과를 의도 분석 결과로 산출할 수 있다.
한편, 문맥 자유 문법으로 문장 전체에 대한 의도가 분석되지 않은 음성 인식 후보 문장은 구문 스포팅부(220)로 전달되어 의미 구문 스포팅(semantic phrase spotting)을 수행한다. 본 명세서에서 구문 스포팅은 의미 구문 스포팅을 의미한 다. 예를 들어, 사용자 발화에 OOG가 포함되었거나 음성인식 오류가 발생하여 문맥 자유 문법으로 분석이 되지 않을 경우에는 구문 스포팅부(220)가 동작할 수 있다. 구문 스포팅부(220)는 문장 전체가 아니라 단어 또는 단어의 조합 즉, 구문 단위로 문맥 자유 문법을 적용한다. 따라서, 구문 스포팅이 수행된 문장에 대해서는 문장의 구문 단위로 문장이 문맥 자유 문법에 의해 허용되는지 여부와 부분적인 구문 스포팅 결과 즉, 각 단어 또는 구문의 의미 역할 및 각 단어 또는 구문의 의미 역할들이 속하는 적어도 하나의 의도 프레임이 결정될 수 있다.
구문 스포팅을 수행하는 목적은 의도 분석에서 OOG를 포함하고 있는 문장을 처리하고자 하는 것이다. 기존의 의도 분석 알고리즘들과 같이 문맥 자유 문법으로만 의도 분석을 수행할 경우, 문맥 자유 문법에 적합한 문장들에 대해서만 의도 분석이 가능하므로, 문법과 무관하게 자유롭게 발화하는 일반적인 사용자 발화에 대하여 의도를 분석하기 어려웠다.
도 6는 구문 스포팅의 개념을 나타내는 도면이다.
구문 스포팅은 문장 전체 중 해석이 가능한 단어 또는 구문에 대해서만 해석 결과를 얻는다. 구문 스포팅부(220)는 문맥 자유 문법에서 작성된 문법을 이용하여 음성 인식 후보 문장과 문맥 자유 문법 네트워크의 노드 간의 매칭을 수행한다.
이때 동적 프로그래밍(dynamic programming) 기법을 사용할 수 있다. 여기에서 문장과 문법 네트워크의 노드 간의 일치성 판단 단위는 필요에 따라 몇 단어, 몇 어절 등과 같이 정할 수 있다. 하나의 문장에 나타나는 각 구문들은 다양한 의미 역할(semantic role)로 해석될 수 있고 하나의 구문이 여러 개의 의도 프레임으 로 나타날 수 있기 때문에 하나의 문장에 대한 구문 스포팅 결과는 여러 개일 수 있다.
도 6을 참조하면, ⓐ-ⓑ-ⓒ-ⓓ-ⓧ-ⓨ-ⓩ로 이루어진 문장(610)에 대하여 문맥 자유 문법 네트워크(620)를 참조하여 구문 스포팅이 수행되는 것을 나타낸다. 여기에서, 문맥 자유 문법 네트워크(620)의 노드 ⓐ, ⓑ, ⓒ, ⓓ, ⓧ, ⓨ, ⓩ는 각각 문장의 단어 및 단어의 의미 역할을 의미한다. 문맥 자유 문법 네트워크(620)는 문맥 자유 문법을 의미 역할 간 네트워크로 표현한 것이다.
의미 역할은 예를 들어, 요일(@day), 객체(@object), 섹션(@section), 시간(@time) 등 단어가 문장내에서의 의미론적 역할을 나타낸다. 문맥 자유 문법 네트워크(620)에서 화살표는 화살표의 시작에 있는 노드가 화살표의 종료점에 있는 노드보다 문장에서 먼저 나타나는 것을 나타낸다. 문맥 자유 문법 네트워크(620)에서 화살표로 연결된 노드들의 세트는 의도 프레임으로 정의될 수 있다. 도 5에서 의미 역할 @time에 대한 단어가 "오늘", "내일"이라는 예시 단어와 매핑된 바와 같이, 문맥 자유 문법 네트워크(620)에서 하나의 의미 역할에는 여러 개의 예시적인 단어가 매핑될 수 있다.
도 6에 도시된 바와 같이, 문장(610)은 문맥 자유 문법으로 의도 분석되지 않는다. 문장(610)에 대하여 구문 스포팅을 수행하면, ⓐ-ⓑ-ⓒ-ⓓ는 문맥 자유 문법 네트워크(620)에서 노드 경로(621), 노드 경로(622) 및 노드 경로(623)에 대응되는 것으로 결정될 수 있다. 이 경우, 문장(610)에 대한 후보 의도 프레임은 의도 프레임 1 및 의도 프레임 k로 결정될 수 있다.
도 7은 구문 스포팅 동작의 일 예를 나타내는 도면이다.
사용자 발화에 대한 음성 인식부(120)의 음성 인식 결과 출력되는 음성 인식 후보 문장이 "3시에 밀양 가는 기차 예약해줘"인 경우, 문맥 자유 문법 네트워크(620)로부터 문맥 자유 문법을 수행한 결과로 "3시에(@startTime) 밀양(@region) 가는 기차(@object) 예약해줘"가 출력되었다고 가정한다. 이와 같이, 구문 스포팅 결과, 하나 이상의 후보 의도 분석 결과가 결정될 수 있다.
도 7을 참조하면, 음성 인식 후보 문장에 대하여 의미 역할의 일치도가 높은 2개의 의도 프레임 즉, 의도 프레임 MakeReservation(@object, @startTime, @destination)(720) 및 의도 프레임 Getweather(@region)(730)이 매칭되었다고 가정한다. 도 7에서 "MakeReservation(@object=기차, @startTime=3시, @destination=부산)", "3시에 부산 가는 기차 예약 해줘" "GetWeather(@region=밀양) 및 "오늘 밀양 날씨는 어때?"는 문맥 자유 문법 네트워크(620)에서의 각 의도 프레임에 대한 예시적 단어 정보 및 예시 문장을 나타낸다.
다시 도 2를 참조하면, 구문 스포팅부(220)에서 구문 스포팅을 거친 문장들은 유효 문장 결정부(230)에 입력된다. 유효 문장 결정부(230)는 의존 문법(dependency grammar)를 이용하여 문장의 문법성 또는 의미적 유효성을 검사한다. 의존 문법은 도 8과 같은 형태로 구성된다. 의존 문법은 각 형태소 및 형태소의 품사 태그 정보 예를 들어 "로마/nr"로 구성되는 문장의 각 성분 사이의 문법적 의존 관계를 나타낸다.
유효 문장 결정부(230)는 문장의 각 성분들이 어떤 의존 관계를 가지고 성립 될 수 있는지 검사할 수 있다. 또한, 유효 문장 결정부(230)는 의미 역할을 부여받은 각 구문들과 의미 역할을 부여 받지 못한 각 구문들이 서로 의존성 관계에 있을 수 있는지를 검사할 수 있다. 여기에서, 의존 문법의 특성으로는 품사, 어휘, 의미 등이 사용될 수 있으며 이 중 어느 한가지만을 사용하거나 조합하여 같이 사용될 수 있다.
구문 스포팅이 수행되고, 의존 문법에 따라 유효하다고 결정된 문장은 의도 추론부(240)에서 의도 추론 과정을 거치기 위해 소정의 저장 공간에 임시 저장될 수 있다. 의존 문법에 의해 유효하지 않다고 결정된 문장은 문법에 맞지 않거나 의미적으로 옳지 않은 문장이므로 이 문장들을 필터링한다. 즉, 구문 스포팅이 수행된 음성 인식 후보 문장 중 문법에 맞지 않거나 의미적으로 옳지 않은 문장은 무시된다.
의도 추론부(240)는 음성 인식 후보 문장에 대하여 구문 스포팅이 수행되고 유효한 문장으로 판별된 문장에 대해 선택될 수 있는 적어도 하나의 의도 프레임 중 하나의 최종적인 의도 프레임이 어떤 것인지를 결정하고, 구문 스포팅 결과를 의도 프레임의 구성요소인 의미 역할 값에 할당하여 의도 분석 결과를 생성한다. 의도 추론부(240)는 의도 프레임상에 존재하지 않는 단어들에 대해 워드넷(wordnet)과 같은 온톨로지(ontology)를 이용하여 의미 역할 값을 추정할 수 있다. 또한, 의도 추론부(240)는 역할 네트워크(role network)를 이용하여 의도 프레임상에 존재하지 않는 단어가 해당 의도 프레임의 의미 역할에 해당한다고 볼 수 있는 단어인지, 해당하는 경우에 어떤 의미 역할인지를 추론할 수 있다. 온톨로지 는 워드넷과 같이 단어들 간의 의미적 관계를 나타내며, 역할 네트워크는 의미 역할 간의 관계를 나타낸다.
도 9는 역할 네트워크의 일 예를 나타내는 도면이다.
도 9에 도시된 바와 같이, @region은 지역이라는 의미 역할을 나타내고, @destination은 목적지라는 의미 역할을 나타내고, @origin은 출발지라는 의미 역할을 나타내고, 각각 서로 다른 의미 역할을 가진다. 그러나, @destination 및 @origin는 의미 역할 네트워크에서 @region의 하위 노드에 위치하여 서로 의미적 관계가 있는 것으로 볼 수 있다. 의도 추론부(240)의 상세한 구성 및 동작에 대해서는 도 3 및 도 4를 참조하여 후술한다.
다시 도 2를 참조하면, 스코어링부(250)는 문맥 자유 문법을 이용한 문장 분석부(210)에서 나온 의도 분석 결과와 문장 분석부(210)에서 의도 프레임이 결정되지 못하여 구문 스포팅부(220), 유효 문장 결정부(230) 및 의도 추론부(240)를 거처 처리된 의도 분석 결과에 대하여 음성 인식 결과일 확률 및 의도 분석이 맞게 되었을 확률 중 적어도 하나를 계산하고 이용하여 스코어링을 수행할 수 있다. 스코어링에 사용되는 특징으로는 아래의 같은 것들이 있다.
-음성 인식부(120)에서 음향 특성들을 이용하여 계산된 신뢰도(confidence score)
-구문 스포팅과 관련된 요소: 문맥 자유 문법 네트워크와 매칭된 단어들이 몇 개의 네트워크 경로로부터 왔는지에 대한 정보
- 의도 프레임 선정에서 사용된 요소들 : 단어 일치 정도, 단어 카테고리 일 치 정도, 의미 역할 요소의 일치 정도, 헤드워드의 일치 정도
- 문맥 자유 문법으로 해석된 문장과 구문 스포팅을 거쳐 나온 문장 중 어느 것이 정답인지를 판단할 수 있는 요소들: 각종 컨텍스트들(현재 대화의 영역, 사용자의 관심 영역, 이전 발화, 이전 시스템 응답 등)
스코어링부(250)는 이렇게 스코어링을 수행한 후에는 각각 점수가 부여된 각 음성 인식 후보 문장에 대한 적어도 하나의 의도 프레임을 분석 적용부(170)에 전달한다.
이상에서는 문장 분석부(210)를 통하여 문장 전체에 대해 의도가 분석되지 않은 인식 후보 문장를 구문 스포팅부(230), 유효 문장 결정부(230) 및 의도 추론부(240)가 처리하는 것으로 설명하였으나, 음성 인식부(120)에서 출력된 n-best 문장들에 대하여 문장 분석부(210)를 이용하지 않고 바로 구문 스포팅부(220)가 의도 분석을 시작할 수 있다.
문장 분석부(210)가 문장 의도 분석을 성공하지 못하는 인식 후보 문장에 대하여 구문 분석부(220)를 이용하여 문장의 의도를 분석하는 방법은 OOG가 발생할 확률이 낮고 자원을 적게 사용할 필요가 있을 때 유용할 수 있다. 이러한 방법에서는 문맥 자유 문법으로 의도 분석이 가능한 경우에는 의미 구문 스포팅을 수행할 필요가 없으므로 프로그램 수행 시간 또는 필요한 리소스를 줄일 수 있기 때문이다.
문장 분석부(210)를 이용하지 않고, 처음부터 음성 인식 후보 문장들 모두에 대하여 각각 의도 분석에서 구문 스포팅부(220)를 이용하여 구문 스포팅을 수행하 여 문장의 의도를 분석하는 방법은, OOG가 발생할 확률이 높고 하나의 통일된 의도 분석 구조가 필요할 때 유용할 수 있다. 이 경우에는 문장 분석부(210)를 이용하는 경우에 비하여 문맥 자유 문법 DB(152)를 한 번 이용하여 의도 분석을 수행할 수 있으나, 문장에 OOG가 포함되지 않은 경우 시간 또는 자원의 낭비가 생길 수 있다.
도 3은 도 2의 의도 추론부(240)의 구성의 일 예를 나타내는 도면이다.
의도 추론부(240)는 의도 프레임 선정부(310) 및 의미 역할 값 할당부(320)를 포함할 수 있다.
의도 프레임 선정부(310)는 각 음성 인식 후보 문장에 대해 의도 분석 결과가 될 의도 프레임을 선정한다. 의도 프레임 선정부(310)는 문맥 자유 문법의 의도 프레임과 구문 스포팅이 수행된 문장 중 유효한 문장으로 결정된 문장의 구문 스포팅 수행 결과를 비교하여 의도 프레임을 선정할 수 있다.
비교 요소들의 비교의 기준은 문장의 헤드 워드(head word)의 일치 여부, 의미 역할 요소의 일치 여부, 단어의 일치 여부 등이 있을 수 있다. 여기에서 문장의 헤드 워드는 의존 문법을 적용한 결과 다른 단어와 의존 관계가 가장 많은 단어일 수 있다.
의미 역할 값 할당부(320)는 의도 프레임이 선정되면 선정된 의도 프레임을 구성하는 적어도 하나의 의미 역할 요소에 대한 의미 역할 값을 할당한다.
도 4는 도 3의 의도 추론부의 의미 역할 값 할당부(320)의 동작을 나타낸다.
의미 역할 값 할당부(320)는 의도 프레임 선정부(310)에서 선정된 의도 프레 임 내 적어도 하나의 의미 역할 요소와 구문 스포팅이 수행된 음성 인식 후보 문장의 적어도 하나의 의미 역할 요소가 일치하는지 결정한다(410). 여기에서, 구문 스포팅이 수행된 음성 인식 후보 문장은 전술한 바와 같이, 문법적으로 유효하다고 판별된 문장을 나타낸다.
의미 역할 값 할당부(320)는 선정된 의도 프레임 내 적어도 하나의 의미 역할 요소와 구문 스포팅이 수행된 음성 인식 후보 문장의 적어도 하나의 의미 역할 요소가 일치하는 경우에는 구문 스포팅이 수행된 음성 인식 후보 문장의 각 의미 역할에 해당하는 구문을 의도 프레임내의 의미 역할 요소에 대한 의미 역할 값으로 할당한다(450). 이때, 구문 스포팅이 수행된 음성 인식 후보 문장에서 의미 역할에 해당하는 단어의 좌우에, 의도 프레임의 의미 역할 요소들과 매칭되지 않는 단어들이 있으면, 구문 청킹을 위한 정보를 저장하는 구문 청킹 DB(153)를 이용하여 좌우의 단어들과 구문 청킹을 수행하여 의미 역할 값의 범위를 결정할 수 있다. 구문 청킹은 문장을 명사, 동작 및 전치사 구와 같은 하부 구성요소로 나누는 자연어 처리 방법을 의미한다. 의미 역할 값이 할당됨으로써 적어도 하나의 의도 분석 결과 후보가 생성된다. 이의 예는 도 10를 참조하여 설명한다.
도 10은 의미 역할 요소들이 일치하는 경우의 의미 역할 값 할당의 일 예를 나타내는 도면이다.
구문 스포팅이 수행된 음성 인식 후보 문장이 "서울(@destination) 가는 기차표(@object) 예매하고 싶어하고 싶어"이고, 선정된 의도 프레임이 "MakeReservation(@destination, @object)"인 경우에, 구문 스포팅이 수행된 음성 인식 후보 문장의 의미 역할 요소들과, 선정된 의도 프레임내의 의미 역할 요소들 즉, @destination, @object가 일치하므로, 의도 프레임의 의미 역할 요소에 음성 인식 후보 문장에서의 해당 의미 역할 요소의 의미 역할 값을 할당하면 "MakeReservation(@destination=서울, @object=기차표)"로 의도 분석 결과가 생성될 수 있다.
다시 도 4를 참조하면, 선정된 의도 프레임 내 적어도 하나의 의미 역할 요소와 구문 스포팅이 수행된 음성 인식 후보 문장의 적어도 하나의 의미 역할 요소가 일치하지 않으면(410), 의미 역할 값 할당부(320)는 구문 스포팅이 수행된 문장 내에 의도 프레임에 존재하지 않는 의미 역할 요소가 있는지 결정한다(420).
구문 스포팅이 수행된 문장 내에 의도 프레임에 존재하지 않는 의미 역할 요소가 있으면 의미 역할 값 할당부(320)는 역할 네트워크 DB(156)로부터 역할 네트워크를 참조하여 의미론적 역할 간의 관계를 결정한다(430). 역할 네트워크내에서 의미 역할들이 부모 자식 관계에 있으면, 대체 가능한 것으로 결정될 수 있다. 대체 가능하다고 결정되면, 의미 역할 값 할당부(320)는 구문 청킹을 통하여 의미 역할 값의 범위를 결정하여 선정된 의도 프레임에 속한 의미 역할 값을 할당할 수 있다(450).
이에 대한 예는 도 11을 참조하여 설명한다. 이와 같이 역할 네트워크를 이용하여 구문 스포팅이 수행된 음성 인식 후보 문장의 의미 역할 요소가 의도 프레임 내의 의미 역할 요소를 대체할 수 있는 경우는 구문 스포팅이 수행된 음성 인식 후보 문장의 의미 역할 요소의 개수 및 의도 프레임 내의 의미 역할 요소의 개수가 동일한 경우 유용하게 이용될 수 있다.
도 11은 의미 역할 요소들이 일치하지 않는 경우의 의미 역할 값 할당의 일 예를 나타내는 도면이다.
구문 스포팅 결과가 "[3시](@startTime)에 [밀양](@region) 가는 [기차](@object) 예약해줘"이고, 의도 프레임이 "MakeReservation(@object, @startTime, @destination)"인 경우, 구문 스포팅 결과에서 의도 프레임에 없는 @region이 있다. 이 경우, 도 9에 도시된 역할 네트워크를 참조하면, @region과 @destination은 부모 자식 관계에 있으므로 대체가능하고, 의도 프레임의 의미 역할 요소에 구문 스포팅 결과의 해당 역할 값을 할당하면 "MakeReservation(@object=기차, @startTime=3시, @destination=밀양)"으로 의도 분석 결과가 생성될 수 있다.
다시 도 4를 참조하여 설명한다. 구문 스포팅이 수행된 음성 인식 후보 문장 내에 의도 프레임에 존재하지 않는 의미 역할 값이 없으면(420), 의미 역할 값 할당부(320)는 온톨로지를 이용하여 구문 청킹을 통한 의미 역할 값을 추정하여 할당할 수 있다(440). 의미 역할 값의 추정은 의도 프레임에 있는 적어도 하나의 의미 역할 요소 중 구문 스포팅이 수행된 적어도 하나의 의미 역할 요소에 없는 의미 역할 요소가 있는지 결정하고, 의도 프레임 내의 적어도 하나의 의미 역할 요소에는 있으나 구문 스포팅 결과에 없는 의미 역할 요소가 있는 경우에 수행될 수 있다.
상세하게는, 의미 역할 값 할당부(320)는 구문 스포팅 결과에서 의도 프레임 에 매칭되지 않는 단어들에 대해 단어의 위치를 검사하고, 단어의 위치가 문장 내에서 의미 역할 값이 될 수 있는 위치에 있다고 판단되면, 이 단어들에 대해 구문 청킹을 통하여 의미 역할 값의 범위를 결정하여 의미 역할 값을 할당할 수 있다(440).
예를 들어, 구문 스포팅이 수행된 음성 인식 후보 문장에 속한 단어들과 의도 프레임의 의미 역할 요소에 대응하는 단어의 카테고리를 비교하여, 같은 카테고리에 속하거나 부모 자식 관계에 해당하면 의미 역할 값이 될 수 있는 것으로 결정될 수 있다. 단어 카테고리의 비교는 온톨로지를 이용하여 수행될 수 있다. 또한, 구문이 고유명사일 가능성이 있을 때에는 카테고리 비교 과정을 거치지 않고 의미 역할 값이 할당될 수 있다. 이에 대한 예는 도 12를 참조하여 설명한다.
도 12는 구문 청킹을 통한 의미 역할 값의 추정의 일 예를 나타내는 도면이다. 구문 스포팅 결과가 "화요일(@time)에 파리의 연인 녹화해"이고, 선정된 의도 프레임이 "GetEstablishTime(@time, @object)"인 경우, 구문 스포팅 결과에서 "파리의 연인"이 온톨로지를 참조하더라도 의미 역할이 결정되지 않을 수 있다. 이 경우, 의미 역할 값 할당부(320)는 "파리의 연인"을 고유 명사로 결정하여, 의도 프레임의 @object에 의미 역할 값으로 할당할 수 있다. 이에 따라, 의도 분석 결과는 "GetEstablishTime(@time=화요일, @object=파리의 연인)"으로 생성될 수 있다.
도 13은 의도 분석 방법의 일 예를 나타내는 도면이다.
구문 스포팅부(220)는 적어도 하나의 문장에 대하여 각각 문맥 자유 문법을 적용하여 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행한다(1310).
유효 문장 결정부(230)는 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터링한다(1320).
의도 추론부(240)는 유효하다고 판별된 문장에 대해서 의도 분석 결과를 생성한다(1330). 의도 추론부(240)는 의도 분석 결과를 생성하기 위하여 구문 스포팅이 수행된 문장에 대해 의도 분석 결과가 될 의도 프레임을 선정하고, 의도 프레임을 구성하는 의미 역할 요소에 대한 의미 역할 값을 구문 스포팅이 수행된 문장으로부터 결정하고, 결정된 의미 역할 값을 선정된 의도 프레임내의 의미 역할 요소에 할당할 수 있다.
이상에서, 의도 분석 장치(100)가 음성 대화 시스템에 이용되는 경우에 대하여 주로 설명하였으나, 의도 분석 장치(100)는 음성 인식에 의해 인식된 문장들에 대해 적용되는 것에 제한되는 것은 아니며, 음성 인식이 적용되지 않은 일반적인 텍스트 형태의 문장에 대해서도 적용되어 다양한 목적 및 형태의 시스템에 이용 및 응용될 수 있다.
일 실시예에 따르면, 사용자 발화 등으로 생성된 문장에 OOG가 포함된 경우에도 사용자 발화의 의도 분석을 할 수 있다. 또한, 문법적으로 유효한 문장에 대해서 의도 분석 결과를 생성함으로써 음성 인식 범위를 확장하면서도 음성 인식된 문장을 문법적으로 또는 의미적으로 검증하여 음성 인식 오류 문장이 음성 인식 결과를 출력되는 것을 방지할 수 있다. 의도 분석에서 OOG를 처리할 수 있도록 함으 로써 사용자의 발화 자유도를 높여 미리 정의된 발화 범위내에서만 음성 인식을 수행하는 기존의 음성 대화 시스템에 비하여 의도 분석 성공률을 높이고 음성 대화 시스템의 전체 성능을 높일 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 의도 분석 장치의 구성의 일 예를 나타내는 도면이다.
도 2는 도 1의 의도 분석 장치의 의도 분석부(150)의 구성의 일 예를 나타내는 도면이다.
도 3은 도 2의 의도 추론부(240)의 구성의 일 예를 나타내는 도면이다.
도 4는 도 3의 의미 역할 값 할당부(320)의 동작을 나타낸다.
도 5는 문맥 자유 문법의 일 예를 나타내는 도면이다.
도 6은 구문 스포팅의 개념을 나타내는 도면이다.
도 7은 구문 스포팅 동작의 일 예를 나타내는 도면이다.
도 8은 의존 문법의 일 예를 나타내는 도면이다.
도 9는 역할 네트워크의 일 예를 나타내는 도면이다.
도 10은 의미 역할 요소들이 일치하는 경우의 의미 역할 값 할당의 일 예를 나타내는 도면이다.
도 11은 의미 역할 요소들이 일치하지 않는 경우의 의미 역할 값 할당의 일 예를 나타내는 도면이다.
도 12는 구문 청킹을 통한 의미 역할 값의 추정의 일 예를 나타내는 도면이다.
도 13은 의도 분석 방법의 일 예를 나타내는 도면이다.

Claims (16)

  1. 적어도 하나의 문장에 대하여 각각 단어 또는 구문 단위로 문맥 자유 문법을 적용하여 상기 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행하는 구문 스포팅부;
    상기 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 상기 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터링하는 유효 문장 결정부; 및
    상기 유효한 문장으로 판별된 문장에 대해서 의도 분석 결과를 생성하는 의도 추론부를 포함하는 의도 분석 장치.
  2. 제1항에 있어서,
    상기 의도 추론부는 상기 유효한 문장으로 판별된 문장에 대해 의도 분석 결과가 될 의도 프레임을 선정하고, 상기 유효한 문장으로 판별된 문장으로부터 상기 선택된 의도 프레임을 구성하는 적어도 하나의 의미 역할 요소에 대한 의미 역할 값을 결정하고, 상기 결정된 의미 역할 값을 상기 선정된 의도 프레임내의 의미 역할 요소에 할당하는 의도 분석 장치.
  3. 제2항에 있어서,
    상기 의도 추론부는 상기 의미 역할 값을 할당할 때, 상기 유효한 문장으로 판별된 문장의 적어도 하나의 의미 역할 요소와 상기 선정된 의도 프레임 내의 적어도 하나의 의미 역할 요소가 서로 일치하는 경우, 구문 청킹을 통하여 상기 유효한 문장으로 판별된 문장으로부터 상기 의미 역할 값들을 결정하고, 결정된 의미 역할 값들을 상기 선정된 의도 프레임내의 의미 역할 요소에 할당하는 의도 분석 장치.
  4. 제3항에 있어서,
    상기 의도 추론부는 상기 유효한 문장으로 판별된 문장 내에 상기 의도 프레임 내의 적어도 하나의 의미 역할 요소에 존재하지 않는 의미 역할 요소가 있으면, 역할 네트워크를 이용하여 상기 존재하지 않는 의미 역할 요소를 상기 의도 프레임에서 존재하는 의미 역할 요소로 대체할 수 있는지 결정하고, 대체할 수 있는 것으로 결정되는 경우, 상기 결정된 의미 역할 요소들에 대한 의미 역할 값들을 구문 청킹을 통하여 상기 유효한 문장으로 판별된 문장으로부터 결정하고, 결정된 의미 역할 값들을 상기 선정된 의도 프레임내의 의미 역할 요소에 할당하는 의도 분석 장치.
  5. 제3항에 있어서,
    상기 의도 추론부는 온톨로지를 이용하여 상기 의도 프레임내의 적어도 하나의 의미 역할 요소에 대한 의미 역할 값을 상기 유효한 문장으로 판별된 문장으로부터 추정하는 의도 분석 장치.
  6. 제2항에 있어서,
    상기 선정된 의도 프레임에 포함된 의미 역할 요소의 의미 역할 역할 값이 할당된 적어도 하나의 의도 분석 결과 후보들에 대하여 의도 분석이 맞게 되었을 확률을 계산하여 점수를 부여하는 스코어링부를 더 포함하는 의도 분석 장치.
  7. 제1항에 있어서,
    상기 의도 분석 결과를 애플리케이션에 적용하여 의도 분석 적용 결과를 생성하는 분석 적용부를 더 포함하는 의도 분석 장치.
  8. 제1항에 있어서,
    오디오 입력을 적어도 하나의 문장으로 변환하는 음성 인식부를 더 포함하고,
    상기 적어도 하나의 문장은 상기 음성 인식부를 통해 변환된 n-best 문장인 의도 분석 장치.
  9. 적어도 하나의 문장에 대하여 각각 단어 또는 구문 단위로 문맥 자유 문법을 적용하여 상기 적어도 하나의 문장 각각에 대한 구문 스포팅을 수행하는 단계;
    상기 구문 스포팅이 수행된 문장에 의존 문법을 이용하여 상기 적어도 하나의 문장이 각각 문법적으로 유효한 문장인지 판별하여 유효하지 않은 문장을 필터 링하는 단계; 및
    상기 유효한 문장으로 판별된 문장에 대해서 의도 분석 결과를 생성하는 단계를 포함하는 의도 분석 방법.
  10. 제9항에 있어서,
    상기 유효한 문장으로 판별된 문장에 대해서 의도 분석 결과를 생성하는 단계는,
    상기 유효한 문장으로 판별된 문장에 대해 의도 분석 결과가 될 의도 프레임을 선정하는 단계; 및
    상기 의도 프레임을 구성하는 의미 역할 요소에 대한 의미 역할 값을 상기 유효한 문장으로 판별된 문장으로부터 결정하고, 상기 결정된 의미 역할 값을 상기 선정된 의도 프레임내의 의미 역할 요소에 할당하는 단계를 포함하는 의도 분석 방법.
  11. 제10항에 있어서,
    상기 의미 역할 값을 할당하는 단계는,
    상기 유효한 문장으로 판별된 문장의 적어도 하나의 의미 역할 요소와 상기 선정된 의도 프레임 내의 적어도 하나의 의미 역할 요소가 일치하는지 결정하는 단계; 및
    일치한다고 결정되는 경우, 구문 청킹을 통하여 상기 유효한 문장으로 판별 된 문장으로부터 상기 의미 역할 값들을 결정하고 할당하는 단계를 포함하는 의도 분석 방법.
  12. 제11항에 있어서,
    상기 의미 역할 값을 할당하는 단계는,
    상기 유효한 문장으로 판별된 문장의 의미 역할 요소들과 상기 선정된 의도 프레임 내의 의미 역할 요소들이 일치하지 않는 경우,
    상기 유효한 문장으로 판별된 문장 내에 상기 의도 프레임 내의 의미 역할 요소들에 존재하지 않는 의미 역할 요소가 있는지 결정하는 단계;
    상기 의도 프레임 내에 존재하지 않는 의미 역할 요소가 있으면, 역할 네트워크를 이용하여 상기 존재하지 않는 의미 역할 요소를 상기 의도 프레임에서의 의미 역할 요소로 대체할 수 있는지 결정하는 단계; 및
    대체될 수 있는 것으로 결정되는 경우, 상기 대체할 수 있는 것으로 결정된 의미 역할 요소들에 대한 의미 역할 값들을 구문 청킹을 통하여 상기 유효한 문장으로 판별된 문장으로부터 결정하고, 결정된 의미 역할 값들을 상기 선정된 의도 프레임내의 의미 역할 요소에 할당하는 단계를 더 포함하는 의도 분석 방법.
  13. 제11항에 있어서,
    상기 의도 프레임내의 적어도 하나의 의미 역할 요소에 대한 의미 역할 값을 온톨로지를 이용하여 상기 유효한 문장으로 판별된 문장으로부터 추정하는 단계를 더 포함하는 의도 분석 방법.
  14. 제10항에 있어서,
    상기 선정된 의도 프레임에 포함된 의미 역할 요소의 의미 역할 역할 값이 할당된 적어도 하나의 의도 분석 결과 후보들에 대하여 의도 분석이 맞게 되었을 확률을 계산하여 점수를 부여하는 단계를 더 포함하는 의도 분석 방법.
  15. 제9항에 있어서,
    상기 의도 분석 결과를 애플리케이션에 적용하여 의도 분석 적용 결과를 생성하는 단계를 더 포함하는 의도 분석 방법.
  16. 제9항에 있어서,
    오디오 입력을 음성 인식하여 적어도 하나의 문장으로 변환하는 단계를 더 포함하고,
    상기 적어도 하나의 문장은 상기 음성 인식을 통해 변환된 n-best 문장인 의도 분석 방법.
KR1020090094019A 2009-10-01 2009-10-01 사용자 의도 분석 장치 및 방법 KR20110036385A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090094019A KR20110036385A (ko) 2009-10-01 2009-10-01 사용자 의도 분석 장치 및 방법
US12/894,846 US20110082688A1 (en) 2009-10-01 2010-09-30 Apparatus and Method for Analyzing Intention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090094019A KR20110036385A (ko) 2009-10-01 2009-10-01 사용자 의도 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110036385A true KR20110036385A (ko) 2011-04-07

Family

ID=43823870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090094019A KR20110036385A (ko) 2009-10-01 2009-10-01 사용자 의도 분석 장치 및 방법

Country Status (2)

Country Link
US (1) US20110082688A1 (ko)
KR (1) KR20110036385A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180124716A (ko) * 2017-05-11 2018-11-21 경희대학교 산학협력단 효과적인 대화 관리를 위한 의료 시스템에서의 의도-컨텍스트 융합 방법
KR20190082900A (ko) * 2017-02-15 2019-07-10 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 음성 인식 방법, 전자 디바이스, 및 컴퓨터 저장 매체

Families Citing this family (263)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) * 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
KR101577607B1 (ko) * 2009-05-22 2015-12-15 삼성전자주식회사 상황 및 의도인지 기반의 언어 표현 장치 및 그 방법
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) * 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
KR101828273B1 (ko) * 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
JP5710317B2 (ja) * 2011-03-03 2015-04-30 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、自然言語解析方法、プログラムおよび記録媒体
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9035163B1 (en) 2011-05-10 2015-05-19 Soundbound, Inc. System and method for targeting content based on identified audio and multimedia
US20120310642A1 (en) 2011-06-03 2012-12-06 Apple Inc. Automatically creating a mapping between text data and audio data
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9100291B2 (en) 2012-01-31 2015-08-04 Db Networks, Inc. Systems and methods for extracting structured application data from a communications link
US9525642B2 (en) 2012-01-31 2016-12-20 Db Networks, Inc. Ordering traffic captured on a data connection
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9069798B2 (en) 2012-05-24 2015-06-30 Mitsubishi Electric Research Laboratories, Inc. Method of text classification using discriminative topic transformation
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US10957310B1 (en) * 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
EP2944055A4 (en) 2013-01-11 2016-08-17 Db Networks Inc SYSTEMS AND METHOD FOR DETECTING AND WEAKING DOWN THREATS FOR A STRUCTURED DATA STORAGE SYSTEM
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) * 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9519461B2 (en) 2013-06-20 2016-12-13 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on third-party developers
US9633317B2 (en) 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9594542B2 (en) 2013-06-20 2017-03-14 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on training by third-party developers
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
US10229106B2 (en) * 2013-07-26 2019-03-12 Nuance Communications, Inc. Initializing a workspace for building a natural language understanding system
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
JP6514503B2 (ja) * 2014-12-25 2019-05-15 クラリオン株式会社 意図推定装置、および意図推定システム
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10691507B2 (en) * 2016-12-09 2020-06-23 Fujitsu Limited API learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN107015964B (zh) * 2017-03-22 2021-10-19 北京光年无限科技有限公司 面向智能机器人开发的自定义意图实现方法及装置
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
CN109388802B (zh) * 2018-10-11 2022-11-25 北京轮子科技有限公司 一种基于深度学习的语义理解方法和装置
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN110096570B (zh) * 2019-04-09 2021-03-30 苏宁易购集团股份有限公司 一种应用于智能客服机器人的意图识别方法及装置
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US20210117882A1 (en) 2019-10-16 2021-04-22 Talkdesk, Inc Systems and methods for workforce management system deployment
US11736615B2 (en) 2020-01-16 2023-08-22 Talkdesk, Inc. Method, apparatus, and computer-readable medium for managing concurrent communications in a networked call center
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11610065B2 (en) 2020-06-12 2023-03-21 Apple Inc. Providing personalized responses based on semantic context
US11677875B2 (en) 2021-07-02 2023-06-13 Talkdesk Inc. Method and apparatus for automated quality management of communication records
US11856140B2 (en) 2022-03-07 2023-12-26 Talkdesk, Inc. Predictive communications system
US11736616B1 (en) 2022-05-27 2023-08-22 Talkdesk, Inc. Method and apparatus for automatically taking action based on the content of call center communications
US11971908B2 (en) 2022-06-17 2024-04-30 Talkdesk, Inc. Method and apparatus for detecting anomalies in communication data
US11943391B1 (en) 2022-12-13 2024-03-26 Talkdesk, Inc. Method and apparatus for routing communications within a contact center

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146381B1 (en) * 1997-02-10 2006-12-05 Actioneer, Inc. Information organization and collaboration tool for processing notes and action requests in computer systems
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
WO2001073755A1 (en) * 2000-03-24 2001-10-04 Eliza Corporation Web-based speech recognition with scripting and semantic objects
US6836760B1 (en) * 2000-09-29 2004-12-28 Apple Computer, Inc. Use of semantic inference and context-free grammar with speech recognition system
US7016849B2 (en) * 2002-03-25 2006-03-21 Sri International Method and apparatus for providing speech-driven routing between spoken language applications
US7200559B2 (en) * 2003-05-29 2007-04-03 Microsoft Corporation Semantic object synchronous understanding implemented with speech application language tags
US8301436B2 (en) * 2003-05-29 2012-10-30 Microsoft Corporation Semantic object synchronous understanding for highly interactive interface
US7412387B2 (en) * 2005-01-18 2008-08-12 International Business Machines Corporation Automatic improvement of spoken language
US7460996B2 (en) * 2005-06-23 2008-12-02 Microsoft Corporation Using strong data types to express speech recognition grammars in software programs
US8019714B2 (en) * 2005-12-12 2011-09-13 Qin Zhang Thinking system and method
KR100764174B1 (ko) * 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
US7689420B2 (en) * 2006-04-06 2010-03-30 Microsoft Corporation Personalizing a context-free grammar using a dictation language model
US20070239453A1 (en) * 2006-04-06 2007-10-11 Microsoft Corporation Augmenting context-free grammars with back-off grammars for processing out-of-grammar utterances
US8396713B2 (en) * 2007-04-30 2013-03-12 Nuance Communications, Inc. Method and system for using a statistical language model and an action classifier in parallel with grammar for better handling of out-of-grammar utterances
KR100919225B1 (ko) * 2007-09-19 2009-09-28 한국전자통신연구원 음성 대화 시스템에 있어서 다단계 검증을 이용한 대화오류 후처리 장치 및 방법
US20090235253A1 (en) * 2008-03-12 2009-09-17 Apple Inc. Smart task list/life event annotator

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082900A (ko) * 2017-02-15 2019-07-10 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 음성 인식 방법, 전자 디바이스, 및 컴퓨터 저장 매체
KR20180124716A (ko) * 2017-05-11 2018-11-21 경희대학교 산학협력단 효과적인 대화 관리를 위한 의료 시스템에서의 의도-컨텍스트 융합 방법

Also Published As

Publication number Publication date
US20110082688A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
KR20110036385A (ko) 사용자 의도 분석 장치 및 방법
US7072837B2 (en) Method for processing initially recognized speech in a speech recognition session
US9934777B1 (en) Customized speech processing language models
KR100920267B1 (ko) 음성 대화 분석 시스템 및 그 방법
US7529657B2 (en) Configurable parameters for grammar authoring for speech recognition and natural language understanding
US7043422B2 (en) Method and apparatus for distribution-based language model adaptation
US10902846B2 (en) Spoken language understanding apparatus and spoken language understanding method using the same
US7634406B2 (en) System and method for identifying semantic intent from acoustic information
US7124080B2 (en) Method and apparatus for adapting a class entity dictionary used with language models
US20140350918A1 (en) Method and system for adding punctuation to voice files
US8255220B2 (en) Device, method, and medium for establishing language model for expanding finite state grammar using a general grammar database
JPH08278794A (ja) 音声認識装置および音声認識方法並びに音声翻訳装置
WO2018192186A1 (zh) 语音识别方法及装置
JP7544989B2 (ja) ルックアップテーブルリカレント言語モデル
US20030093272A1 (en) Speech operated automatic inquiry system
US20130238321A1 (en) Dialog text analysis device, method and program
JP2010078877A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
KR100726875B1 (ko) 구두 대화에서의 전형적인 실수에 대한 보완적인 언어모델을 갖는 음성 인식 디바이스
Badenhorst et al. Collecting and evaluating speech recognition corpora for 11 South African languages
Moyal et al. Phonetic search methods for large speech databases
US20110224985A1 (en) Model adaptation device, method thereof, and program thereof
Kitaoka et al. Dynamic out-of-vocabulary word registration to language model for speech recognition
KR100723404B1 (ko) 음성 인식 및 반응을 위한 음성 처리 장치와 방법
Švec et al. Hierarchical discriminative model for spoken language understanding
US6772116B2 (en) Method of decoding telegraphic speech

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091001

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid