KR101211796B1

KR101211796B1 - 외국어 학습 장치 및 그 제공 방법

Info

Publication number: KR101211796B1
Application number: KR1020090125469A
Authority: KR
Inventors: 이성진; 이청재; 이근배
Original assignee: 포항공과대학교 산학협력단
Priority date: 2009-12-16
Filing date: 2009-12-16
Publication date: 2012-12-13
Also published as: WO2011074771A2; CN102667889A; US20120290300A1; WO2011074771A3; CN102667889B; JP5405672B2; US9767710B2; EP2515286A2; EP2515286A4; KR20110068490A; JP2013512461A

Abstract

본 발명은 외국어 학습 장치 및 그 제공 방법에 관한 것으로서, 이 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 사용자 발화 의도 및 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기를 포함한다. 본 발명에 의하면, 학습자 수준이 낮더라도 학습자의 발화 의도를 파악할 수 있고, 학습자에게 다양한 상황에 따른 맞춤식 표현을 제공할 수 있다.

외국어, 학습, 발화 의도, 추천 표현, 대체 표현, 올바른 표현

Description

외국어 학습 장치 및 그 제공 방법{APPARATUS FOR FOREIGN LANGUAGE LEARNING AND METHOD FOR PROVIDING FOREIGN LANGUAGE LEARNING SERVICE}

본 발명은 외국어 학습 장치 및 그 제공 방법에 관한 것이다.

일반적으로 외국어 회화 교육의 가장 효과적인 방법은 원어민 교사와 학생이 일대일로 자연스러운 대화를 나누는 것이다. 그러나 이러한 방법은 비용이 많이 들기 때문에 실제로 많은 학생들이 혜택을 받기 어렵다.

이에 따라, 최근 들어 원어민 교사를 대신할 수 있는 인공 지능 자연어 처리 기술을 이용한 음성 기반 자연어 대화 장치에 대한 연구가 활발하게 이루어지고 있다. 그러나 기존 음성 인식기들이 대부분 모국어 화자를 대상으로 개발된 것이어서, 외국어 학습자인 비 모국어 화자의 음성 인식에 사용되면 매우 낮은 인식 성능이 나타난다.

이러한 음성 인식의 기술적 제약으로 인해 학습자의 자유로운 발화 입력이 사실상 불가능하므로, 현재까지 대부분의 외국어 학습을 위한 대화 시스템은 시나리오 기반의 제한된 형태로 활용되는 것이 일반적이다. 그러나 실제 외국어 습득 이론에 따르면 학습자들은 자신의 발화에 대한 상대의 반응을 통해 자신이 가지고 있는 외국어 지식을 테스트하고 배우는 것으로 알려져 있다. 따라서 대부분의 외국어 학습을 위해서 시나리오 형태로 항상 동일한 응답을 하는 기존의 대화 시스템은 학습 효과가 미미하다.

본 발명이 해결하고자 하는 과제는 학습자의 외국어 수준이 낮더라도 학습자의 발화 의도를 파악하여 발화 의도에 부합하는 응답을 학습자에게 제공할 수 있으며, 다양한 상황에 따른 맞춤식 표현을 학습자에게 제공할 수 있는 외국어 학습 장치 및 그 서비스 제공 방법을 제공하는 것이다.

이러한 기술적 과제를 해결하기 위한 본 발명의 한 태양에 따른 외국어 학습 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기를 포함한다.

상기 발화 의도 인식기는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출할 수 있다.

상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도를 추정할 수 있다.

상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도와 상기 대화 문맥 기반 모델에 따른 발화 의도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출할 수 있다.

상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 대화 관리 모듈을 더 포함할 수 있다.

상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공할 수 있다.

상기 피드백 처리기는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공할 수 있다.

상기 피드백 처리기는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공할 수 있다.

상기 피드백 처리기로부터 추출된 표현을 자연어 발화로 변환하는 자연어 발화 생성기, 그리고 상기 자연어 발화 생성기에서 변환된 자연어 발화를 음성으로 합성하는 음성 합성기를 더 포함할 수 있다.

본 발명의 다른 태양에 따른 외국어 학습 장치는, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 피드백 처리기를 포함한다.

상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출할 수 있다.

본 발명의 다른 태양에 따른 대화 시스템은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 그리고 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기를 포함한다.

본 발명의 다른 태양에 따른 외국어 학습 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 단계를 포함한다.

본 발명의 다른 태양에 따른 외국어 학습 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고 상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함한다.

본 발명의 다른 태양에 따른 대화 제공 방법은, 사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 그리고 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계를 포함한다.

이와 같이 본 발명에 의하면, 학습자의 수준별 언어 특성과 대화 문맥에 따라 학습자의 발화 의도를 파악함으로써, 학습자의 수준이 낮더라도 정확하게 학습자의 발화 의도를 파악할 수 있고, 따라서 발화 의도에 부합되는 응답을 학습자에게 제공할 수 있다. 뿐만 아니라, 학습자에게 다양한 상황에 따른 맞춤식 표현을 제공함으로써 학습자가 받는 스트레스를 최소화하면서 자연스럽게 학습을 진행할 수 있다. 이와 같이 학습자는 정확하고 다양한 피드백을 받고 올바른 표현을 제공받아 반복 연습을 할 수 있으므로 저렴한 비용으로 외국어 학습을 할 수 있다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

먼저 도 1 및 도 2를 참고하여 본 발명의 실시예에 따른 외국어 학습 장치에 대하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 외국어 학습 장치의 블록도이고, 도 2는 도 1의 발화 의도 인식기에서 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 발화 의도를 추출하는 것을 도시한 개념도이다.

도 1에 도시한 것처럼, 본 발명의 실시예에 따른 외국어 학습 장치(100)는 음성 인식기(10), 발화 의도 인식기(20), 피드백 처리기(30), 대화 관리 모듈(40), 음성 합성기(50), 자연어 발화 생성기(60), 회원 데이터베이스(65), 발화 데이터베이스(70), 문맥 데이터베이스(80), 그리고 표현 데이터베이스(90)를 포함한다.

음성 인식기(10)는 마이크를 통해 입력된 학습자의 음성을 인식하며 인식된 음성을 발화 텍스트로 변환하고, 변환된 발화 텍스트를 발화 의도 인식기(20)로 전달한다. 앞으로 설명의 편의를 위하여 학습자는 예를 들면 한국어를 모국어로 하는 사용자이고, 음성 인식기(10)는 한국어 이외의 언어, 예를 들면 영어를 기반으로 하는 음성 인식기라고 가정한다. 따라서 학습자는 영어를 구사하여 외국어 학습 장치(100)와 대화를 하며 학습을 진행하는 것으로 한다. 물론 한국어나 영어는 예일뿐이고 이들 이외의 다른 언어, 중국어, 일어, 독어 등인 경우도 동일하게 적 용될 수 있다.

발화 의도 인식기(20)는 음성 인식기(10)로부터 전달된 발화 텍스트를 이용하여 학습자의 발화 의도를 파악한다. 이때, 발화 의도 인식기(20)는 발화 데이터베이스(70)와 문맥 데이터베이스(80)에 저장되어 있는 정보를 기초로 각각 생성된 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 학습자의 발화 의도를 추출한다.

도 2에 도시한 것처럼, 발화 데이터베이스(70)에는 제1 내지 제n 레벨의 발화 데이터가 저장되어 있다. 제1 내지 제n 레벨의 발화 데이터는 학습자의 발화에 담긴 단어, 형태소, 구문 정보 등과 같은 발화 데이터를 학습자의 수준에 따라 제1 내지 제n 레벨로 분류하여 동일한 레벨에 해당하는 발화 데이터끼리 모아둔 것이다.

문맥 데이터베이스(80)에는 해당 학습자에 대한 이전 발화들에 대한 정보, 학습자와 외국어 학습 장치(100) 간에 주고받은 대화 목록, 외국어 학습 장치(100)로부터 제공받은 추천 표현, 대체 표현, 올바른 표현 등 학습자의 학습 내용에 대한 문맥 정보 등이 저장되어 있다.

대화의 선천적 특성상 학습자의 수준에 따라 오류나 단어 사용 등의 차이가 발생하므로 발화 기반 모델은 학습자 수준별로 즉, 제1 내지 제n 레벨 발화 기반 모델로 개별적으로 모델링 된다. 각 레벨의 발화 기반 모델은 발화 데이터베이스(70)의 제1 내지 제n 레벨의 발화 데이터에 따른 언어학적 정보를 기초로 하여 각각 구축된다. 그러나 대화 문맥의 흐름은 거의 변화가 없으므로 문맥 기반 모델 은 하나의 모델로 생성되며, 문맥 데이터베이스(80)의 각종 정보를 기초로 하여 구축된다.

사후 확률을 출력하는 발화 기반 모델과 대화 기반 모델을 만들기 위해서 다양한 통계 및 규칙 모델들을 적용할 수 있다. 예를 들면, 발화 기반 모델은 발화를 구성하는 단어의 n-gram 정보를 자질로 이용하여 최대 엔트로피(Maximum-entropy) 분류기, 지지 벡터 기계(Support vector machine) 분류기와 같은 여러 종류의 분류기를 통해 만들 수 있다. 또한, 대화 문맥 기반 모델은 이전 차례의 시스템 발화 의도, 이전 차례의 사용자 발화 의도, 현재 차례의 시스템 발화 의도, 현재 차례까지 사용자가 알려준 정보 등을 자질로 이용하여 최대 엔트로피(Maximum-entropy) 분류기, 지지 벡터 기계(Support vector machine) 분류기와 같은 여러 종류의 분류기를 통해 만들 수 있다.

회원 데이터베이스(65)에는 학습자의 신상 정보, 아이디, 패스워드, 학습자 수준과 함께 학습자가 학습한 내용에 대한 정보가 저장되어 있다. 학습자 수준은 발화 의도 인식기(20)에서 학습자의 발화 의도를 인식하기 위해 어느 발화 기반 모델을 적용할지 선택하는 기준이 된다. 즉, 회원 데이터베이스(65)에 현재 학습자의 학습자 수준이 제3 레벨이라고 저장되어 있으면, 발화 의도 인식기(20)는 제3 레벨의 발화 기반 모델을 이용하여 발화 의도를 추정한다.

발화 의도 인식기(20)는 미리 입력된 학습자 수준에 따른 발화 기반 모델을 선택하고 해당 레벨의 발화 기반 모델을 이용하여 음성 인식기(10)로부터의 발화 텍스트에 대한 발화 의도와 신뢰도를 추정한다. 이와 동시에, 발화 의도 인식기(20)는 대화 문맥 기반 모델을 이용하여 대화 문맥 정보를 바탕으로 하는 발화 의도와 신뢰도를 추정한다. 대화 문맥 정보는 학습자와 외국어 학습 장치(100) 사이에서 주고받은 대화 정보로서 대화 시작부터 현재 차례까지 진행되어온 대화 정보 또는 그 일부의 대화 정보를 의미한다.
발화 의도 인식기(20)는 발화 기반 모델에 기초한 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 기초한 발화 의도 및 신뢰도를 통계적으로 합성하여 가장 높은 확률을 가지는 것을 최종적인 학습자 발화 의도로 추출한다.
이때, 발화 의도 인식기(20)는 발화 기반 모델에 기초한 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 기초한 발화 의도 및 신뢰도를 결합하기 위하여 상호 정보 척도(mutual information measure) 등 모델 결합을 위해 통상적으로 사용되는 다양한 통계적 방법론을 사용할 수 있다.
이와 같이 학습자 수준별 특성과 대화 문맥 정보를 함께 고려함으로써 오류가 포함되거나 미숙한 학습자 발화 음성에도 불구하고 최대한 정확한 학습자 발화 의도를 예측할 수 있다.

삭제

대화 관리 모듈(40)은 1) 발화 의도 인식기(20)로부터의 학습자 발화 의도와 발화 텍스트에 기초하여 학습자의 발화가 올바른지 여부, 2) 미리 설정된 시간 내에 학습자로부터의 발화가 입력되었는지 여부, 3) 학습자가 명시적으로 도움을 요청하였는지 여부를 판단한다.

1) 대화 관리 모듈(40)은 학습자의 발화가 올바르다고 판단하면 학습자 발화 의도와 현재 대화 문맥을 고려하여 학습자의 발화 텍스트에 대한 적절한 응답을 생성하고 생성된 응답을 자연어 발화 생성기(60)로 전달한다. 예를 들어, 학습자가 "What kind of music do you listen to?"라고 올바르게 발화한 경우, 대화 관리 모듈(40)은 "I usually listen to country music."과 같은 응답을 생성할 수 있다.

2) 대화 관리 모듈(40)은 미리 설정된 시간 내에 학습자의 발화 입력이 없으면 피드백 처리기(30)로 학습자의 발화 텍스트와 발화 의도를 전달한다.

3) 대화 관리 모듈(40)은 학습자가 학습 화면에 표시된 "Help me" 버튼을 누르거나, 직접 "Help me", "I don't know", "I don't know what to say" 등을 발화하면 피드백 처리기(30)로 피드백을 요청한다.

피드백 처리기(30)는 미리 설정된 조건에 부합되면 학습자에게 다양한 표현을 피드백 한다. 즉, 피드백 처리기(30)는 i) 미리 정해진 시간 내에 학습자의 발화 입력이 없는 경우 또는 학습자에 의해 명시적으로 도움이 요청된 경우, ii) 학습자의 발화가 올바르지 않다고 판단된 경우, iii) 학습자의 발화가 올바르지만 유사 표현의 학습이 필요한 경우 각각 추천 표현, 올바른 표현, 대체 표현을 제공한다.

한편 표현 데이터베이스(90)는 발화 의도별로 또는 대화 문맥에 따른 주제 또는 테마별로 추천 표현, 올바른 표현, 대체 표현 등을 저장하고 있으며, 피드백 처리기(30)로부터의 요청에 따라 해당 표현을 제공한다.

i) 응답 시간 초과 또는 명시적 도움의 요청 시

학습자가 대화 도중 어떤 말을 해야 할지 전혀 알 수 없어 대화 문장을 이어갈 수 없는 경우, 학습자는 일정 시간 이상 발화를 하지 못할 수 있다. 이 경우, 대화 관리 모듈(40)에서 응답 시간이 경과하였음을 피드백 처리기(30)로 알리고, 학습자와의 대화 내용을 피드백 처리기(30)로 전달한다. 그러면, 피드백 처리기(30)에서는 현재 대화 문맥 정보를 고려하여 학습자의 대화 문맥에 따라 주제 또 는 테마를 선택하고 마지막 대화 문장에 이어서 대화를 이어갈 수 있는 문장을 추천 표현으로 표현 데이터베이스(90)에서 추출한다.

ii) 학습자의 발화가 올바르지 않은 경우

학습자의 발화가 올바르지 않다고 판단된 경우 피드백 처리기(30)는 대화 문맥을 고려하여 표현 데이터베이스(90)로부터 학습자의 발화 의도에 가장 부합되는 문장을 선택하여 올바른 표현으로 추출한다.

iii) 학습자의 발화가 올바른 경우

학습자의 발화가 올바르다고 판단된 경우 피드백 처리기(30)는 표현 데이터베이스(90)로부터 학습자의 발화와 동일 또는 유사한 내용의 다른 표현을 선택하여 대체 표현으로 추출한다.

자연어 발화 생성기(60)는 대화 관리 모듈(40)이나 피드백 처리기(30)에서 생성된 개념적 응답을 자연어 발화로 변환한다. 별도로 도시하지 않았지만 자연어 발화 생성기(60)는 자연어 발화를 텍스트 형태로 표시 화면에 출력할 수도 있다.

음성 합성기(50)는 자연어 발화 생성기(60)에서 생성된 자연어 발화에 기초하여 원어민에 의한 발음으로 이루어진 음성을 합성하고, 합성된 음성을 스피커, 헤드폰 또는 이어폰 등의 장치를 통해 출력한다.

이와 같이 본 발명의 실시예에 따른 외국어 학습 장치(100)에 의하면 학습자 수준별로 발화 기반 모델을 구축하여 두고 대화 문맥 기반 모델과 함께 학습자 발화 의도를 추출해 냄으로써 오류가 포함되어 있거나 미숙한 학습자 발화에도 학습자 발화 의도를 강건하게 추출해 낼 수 있다. 또한 학습자에게 다양한 상황에 적 합한 피드백을 제공함으로써 학습자가 스스로 자신의 오류를 파악하고 비슷한 표현을 익히면서 대화를 진행해 나갈 수 있다.

본 발명의 실시예에 따른 외국어 학습 장치(100)는 독립적인 서버 형태로 구현될 수 있고, 학습자는 컴퓨터, 개인 휴대 정보 단말기(PDA), 유선 또는 무선 전화 등의 사용자 단말기를 이용하여 외국어 학습 장치(100)와 대화를 할 수 있으며 이 경우 사용자 단말기와 외국어 학습 장치(100)는 유무선 통신망을 통하여 연결된다. 이와 달리 외국어 학습 장치(100)는 독립적인 하나의 장치로 구현될 수도 있으며, 이 경우 학습자가 외국어 학습 장치(100)를 휴대하여 사용하거나 외국어 학습 장치(100)와 대면하여 사용할 수 있다.

또한 외국어 학습 장치(100) 전체로서뿐만 아니라 그 기능의 일부가, 사용자 단말기 또는 지능형 로봇 등에 구현될 수도 있으며, 단순히 외국어를 학습하기 위한 장치로서뿐만 아니라 예를 들면 쇼핑, 비즈니스 등과 같이 다양한 컨텐츠와 결합하여 사용될 수도 있고, 사용자에게 특정 서비스를 제공하기 위하여 사용자와 대화를 할 수 있는 대화 시스템 또는 자연어 처리 인공지능 에이전트에 적용될 수도 있다.

회원 데이터베이스(65), 발화 데이터베이스(70), 문맥 데이터베이스(80) 및 표현 데이터베이스(90)는 하나의 데이터베이스로 구현될 수도 있다. 또한 지금까지 외국어 학습 장치(100)가 회원 데이터베이스(65), 발화 데이터베이스(70) 및 문맥 데이터베이스(80)를 포함하는 것으로 설명하였으나, 이들이 반드시 외국어 학습 장치(100)에 포함될 필요는 없으며 이들 중 적어도 하나는 외국어 학습 장치(100) 와 별도로 외부에 구현될 수도 있으며 생략될 수도 있다.

그러면 본 발명의 실시예에 따른 외국어 학습 제공 방법에 대하여 도 3 및 도 4를 참고하여 상세하게 설명한다.

도 3은 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 발화 의도를 추출하는 과정을 도시한 흐름도이고, 도 4는 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 학습자에게 응답하는 과정을 도시한 흐름도이다.

먼저 도 3에 도시한 것처럼 학습자로부터의 발화가 입력되면(S300), 음성 인식기(10)는 학습자의 음성을 인식하고 인식된 음성을 발화 텍스트로 변환하여 발화 의도 인식기(20)로 전달한다(S310). 발화 의도 인식기(20)는 대화 문맥 기반 모델을 이용하여 대화 문맥 정보를 바탕으로 한 발화 의도와 신뢰도를 추정한다(S325). 이와 동시에, 발화 의도 인식기(20)는 제1 내지 제n 레벨의 발화 기반 모델 중 학습자 수준에 따른 발화 기반 모델을 선택하고 해당 레벨의 발화 기반 모델을 이용하여 학습자의 발화 텍스트에 기초한 발화 의도와 신뢰도를 추정한다(S320). 그런 후 발화 의도 인식기(20)는 발화 기반 모델에 따른 발화 의도 및 신뢰도와 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 합성하여 최종 학습자의 발화 의도를 추출한다(S330). 발화 의도 인식기(20)는 추출된 학습자 발화 의도를 대화 관리 모듈(40)로 전달한다(S340).

도 4에 도시한 것처럼, 대화 관리 모듈(40)은 학습자로부터 미리 정해진 시간 내에 발화가 입력되는지를 판단한다(S400). 미리 정해진 시간 내에 발화가 입력되면(S400-Y), 입력된 발화가 명시적 도움을 요청하는 발화인지 판단한다(S410). 단계(S410)는 학습자의 발화와 무관하게 학습자의 도움 요청 버튼 등의 입력에 의하여 판단할 수도 있다.

대화 관리 모듈(40)은 입력된 발화가 명시적 도움을 요청하는 발화가 아니라고 판단하면(S410-N) 학습자의 발화가 올바른 발화인지 판단하고(S420), 판단 결과 올바른 발화라고 판단하면(S420-Y) 발화 의도 인식기(20)로부터의 학습자 발화 의도와 대화 문맥을 고려하여 학습자 발화에 대한 적절한 응답을 생성하며(S430), 올바른 발화가 아니라고 판단하면(S420-N) 제어권을 피드백 처리기(30)로 넘기고 피드백 처리기(30)는 학습자 발화 의도와 대화 문맥을 고려하여 표현 데이터베이스(90)로부터 올바른 표현을 추출한다(S460).

미리 정해진 시간 내에 발화가 입력되지 않거나(S400-N), 입력된 발화가 명시적 도움을 요청하는 발화이면(S410-Y) 대화 관리 모듈(40)은 피드백 처리기(30)로 제어권을 넘기고 피드백 처리기(30)는 대화 문맥 정보에 기초하여 표현 데이터베이스(90)로부터 추천 표현을 추출한다(S450).

한편 피드백 처리기(30)는 학습자의 발화가 올바른 경우(S420-Y) 학습자의 발화와 동일 또는 유사한 의미의 대체 표현을 표현 데이터베이스(90)로부터 추출한다(S440).

자연어 발화 생성기(60)는 대화 관리 모듈(40) 및 피드백 처리기(30)에서 생성된 응답을 자연어 발화로 변환한다(S450). 그런 후 음성 합성기(50)는 변환된 자연어 발화에 기초하여 원어민 발음에 의한 음성으로 합성한다(S460).

외국어 학습 장치(100)는 합성된 음성을 스피커 등을 통하여 출력하고, 또한 필요에 따라 음성 출력과 별도로 자연어 발화를 텍스트 형태로 표시 화면에 출력할 수 있다.

학습자는 대화 문장을 이어갈 수 없는 경우나 명시적으로 도움을 요청한 경우에 외국어 학습 장치(100)로부터 추천 표현을 제공받음으로써 계속하여 대화를 진행해 나갈 수 있으며, 올바르지 않은 발화를 한 경우에 올바른 표현을 제공받음으로써 오류를 수정할 수 있으며 자신이 부족한 부분을 대화를 통하여 자연스럽게 알 수 있으므로 스트레스를 덜 받고 외국어 학습을 할 수 있다. 또한 학습자는 올바른 발화를 한 경우라도 같은 의미의 다른 표현을 제공받음으로써 외국어의 표현 범위를 넓힐 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 실시예에 따른 외국어 학습 장치의 블록도이다.

도 2는 도 1의 발화 의도 인식기에서 발화 기반 모델과 대화 문맥 기반 모델을 이용하여 발화 의도를 추출하는 것을 도시한 개념도이다.

도 3은 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 발화 의도를 추출하는 과정을 도시한 흐름도이다.

도 4는 본 발명의 실시예에 따른 외국어 학습 제공 방법에 따라 학습자에게 응답하는 과정을 도시한 흐름도이다.

<도면의 주요 부분에 대한 도면 부호의 설명>

10: 음성 인식기, 20: 발화 의도 인식기,

30: 피드백 처리기, 40: 대화 관리 모듈,

50: 음성 합성기, 60: 자연어 발화 생성기,

65: 회원 데이터베이스, 70: 발화 데이터베이스,

80: 문맥 데이터베이스, 90: 표현 데이터베이스

Claims

사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기,

상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고

상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 피드백 처리기

를 포함하는 외국어 학습 장치.
제1항에서,

상기 발화 의도 인식기는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출하는 외국어 학습 장치.
제2항에서,

상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 외국어 학습 장치.
제3항에서,

상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 외국어 학습 장치.
제1항에서,

상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 대화 관리 모듈을 더 포함하는 외국어 학습 장치.
제1항에서,

상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
제1항에서,

상기 피드백 처리기는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
제1항에서,

상기 피드백 처리기는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공하는 외국어 학습 장치.
제1항에서,

상기 피드백 처리기로부터 추출된 표현을 자연어 발화로 변환하는 자연어 발화 생성기, 그리고

상기 자연어 발화 생성기에서 변환된 자연어 발화를 음성으로 합성하는 음성 합성기

를 더 포함하는 외국어 학습 장치.
사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기,

상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기, 그리고

상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 피드백 처리기

를 포함하는 외국어 학습 장치.
제10항에서,

상기 피드백 처리기는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상 기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출하는 외국어 학습 장치.
사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 음성 인식기, 그리고

상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 발화 의도 인식기

를 포함하는 대화 시스템.
제12항에서,

상기 발화 의도 인식기는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 대화 시스템.
제13항에서,

상기 발화 의도 인식기는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 대화 시스템.
사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계,

상기 사용자의 수준 정보 및 대화 문맥 정보를 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고

상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 서로 다른 표현을 추출하는 단계

를 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 발화 의도 추출 단계는 상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 외국어 학습 제공 방법.
제16항에서,

상기 발화 의도 추출 단계는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 단계를 포함하는 외국어 학습 제공 방법.
제17항에서,

상기 발화 의도 추출 단계는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 사용자 발화 의도 및 상기 대화 문맥 정보에 따라 상기 발화 텍스트에 대한 응답을 생성하는 단계를 더 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 표현 추출 단계는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 데이터베이스로부터 추천 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 표현 추출 단계는 상기 사용자의 발화가 올바르지 않으면 데이터베이스로부터 올바른 표현을 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 표현 추출 단계는 상기 사용자의 발화가 올바르면 상기 사용자 발화와 동일 또는 유사한 의미를 가지는 대체 표현을 데이터베이스로부터 추출하여 상기 사용자에게 제공하는 단계를 포함하는 외국어 학습 제공 방법.
제15항에서,

상기 추출된 표현을 자연어 발화로 변환하는 단계, 그리고

상기 변환된 자연어 발화를 음성으로 합성하는 단계

를 더 포함하는 외국어 학습 제공 방법.
사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계,

상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계, 그리고

상기 사용자 발화 의도 및 상기 사용자의 발화 상황에 따라 추천 표현, 올바른 표현 및 대체 표현을 추출하여 상기 사용자에게 제공하는 단계

를 포함하는 외국어 학습 제공 방법.
제24항에서,

상기 제공 단계는 미리 정해진 시간 내에 상기 사용자의 발화가 입력되지 않거나 상기 사용자로부터 도움 요청이 있으면 상기 추천 표현을 추출하고, 상기 사용자의 발화가 올바르지 않으면 상기 올바른 표현을 추출하며, 상기 사용자의 발화가 올바르면 상기 대체 표현을 데이터베이스로부터 추출하는 단계를 포함하는 외국 어 학습 제공 방법.
사용자가 발화한 음성을 인식하여 발화 텍스트로 변환하는 단계, 그리고

상기 사용자의 수준별로 개별적으로 생성된 복수의 발화 기반 모델과 대화 문맥을 고려하여 생성된 대화 문맥 기반 모델을 이용하여 상기 발화 텍스트에 대한 사용자 발화 의도를 추출하는 단계

를 포함하는 대화 제공 방법.
제26항에서,

상기 발화 의도 추출 단계는 상기 사용자의 수준 정보에 따른 발화 기반 모델을 선택하고 상기 선택된 발화 기반 모델을 이용하여 상기 발화 텍스트에 대한 발화 의도 및 신뢰도를 추정하고, 상기 대화 문맥 기반 모델을 이용하여 상기 대화 문맥 정보를 바탕으로 하는 발화 의도 및 신뢰도를 추정하는 단계를 포함하는 대화 제공 방법.
제27항에서,

상기 발화 의도 추출 단계는 상기 발화 기반 모델에 따른 발화 의도 및 신뢰도와 상기 대화 문맥 기반 모델에 따른 발화 의도 및 신뢰도를 통계적으로 합성하여 상기 사용자 발화 의도를 추출하는 단계를 포함하는 대화 제공 방법.