KR20060030857A

KR20060030857A - 정보 처리 방법 및 장치

Info

Publication number: KR20060030857A
Application number: KR1020057022917A
Authority: KR
Inventors: 히로미 오미; 마꼬또 히로따; 겐이찌로 나까가와
Original assignee: 캐논 가부시끼가이샤
Priority date: 2003-06-02
Filing date: 2004-06-01
Publication date: 2006-04-11
Also published as: CN100368960C; JP2004362052A; WO2004107150A1; US20060290709A1; JP4027269B2; EP1634151A1; KR100738175B1; EP1634151A4; CN1799020A

Abstract

복수 타입의 입력 모달리티(modality)를 이용하여 유저에 의해 입력되는 복수의 입력 정보에 기초하여, 유저의 지시를 처리하는 정보 처리 방법에 있어서, 복수 타입의 입력 모달리티의 각각은 입력 내용과 의미 속성 간의 대응을 포함하는 기술(description)을 갖는다. 복수 타입의 입력 모달리티를 이용하여 입력되는 복수의 입력 정보의 각각을 해석하여 각 입력 내용이 취득되고, 상기 취득된 입력 내용의 의미 속성이 상기 기술로부터 취득된다. 멀티모달 입력 통합부는 상기 취득된 의미 속성에 기초하여 최득된 입력 내용을 통합한다.

모달리티, GUI, 바인드 목적지, 마크업 언어, 음성 인식 처리, 문법 규칙

Description

정보 처리 방법 및 장치{INFORMATION PROCESSING METHOD AND APPARATUS}

본 발명은 복수의 입력 양식을 이용하여 지시를 행하는 데 이용되는 소위 멀티모달(multimodal) 유저 인터페이스에 관한 것이다.

GUI 입력, 음성 입력 등의 복수 타입의 모달리티(modality:입력 양식) 중 원하는 하나를 이용하여 입력을 가능하게 하는 멀티모달 유저 인터페이스는 유저에게 매우 편리한 것이다. 특히, 복수 타입의 모달리티를 동시에 이용하여 입력을 행하는 경우에는 높은 편리성을 얻는다. 예를 들면, 유저가 음성으로 "this" 등의 지시어를 발성하면서 GUI로 대상을 나타내는 버튼을 클릭하는 경우, 커맨드 등의 기술적 언어에 익숙하지 않은 유저라도 자유롭게 대상 기기를 조작할 수 있다. 이러한 조작을 달성하기 위해서는, 복수 타입의 모달리티에 의한 입력을 통합하기 위한 처리가 요구된다.

복수 타입의 모달리티에 의한 입력을 통합하기 위한 처리의 예들로서, 음성 인식 결과에 대해 언어 분석을 행하는 방법(일본특허공개공보 No.9-114634호), 컨텍스트 정보를 이용하는 방법(일본특허공개공보 No. 8-234789호), 비슷한 입력 시각을 갖는 입력들을 결합하여 의미 해석 단위로서 이들을 출력하는 방법(일본특허공개공보 No.8-263258), 및 언어를 해석하여 의미 구조를 이용하는 방법(일본특허 공개공보 No.2000-231427호)이 제안되어 있다.

또한, IBM 등은 "XHTML + Voice Profile" 사양(specification)을 책정하였는데, 이 사양은 멀티모달 유저 인터페이스를 마크업 언어로 기술하는 것을 가능하게 한다. 이 사양의 상세한 내용은 W3C 웹사이트(http://www.w3.org/TR/xhtml+voice/ )에 설명되어 있다. SALT Forum에는 "SALT" 라는 사양이 공개되었으며, 이 사양은 상기 XHTML + Voice Profile에서와 같이, 멀티모달 유저 인터페이스를 마크업 언어로 기술하는 것을 가능하게 한다. 이 사양의 상세한 내용은 SALT Forum 웹사이트(The Speech Application Language Tags: http://www.saltforum.org/)에 설명되어 있다.

그러나, 상기 종래 기술들은 복수 타입의 모달리티를 통합할 때 언어 해석 등의 복잡한 처리들이 요구된다. 이러한 복잡한 처리가 행해지더라도, 언어 해석에 있어 해석 오역 등으로 인해, 유저가 의도하는 입력의 의미를 어플리케이션에 반영할 수 없는 경우가 있다. XHTML + Voice Profile 및 SALT로 대표되는 기술, 및 마크업 언어를 이용하는 종래의 기술 방법에서는, 입력의 의미를 나타내는 의미 속성의 기술을 취급하는 스킴을 갖지 않는다.

본 발명은 전술한 과제를 고려하여 이루어진 것으로서, 유저가 의도하는 멀티모달 입력 통합을 간단한 처리에 의해 실현하는 데 그 목적이 있다.

더 구체적으로, 본 발명은, 복수 타입의 모달리티로부터의 입력들을 처리하기 위한 기술에 있어서, 입력들의 의미를 나타내는 의미 속성의 기술 등의 신규한 기술을 도입하여 간단히 해석 처리함에 의해, 유저 또는 설계자가 의도하는 입력들의 통합을 실현하는 것을 목적으로 한다.

또한, 본 발명은, 어플리케이션 개발자로 하여금 마크업 언어 등을 이용하여 입력들의 의미 속성들을 기술가능하게 하는 것을 목적으로 한다.

상기 목적들을 달성하기 위해, 본 발명의 일 양태에 따르면, 유저에 의해 복수 타입의 입력 양식으로 입력되는 복수의 입력 정보에 기초하여 유저의 지시를 인식하는 정보 처리 방법이 제공되는데, 이러한 방법은 상기 복수 타입의 입력 양식의 각각에 대해 입력 내용과 의미 속성 간의 대응을 포함하는 기술을 갖고, 상기 방법은, 복수 타입의 입력 양식을 이용하여 입력되는 복수의 입력 정보의 각각을 분석하여 입력 내용을 취득하고, 취득된 입력 내용의 의미 속성을 상기 기술로부터 취득하는 취득 단계, 및 상기 취득 단계에서 얻어진 의미 속성에 기초하여 상기 취득 단계에서 취득된 입력 내용을 통합하는 통합 단계를 포함한다.

본 발명의 다른 특징 및 장점들은 첨부 도면과 함께 이하 설명으로부터 명백해질 것이며, 유사한 참조 부호는 도면 전체를 통해 동일 또는 유사 부분을 나타낸다.

본 명세서에 통합되어 일부를 구성하는 첨부 도면은 본 발명의 실시예들을 설명하며, 설명과 함께 본 발명의 원리들을 설명하는 데 도움을 준다.

도 1은 제1 실시예에 따른 정보처리 시스템의 기본 구성을 나타내는 블록도.

도 2는 제1 실시예에 따른 마크업 언어에 의한 의미 속성의 기술예를 나타내 는 도면.

도 3은 제1 실시예에 따른 마크업 언어에 의한 의미 속성의 기술예를 나타내는 도면.

도 4는 제1 실시예에 따른 정보 처리 시스템 내의 GUI 입력 프로세서의 처리 순서를 설명하기 위한 순서도.

도 5는 제1 실시예에 따른 음성 인식을 위한 그래머(grammar:문법 규칙)의 마크업 언어에 의한 기술예를 나타내는 도면.

도 6은 제1 실시예에 따른 음성 인식을 위한 그래머(문법 규칙)의 마크업 언어에 의한 기술예를 나타내는 도면.

도 7은 제1 실시예에 따른 음성 인식/해석 결과의 기술예를 나타내는 도면.

도 8은 제1 실시예에 따른 정보 처리 시스템 내의 음성 인식/해석 프로세서(103)의 처리 순서를 나타내는 순서도.

도 9a는 제1 실시예에 따른 정보 처리 시스템 내의 멀티모달 입력 통합부(104)의 처리 순서를 나타내는 순서도.

도 9b는 도 9a에서의 단계 S903의 상세한 내용을 나타내는 순서도.

도 10은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 11은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 12은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 13은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 14는 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 15는 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 16은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 17은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 18은 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 19는 제1 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 20은 제2 실시예에 따른 마크업 언어에 의한 의미 속성의 기술예를 나타내는 도면.

도 21은 제2 실시예에 따른 음성 인식을 위한 그래머(문법 규칙)의 마크업 언어에 의한 기술예를 나타내는 도면.

도 22는 제2 실시예에 따른 음성 인식/해석 결과의 기술예를 나타내는 도면.

도 23은 제2 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 24는 제2 실시예에 따른 마크업 언어에 의한 "비율(ratio)" 을 포함하는 의미 속성의 기술예를 나타내는 도면.

도 25는 제2 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

도 26은 제2 실시예에 따른 음성 인식을 위한 그래머(문법 규칙)의 마크업 언어에 의한 기술예를 나타내는 도면.

도 27은 제2 실시예에 따른 멀티모달 입력 통합의 일례를 나타내는 도면.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다.

도 1은 제1 실시예에 따른 정보 처리 시스템의 기본 구성을 나타내는 블록도 이다. 상기 정보 처리 시스템은 GUI 입력부(101), 음성 입력부(102), 음성 인식/해석부(103), 멀티모달 입력 통합부(104), 기억부(105), 마크업 해석부(106), 제어부(107), 음성 합성부(108), 표시부(109), 및 통신부(110)를 갖는다.

GUI 입력부(101)는 버튼 그룹, 키보드, 마우스, 터치 패널, 펜, 태블릿(tablet) 등의 입력 장치들을 포함하며, 유저로부터의 각종 지시를 본 장치에 입력하는 데 사용되는 입력 인퍼테이스로서 기능한다. 음성 입력부(102)는 마이크로폰, A/D 변환기 등을 포함하며, 유저의 음성을 음성 신호로 변환한다. 음성 인식/해석부(103)는 상기 음성 입력부(102)에 의해 제공된 음성 신호를 해석하여 음성 인식을 행한다. 음성 인식 기술로서는 공지의 기술이 이용가능하며, 여기서는 상세한 설명을 생략한다.

멀티모달 입력 통합부(104)는 GUI 입력부(101) 및 음성 인식/해석부(103)로부터 입력된 정보를 통합한다. 기억부(105)는 각종 정보를 저장하는 데 사용되는 하드 디스크 드라이브 장치, 정보 처리 시스템에 각종 정보를 제공하는 데 사용되는 CD-ROM, DVD-ROM 등의 기억 매체, 드라이브 등을 포함한다. 하드 디스크 드라이브 장치 및 기억 매체는 각종 어플리케이션 프로그램들, 유저 인터페이스 제어 프로그램들, 그 프로그램들을 실행시킬 때 필요한 각종 데이터 등이 저장되어 있고, 이들 프로그램들은 제어부(107)의 제어 하에서 상기 시스템으로 로드된다(이에 대해서는 후술한다).

마크업 해석부(106)는 마크업 언어로 기술된 문서를 해석한다. 제어부(107)는 작업 메모리, CPU, MPU 등을 포함하며, 기억부(105)에 저장된 데이터 및 프로그 램들을 독출하여 시스템 전체에 대한 각종 처리를 실행한다. 예를 들면, 제어부(107)는 멀티모달 입력 통합부(104)의 통합 결과를 합성 음성으로서 출력하기 위해 음성 합성부(108)에 넘기거나, 또는 화상으로서 표시하기 위해 표시부(109)에 넘긴다. 음성 합성부(108)는 스피커, 헤드폰, D/A 변환기 등을 포함하며, 판독된 텍스트에 기초하여 음성 데이터를 생성하기 위한 처리를 행하고, 그 데이터를 아날로그 데이터로 D/A 변환하고, 사운드로서 이 아날로그 데이터를 외부에 출력한다. 음성 합성 기술로서는 공지의 기술이 이용될 수 있으며, 여기서는 상세한 설명을 생략한다. 표시부(109)는 액정 디스플레이 등의 표시 장치를 포함하며, 화상, 텍스트 등을 포함하는 각종 정보를 표시한다. 표시부(109)는 터치 패널 타입의 표시 장치를 채용할 수 있다. 이 경우, 표시부(109)는 GUI 입력부의 기능(각종 지시를 본 시스템에 입력하는 기능)도 갖게 된다. 통신부(110)는 인터넷, LAN 등의 네트워크를 통해 다른 장치와의 데이터 통신을 행하는 데 이용되는 네트워크 인터페이스이다.

이하, 상기 구성을 갖는 정보 처리 시스템에 입력을 행하기 위한 메카니즘을 설명한다.

우선, GUI 입력에 대해 설명한다. 도 2는 각 요소를 제시하는 데 사용되는 마크업 언어(본 예에서는 XML)를 이용하는 기술 예를 나타낸다. 도 2를 참조하면, <input> 태그는 각 GUI 요소를 기술하고, type 속성은 요소의 타입을 기술한다. value 속성은 각 요소의 값을 기술하고, ref 속성은 각 요소의 바인드 목적지(bind destination)로서의 데이터 모델을 기술한다. 이와 같은 XML 문서는 W3C(World Wide Web Consortium)의 사양을 따른다, 즉 공지의 기술이다. 이 사양의 상세한 내용은 W3C 웹 사이트(XHTML: http://www.w3,org/TR/xhtml11/, XForms: http:// www.w3.org/TR/xforms/)에 기술되어 있다.

도 2에 있어서, meaning 속성은 기존 사양의 확장에 의해 마련되며, 각 요소의 의미 속성을 기술할 수 있는 구조를 갖는다. 요소들의 의미 속성을 기술하는 데 있어서 마크업 언어가 허용되기 때문에, 어플리케이션 개발자 자신이 의도하는 각 요소의 의미를 간단히 설정할 수 있다. 예를 들면, 도 2에 있어서, 의미 속성 "station" 은 "SHIBUYA", "EBISU", 및 "JIYUGAOKA"로 주어진다. 상기 의미 속성은 반드시 meaning 속성과 같이 독자적인 사양을 이용할 필요는 없다. 예를 들어, 도 3에 나타낸 바와 같이, XHTML의 사양에 있어서의 class 속성과 같은 기존의 사양을 이용하여 의미 속성을 기술해도 된다. 상기 마크업 언어로 기술된 XML 문서는 마크업 해석부(106)(XML 파서(parser))에 의해 해석된다.

도 4의 순서도를 이용하여 GUI 입력 처리 방법을 설명한다. 유저가, 예컨대 GUI 입력부(101)로부터 GUI 요소의 지시를 입력하면, GUI 입력 이벤트가 취득된다(단계 S401). 상기 지시의 입력 시각(타임 스탬프)이 취득되고, 지시된 GUI 요소의 의미 속성이 도 2의 meaning 속성(또는 도 3의 class 속성)에 대한 상기 입력의 의미 속성으로 설정한다(단계 S402).

또한, 상기 지시된 요소의 데이터의 바인드 목적지 및 입력값이 상기 GUI 요소의 기술로부터 취득된다. 상기 요소의 데이터에 대해 얻어진 바인드 목적지, 입력값, 의미 속성, 타임 스탬프가 입력 정보로서 멀티모달 입력 통합부(104)에 출력된다(단계 S403).

도 10 및 도 11을 참조하여 GUI 입력 처리의 구체적인 예를 설명한다. 도 10은 GUI를 통해 값 "1" 을 갖는 버튼이 눌러진 경우에 실행되는 처리를 나타낸다. 이 버턴은 도 2 또는 도 3에 나타낸 바와 같이 마크업 언어로 기술되어 있고, 이 마크업 언어를 해석함으로써, 값이 "1" 이고, 의미 속성이 "number" 이며, 데이터의 바인드 목적지가 "/Num" 인 것을 알 수 있다. 버튼 "1"이 눌러지면, 입력 시각(타임 스탬프: 도 10에서는 "00:00:08")이 취득된다. 다음, 상기 GUI 요소의 값 "1", 의미 속성 "number", 데이터의 바인드 목적지 "/Num", 및 상기 타임 스탬프가 멀티모달 입력 통합부(104)에 출력된다(도 10: 1002).

마찬가지로, 도 11에 나타낸 바와 같이, 버튼 "EBISU"가 눌러지면, 타임 스탬프(도 11의 "00:00:08"), 도 2 또는 도 3에서 마크업 언어를 해석하여 얻어진 값 "EBISU", 의미 속성 "station", 및 데이터의 바인드 목적지 "-(바인드 없음)" 이 멀티모달 입력 통합부(104)에 출력된다(도 11: 1102). 상기 처리에 의해, 어플리케이션 개발자가 의도하는 의미 속성을 어플리케이션 측에서 입력의 의미 속성 정보로서 취급할 수 있다.

이하, 음성 입력부(102)로부터의 음성 입력 처리를 설명한다. 도 5는 음성을 인식하는 데 필요한 그래머(문법 규칙)를 나타낸다. 도 5는 "from here", "to EBISU" 등의 음성 입력을 인식하고, from="@unknown", to="EBISU" 등의 해석 결과를 출력하기 위한 규칙을 기술하는 그래머를 나타낸다. 도 5에 있어서, 입력 열은 입력 음성이며, 상기 입력 음성에 대응하는 값을 value 열로, 의미 속성을 meaning 열로, 바인드 목적지의 데이터 모델을 DataModel 열로 기술하는 구조를 갖는다. 음성을 인식하는 데 필요한 그래머(문법 규칙)가 의미 속성(meaning)을 기술할 수 있기 때문에, 어플리케이션 개발자 스스로가 각 음성 입력에 대응하는 의미 속성을 간단하게 설정할 수 있어, 언어 해석 등의 복잡한 처리에 대한 필요성이 없어진다.

도 5에 있어서, "here" 과 같이 단독으로 입력되는 경우에는 처리될 수 없어, 다른 모달리티에 의한 입력과의 대응이 요구되는 입력에 대해서는, value 열은 특정 값(본 에에서는 @unknown)을 기술한다. 이러한 특정 값을 지정함으로써, 어플리케이션 측은 그러한 입력이 단독으로 처리될 수 없다는 것을 판별할 수 있고, 언어 해석 등의 처리를 스킵할 수 있다. 도 6에 나타낸 바와 같이, 상기 그래머(문법 규칙)는 W3C의 사양을 이용하여 기술될 수 있다. 상기 사양의 상세한 내용은 W3C 웹 사이트(음성 인식 그래머 사양: http://www.w3.org/TR/speech-grammar/, 음성 인식에 대한 의미 해석: http://www.w3.org/TR/semantic-interpretation/)에 기술되어 있다. W3C의 사양은 의미 속성을 기술하는 구조를 갖지 않기 때문에, 해석 결과(입력값)에 콜론(:) 및 의미 속성이 부기되어 있다. 따라서, 후에 상기 해석 결과 및 의미 속성을 분리하는 처리가 요구된다. 상기 마크업 언어로 기술된 그래머는 마크업 해석부(106)(XML 파서)에 의해 해석이 행해진다.

이하, 도 8의 순서도를 이용하여 음성 입력/해석 처리 방법을 설명한다. 유저가 음성 입력부(102)로부터 음성을 입력할 때, 음성 입력 이벤트가 취득된다(단계 S801). 입력 시각(타임 스탬프)이 취득되며, 음성 인식/해석 처리가 실행된다(단계 S802). 도 7은 상기 해석 처리 결과의 일례를 나타내는 도면이다. 예를 들면, 네트워크에 접속된 음성 프로세서가 사용되는 경우, 해석 결과는 도 7에 나타 낸 XML 문서로서 얻어진다. 도 7에 있어서, <nlsml: interpretation> 태그는 하나의 해석 결과를 나타내고, confidence 속성은 그 신뢰도를 나타낸다. 또한, <nlsml: input> 태그는 입력 음성의 텍스트를 나타내고, <nlsml: instance> 태그는 인식 결과를 나타낸다. W3C는 해석 결과를 표현하는 데 요구되는 사양을 공개하였으며, 그 사양의 상세한 내용은 W3C 웹 사이트(음성 인터페이스 프레임워크에 대한 자연 언어 의미 마크업 언어: http://www.w3.org/TR/nl-spec/)에 기술되어 있다. 그래머에서와 마찬가지로, 음성 해석 결과(입력 음성)는 마크업 해석부(106)(XML 파서)에 의해 해석될 수 있다. 이 해석 결과에 대응하는 의미 속성은 문법 규칙의 기술로부터 취득된다(단계 S803). 또한, 해석 결과에 대응하는 입력값 및 바인드 목적지는 문법 규칙의 기술로부터 취득되고, 의미 속성 및 타임 스탬프와 함께 입력 정보로서 멀티모달 입력 통합부(104)에 출력된다(단계S804).

이하, 도 10 및 도 11을 참조하여 전술한 음성 입력 처리의 구체적인 예를 설명한다. 도 10은 음성 "To EBISU" 가 입력되는 경우의 처리를 나타낸다. 도 6의 그래머(문법 규칙)로부터 알 수 있는 바와 같이, "To EBISU" 라는 음성이 입력되면, 그 값은 "EBISU" 이고, 의미 속성은 "station" 이며, 데이터의 바인드 목적지는 "/To" 이다. "To EBISU" 라는 음성이 입력되면, 그 입력 시각(타임 스탬프: 도 10의 "0:00:06")이 취득되고, 값 "EBISU", 의미 속성 "station", 및 데이터의 바인드 목적지 "/To" 와 함께 멀니모달 입력 통합부(104)에 출력된다(도 10: 1001). 도 6의 그래머(음성 인식에 대한 문법)는 <one-of> 및 </one-of> 태그로 둘러싸인 "here", "SHIBUYA", "EBISU", "JIYUGAOKA", "TOKYO" 중 어느 하나와 "from" 또는 "to" 의 조합으로서 음성 입력을 허용한다(예컨대, "from here" 및 "to EBISU"). 또한, 이러한 조합들도 역시 조합될 수 있다(예컨대, "from SHIBUYA to JIYUGAOKA" 및 "to here, from TOKYO"). "from" 과 조합된 단어는 from 값으로서 해석되고, "to" 와 조합된 단어는 to 값으로서 해석되며, 해석 결과로서 <item>, <tag>, < /tag>, 및 </item> 에 의해 둘러싸인 내용을 반환한다. 따라서, "to EBISU" 라는 음성이 입력되는 경우, to 값으로서 "EBISU: station" 이 반환되며, "from here" 라는 음성이 입력되는 경우, from 값으로서 "@unknown: station" 이 반환된다. "from EBISU to TOKYO" 라는 음성이 입력되는 경우, from 값으로서 "EBISU: station" 이 반환되고, to 값으로서 "TOKYO: station" 이 반환된다.

마찬가지로, "from here" 라는 음성이 입력되는 경우, 도 11에 나타낸 바와 같이, 타임 스탬프 "00:00:06" 와, 도 6의 그래머(문법 규칙)에 기초하여 얻어진 입력값 "@unknown", 의미 속성 "station", 데이터의 바인드 목적지 "/From" 이 멀티모달 입력 통합부(104)에 출력된다(도 11: 1101). 상기 처리에 의해, 음성 입력 처리에 있어서, 어플리케이션 개발자가 의도하는 의미 속성은 어플리케이션 측에서 입력의 의미 속성 정보로서 취급될 수 있다.

이하, 도 9a 내지 도 19를 참조하여, 멀티모달 입력 통합부(104)의 동작을 설명한다. 본 실시예에서는, 전술한 GUI 입력부(101) 및 음성 입력부(102)로부터 입력 정보(멀티모달 입력)를 통합하는 처리를 설명한다.

도 9a는 멀티모달 입력 통합부(104)에 있어서의 각 입력 모달리티로부터 입력 정보를 통합하는 처리 방법을 나타내는 순서도이다. 각 입력 모달리티가 복수 의 입력 정보(데이터의 바인드 목적지, 입력값, 의미 속성, 및 타임 스탬프)를 출력하는 경우, 이들 입력 정보가 취득되고(단계 S901), 모든 입력 정보가 타임 스탬프의 순으로 저장된다(단계 S902). 다음, 동일한 의미 속성을 갖는 복수의 입력 정보는 그들의 입력 순서에 대응하여 통합된다(단계 S903). 즉, 동일한 의미 속성을 갖는 복수의 입력 정보는 그들의 입력 순서에 따라 통합된다. 더 구체적으로, 다음의 처리가 행해진다. 즉, 예를 들어, "from here(클릭 SHIBUYA) to here(클릭 EBISU)" 이 입력되는 경우, 복수의 음성 입력 정보가 이하의 순서로 입력된다:

(1)here(station) ← "from here" 의 "here"

(2)here(station) ← "to here" 의 "here"

또한, 복수의 GUI 입력(클릭) 정보가 이하의 순서로 입력된다.

(1)SHIBUYA(station)

(2)EBISU(station)

다음, 입력들(1) 및 입력들(2)은 각각 통합된다.

복수의 입력 정보를 통합하는 데 요구되는 조건으로서는,

(1)복수의 정보가 통합 처리를 필요로 할 것;

(2)복수의 정보가 제한 시간 내에 입력될 것(예를 들어, 타임 스탬프의 차이가 3초 이내일 것);

(3)복수의 정보가 동일한 의미 속성을 가질 것;

(4)복수의 정보가 타임 스탬프 순으로 저장되는 경우, 복수의 정보에는 다른 의미 속성을 갖는 임의의 입력 정보가 포함되지 않을 것;

(5)"바인드 목적지" 및 "값"은 상보적인 관계를 가질 것; 및

(6)상기 (1)~(4)를 만족하는 것 중에서, 가장 먼저 입력되는 정보일 것

을 통합 조건으로 하고 있다. 상기 통합 조건들을 만족하는 복수의 입력 정보가 통합되게 된다. 상기 통합 조건들은 일례에 불과하며, 다른 조건들이 설정될 수도 있다. 예를 들어, 입력들의 공간 거리(좌표)가 채용될 수 있다. 좌표로서는, TOKYO station, EBISU station 등의 지도상의 좌표가 채용될 수 있다. 또한, 통합 조건으로서, 상기 통합 조건들 중 일부만이 이용될 수 있다(예를 들어, 조건 (1) 및 (3)을 통합 조건으로서 이용한다). 본 실시예에 있어서는, 상이한 모달리티들의 입력들이 통합되지만, 동일한 모달리티의 입력들은 통합되지 않는다.

또한, 조건(4)가 항상 필요한 조건은 아니다. 그러나, 이 조건을 부가함으로써, 이하의 장점들이 기대된다.

예를 들면, "from here, two tickets, to here" 라는 음성이 입력되는 경우, 클릭 타이밍과 통합 해석으로서,

(a)"(클릭) from here, two tickets, to here" → 클릭과 "here(from)" 을 통합하는 것이 자연스럽다;

(b)"from (클릭) here, two tickets, to here" → 클릭과 "here(from)" 을 통합하는 것이 자연스럽다;

(c)"from here (클릭), two tickets, to here" → 클릭과 "here(from)" 을 통합하는 것이 자연스럽다;

(d)"from here, two (클릭) tickets, to here" → 클릭을 "here(from)" 과 통합해야 하는지 또는 "here(to)" 와 통합해야 하는지 사람도 파악하기 힘들다;

(e)"from here, two tickets, (클릭) to here" → 클릭과 "here(to)" 을 통합하는 것이 자연스럽다;

라고 고려한다면, 조건 (4)가 사용되지 않을 경우, 즉, 상이한 의미 속성이 포함될 수 있는 경우, 클릭과 "here(from)" 이 근접한 타이밍을 가진다면 상기 (e)로 통합된다. 그러나, 인터페이스의 용도에 따라 이러한 조건들이 변할 수 있다는 것은 당업자에게는 명백하다.

도 9b는 단계 S903에서의 통합 처리를 보다 상세하게 설명하는 순서도이다. 단계 S902에서 복수의 입력 정보가 시각순으로 배열된 후, 단계 S911에서 첫번째 입력 정보가 선택된다. 단계 S912에서 선택된 입력 정보가 통합이 필요한지 여부가 체크된다. 이 경우, 입력 정보의 바인드 목적지 및 입력값 중 적어도 하나가 미정이라면, 통합이 필요한 것으로 판정되고; 바인드 목적지 및 입력값 양자가 확정된 경우라면, 통합이 필요하지 않은 것으로 판정된다. 통합이 필요하지 않은 것으로 판정되면, 흐름은 단계 S913로 진행되며, 멀티모달 입력 통합부(104)는 단일 입력으로서의 입력 정보의 바인드 목적지 및 입력값을 출력한다. 동시에, 그 입력 정보가 출력되는 것을 나타내는 플래그가 설정된다. 다음, 흐름은 단계 S919로 진행한다.

한편, 통합이 필요한 것으로 판정되면, 흐름은 단계 S914로 진행하여 해당 입력 정보 이전에 입력되고 상기 통합 조건들을 만족하는 입력 정보를 검색한다. 이러한 입력 정보가 발견되면, 흐름은 단계 S915에서 단계 S916으로 진행하여 해당 입력 정보와 검색된 입력 정보를 통합한다. 이 통합 처리는 도 10 내지 19를 참조하여 후술한다. 흐름은 단계 S917로 진행하여 통합 결과를 출력하고, 두 개의 입력 정보가 통합되어 있는 것을 나타내는 플래그를 설정한다. 다음, 흐름은 단계 S919로 진행한다.

통합가능한 임의의 입력 정보를 검색 처리에 의해 발견할 수 없는 경우, 흐름은 단계 S918로 진행하여, 선택된 입력 정보를 그대로 유지한다. 다음의 입력 정보가 선택되고(단계 S919 및 S920), 전술한 처리들이 단계 S912에서 반복된다. 단계 S919에서 처리되어야 할 입력 정보가 남아 있지 않은 것으로 판정된 경우, 이 처리는 종료된다.

이하, 도 10 내지 19를 참조하여, 멀티모달 입력 정보 처리의 예들을 상술한다. 각 처리의 기술에 있어서, 도 9b의 단계 번호는 괄호 안에 나타내었다. 또한, 도 2 또는 도 3, 및 도 6에 나타낸 바와 같이, 음성 인식에 대한 GUI 입력 및 그래머가 정의되어 있다.

도 10의 일례를 설명한다. 전술한 바와 같이, 음성 입력 정보(1001) 및 GUI 입력 정보(1002)는 타임 스탬프 순으로 정렬되어 있으며, 타임 스탬프가 빠른 입력 정보로부터 순서대로 처리된다(도 10에서는, 동그라미가 그려진 숫자가 그 순서를 나타낸다). 음성 입력 정보(1001)에 있어서, 데이터 바인드 목적지, 의미 속성, 및 값은 모두 정해져 있다. 이러한 이유로, 멀티모달 입력 통합부(104)는 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "EBISU" 을 출력한다(도 10: 1004, 도 9b의 S912, S913). 마찬가지로, 데이터 바인드 목적지, 의미 속성, 및 값이 모두 GUI 입력 정보(1002)에 설정되어 있기 때문에, 멀티모달 입력 통합부(104)는 단일 입력으로서 데이터 바인드 목적지 "/Num" 및 값 "1" 을 출력한다(도 10: 1003).

이하, 도 11의 일례를 설명한다. 음성 입력 정보(1101) 및 GUI 입력 정보(1102)가 타임 스탬프의 순으로 정렬되어, 타임 스탬프가 빠른 입력 정보로부터 차례로 처리되기 때문에, 음성 입력 정보(1101)가 우선적으로 처리된다. 음성 입력 정보(1101)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고 통합 처리를 필요로 한다. 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력(이 경우, 바인드 목적지가 정해지지 않은 정보)을, 음성 입력 정보(1101) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1101) 이전에 입력이 없기 때문에, 정보를 유지한 상태로 다음 GUI 입력 정보(1102)의 처리가 시작된다. GUI 입력 정보(1102)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912).

도 11의 경우에 있어서, 상기 통합 조건을 충족시키는 입력 정보는 음성 입력 정보(1101)이기 때문에, GUI 입력 정보(1102) 및 음성 입력 정보(1101)는 통합될 정보로서 선택된다(S915). 상기 두 개의 정보가 통합되고, 데이터 바인드 목적지 "/From" 및 값 "EBISU" 가 출력된다(도 11: 1103)(S9l6).

이하, 도 12의 일례를 설명한다. 음성 입력 정보(1201) 및 GUI 입력 정보(1102)는 타임 스탬프 순으로 정렬되고, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 음성 입력 정보(1201)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 유사하게 통합 처 리가 요구되는 입력을, 음성 입력 정보(1201) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1201) 이전에 입력이 없기 때문에, 정보를 유지한 상태로 다음 GUI 입력 정보(1202)의 처리가 시작된다. GUI 입력 정보(1202)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1202) 이전에 입력된 음성 입력 정보 중에서 검색한다(S912,S914). 이 경우, GUI 입력 정보(1202) 이전에 입력된 음성 입력 정보(1201)는 상기 정보(1202)의 경우와는 상이한 의미 속성을 가지며, 상기 통합 조건을 충족시키지 않는다. 따라서, 통합 처리가 스킵되고, 음성 입력 정보(1201)와 마찬가지로 정보를 유지한 상태로 다음 처리를 시작한다(S914, S915~S918).

이하, 도 13의 일례를 설명한다. 음성 입력 정보(1301) 및 GUI 입력 정보(1302)는 타임 스탬프 순으로 정렬되고, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 음성 입력 정보(1301)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1301) 이전에 입력된 GUI 입력 정보 중에서 검색한다(S914). 이 경우, 음성 입력 정보(1301) 이전에 입력이 없기 때문에, 정보를 유지한 상태로 다음 GUI 입력 정보(1302)의 처리가 시작된다. GUI 입력 정보(1302)에 있어서는 데이터 바인드 목적지, 의미 속성, 및 값이 모두 정해져 있기 때문에, 단일 입력으로서 데이터 바인드 목적지 "/Num" 및 값 "1" 이 출력된다(도 13: 1303)(S912, S913). 따라서, 음성 입력 정보(1301)는 유지된다.

이하, 도 14의 일례를 설명한다. 음성 입력 정보(1401) 및 GUI 입력 정보(1402)는 타임 스탬프 순으로 정렬되고, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 음성 입력 정보(1401)에 있어서는 데이터 바인드 목적지(/To), 의미 속성, 및 값이 모두 정해져 있기 때문에, 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "EBISU" 이 출력된다(도 14: 1404)(S912, S913). 다음, GUI 입력 정보(1402)에 있어서도 마찬가지로, 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "GIYUGAOKA" 이 출력된다(도 14: 1403)(S912, S913). 그 결과, 1403 및 1404는 동일한 데이터 바인드 목적지 "/To" 를 갖기 때문에, 1404의 값 "EBISU" 에 대해 1403의 값 "JIYUGAOKA" 가 오버라이트된다. 즉, 1404의 내용이 출력된 후, 1403의 내용이 출력된다. 이러한 상태는, 동일한 시간대에 동일한 데이터를 입력함에도 불구하고, 하나의 입력으로서 "EBISU" 가 수신되고 다른 입력으로서 "JIYUGAOKA" 가 수신되기 때문에, 일반적으로 "정보의 경합" 으로 간주된다. 이 경우, 어느 정보가 선택될지 문제된다. 시간적으로 가까운 입력이 없는지 여부를 기다린 후에 정보를 처리하는 방법이 이용될 수 있다. 그러나, 이 방법에 의하면, 처리 결과가 얻어지기까지 많은 시간이 소용된다. 따라서, 본 실시예는 그러한 입력을 기다리지 않고 순차적으로 데이터를 출력하는 처리를 행한다.

이하, 도 15의 일례를 설명한다. 음성 입력 정보(1501) 및 GUI 입력 정보(1502)는 타임 스탬프 순으로 정렬되고, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 이 경우, 두 개의 입력 정보가 동일한 타임 스탬프를 갖기 때문에, 상기 처리는 음성 모달리티와 GUI 모달리티 순으로 행해진다. 이 순서에 있어서는, 멀티모달 입력 통합부에 도달한 순서대로, 또는 미리 브라우저에 설정된 입력 모달리티의 순서대로 이들 정보들이 처리될 수 있다. 그 결과, 음성 입력 정보(1401)의 데이터 바인드 목적지, 의미 속성, 및 값이 모두 정해져 있기 때문에, 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "EBISU" 이 출력된다(도 15: 1504). 다음, GUI 입력 정보(1502)가 처리되고, 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "JIYUGAOKA" 이 출력된다(도 15: 1503). 그 결과, 1503 및 1504는 동일한 데이터 바인드 목적지 "/To" 를 갖기 때문에, 1504의 값 "EBISU" 에 대해 1503의 값 "JIYUGAOKA" 가 오버라이트된다.

이하, 도 16의 일례를 설명한다. 음성 입력 정보(1601), 음성 입력 정보(1602), GUI 입력 정보(1603) 및 GUI 입력 정보(1604)가 타임 스탬프의 순으로 정렬되어, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다(도 16의 동그라미 그려진 번호 1~4로 나타냄). 음성 입력 정보(1601)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력(이 경우, 바인드 목적지가 정해지지 않은 정보)을, 음성 입력 정보(1601) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1601) 이전에 입력이 없기 때문에, 정보를 유지한 상태로 다음 GUI 입력 정보(1602)의 처리가 시작된다. GUI 입력 정보(1603)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1603) 이전에 입력된 음성 입력 정보 중에서 검색한다(S914). 도 16의 경우에 있어서, 음성 입력 정보(1601) 및 GUI 입력 정보(1603)가 상기 통합 조건들을 충족시키기 때문에, 음성 입력 정보(1601) 및 GUI 입력 정보(1603)가 통합된다(S916). 이들 두 개의 정보가 통합된 후, 데이터 바인드 목적지 "/From" 및 값 "SHIBUYA" 가 출력되고(도 16: 1606)(S917), 다음 정보로서 음성 입력 정보(1602)의 처리가 시작된다(S920). 음성 입력 정보(1602)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1602) 이전에 입력된 GUI 입력 정보 중에서 검색한다(S914). 이 경우, GUI 입력 정보(1603)는 이미 처리되어, 음성 입력 정보(1602) 이전에 통합 처리를 요구하는 GUI 입력 정보는 존재하지 않는다. 따라서, 음성 입력 정보(1602)를 유지한 상태로 다음 GUI 입력 정보(1604)의 처리가 시작된다. GUI 입력 정보(1604)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1604) 이전에 입력된 음성 입력 정보 중에서 검색한다(S914). 이 경우, 상기 통합 조건을 충족시키는 입력 정보는 음성 입력 정보(1602)이기 때문에, 음성 입력 정보(1602) 및 GUI 입력 정보(1604)가 통합된다. 이들 두 개의 정보가 통합되고, 데이터 바인드 목적지 "/To" 및 값 "EBISU" 가 출력된다(도 16: 1605)(S915~S917).

이하, 도 17의 일례를 설명한다. 음성 입력 정보(1701), 음성 입력 정보(1702), 및 GUI 입력 정보(1703)가 타임 스탬프의 순으로 정렬되어, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 첫번째 입력 정보로서 음성 입력 정보(1701)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1701) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1701) 이전에 입력이 없기 때문에, 이 정보를 유지한 상태로 다음 음성 입력 정보(1702)의 처리가 시작된다(S915, S918~S920). 음성 입력 정보(1702)의 데이터 바인드 목적지, 의미 속성, 및 값이 모두 정해져 있기 때문에, 단일 입력으로서 데이터 바인드 목적지 "/To" 및 값 "EBISU" 이 출력된다(도 17: 1704)(S912, S913).

이어서, 다음 입력 정보로서 GUI 입력 정보(1703)의 처리가 시작된다. GUI 입력 정보(1703)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1703) 이전에 입력된 음성 입력 정보 중에서 검색한다. 상기 통합 조건을 충족시키는 입력 정보로서, 음성 입력 정보(1701)가 구해진다. 따라서, 음성 입력 정보(1701) 및 GUI 입력 정보(1703)가 통합되고, 그 결과, 데이터 바인드 목적지 "/From" 및 값 "SHIBUYA" 가 출력된다(도 17: 1705)(S915~S917).

이하, 도 18의 일례를 설명한다. 음성 입력 정보(1801), 음성 입력 정보(1802), GUI 입력 정보(1803) 및 GUI 입력 정보(1804)가 타임 스탬프의 순으로 정렬되어, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 도 18의 경우, 이들 입력 정보들은 1803, 1801, 1804, 1802의 순으로 처리된다.

제1 GUI 입력 정보(1803)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1803) 이전에 입력된 음성 입력 정보 중에서 검색한다. 이 경우, GUI 입력 정보(1803) 이전에 입력이 없기 때문에, 그 정보를 유지한 상태로 다음 입력 정보로서 음성 입력 정보(1801)의 처리가 시작된다(S912, S914, S915). 음성 입력 정보(1801)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1801) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1801) 이전에 입력된 GUI 입력 정보(1803)가 존재하지만, 타임-아웃(타임 스탬프의 차이는 3초 이상)에 도달하여 상기 통합 조건들을 충족시키지 못한다. 따라서, 통합 처리가 행해지지 않는다. 그 결과, 음성 입력 정보(1801)를 유지한 상태로 다음 GUI 정보(1804)의 처리가 시작된다(S915, S918~S920).

GUI 입력 정보(1804)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1804) 이전에 입력된 음성 입력 정보 중에서 검색한다(S912, S914). 도 18의 경우, 음성 입력 정보(1801)는 상기 통합 조건들을 충족시키기 때문에, 음성 입력 정보(1801) 및 GUI 입력 정보(1804)가 통합된다(S916). 이들 두 개의 정보가 통합된 후, 데이터 바인드 목적지 "/From" 및 값 "EBISU" 가 출력된다(도 18: 1805)(S915~S917).

그 후, 음성 입력 정보(1802)의 처리가 시작된다. 음성 입력 정보(1802)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다(S912). 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1802) 이전에 입력된 GUI 입력 정보 중에서 검색한다(S912, S914). 이 경우, 음성 입력 정보(1802) 이전에 입력이 없기 때문에, 그 정보를 유지한 상태로 다음 처리를 시작한다.(S915, S918~S920).

이하, 도 19의 일례를 설명한다. 음성 입력 정보(1901), 음성 입력 정보(1902), 및 GUI 입력 정보(1903)가 타임 스탬프의 순으로 정렬되어, 타임 스탬프가 빠른 입력 정보부터 차례로 처리된다. 도 19의 경우, 이들 입력 정보들은 1901, 1902, 1903의 순으로 정렬된다.

음성 입력 정보(1901)는 그 값이 "@unknown" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 유사하게 통합 처리가 요구되는 입력을, 음성 입력 정보(1901) 이전에 입력된 GUI 입력 정보 중에서 검색한다. 이 경우, 음성 입력 정보(1901) 이전에 입력된 GUI 입력 정보가 없기 때문에, 통합 처리는 스킵되고, 다음 음성 입력 정보(1902)의 처리가 정보를 유지한 상태로 시작된다(S915, S918~S920). 음성 입력 정보(1902)의 데이터 바인드 목적지, 의미 속성, 및 값이 모두 정해져 있기 때문에, 단일 입력으로서 데이터 바인드 목적지 "/Num" 및 값 "2" 가 출력된다(도 19: 1904)(S912, S913). 다음, GUI 입력 정보(1903)의 처리가 시작된다(S920). GUI 입력 정보(1903)는 그 데이터 모델이 "-(바인드 없음)" 이기 때문에, 단일 입력으로서 처리될 수 없고, 통합 처리가 요구된다. 통합될 정보로서, 상기 통합 조건을 충족시키는 입력 정보를, GUI 입력 정보(1903) 이전에 입력된 음성 입력 정보 중에서 검색한다(S912, S914). 이 경우, 음성 입력 정보(1901)는, 그들 사이에 상이한 의미 속성을 갖는 입력 정보(1902)가 존재하기 때문에, 상기 통합 조건들을 충족시키지 않는다. 따라서, 통합 처리는 스킵되고, 그 정보를 유지한 상태로 다음 처리가 시작된다(S915, S918~S920).

전술한 바와 같이, 상기 통합 처리는 타임 스탬프 및 의미 속성에 기초하여 행해지기 때문에, 각 입력 모달리티로부터의 복수의 입력 정보가 정상적으로 통합될 수 있다. 그 결과, 어플리케이션 개발자는 통합해야 할 입력의 의미 속성을 공통으로 설정하여, 자신의 의도를 그 어플리케이션에 반영할 수 있다.

전술한 바와 같이, 제1 실시예에 따르면, XML 문서나 음성 인식을 위한 그래머(문법 규칙)에 의미 속성을 기술할 수 있고, 그 어플리케이션 개발자의 의도를 그 시스템에 반영시킬 수 있다. 멀티모달 유저 인터페이스를 포함하는 시스템이 의미 속성 정보를 이용할 경우, 멀티모달 입력을 효과적으로 통합할 수 있다.

[제2 실시예]

이하, 본 발명에 따른 정보 처리 시스템의 제2 실시예를 설명한다. 전술한 제1 실시예의 예에 있어서는, 하나의 입력 정보(GUI 요소나 입력 음성)에 대해 하나의 의미 속성이 지정된다. 제2 실시예에서는 하나의 입력 정보에 대해 복수의 의미 속성이 지정될 수 있는 경우에 대해 설명한다.

도 20은, 제2 실시예에 따른 정보 처리 시스템에 있어서 각 GUI 요소들을 제시하는 데 사용되는 XHTML 문서의 일례를 나타낸다. 도 20에 있어서, <input> 태그, type 속성, value 속성, ref 속성, 및 class 속성은 제1 실시예의 도 3의 경우와 동일한 기술 방법에 의해 기술되어 있다. 그러나, 제1 실시예와 달리, class 속성은 복수의 의미 속성을 기술한다. 예를 들면, 값 "TOKYO" 를 갖는 버튼은 그 class 속성에 "station area" 를 기술한다. 마크업 해석부(106)는 이 class 속성을, 여백 문자(white space character)를 구획 문자(delimiter)로서 갖는 두 개의 의미 속성들 "station" 및 "area" 로서 해석한다. 더 구체적으로, 복수의 의미 속성들을 스페이스를 이용하여 이들을 구획함으로써 기술할 수 있다.

도 21은 음성을 인식하는 데 필요한 그래머(문법 규칙)를 나타낸다. 도 21의 그래머는 도 7의 경우와 동일한 기술 방법에 의해 기술되어 있으며, "weather of here", "weather of TOKYO" 등의 음성 입력들을 인식하여 area="@unknown" 등의 해석 결과를 출력하는 데 필요한 규칙들을 기술한다. 도 22는 도 21에 나타낸 그래머(문법 규칙)와 도 7에 나타낸 그래머(문법 규칙) 모두가 이용될 경우에 얻어지는 해석 결과의 일례를 나타낸다. 예를 들어, 네트워크에 접속된 음성 프로세서가 이용될 경우, 해석 결과는 도 22에 나타낸 XML 문서로서 얻어진다. 도 22는 도 7의 경우와 동일한 기술 방법에 의해 기술되어 있다. 도 22에 따르면, "weather of here" 의 신뢰도는 80이며, "from here" 의 신뢰도는 20이다.

이하, 도 23을 예로 들어, 복수의 의미 속성을 각각 갖는 복수의 입력 정보를 통합하는 경우의 처리 방법에 대해 설명한다. 도 23에 있어서, GUI 입력 정보 (2301)의 "DataModel" 는 데이터 바인드 목적지, "value" 는 값, "meaning" 은 의미 속성, "ratio" 는 각 의미 속성의 신뢰도, "c"는 값의 신뢰도이다. 이들"DataMode", "value", "meaning", 및 "ratio" 는 도 20에 나타낸 XML 문서를 마크업 해석부(106)에 의해 해석함으로써 얻어진다. 이들 데이터의 "ratio" 는 meaning 속성(또는 class 속성) 중에서 규정되어 있지 않은 경우, 1을 의미 속성의 갯수로 분할하여 얻어지는 값으로 가정한다(따라서, TOKYO에 대해, station 및 area 각각은 0.5이다). 또한 "c" 는 값의 신뢰도이며, 이 값은 입력될 때 어플리케이션에 의해 연산된다. 예를 들면, GUI 입력 정보(2301)에서는, 값이 TOKYO일 확률이 90% 이고, KANAGAWA일 확률이 10%인 지점이 지정된 경우(예컨대, 지도상의 지점을 펜으로 원을 그려 지정한 때, 그 원이 TOKYO 90% 및 KANAGAWA 10% 를 포함하는 경우)의 신뢰도이다.

또한, 도 23에 있어서, 음성 입력 정보(2302)의 "c" 는 값의 신뢰도이며, 각 인식 후보에 대한 정규화 우도(尤度:likelihood)(인식 스코어)를 이용한다. 음성 입력 정보(2302)는 "weather of here" 의 정규화 우도(인식 스코어)가 80이며 "from here" 의 정규화 우도(인식 스코어)가 20인 때의 예를 나타내고 있다. 도 23에서는 타임 스탬프가 기술되지 않고 있지만, 타임 스탬프의 정보는 제1 실시예와 동일하게 이용된다.

제2 실시예에 따른 통합 조건들은:

(1)복수의 정보는 통합 처리가 요구될 것;

(2)복수의 정보는 제한 시간 내에 입력될 것(예컨대, 타임 스탬프의 차는 3 초 이내);

(3)정보의 의미 속성들 중 적어도 하나는 통합될 정보의 것과 일치할 것;

(4)복수의 정보는, 타임 스탬프 순으로 정렬될 때에 하나도 일치하지 않는 의미 속성을 갖는 입력 정보를 포함하지 않을 것;

(5)"바인드 목적지" 및 "값"이 상보적인 관계를 가질 것; 및

(6)(1)~(4)를 만족하는 입력 정보 중에서 가장 빨리 입력된 정보가 통합될 것

을 포함한다. 상기 통합 조건들은 일례일 뿐이며, 다른 조건들이 설정될 수도 있다. 또한, 상기 통합 조건들 중 일부만을 통합 조건으로서 이용될 수 있다(예를 들어, 통합 조건으로서 조건 (1) 및 (3)만이 이용될 수 있다). 본 실시예에서도 마찬가지로, 상이한 모달리티의 입력들은 통합되지만, 동일한 모달리티의 입력들은 통합되지 않는다.

이하, 도 23을 이용하여 제2 실시예의 통합 처리를 설명한다. GUI 입력 정보(2301)는, 도 23에 있어서의 값의 신뢰도 "c" 와 의미 속성의 신뢰도 "ratio" 를 승산하여 얻어진 신뢰도 "cc" 를 갖도록 GUI 입력 정보(2303)로 변환된다. 마찬가지로, 음성 입력 정보(2302)는, 도 23에 있어서의 값의 신뢰도 "c" 와 의미 속성의 신뢰도 "ratio" 를 승산하여 얻어진 신뢰도 "cc" 를 갖도록 음성 입력 정보(2304)로 변환된다(도 23에 있어서는, 각 음성 인식 결과는 하나의 의미 속성만을 갖기 때문에 의미 속성의 신뢰도는 "1" 이다; 예컨대 음성 인식 결과 "TOKYO" 가 얻어질 경우, 의미 속성 "station" 및 "area" 를 포함하게 되어 그 신뢰도는 0.5이다). 각 음성 입력 정보의 통합 방식은 제1 실시예의 경우와 동일하다. 그러나, 하나의 입력 정보가 복수의 의미 속성 및 복수의 값을 포함하기 때문에, 단계 S916에서는 도 23에 2305로 나타낸 바와 같이, 복수의 통합 후보들이 나타날 가능성이 있다.

다음, GUI 입력 정보(2303)와 음성 입력 정보(2304)에 있어서, 일치된 의미 속성에 대해 신뢰도를 승산하여 얻어진 값을 신뢰도 "ccc" 로서 설정하여 복수의 입력 정보(2305)를 생성한다. 복수의 입력 정보(2305) 중에서, 가장 높은 신뢰도(ccc)를 갖는 입력 정보를 선택하고, 선택된 데이터(본 에서는 ccc=3600인 데이터)의 바인드 목적지 "/Area" 와 값 "TOKYO" 를 출력한다(도 23: 2306). 복수의 정보가 동일한 신뢰도를 가질 경우에는 먼저 처리되는 정보를 우선적으로 선택한다.

의미 속성의 신뢰도(ratio)의 기술예에 대해 마크업 언어를 이용하여 설명한다. 도 24에 있어서는, 도 22에서와 같이 class 속성으로 의미 속성이 지정된다. 이 경우, 각 의미 속성에 콜론(:)과 신뢰도를 부기하고 있다. 도 24에 나타낸 바와 같이, 값 "TOKYO" 를 갖는 버튼은 의미 속성 "station" 및 "area" 를 가지며, 의미 속성 "station" 의 신뢰도는 "55" 이고, 의미 속성 "area" 의 신뢰도는 "45" 이다. 마크업 해석부(106)(XML 파서)는 의미 속성과 신뢰도를 분리하여 해석하고, 의미 속성의 신뢰도를 도 25의 GUI 입력 정보(2501)에 있어서의 "ratio" 로서 출력한다. 도 25에 있어서는, 도 23에서와 같이 동일한 처리가 행해져, 데이터 바이드 목적지 "/Area" 및 값 "TOKYO" 를 출력한다(도 25: 2506).

도 24 및 도 25에 있어서는, 설명의 편의를 위해, 음성 인식을 위한 그래머(문법 규칙)에 하나의 의미 속성만이 기술되어 있다. 그러나, 도 26에 나타낸 바와 같이, 예컨대 리스트 타입을 이용하는 방법에 의해 복수의 의미 속성이 지정될 수도 있다. 도 26에 나타낸 바와 같이, 입력 "here" 는 값이 "@unknown", 의미 속성이 "area" 및 "country" 이며, 의미 속성 "area" 의 신뢰도가 "90", 의미 속성 "country" 의 신뢰도가 "10" 이다.

이 경우, 도 27에 나타낸 바와 같이, 통합 처리가 행해진다. 음성 인식/해석부(103)로부터의 출력은 컨텐트(2602)를 갖는다. 2605로 나타낸 바와 같이, 멀티모달 입력 통합부(104)는 신뢰도 ccc를 연산한다. 의미 속성 "country" 에 대해서는, GUI 입력부(101)로부터의 입력이 동일한 의미 속성을 갖기 때문에, 그 신뢰도는 연산되지 않는다.

도 23 및 도 25는 마크업 언어로 기술된 신뢰도에 기초한 통합 처리의 예들을 나타낸다. 대안적으로는, 복수의 의미 속성을 갖는 입력 정보 중에서 일치된 의미 속성의 수에 기초하여 신뢰도가 산출될 수 있으며, 가장 높은 신뢰도를 갖는 정보가 선택될 수 있다. 예를 들면, 3개의 의미 속성 A, B, C를 갖는 GUI 입력 정보, 3개의 의미 속성 A, D, E를 갖는 GUI 입력 정보, 및 4개의 의미 속성 A, B, C, D를 갖는 음성 입력 정보가 통합될 경우, 의미 속성 A, B, C를 갖는 GUI 입력 정보와 의미 속성 A, B, C, D를 갖는 음성 입력 정보 간의 공통 의미 속성의 수는 3이다. 한편, 의미 속성 A, D, E를 갖는 GUI 입력 정보와 의미 속성 A, B, C, D를 갖는 음성 입력 정보 간의 공통 의미 속성의 수는 2이다. 따라서, 공통 의미 속성의 수는 신뢰도로서 이용되며, 신뢰도가 높은, 의미 속성 A, B, C를 갖는 GUI 입력 정보와 의미 속성 A, B, C, D를 갖는 음성 입력 정보를 통합하여 출력한다.

전술한 바와 같이, 제2 실시예에 따르면, XML 문서나 음성 인식을 위한 그래머(문법 규칙)에 복수의 의미 속성을 기술할 수 있어, 어플리케이션 개발자의 의도를 시스템 상에 반영할 수 있다. 멀티모달 유저 인터페이스를 포함하는 디스템이 상기 의미 속성 정보를 이용하는 경우, 멀티모달 입력을 효율적으로 통합할 수 있다.

전술한 바와 같이, 상기 실시예들에 따르면, XML 문서나 음성 인식을 위한 그래머(문법 규칙)에 의미 속성을 기술할 수 있어, 어플리케이션 개발자의 의도를 시스템 상에 반영할 수 있다. 멀티모달 유저 인터페이스를 포함하는 디스템이 상기 의미 속성 정보를 이용하는 경우, 멀티모달 입력을 효율적으로 통합할 수 있다.

전술한 바와 같이, 본 발명에 따르면, 복수의 입력 모달리티로부터의 입력들을 처리하는 데 필요한 기술이 의미 속성의 기술을 채용하기 때문에, 유저 또는 개발자가 의도하는 입력들의 통합은 간단한 분석 처리에 의해 실현될 수 있다.

또한, 본 발명은 상기 실시예들의 기능을 실현하는 소프트웨어 프로그램을 시스템 또는 장치에 직/간접적으로 제공하고, 그 제공된 프로그램 코드를 시스템 또는 장치의 컴퓨터가 판독한 후, 그 프로그램 코드를 실행함으로써 실현될 수 있다. 이 경우, 그 시스템 또는 장치가 그 프로그램의 기능을 갖는 한, 실행 모드는 프로그램에 의존하지 않는다.

따라서, 본 발명의 기능들이 컴퓨터에 의해 실행되기 때문에, 컴퓨터에 설치된 프로그램 코드도 본 발명을 실현하게 된다. 즉, 본 발명의 클레임은 본 발명의 기능들을 실현하기 위한 컴퓨터 프로그램도 포함한다.

이 경우, 상기 시스템 또는 장치가 그 프로그램의 기능들을 갖는 한, 그 프로그램은 오브젝트 코드, 인터프리터(interpreter)에 의해 실행되는 프로그램, 또는 오퍼레이팅 시스템에 제공되는 스크립트 데이터 등의 임의의 형태로 실행될 수 있다.

상기 프로그램을 제공하는 데 이용될 수 있는 기억 매체의 예로는 플로피 디스크, 하드 디스크, 광 디스크, 광 자기 디스크, CD-ROM, CD-R, CD-RW, 자기 테이프, 비휘발성 메모리 카드, ROM, 및 DVD(DVD-ROM 및 DVD-R) 등을 들 수 있다.

상기 프로그램을 제공하는 방법에 있어서, 클라이언트 컴퓨터는, 그 클라이언트 컴퓨터의 브라우저를 이용하여 인터넷 상의 웹사이트에 접속될 수 있으며, 본 발명의 컴퓨터 프로그램 또는 그 프로그램의 자동-인스톨가능 압축 파일은 하드 디스크 등의 기록 매체로 다운로드될 수 있다. 또한, 본 발명의 프로그램은, 그 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 그 파일들을 다른 웹사이트로부터 다운로드함으로써 제공될 수 있다. 즉, WWW(World Wide Web) 서버가 다수의 유저에게 다운로드하는, 컴퓨터에 의해 본 발명의 기능들을 실현하는 프로그램 파일들도 본 발명의 클레임에 포함된다.

본 발명의 프로그램을 CD-ROM 등의 기억 매체에 암호화하여 저장하고, 그 기억 매체를 유저에게 반포하고, 미리 정해진의 조건을 만족하는 유저로 하여금 인터넷을 통한 웹사이트로부터 복호화 키 정보를 다운로드하도록 허용하고, 이들 유저로 하여금 상기 키 정보를 이용하여 암호화 프로그램의 복호화를 허용함으로써 상기 프로그램을 유저 컴퓨터에 설치할 수도 있다.

판독된 프로그램을 컴퓨에 의해 실행함으로써 상기 실시예들에 따른 상기 기능들이 실현되는 경우 외에, 컴퓨터상에서 실행되는 오퍼레이팅 시스템 등이 실제 처리의 전부 또는 일부를 행하여, 상기 실시예들의 기능들이 이러한 처리에 의해 실행될 수도 있다.

또한, 기억 매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 보드 또는 컴퓨터에 접속된 기능 확장 유닛에 제공된 메모리에 기입된 후, 기능 확장 보드나 기능 확장 유닛에 탑재된 CPU 등이 실제 처리의 일부 또는 전부를 행하여, 그 처리에 의해서 전술한 실시예들의 기능이 실현될 수도 있다.

본 발명의 사상 및 범위 내에서 다양한 실시예들이 이루어질 수 있기 때문에, 본 발명은 첨부된 클레임에서 한정되는 것을 제외하고, 구체적인 예에 국한되지 않는 것으로 이해되어야 한다.

Claims

복수 타입의 입력 모달리티(modality)를 이용하여 유저에 의해 입력되는 복수의 입력 정보에 기초하여, 유저의 지시를 인식하는 정보 처리 방법으로서,

복수 타입의 입력 모달리티의 각각에 대한 입력 내용과 의미 속성 간의 대응을 포함하는 기술(description)을 갖고,

복수 타입의 입력 모달리티를 이용하여 입력되는 복수의 입력 정보의 각각을 해석하여 입력 내용을 취득하고, 상기 취득된 입력 내용의 의미 속성을 상기 기술로부터 취득하는 취득 단계; 및

상기 취득 단계에서 취득된 의미 속성들에 기초하여, 상기 취득 단계에서 취득된 입력 내용들을 통합하는 통합 단계

를 포함하는 정보 처리 방법.
제1항에 있어서,

상기 복수 타입의 입력 모달리티 중 하나는 GUI를 통한 요소(component)의 지시이며,

그 기술은 GUI의 각 요소와 의미 속성 간의 대응의 기술을 포함하고,

상기 취득 단계는, 지시된 요소를 입력 내용으로서 검출하고, 상기 지시된 요소에 대응하는 의미 속성을 상기 기술로부터 취득하는 단계를 포함하는 정보 처리 방법.
제2항에 있어서,

상기 기술은 마크업 언어를 이용하여 GUI를 기술하는 정보 처리 방법.
제1항에 있어서,

상기 복수 타입의 입력 모달리티 중 하나는 음성 입력이며,

그 기술은 음성 입력과 의미 속성 간의 대응의 기술을 포함하고,

상기 취득 단계는, 음성 정보에 음성 인식 처리를 행하여, 입력 음성을 입력 내용으로서 취득하고, 상기 입력 음성에 대응하는 의미 속성을 상기 기술로부터 취득하는 단계를 포함하는 정보 처리 방법.
제4항에 있어서,

상기 기술은 음성 인식을 위한 문법 규칙의 기술을 포함하고,

상기 음성 인식 단계는, 상기 문법 규칙의 기술을 참조하여, 상기 음성 정보에 상기 음성 인식 처리를 행하는 단계를 포함하는 정보 처리 방법.
제5항에 있어서,

상기 문법 규칙은 마크업 언어를 이용하여 기술되는 정보 처리 방법.
제1항에 있어서,

상기 취득 단계는 상기 입력 내용의 입력 시각을 취득하는 단계를 더 포함하며,

상기 통합 단계는 상기 취득 단계에서 취득된 입력 내용의 시각 및 의미 속성에 기초하여, 복수의 입력 내용을 통합하는 단계를 포함하는 정보 처리 방법.
제7항에 있어서,

상기 취득 단계는, 입력 내용의 값 및 바인드 목적지(bind destination)에 관련된 정보를 취득하는 단계를 포함하며,

상기 통합 단계는, 상기 입력 내용의 값 및 바인드 목적지에 관련된 정보에 기초하여 통합이 필요한지 여부를 판정하여, 통합이 불필요할 경우에는 입력 내용을 그대로 출력하고, 통합이 필요한 입력 내용은 상기 입력 시각 및 의미 속성에 기초하여 통합하여 그 통합 결과를 출력하는 단계를 포함하는 정보 처리 방법.
제8항에 있어서,

상기 통합 단계는, 통합이 필요한 입력 내용 중에서, 미리 정해진 범위 내의 입력 시각 차를 갖고 의미 속성이 일치하는 입력 내용을 통합하는 단계를 포함하는 정보 처리 방법.
제8항에 있어서,

상기 통합 단계는, 미리 정해진 범위 내의 입력 시각 차 및 동일한 바인드 목적지를 갖는 입력 내용 또는 통합 결과를 출력하는 경우, 이들 입력 내용 또는 통합 결과를 입력 시각 순으로 출력하는 단계를 포함하는 정보 처리 방법.
제8항에 있어서,

상기 통합 단계는, 미리 정해진 범위 내의 입력 시각 차 및 동일한 바인드 목적지를 갖는 입력 내용 또는 통합 결과를 출력하는 경우, 미리 설정되어 있는 입력 모달리티의 우선 순위에 따라 보다 높은 우선 순위의 입력 모달리티에 의해 입력되어 있는 입력 내용 또는 통합 결과를 선택하고, 선택된 입력 내용 또는 통합 결과를 출력하는 단계를 포함하는 정보 처리 방법.
제8항에 있어서,

상기 통합 단계는, 입력 시각이 빠른 순으로 입력 내용을 통합하는 단계를 포함하는 정보 처리 방법.
제8항에 있어서,

상기 통합 단계는, 입력 내용을 입력 시각 순으로 정렬할 경우, 상이한 의미 속성을 갖는 입력 내용을 포함하는 입력 내용의 통합을 금지하는 단계를 포함하는 정보 처리 방법.
제1항에 있어서,

상기 기술은 하나의 입력 내용에 대해 복수의 의미 속성을 기술하며,

상기 통합 단계는, 복수의 의미 속성에 기초하여 복수 타입의 정보가 통합될 가능성이 있는 경우에, 각 의미 속성에 할당된 가중치(weight)에 기초하여 통합될 입력 내용을 결정하는 단계를 포함하는 정보 처리 방법.
제1항에 있어서,

상기 통합 단계는, 상기 취득 단계에서 입력 정보에 대해 복수의 입력 내용이 취득되는 경우, 해석(parsing)시의 입력 내용의 신뢰도에 기초하여 통합될 입력 내용을 결정하는 단계를 포함하는 정보 처리 방법.
복수 타입의 입력 모달리티를 이용하여 유저에 의해 입력되는 복수의 입력 정보에 기초하여, 유저의 지시를 인식하는 정보 처리 장치로서,

상기 복수 타입의 입력 모달리티 각각에 대해 입력 내용과 의미 속성 간의 대응을 포함하는 기술을 유지하는 유지부;

상기 복수 타입의 입력 모달리티를 이용하여 입력되는 복수의 입력 정보 각각을 해석하여 입력 내용을 취득하고, 상기 취득된 입력 내용의 의미 속성을 상기 기술로부터 취득하는 취득부; 및

상기 취득부에 의해 취득된 의미 속성에 기초하여, 상기 취득부에 의해 취득된 입력 내용을 통합하는 통합부

를 포함하는 정보 처리 장치.
GUI를 기술하는 기술 방법으로서,

각 GUI 요소에 대응하는 의미 속성을 마크업 언어를 이용하여 기술하는 것을 특징으로 하는 GUI 기술 방법.
음성으로 입력된 음성 입력 정보를 인식하기 위한 문법 규칙으로서,

각 음성 입력에 대응하는 의미 속성을 상기 문법 규칙 내에 기술하는 것을 특징으로 하는 문법 규칙.
제1항의 정보 처리 방법을 컴퓨터에 의해 실행시키기 위한 제어 프로그램을 저장한 기억 매체.
제1항의 정보 처리 방법을 컴퓨터에 의해 실행시키기 위한 제어 프로그램.