[go: up one dir, main page]

KR100955316B1 - 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법 - Google Patents

원격 제어 기능을 가지는 멀티모달 융합장치 및 방법 Download PDF

Info

Publication number
KR100955316B1
KR100955316B1 KR1020070131826A KR20070131826A KR100955316B1 KR 100955316 B1 KR100955316 B1 KR 100955316B1 KR 1020070131826 A KR1020070131826 A KR 1020070131826A KR 20070131826 A KR20070131826 A KR 20070131826A KR 100955316 B1 KR100955316 B1 KR 100955316B1
Authority
KR
South Korea
Prior art keywords
electronic device
control
remote control
modal
control command
Prior art date
Application number
KR1020070131826A
Other languages
English (en)
Other versions
KR20090064242A (ko
Inventor
이동우
조일연
김가규
김지은
임정묵
선우존
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070131826A priority Critical patent/KR100955316B1/ko
Priority to US12/739,884 priority patent/US20100245118A1/en
Priority to PCT/KR2008/004007 priority patent/WO2009078523A1/en
Publication of KR20090064242A publication Critical patent/KR20090064242A/ko
Application granted granted Critical
Publication of KR100955316B1 publication Critical patent/KR100955316B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 원격제어 기능을 가지는 멀티모달 융합장치 및 방법에 관한 것이다. 즉, 발명에서는 가정 또는 특정 공간내 존재하는 다수의 전자기기를 원격 제어함에 있어서, 리모콘과 같은 하나의 입력장치를 이용하는 것이 아니라, 사용자에게 친숙한 음성, 제스처 등과 같은 멀티모달 명령어로 제어하는 방식으로 다양한 전자기기를 동일한 방법으로 제어할 수 있으며, 새로운 전자기기가 추가되는 경우에도 제어명령어를 자동으로 구성하여 제어 가능하다.
멀티모달, 리모콘, 규칙저장부, 음성, 제스처

Description

원격 제어 기능을 가지는 멀티모달 융합장치 및 방법{MULTIMODAL FUSION APPARATUS CAPABLE OF REMOTELY CONTROLLING ELECTRONIC DEVICE AND METHOD THEREOF}
본 발명은 멀티모달 시스템에 관한 것으로, 특히 다수의 전자기기(electronic device)를 사용자에게 친숙한 음성, 제스처(gesture) 등과 같은 멀티모달(multimodal) 명령어로 원격 제어(remote control)가 가능하도록 하는 원격제어 기능을 가지는 멀티모달 융합장치 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-065-03, 과제명 웨어러블 퍼스널 스테이션 개발].
통상적으로, 멀티모달이란 여러 개의 모달리티(Modality)를 의미하며, 모달리티는 시각, 청각, 촉각, 미각, 후각 등 각각의 감각채널을 의미하는 것으로, 최근 들어 사용자에게 친화적인 동작들을 인지하여 사용자로부터의 정보 입력을 인식할 수 있도록 하는 멀티모달 처리 장치 등의 기술이 제안되고 있다.
이와 같은 멀티모달 처리 장치는 사용자로부터의 키패널(key panel) 등의 직 접적인 터치 입력 외에도 음성 등을 인식하여 키입력을 수신하고 이에 따른 동작이 수행되도록 하는 것으로, 다양한 전자기기의 제어에 유용하게 사용될 수 있는 기술로 평가되고 있다.
한편, 현재 가정내 다양한 전자기기의 사용자 입력을 전달하는 장치로 리모콘(remocon)이 있으며, 리모콘은 각각 제어하는 전자기기에 하나씩 존재하여 가장 보편적인 IrDA 방식으로 해당 전자기기로 사용자의 입력을 전달하고 있다.
또한, 리모콘 장치는 근래에 들어 가정내 가전 기기들의 수가 늘어나면서 여러 가전기기를 통합적으로 제어할 수 있도록 Universal Remote Console(URC) 콘소시엄을 비롯한 여러 회사에 의해 개발되고 있으며, 앞으로 다가올 유비쿼터스 환경에서는 지금보다 더 많은 가전기기들이 존재하게 될 것을 예상할 때 이를 하나의 기기로 사용자 친화적인 인터페이스를 통하여 제어하기 위한 요구는 더욱 증대될 것으로 예상된다.
위와 같이, 가정내 다수의 전자기기를 하나의 기기로 제어하면서 사용자 친화적인 인터페이스를 제공하는 장치로 앞서 언급한 멀티모달 처리 장치에서 전자기기의 통합적인 제어가 가능하도록 하는 리모콘 기능을 구현한다면, 사용자 친화적인 인터페이스를 제공하면서도 가정내 다수의 전자기기를 효율적으로 제어할 수 있을 것으로 기대된다.
이때, 위와 같은 멀티모달 처리 장치에는 새로이 제어할 전자기기가 추가되는 경우 해당 전자기기와의 통신을 통해 동적으로 해당 전자기기를 제어할 수 있는 제어명령어를 자동으로 구성할 수 있도록 하는 기능이 필요하다.
따라서 본 발명은 다수의 전자기기를 사용자에게 친숙한 음성, 제스처 등과 같은 멀티모달 명령어로 원격 제어가 가능하도록 하는 원격제어 기능을 가지는 멀티모달 융합장치 및 방법을 제공하고자 한다.
상술한 목적을 달성하기 위한 본 발명은 원격제어 기능을 가지는 멀티모달 융합장치로서, 사용자의 멀티모달 명령어를 인식하여 추론 가능한 입력 정보로 가공하는 입력 처리부와, 다수의 전자기기의 원격제어를 위한 전자기기별 제어명령어를 저장하는 규칙 저장부와, 상기 다수의 전자기기 중에서 제어하고자 하는 전자기기를 선택하고, 상기 선택된 전자기기로 원격 제어 명령을 송신하는 디바이스 선택부와, 상기 전자기기로부터 제어 명령어를 수신하는 제어명령어 수신부와, 상기 규칙저장부로부터 제어하고자 선택된 상기 전자기기의 제어 명령어를 읽어 들여 사용자의 멀티모달 제어 명령에 대응되게 상기 전자기기를 원격 제어하는 멀티모달 제어부를 포함한다.
또한 본 발명은 멀티모달 융합장치에서 다수의 전자기기에 대한 원격제어를 수행하는 방법으로서, a 제어하고자 선택된 전자기기로 멀티모달 융합장치의 ID와 원격제어 요청을 송신하는 단계와, b 상기 원격제어 요청에 응답한 상기 전자기기와 원격 제어를 위한 통신채널을 형성하는 단계와, c 상기 전자기기의 제어 명령어를 읽어 들여 사용자의 멀티모달 제어 명령에 대응되게 상기 전자기기를 원격 제어하는 단계를 포함한다.
본 발명에서는 가정 또는 특정 공간내 존재하는 다수의 전자기기를 원격 제어함에 있어서, 리모콘과 같은 하나의 입력장치를 이용하는 것이 아니라, 사용자에게 친숙한 음성, 제스처 등과 같은 멀티모달 명령어로 제어하는 방식으로 다양한 전자기기를 동일한 방법으로 제어할 수 있으며, 새로운 전자기기가 추가되는 경우에도 제어명령어를 자동으로 구성하여 제어 가능하도록 함으로써 사용상 편의성이 크게 증대되는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 구체적인 핵심 기술요지를 살펴보면, 다수의 전자기기를 원격 제어함에 있어서, 리모콘과 같은 하나의 입력장치를 이용하는 것이 아니라, 사용자에게 친숙한 음성, 제스처 등과 같은 멀티모달 명령어로 제어하는 방식으로 다양한 전자기기를 동일한 방법으로 제어할 수 있으며, 새로운 전자기기가 추가되는 경우에도 제어명령어를 자동으로 구성하여 제어 가능하도록 하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.
도 1은 본 발명의 실시 예에 따른 다수의 전자기기를 사용자 친화적인 멀티모달 명령어로 원격 제어할 수 있도록 구현된 멀티모달 융합 장치의 상세 블록 구성을 도시한 것이다.
위 도 1을 참조하면, 본 발명의 멀티모달 융합장치(100)에서는 다수의 전자기기 중 제어할 하나의 전자기기를 선택하고, 해당 전자기기로 제어명령을 송신할 수 있도록 하는 디바이스 선택부(310)와, 해당 전자기기로부터 제어명령어를 수신하는 제어명령어 수신부(320)를 구비하며, 이때 제어할 전자기기의 제어 명령어를 동적으로 재구성할 수 있도록 ActionXML을 확장시킨다.
즉, 전자기기별 제어명령어 관리가 가능하도록 [표 1]에서와 같이, ActionXML의 디바이스 엘러먼트를 추가하고, 각 전자기기는 자신의 제어명령어를 ActionXML 형태로 소유하여 멀티모달 융합장치(100)로부터 요청시 제어명령어를 송신하여 준다.
[표 1]
Element 설명 비고
adxml - ActionXML 엘러먼트
action - 하나의 액션을 정의한 엘러먼트로 최상위 엘러먼트 ※자식 엘러먼트 - input, integration
input - 해당 액션에 입력으로 올 수 있는 모달리티들을 나열한 엘러먼트 ※자식 엘러먼트 -command
integration - 해당 액션을 위해서 input에 나열된 입력 모달리티들의 의미 있는 조합 방법을 제시한 엘러먼트 ※자식 엘러먼트 -or, and
command - input의 자식 엘러먼트로 해당 모달리티의 명령어들을 나열한 엘러먼트 ※자식엘러먼트 -item
item - 모달리티 명령어 리스트
or - integration 엘러먼트의 자식 엘러먼트로 모달리티 조합의 규칙을 나타내기 위해서 사용되며, 자식 엘러먼트로 오는 것들 중 하나의 조건만 만족시키면 되는 것을 나타내는 엘러먼트 ※자식 엘러먼트 -modality, or, and
and - integration 엘러먼트의 자식 엘러먼트로 모달리티 조합의 규칙을 나타내기 위해서 사용되며, 자식 엘러먼트로 오는 것들 모두를 포함해야 하는 것을 나타내는 엘러먼트 ※자식 엘러먼트 -modality, or, and
modality - input 엘러먼트의 command 중 하나를 지칭하는 엘러먼트
set - action 엘러먼트의 속성에 따라 여러개의 액션을 조합하기 위한 엘러먼트로, sequence 엘러먼트를 자식 엘러먼트로 가지고 있음 ※자식 엘러먼트 -sequence, time
sequence - set 엘러먼트의 자식 엘러먼트로, action 엘러먼트의 속성에 따라 사용자의 입력으로 들어온 액션의 순서를 정의하는 엘러먼트 ※자식 엘러먼트 -actionname
time - set 엘러먼트의 자식 엘러먼트로, set 엘러먼트 아래에 나열된 액션들의 의미있는 최대 입력 시간
actionname - sequence 엘러먼트의 자식 엘러먼트로 각각의 액션을 가리키는 엘러먼트
상기 [표 1]과 같이 ActionXML은 adxml, action, input, integation, command, item, or, and, modality, set, sequence, time, actionname 등과 같은 엘러먼트들을 정의하여 포함하고, 본 발명에 따라 디바이스 엘러먼트가 추가되는 것이다. 이때, Action을 제어 대상 전자기기의 최종 제어 명령어라고 하면, 기기 제어의 action들은 모두 디바이스 엘러먼트의 자식 엘리먼트에 정의가 된다.
아래 [표 2]에는 수정된 ActionXML의 DTD(document type definition) 정의를 도시하였으며, [표 3]에는 ActionXML을 이용해서 주변 전자기기 TV의 action을 정의하는 예제를 도시하였다.
[표 2]
Figure 112007090309013-pat00001
[표 3]
Figure 112007090309013-pat00002
멀티모달 융합장치(100)의 입력 처리부(110)는 음성, 제스처 등의 사용자의 멀티모달 입력에 대응되는 인식 정보가 인식기(210, 220)로부터 입력되면 이를 모달리티 시작 이벤트, 입력 종료 이벤트 및 결과값 이벤트가 포함된 모달리티 입력 정보로 가공하여 추론엔진부(120)로 출력한다.
추론 엔진부(120)는 규칙 저장부(150)의 모달리티 조합 규칙 정보를 참조하여 입력된 모달리티 입력정보가 융합 가능한 정보인지 여부와 융합이 필요한 정보 인지 여부를 순차적으로 파악한다. 즉, 추론 엔진부(120)는 단일 또는 다종의 사용자 입력이 모달리티 조합 규칙에 따라 액션 추론 가능한 입력인지 여부 및 액션 추론 필요한 입력인지 여부를 파악하는 것이다.
그리고, 추론 엔진부(120)는 파악결과 입력된 모달리티 입력 정보가 융합 가능한 정보 및 융합 필요한 정보로 판단되는 경우, 규칙 저장부(150)의 모달리티 조합 규칙 정보 및 결과 저장부(130)의 기존 액션 정보를 참조하여 새로운 액션을 추론한다. 하지만, 추론엔진부(120)는 입력된 모달리티 입력정보가 융합 불가능한 정보이거나, 융합 불필요한 정보로 판단되는 경우 액션 추론 없이 새로운 모달리티 입력정보가 입력될 때까지 동작을 중지한다.
검증부(140)는 추론 엔진부(120)로부터 새로운 액션이 입력되면, 입력된 액션 검증을 수행하여, 검증결과 입력된 액션이 타당하지 않은 것으로 판단되거나, 검증 중 오류가 발생되는 경우 액션 오류 정보를 피드백 생성부(170)로 출력하고, 검증결과 입력된 액션이 타당한 것으로 판단되는 경우 해당 액션을 시스템 입력으로 전송한다.
피드백 생성부(170)는 검증부(140)로부터 액션 오류 정보가 입력되면, 입력된 액션 오류 정보를 사용자에게 알리기 위한 방법으로 정의한 후, 시스템 출력으로 전달하여 사용자가 사용자 입력에 문제가 발생하였음을 확인하도록 한다.
규칙 저장부(150)는 다수의 전자기기 원격제어를 위한 전자기기별 제어명령어를 ActionXML 형태로 정의되는 모달리티 조합 규칙 정보로 저장하며, 멀티모달 제어부에 제어에 따라 제어하고자 선택된 대상 전자기기의 제어 명령어를 제공한 다.
도 2a 내지 도 2b는 사용자용 멀티모달 융합장치(100)와 원격 제어될 전자기기 시스템이 관리하는 ActionXML의 형태에 대해서 도시하였다. 멀티모달 융합장치(100)에서는 도 2a에서 보여지는 바와 같이, 여러 개의 디바이스 엘러먼트로 구성되어 있으며, 상대 전자기기로부터 제어명령어를 받아서 디바이스 엘러먼트를 추가하는 형태로 구성된다. 하지만 전자기기에서는 도 2b에서 보여지는 바와 같이 하나의 디바이스 엘러먼트를 가지며, 해당 기기의 멀티모달 제어 명령들을 나열하게 된다.
디바이스 선택부(310)는 적외선, 레이저 등과 같은 지향성 통신수단을 구비하여, 지향성 통신수단을 통해 사용자에 의해 제어하고자 선택된 전자기기로 융합장치의 ID(IP 또는 MAC 주소정보)를 전송하고, 응답을 대기한다. 그러면, 디바이스 선택부(310)로부터 원격 제어를 위한 요청을 수신한 전자기기는 상대방 멀티모달 융합장치의 ID를 확인하고, WLAN, Zigbee, Bluetooth 등과 같은 비지향성 통신수단을 이용하여 응답을 하게 된다. 이에 따라 디바이스 선택부(310)는 비지향성 통신 수단을 통해 상기 전자기기로부터 응답을 수신하여 통신채널을 형성하고, 이후 상기 형성된 채널을 통해 제어 명령을 송신하게 된다.
제어명령서 수신부(320)는 규칙 저장부(150)에 제어하고자 선택된 전자기기의 제어 명령어가 없는 경우 해당 전자기기내 저장된 제어 명령어를 수신한다. 이때, 해당 전자기기내 제어 명령어가 저장되지 않은 경우에는, 전자기기로부터 제어명령어가 저장된 url 정보를 수신하여 네트워크를 통해 다운로드받을 수도 있다.
멀티모달 제어부(330)는 규칙 저장부(150)로부터 제어하고자 선택된 대상 전자기기의 제어 명령어를 읽어 들여 사용자의 멀티모달 제어 명령에 대응되게 해당 전자기기를 원격 제어하며, 디바이스 선택부(310)를 통한 원격 제어 요청시 2개 이상의 전자기기가 응답하는 경우 해당 전자기기들의 정보를 디스플레이하여 사용자의 선택에 따라 하나의 제어대상 전자기기를 선택한다.
도 3은 본 발명의 실시 예에 따른 원격 제어 기능을 구비하는 멀티모달 융합장치에서 사용자의 멀티모달 명령에 대응되게 다수의 전자기기를 원격 제어하는 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 3을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
먼저, 멀티모달 제어부(330)는 본 발명에 따라 다수의 전가기기 원격 제어를 위한 기능이 선택되는 경우 디바이스 선택부(310)를 통해 제어하고자 선택된 대상 전자기기로 융합장치(100)의 ID와 원격 제어 요청을 송신한다(S300).
이때, 디바이스 선택부(310)는 적외선, 레이저 등과 같은 지향성 통신수단을 구비하여, 지향성 통신수단을 통해 사용자에 의해 제어하고자 선택된 전자기기로 융합장치의 ID를 전송하며, 디바이스 선택부(310)로부터 원격 제어를 위한 요청을 수신한 해당 전자기기는 상대방 멀티모달 융합장치의 ID를 확인하고, WLAN, Zigbee, Bluetooth 등과 같은 비지향성 통신수단을 이용하여 응답을 하게 된다(S302).
한편, 디바이스 선택부(310)를 통한 전자기기 선택 시 상기한 바와 같은 적외선, 레이저 등의 지향성 통신수단을 사용해서 원격 제어하고자 하는 전자기기를 선택하더라도, 인접한 다른 전자기기가 한꺼번에 선택되어 2개 이상의 전자기기가 응답할 수 있다.
이에 따라, 멀티모달 제어부(330)는 2개 이상의 전자기기로부터 응답이 수신되는지를 검사하여(S304), 2개 이상의 전자기기가 응답한 경우에는, 해당 전자기기로 수신되는 전자기기의 ID와 기기이름, 모델명 등의 전자기기 정보를 디스플레이하여 사용자의 선택에 따라 하나의 제어대상 전자기기를 선택한다(S306).
이어, 위와 같이 제어대상 전자기기가 결정된 경우 멀티모달 제어부(330)는 규칙 저장부(150)를 통해 해당 전자기기의 제어명령어가 저장되어 있는지 검사하여(S308) 해당 전자기기에 대한 제어명령어가 규칙 저장부(150)에 존재하지 않는 경우에는 제어명령어 수신부(320)를 통해 전자기기로부터 제어명령어를 수신받게 된다(S310). 이때 제어명령어 수신부(320)는 전자기기가 메모리 비용 절약 등의 이유로 제어명령어를 가지고 있지 않은 경우에는, 전자기기로부터 제어명령어가 저장된 url 정보를 수신하여 네트워크를 통해 다운로드받을 수도 있다.
이와 같이 제어하고자 하는 대상 전자기기의 제어명령어를 수신한 경우 멀티모달 제어부(330)는 제어 명령어를 이용하여 사용자의 멀티모달 제어 명령에 대응되게 해당 전자기기를 원격 제어하게 된다(S312).
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
도 1은 본 발명의 실시 예에 따른 멀티모달 융합장치의 상세 블록 구성도,
도 2a 내지 도 2b는 본 발명의 실시 예에 따른 사용자 시스템과 전자기기 시스템이 관리하는 ActionXML의 형태 예시도,
도 3은 본 발명의 실시 예에 따른 멀티모달 명령에 대응되게 다수의 전자기기를 원격 제어하는 동작 제어 흐름도.
<도면의 주요 부호에 대한 간략한 설명>
110 : 입력 처리부 150 : 규칙 저장부
310 : 디바이스 선택부 320 : 제어명령어 수신부

Claims (12)

  1. 사용자의 멀티모달 명령어를 인식하여 추론 가능한 입력 정보로 가공하는 입력 처리부와,
    다수의 전자기기의 원격제어를 위한 전자기기별 제어명령어를 저장하는 규칙 저장부와,
    상기 다수의 전자기기 중에서 제어하고자 하는 전자기기를 선택하고, 상기 선택된 전자기기로 원격 제어 명령을 송신하는 디바이스 선택부와,
    상기 전자기기로부터 제어 명령어를 수신하는 제어명령어 수신부와,
    상기 규칙저장부로부터 제어하고자 선택된 상기 전자기기의 제어 명령어를 읽어 들여 사용자의 멀티모달 제어 명령에 대응되게 상기 전자기기를 원격 제어하는 멀티모달 제어부를 포함하되,
    상기 디바이스 선택부는, 지향성 통신수단을 통해 사용자에 의해 제어하고자 선택된 상기 전자기기로 융합장치의 ID를 전송하고, 비지향성 통신 수단을 통해 상기 전자기기로부터 응답을 수신하여 통신채널을 형성한 후, 상기 형성된 채널을 통해 제어 명령을 송신하는 원격제어 기능을 가지는 멀티모달 융합장치.
  2. 제 1 항에 있어서,
    상기 규칙 저장부는,
    상기 전자기기별 제어 명령어를 ActionXML 형태로 정의되는 모달리티 조합 규칙 정보로 저장하며, 제어하고자 선택된 상기 전자기기의 제어 명령어를 제공하는 것을 특징으로 하는 원격제어 기능을 가지는 멀티모달 융합장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제어 명령어 수신부는,
    상기 전자기기내 제어 명령어가 저장되지 않은 경우에는, 상기 제어명령어가 저장된 url 정보를 수신하여 네트워크를 통해 다운로드받는 것을 특징으로 하는 원격제어 기능을 가지는 멀티모달 융합장치.
  5. 제 1 항에 있어서,
    상기 멀티모달 제어부는,
    상기 디바이스 선택부를 통해 2개 이상의 전자기기와 통신채널이 형성되는 경우 해당 전자기기들의 정보를 디스플레이하여 사용자의 선택에 따라 하나의 제어대상 전자기기를 선택하는 것을 특징으로 하는 원격제어 기능을 가지는 멀티모달 융합장치.
  6. 제 1 항에 있어서,
    상기 융합장치의 ID는,
    상기 융합장치의 IP 정보 또는 MAC 주소 정보인 것을 특징으로 하는 원격제어 기능을 가지는 멀티모달 융합장치.
  7. 삭제
  8. a 제어하고자 선택된 전자기기로 멀티모달 융합장치의 ID와 원격제어 요청을 송신하는 단계와,
    b 상기 원격제어 요청에 응답한 상기 전자기기와 원격 제어를 위한 통신채널을 형성하는 단계와,
    c 상기 전자기기의 제어 명령어를 읽어 들여 사용자의 멀티모달 제어 명령에 대응되게 상기 전자기기를 원격 제어하는 단계를 포함하되,
    상기 a 단계에서, 상기 융합장치의 ID 및 원격 제어 요청 송신은, 적외선 또는 레이저를 이용한 지향성 통신수단을 통해 수행되는 멀티모달 융합장치에서 전자기기 원격 제어방법.
  9. 제 8 항에 있어서,
    상기 융합장치의 ID는,
    상기 융합장치의 IP 정보 또는 MAC 주소 정보인 것을 특징으로 하는 멀티모달 융합장치에서 전자기기 원격 제어방법.
  10. 제 8 항에 있어서,
    상기 b 단계에서,
    상기 원격제어 요청에 응답한 상기 전자기기가 2개 이상인 경우에는,
    b1 해당 전자기기들의 정보를 디스플레이하는 단계와,
    b2 상기 전자기기들 중 사용자에 의해 선택된 하나의 전자기기와 통신채널을 형성하는 단계
    를 더 포함하는 것을 특징으로 하는 멀티모달 융합장치에서 전자기기 원격 제어방법.
  11. 제 8 항에 있어서,
    상기 b 단계에서, 상기 통신채널은,
    WLAN, Zigbee 또는 Bluetooth 를 포함하는 비지향성 통신수단을 통해 형성되는 것을 특징으로 하는 멀티모달 융합장치에서 전자기기 원격 제어방법.
  12. 제 8 항에 있어서,
    상기 c 단계에서, 상기 전자기기의 제어 명령어는,
    상기 융합장치내 ActionXML 형태로 정의되는 모달리티 조합 규칙 정보로 미리 저장되는 것을 특징으로 하는 멀티모달 융합장치에서 전자기기 원격 제어방법.
KR1020070131826A 2007-12-15 2007-12-15 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법 KR100955316B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070131826A KR100955316B1 (ko) 2007-12-15 2007-12-15 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법
US12/739,884 US20100245118A1 (en) 2007-12-15 2008-07-08 Multimodal fusion apparatus capable of remotely controlling electronic devices and method thereof
PCT/KR2008/004007 WO2009078523A1 (en) 2007-12-15 2008-07-08 Multimodal fusion apparatus capable of remotely controlling electronic devices and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070131826A KR100955316B1 (ko) 2007-12-15 2007-12-15 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090064242A KR20090064242A (ko) 2009-06-18
KR100955316B1 true KR100955316B1 (ko) 2010-04-29

Family

ID=40795629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070131826A KR100955316B1 (ko) 2007-12-15 2007-12-15 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법

Country Status (3)

Country Link
US (1) US20100245118A1 (ko)
KR (1) KR100955316B1 (ko)
WO (1) WO2009078523A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101958902B1 (ko) * 2011-09-30 2019-07-03 삼성전자주식회사 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
US10672252B2 (en) 2015-12-31 2020-06-02 Delta Faucet Company Water sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178005A1 (en) * 2001-04-18 2002-11-28 Rutgers, The State University Of New Jersey System and method for adaptive language understanding by computers

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2087503A1 (en) * 1992-04-13 1993-10-14 Lester Wayne Dunaway Multimodal remote control device having electrically alterable keypad designations
US5644524A (en) * 1993-11-30 1997-07-01 Texas Instruments Incorporated Iterative division apparatus, system and method employing left most one's detection and left most one's detection with exclusive or
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6742021B1 (en) * 1999-01-05 2004-05-25 Sri International, Inc. Navigating network-based electronic information using spoken input with multimodal error feedback
US6396523B1 (en) * 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6622018B1 (en) * 2000-04-24 2003-09-16 3Com Corporation Portable device control console with wireless connection
US7103344B2 (en) * 2000-06-08 2006-09-05 Menard Raymond J Device with passive receiver
US7023544B2 (en) * 2000-10-30 2006-04-04 Sru Biosystems, Inc. Method and instrument for detecting biomolecular interactions
US6747566B2 (en) * 2001-03-12 2004-06-08 Shaw-Yuan Hou Voice-activated remote control unit for multiple electrical apparatuses
US20020162120A1 (en) * 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
US6947101B2 (en) * 2001-08-03 2005-09-20 Universal Electronics Inc. Control device with easy lock feature
US20030071117A1 (en) * 2001-10-16 2003-04-17 Meade William K. System and method for determining priority among multiple mobile computing devices to control an appliance
US20030109994A1 (en) * 2001-12-06 2003-06-12 Koninklijke Philips Electronics N.V. Charger system for receiving and transferring data to an electronic device
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7013434B2 (en) * 2003-01-03 2006-03-14 Universal Electronics Inc. Remote control with local, screen-guided setup
US7497992B2 (en) * 2003-05-08 2009-03-03 Sru Biosystems, Inc. Detection of biochemical interactions on a biosensor using tunable filters and tunable lasers
US7460050B2 (en) * 2003-09-19 2008-12-02 Universal Electronics, Inc. Controlling device using cues to convey information
US7461350B2 (en) * 2004-12-30 2008-12-02 Nokia Corporation Application specific key buttons in a portable device
JP4238848B2 (ja) * 2005-06-24 2009-03-18 ソニー株式会社 リモートコントロール装置及びリモートコントロール方法
US20070199023A1 (en) * 2006-01-26 2007-08-23 Small Kelly E Audiovisual systems and methods of presenting audiovisual content
US9030315B2 (en) * 2006-08-29 2015-05-12 Siemens Industry, Inc. Binding methods and devices in a building automation system
DE112007003657T5 (de) * 2007-09-17 2010-07-22 Telefonaktiebolaget L M Ericsson (Publ) Verfahren und Anordnung für ein Multimediagateway und Kommunikationsendgeräte
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178005A1 (en) * 2001-04-18 2002-11-28 Rutgers, The State University Of New Jersey System and method for adaptive language understanding by computers

Also Published As

Publication number Publication date
KR20090064242A (ko) 2009-06-18
WO2009078523A1 (en) 2009-06-25
US20100245118A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
US8552832B2 (en) System and method for interactive appliance control
EP1727107B1 (en) Integrated remote control system
JP5420261B2 (ja) 遠隔操作装置、操作対象装置、遠隔操作装置の制御方法、操作対象装置の制御方法、及び遠隔操作システム
US20120086563A1 (en) System and method for appliance control via a network
US20130283209A1 (en) Display apparatus and method for providing user interface thereof
KR100955316B1 (ko) 원격 제어 기능을 가지는 멀티모달 융합장치 및 방법
US20120188113A1 (en) Remote control apparatus and electronic device remotely controlled by the same
KR101799397B1 (ko) 디스플레이장치 및 그 제어방법
US8232906B2 (en) Image processing system and control method thereof
US7876779B2 (en) Controller and adapters to enable unlike device integration
KR20140015281A (ko) 복수의 디스플레이 통합 제어 시스템과 디스플레이 통합 입력 장치
CN101276511B (zh) 遥控装置、遥控配置文件产生单元及其相应的方法和设备
EP2835945B1 (en) Automotive communication system and method of communication between an automotive input device and a mobile device
KR101166464B1 (ko) 디지털기기의 적외선 신호 학습이 가능한 스마트폰을 이용한 디지털기기 제어시스템
JP2014021733A (ja) 認証方法、認証システム、認証サーバ装置および認証プログラム
CN1333539C (zh) 远程遥控电子装置的方法
KR101283322B1 (ko) 서비스 프로파일 기반의 통합 리모트 제어 장치 및 그 방법
WO2014129378A1 (ja) 文字列入力システム
KR20110095490A (ko) 이미지 디스플레이 장치, 상기 장치를 활용한 이미지 전송 방법 및 전송 수신처 설정 방법
KR101401433B1 (ko) 업데이트 가능한 리모트 컨트롤러 및 그 방법
KR102566786B1 (ko) 홈 네트워크 장치 및 홈 네트워크 장치의 네트워크 연결 방법
CN101738990A (zh) 设备控制方法和系统
JP3214776U (ja) 様々なタイプの無線接続を用いた屋内微気候管理システム、微気候管理設備及び微気候管理方法
JP2015046736A (ja) リモコン信号提供システム、リモコン信号提供装置、端末装置、リモコン信号提供方法、リモコン信号要求方法、リモコン信号提供プログラム及び端末装置用プログラム
JP4158512B2 (ja) 表示装置、被操作装置およびユーザーインターフェース制御方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071215

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20091029

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100413

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100421

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100422

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130325

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160330

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170327

Start annual number: 8

End annual number: 8

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190202