KR20010041425A - Home control system with distributed network devices - Google Patents
Home control system with distributed network devices Download PDFInfo
- Publication number
- KR20010041425A KR20010041425A KR1020007009560A KR20007009560A KR20010041425A KR 20010041425 A KR20010041425 A KR 20010041425A KR 1020007009560 A KR1020007009560 A KR 1020007009560A KR 20007009560 A KR20007009560 A KR 20007009560A KR 20010041425 A KR20010041425 A KR 20010041425A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- equipment
- control
- module
- determining
- Prior art date
Links
- 230000004044 response Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2805—Home Audio Video Interoperability [HAVI] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
- H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
- H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/40052—High-speed IEEE 1394 serial bus
- H04L12/40117—Interconnection of audio or video/imaging devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/285—Generic home appliances, e.g. refrigerators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
- Small-Scale Networks (AREA)
Abstract
홈등의 장소내에 있는 장치들은 이 장소의 다른 장소내의 식별된 유저의 존재를 검출함으로써 제어된다. 장소내의 장치들은 각각의 식별된 유저의 선호도에 응답하여 제어된다. 위치 및 제어 장치들은 독립적인 장치, 또는 텔레비젼, 스테레오, 컴퓨터등의 다른 전자 장치내에 통합될 수 있다. 또한, 본 발명에서는 제안 제어가 유저의 위치에 근거하여 작동하는 유저 테스크 모듈과, 현재의 환경 및 유저의 우선적인 작동에 기초로한 유저의 프로파일이 제공된다. 각각의 유저의 위치에 대한 결정은 유저가 전달하는 트래커 모듈의 사용에 의해 설치된다. 유저는 적절한 시간에 적용되는 자동화의 정도를 결정한다.Devices in places such as homes are controlled by detecting the presence of identified users in other places in this place. Devices in the venue are controlled in response to the preferences of each identified user. Position and control devices may be integrated into independent devices or other electronic devices such as televisions, stereos, computers, and the like. In addition, the present invention provides a user task module in which the proposed control operates based on the position of the user, and the user's profile based on the current environment and the preferential operation of the user. The determination of the location of each user is established by the use of a tracker module delivered by the user. The user determines the degree of automation applied at the appropriate time.
Description
홈 자동화는 증가하는 대중화 추세를 보이고 있다. 계속해서 발전하고 있는 표준은 다양한 자동 판매기 및 다양한 형태의 장치가 통상의 제어기에 의해 제어되도록 하였다. 이러한 표준은 IEEE 1394, X-10, HAvi, HomeAPI, Jini등을 포함한다. IEEE 1394 및 X-10 은 통신 프로토콜이며, HAVisms IEEE 1394를 이용한 소프트웨어 아키텍쳐이고, Home API는 소프트웨어 애플리케이션이 홈 장치를 감시하고 제어하도록 하는 애플리케이션 프로그래밍 인터페이스 및 소프트웨어 서비스의 표준 세트를 규정하는 개방된 산업 설명서이다. Jini는 클라이언트가 오브젝트로써 장치 및 서비스를 인식하는 분포된 소프트웨어 아키텍쳐(네트워크)이며, Jini는 장치 또는 서비스가 네트워크로 등록하도록 하는 발견 서비스(discovery service)를 갖는다. Jini는 오브젝트가 이용가능하도록 결정하는 룩업 서비스를 갖는다. 분포된 오브젝트 사이의 코히어런스는 오브젝트의 임대를 통하여, 즉, 소정의 시간 기간동안 다른 오브젝트에 하나의 오브젝트를 거쳐 제어를 제공함으로써 허용된다. 이 시스템이 고장인 경우, 이 시스템은 양호하게 규정된 상태로 임대가 종료되는 때에 반납한다.Home automation is increasing in popularity. Evolving standards have allowed various vending machines and various types of devices to be controlled by conventional controllers. Such standards include IEEE 1394, X-10, HAvi, HomeAPI, Jini, and the like. IEEE 1394 and X-10 are communication protocols, HAVisms is a software architecture using IEEE 1394, and the Home API is an open industry manual that defines a standard set of application programming interfaces and software services that allow software applications to monitor and control home devices. to be. Jini is a distributed software architecture (network) in which a client recognizes devices and services as objects, and Jini has a discovery service that allows devices or services to register with a network. Jini has a lookup service that determines which objects are available. Coherence between distributed objects is allowed through leasing of the object, ie by providing control over one object to another object for a certain period of time. If this system fails, it is returned at the end of the lease in a well-defined state.
통상의 홈 자동화시스템은 중앙 제어국과 다수의 원격 제어기로 구성된다. 예를 들면, 중앙 제어국은 홈 컴퓨터이며, 원격 제어기는 침실 또는 휴게실내의 홈의 특정 영역에 위치된 서브 제어기가 될 수 있다. 통상의 홈 자동화 시스템은 예를 들면, 움직임이 검출될 때 자동으로 불을 켜거나 꺼고, 특정 소리나 음성 명령에 의해 텔레비전을 켤 수 있는데 사용되는 원격 센서를 구비할 수도 있다. 어떤 홈 자동 시스템은 예를 들면, 불이나 장비등이 다르게 사전 설정된 시간에 켜지거나 꺼지고, 텔레비젼이 다른 시간에 다른 채널로 전환되는 등, 사전에 프로그래밍된 동작을 가능하게 한다.A typical home automation system consists of a central control station and a number of remote controllers. For example, the central control station may be a home computer, and the remote controller may be a subcontroller located in a specific area of the home in the bedroom or lounge. A typical home automation system may have a remote sensor that is used, for example, to light up or turn off automatically when a motion is detected, and to turn on the television by a particular sound or voice command. Some home automation systems enable pre-programmed operation, for example, when lights or equipment are turned on or off at different preset times, and the television is switched to different channels at different times.
그러나, 통상의 홈 자동화 시스템의 사전 프로그래밍은 근접 경로 또는 공공의 장소에서의 동작을 제외하고는 실행불가능하거나 현실적이지 않다. 이 비실행성은 복수의 사람들이 있는 홈에서는 특히 명백해진다. 홈의 모든 사람이 동의하는 경우, 또는 사전에 텔레비젼을 갖고 있는 사람들이 그 시간에 텔레비젼이 사전프로그램된 대로 바뀐다는 것을 인지하는 경우, 자동화된 변화 또는 하루중의 특정시간에서의 텔레비젼의 튜닝만이 실행된다. 특히, 한 사람이 여러사람의 의견을 따르지 않는다면, 심지어 한 사람만이 다수의 방이 있는 홈에서 실행불가능한 프로그래밍을 발견할 수도 있다. 예를 들면, 거주자가 선호하는 텔레비전 프로그램이 있지만, 거주가가 그 시간에 프로그램의 시작에 따라 다른 방에서 이것을 볼 수 있다.However, pre-programming of conventional home automation systems is not feasible or practical except for operation in close proximity or in public places. This incompatibility is especially evident in homes with multiple people. If everyone at home agrees, or if the people who have the television in advance are aware that the television will change as preprogrammed at that time, only an automated change or tuning of the television at a particular time of day Is executed. In particular, if one person does not follow the opinion of several, even one person may find impractical programming in a home with multiple rooms. For example, there is a television program that the tenant prefers, but the tenant can see it in a different room at the start of the program at that time.
상술한 바와 같이, 사전 프로그래밍된 홈 자동 시스템은 일반적으로 사전 프로그래된 동작을 가동하기 위해 중앙 제어기를 이용한다. 이처럼, 자동화된 제어기는 중앙 제어기의 이용가능성 및 신뢰성에 직접적으로 연관된다. 대부분의 홈 자동 시스템의 중앙 제어기는 일반적으로 홈 컴퓨터이며, 이는 다른 애플리케니션을 위해서도 사용된다. 홈 자동 제어기가 사용될 때, 컴퓨터는 동작상태에 있어야 하며, 제어기 애플리케이션은 다른 애플리케이션과는 독립적으로 실행되어야 한다. 컴퓨터 또는 제어기 애플리케이션의 "크래쉬(crash)"는 일반적으로 홈 자동 시스템의 모든 부분은 아니지만, 많은 부분을 비가동시킨다. 대안으로, 전적인 중앙 제어기는 중앙 제어기로써 종종 사용되며, 다른 애플리케이션에 의한 크래쉬 발생 가능성을 제거한다. 그러나, 이러한 전적인 제어기상에서 이용가능한 선택사항은 홈 컴퓨터의 일반적인 목적으로 이용되는 것에 비해 통상적으로 한정된다.As noted above, preprogrammed home automation systems generally use a central controller to run preprogrammed operations. As such, the automated controller is directly related to the availability and reliability of the central controller. The central controller of most home automation systems is generally the home computer, which is also used for other applications. When a home automatic controller is used, the computer must be in operation and the controller application must run independently of the other applications. A "crash" of a computer or controller application is generally not all part of a home automation system, but disables many parts. Alternatively, a full central controller is often used as the central controller, eliminating the possibility of crashing by other applications. However, the options available on this overall controller are typically limited compared to those used for the general purpose of a home computer.
본 발명은 소비자 장치 분야에 관한 것으로, 특히, 자동화 홈 제어 시스템 분야에 관한 것이다.The present invention relates to the field of consumer devices, and more particularly to the field of automated home control systems.
도 1은 본 발명에 따른 홈 제어 시스템의 예시적인 블록도.1 is an exemplary block diagram of a home control system in accordance with the present invention.
도 2는 본 발명에 따른 홈 제어 시스템의 예시적인 데이터 흐름도.2 is an exemplary data flow diagram of a home control system in accordance with the present invention.
도 3은 본 발명에 따른 홈 제어 시스템내의 제어 모듈에 대한 예시적인 흐름도.3 is an exemplary flow diagram for a control module in a home control system in accordance with the present invention.
본 발명의 목적은 장치의 네트워크에 분포된 제어 모듈을 사용하기 위한 하부구조를 제공하는 것이다. 본 발명의 다른 목적은 홈 환경내에 장치의 자동화된 제어를 설비하기 위한 시스템 및 방법을 제공하는 것이다. 본 발명의 또 다른 목적은 시스템의 각각의 유저가 사용하는 프로파일을 생성하기 위한 시스템 및 방법을 제공하고, 이 프로파일에 근거한 소비자 전자 장치를 제어하기 위한 시스템 및 방법을 제공하며, 본 발명의 또다른 목적은 홈 제어 시스템의 신뢰성과 융통성을 증가시키는 것이다. 본 발명의 또 다른 목적은 용이한 시스템 구성 및 설정을 허용하는 것이다.It is an object of the present invention to provide an infrastructure for using a control module distributed over a network of devices. Another object of the present invention is to provide a system and method for installing automated control of a device in a home environment. It is yet another object of the present invention to provide a system and method for creating a profile for use by each user of the system, and to provide a system and method for controlling a consumer electronic device based on this profile. The goal is to increase the reliability and flexibility of home control systems. Another object of the present invention is to allow easy system configuration and setup.
이러한 목적들 및 다른 목적은 홈 같은 장소를 통해 제어 장치 및 로케이터 장치의 분산된 네트워크를 제공함으로써 달성될 수 있다. 이러한 장소내의 장치들은 장소의 다양한 지역내에서 식별된 유저의 존재를 검출하고, 유저의 존재 또는 부재에 응답하여 상기 지역내에 있는 애플리케이션의 제어를 통합함으로써 제어된다. 장소 및 제어 장치는 텔레비전, 스테레오, 컴퓨터등의 다른 전자 장치내에 집적되거나, 단독적인 장치가 될 수 있다. 또한, 본 발명에서는 유저 테스크 오듈이 제공되는 데, 이는 유저의 위치, 현재 환경 및 유저의 사전 동작에 근거한 유저의 프로파일등에 의존하여 제어 동작이 제안된다. 이러한 모듈과 장치들 사이의 통신은 IWWW 1394, X10, HAVi 및 HomeAPI등을 포함하는 표준 네트워크 시스템 및 프로토콜을 사용하여 이루어진다. 각각의 유저의 위치 결정은 유전가 전달하는 트랙커 모듈(tracker module)을 사용하여 설치된다. 유저는 언제든지 적용되는 자동화의 정도를 결정할 수 있다.These and other objects can be achieved by providing a distributed network of control devices and locator devices through a place such as a home. Devices in such a place are controlled by detecting the presence of a user identified in various areas of the place and incorporating control of applications within that area in response to the presence or absence of the user. The location and control device may be integrated into other electronic devices, such as televisions, stereos, computers, or may be a standalone device. In addition, a user task module is provided in the present invention, in which a control operation is proposed depending on the user's location, the current environment, and the user's profile based on the user's prior actions. Communication between these modules and devices is accomplished using standard network systems and protocols, including IWWW 1394, X10, HAVi, and HomeAPI. Each user's location is established using a tracker module carried by the oil field. The user can determine the degree of automation applied at any time.
도 1은 본 발명에 따른 홈 제어 시스템의 예시적인 블록도를 도시한다. 도 1에 설명된 바와 같이, 4개의 방, 즉 거실(100), 주방(200), 사무실(300) 및 다용도실(400)이 있다. 이러한 각각의 방에는 장치가 분류되어 있다. 홈 제어 시스템의 어휘에서, 제어 보다는 기능을 실행하는 장치들은 장비로 불린다. 장비들은 제어 기능을 포함할 수 있지만, 이들의 "주요" 장비 기능은 그자체로는 제어가 아니다. 거실(100)에는 웹-tv 장비(110), 텔레비젼 장비(120), 스테레오 장비(130) 및 빛 장비(140)등이 있다. 예를 들면, 웹-tv 장비(110)는 텔레비젼을 통해 웹 접속을 제공하는 장비 기능이 있고, 제어 모듈(CM114), 유저 테스크 모듈(UTM116) 및 로케이터 모듈(LM119)등을 포함한다. 다른 제어 모듈(CM134)은 예시적으로 스테레오 장비(130)내에 배치되었다. 다른 로케이터 모듈(LM190)은 거실(100)내에 배치되었다. 설명된 장치 및 모듈은 홈 네트워크(50)를 통해 상호접속된다. 불필요한 설명을 줄이기 위해, 예시적인 네트워크(50)에의 접속은 "X"-레벨의 종료기에 의해 설명된다. 양호한 실시예에서, 네트워크를 통한 통신은 기존의 표준에 따른다. 예를 들면, HAVi 아키텍쳐를 사용하여, HAVi 컴플라이언트 장비는 최소한 시스템의 다른 장치와 통신하기 위한 출분한 설비를 갖춘다. 상호동작동안, 장치들은 피어-대-피어 방식(peer-to-peer fashion)으로 제어 및 데이터를 변환할 수 있다. 이러한 통신 레벨에서, 어떠한 장치들도 시스템의 마스터 또는 제어기로써 동작하도록 요구하지 않는다. 한편, 이것은 눈리 마스터 또는 제어기가 기본적인 피어-대-피어 통신 모델상의 제어 구조가 되도록 한다. 이러한 방식으로, 코펜딩 미국 출원 08/920,751, 97년 8월 29일자의 Teroen Heuvelman등이 발명한 발명의 명칭이 "Computer-controlled Home Theater With Independent User-control"인 미국 출원이 참조사항으로 본원에 병합되었고, 오디오/비디오 기능성을 갖는 서브-시스템, 이 서브-시스템과 컴퓨터가 상호 접속된 컴퓨터 및 장치 인터페이스를 포함하는 홈 오락 시스템을 보여준다. 컴퓨터는 소프트웨어 애플리케이션을 통해 서브 시스템을 제어한다. 컴퓨터 및 서브 시스템은 분리된 유저 제어를 갖는다. 컴퓨터가 크래쉬되는 경우, 유저는 컴퓨터와 독립적으로 서브 시스템의 오디오/비디오 기능성을 여전히 제어할 수 있다. 또한, 코펜딩 출원 제 09/146,020호, 98년 9월 2일 자의 Yevgeny Shteyn이 발명한 발명의 명칭이 "Low Data-rate network representation on High data-rate HAVI-Network"인 미국 출원이 참조사항으로 본원에 병합되었고, HAVi 아키텍쳐를 이용하여 홈 네트워크의 원리를 개시하고 있다. 홈 네트워크의 모형이 본원에 사용되었지만, 본 발명의 원리가 다른 환경, 즉, 병원, 사무식, 공장등에서도 사용될 수 있음은 본 기술 분야의 통상의 지식을 가진자들에게는 명백하다.1 shows an exemplary block diagram of a home control system in accordance with the present invention. As illustrated in FIG. 1, there are four rooms, namely the living room 100, the kitchen 200, the office 300, and the utility room 400. In each of these rooms the devices are classified. In the vocabulary of a home control system, devices that perform functions rather than control are called equipment. The equipment may include control functions, but their "major" equipment functions are not themselves controls. The living room 100 includes web-tv equipment 110, television equipment 120, stereo equipment 130, and light equipment 140. For example, web-tv equipment 110 has equipment functionality to provide web access via television, and includes a control module CM114, a user task module UTM116, a locator module LM119, and the like. Another control module CM134 has been arranged in stereo equipment 130 by way of example. Another locator module LM190 has been placed in the living room 100. The devices and modules described are interconnected via a home network 50. In order to reduce unnecessary explanation, connection to the exemplary network 50 is described by an "X" -level terminator. In a preferred embodiment, the communication over the network is in accordance with existing standards. For example, using the HAVi architecture, the HAVi compliant device has at least an excellent facility for communicating with other devices in the system. During the interaction, the devices can transform control and data in a peer-to-peer fashion. At this communication level, no devices are required to operate as the master or controller of the system. On the other hand, this allows the NIM master or controller to be the control structure on the basic peer-to-peer communication model. In this way, a U.S. application invented by Teroen Heuvelman et al., Co-pending US application 08 / 920,751, August 29, 97, is "Computer-controlled Home Theater With Independent User-control", incorporated herein by reference. The home entertainment system includes a sub-system that has been merged and has audio / video functionality, and the computer and device interfaces to which the sub-system and computer are interconnected. The computer controls the subsystem through a software application. Computers and subsystems have separate user controls. If the computer crashes, the user can still control the audio / video functionality of the subsystem independently of the computer. Also incorporated by reference is U.S. Application No. 09 / 146,020, entitled “Low Data-rate network representation on High data-rate HAVI-Network,” invented by Yevgeny Shteyn of Sep. 2, 98, incorporated by reference. It is incorporated herein and discloses the principle of a home network using the HAVi architecture. Although a model of a home network is used herein, it is apparent to those of ordinary skill in the art that the principles of the present invention may be used in other environments, such as hospitals, offices, factories, and the like.
도 1에는 트랙커(10)가 개시되어 있다. 본 발명에 따라, 홈의 각각의 거주자는 연관된 거주자의 원격 식별을 할 수 있도록 구성된 트랙커(10)를 처리한다. 통상적으로, 트랙커(10)의 위치는 관련된 거주자 또는 "유저"의 위치와 일치한다고 가정한다. 예를 들면, 트랙커(10)는 유저가 이동중이거나 사용중인 작은 토큰이 될 수 있다. 트랙커(10)가 거실(100)에 포함될 때, 로케이터(119,190)는 그것을 인식하도록 구성된다. 이렇게 진행되는 동안, 로케이터 모듈(119,190)은 거실(100)에 위치하는 바와 같은 연관된 거주자의 식별을 가능하게 한다. 상세히 설명하면, 트랙커 및 로케이터 모듈은 무선 접속을 통해 결합되어, 유저가 자유럽게 이동하도록 한다. 홈 네트워크(50)는 유선 또는 무선, 또는 유무선 결합에 의해 연결될 수 있다. 로케이팅 모듈(119,190)은 홈 네트워크(50)에 트랙커(10)와 관련된 유저의 존재를 특히, 제어 모듈(114,134) 및 그외의 것들과 통신한다. 응답하여, 제어 모듈은 적절한 제어 응답에 대해, UTM116 및 다른 것을 포함하는 유저 테스크 모듈 중 하나 이상의 모듈에 질의한다. 예를 들면, 트랙커(10)에 관련된 유저가 오후에 클래식 음악을 청취하기를 선호하는 경우, 유저 테스크 모듈(116)은 클래식 뮤직을 재생하기 위해 제어 모듈(134)에 제안하기 위해 통신한다. 그 날의 시간이 오후라면, 또는 그 날의 시간이 아침인 경우, 유저 테스크 모듈(116)은 지역의 새로운 라디오 방송국에 동조시키기 위해 제어 모듈(134)에 제안명령을 전송할 수 있다. 유저 테스크 모듈(116) 및 다른 것들로부터의 하나 이상의 제안에 응답하여, 그리고, 다른 잠재적인 audfudd 응답하여, 제어 모듈(134)은 적절한 명령을 제안 및 규칙들로부터 선택된 응답을 얻기 위해 적절한 장비에 전송한다. 예를 들면, 하나의 규칙은, 다른 유저(다른 트랙커의 존재에 의해 지정된 바와 같음)가 거실(100)에 있는 경우, 거실(100)안의 장비의 모드 변화를 방해할 수 있다. 본 기술 분야의 통상의 지식을 가진자들에게 명백하듯이, 종래의 방법은 다중 트랙커가 동일한 지역에 있는 경우 취해지도록 동작을 결정하는데 사용될 수 있다. 실시예에서, 한명의 유저가 이 선호도를 지정하고, 다른 유저가 반대의 선호도를 뚜렷하게 표현하지 않을 경우, 빛이 바뀌는 것처럼 비충돌 동작이 이루어진다. 반면에, 텔레비젼 및 스테레오의 변화등의 충돌 동작은 유저중 한명이 다른 사람들을 통해 명백한 우선적인 동작을 부여받지 않는 경우에는 이루어지지 않는다. 양호한 실시예에서, 유저에 대한 선호도 및 각각의 규칙은 우선적으로 할당된다. 예를 들면, 우선권은, 유저가 충돌에 관계없이 지역으로 인가될 때마다 불이 켜지도록 특정 유저에 대해 설정될 수 있다. 동일한 유저에 대해 더 낮은 우선권은 충돌이 존재하지 않는 경우에만 텔레비젼을 켜도록 설정될 수 있다.1, a tracker 10 is disclosed. In accordance with the present invention, each occupant of the home processes a tracker 10 configured for remote identification of the associated occupant. Typically, the position of the tracker 10 is assumed to match the position of the associated occupant or “user”. For example, the tracker 10 may be a small token that the user is moving or using. When the tracker 10 is included in the living room 100, the locators 119, 190 are configured to recognize it. While doing so, locator modules 119 and 190 enable identification of associated residents as located in living room 100. In detail, the tracker and locator modules are coupled via a wireless connection, allowing the user to travel to Europe. The home network 50 may be connected by wired or wireless or wired or wireless coupling. The locating module 119, 190 communicates the presence of the user with the tracker 10 in the home network 50, in particular with the control modules 114, 134 and others. In response, the control module queries one or more of the user task modules, including UTM116 and others, for an appropriate control response. For example, if the user associated with the tracker 10 prefers to listen to classical music in the afternoon, the user task module 116 communicates with the control module 134 to suggest to play the classical music. If the time of day is afternoon, or if the time of day is morning, user task module 116 may send a suggestion to control module 134 to tune in to a new radio station in the area. In response to one or more suggestions from user task module 116 and others, and in response to other potential audfudd, control module 134 sends appropriate commands to the appropriate equipment to obtain the selected response from the suggestions and rules. do. For example, one rule may hinder the mode change of equipment in the living room 100 when another user (as specified by the presence of another tracker) is in the living room 100. As will be apparent to those skilled in the art, conventional methods can be used to determine the action to be taken when multiple trackers are in the same area. In an embodiment, if one user specifies this preference and the other does not express the opposite preference distinctly, a non-collision action is made as the light changes. On the other hand, collision operations, such as changes in television and stereo, are not made unless one of the users is given a clear preferential operation through others. In a preferred embodiment, preferences for the user and each rule are assigned first. For example, priority may be set for a particular user so that it lights up whenever the user is authorized to the area regardless of the conflict. Lower priority for the same user can be set to turn on the television only if there is no conflict.
양호한 실시예에서, 제어 모듈 및 유저 테스크 모듈은 홈의 특정 지역으로부터 지작하거나 각각의 유저가 도착시에 적절한 응답을 결정하기 위해 기계 학습 기술 및 다른 것에 기초한 지식을 이용한다. 응답은 이전의 경험에 근거하며, 각 유저 및, 유저의 최근 히스토리로부터 피드백된다. 예를 들면, 유저가 주방(200) 또는 사무실(300)을 떠난 이후, 거실(100)에 도착하는지의 여부에 따라 응답이 다르게 나타날 수 있다. 이러한 결정은 그 날의 시간, 그 주의 날 등의 현재의 환경에 따라 변할 수 있고, 다른 요인들은 유저의 과거의 행동 또는 통상의 가정할 수 있는 행동에 상관되어 결정된다. 양호한 실시예에서, 상기 학습 기술은 통상적으로 다중-변량(multi-variate)이므로, 제어의 시너지(synergy)가 달성된다. 예를 들면, 학습된 응답이 더 낮은 커텐, 흐릿한 빛, 부드러운 음악 재생 및 유저의 패턴의 특정 세트에 응답하여 자동 응답 모드의 전화 배치가 될 수 있고, 유저 패턴의 다른 세트에 응답하여 라디오를 켜거나 빛을 밝게 유지할 수 있다. 유저가 선택된 응답에 동의하지 않는 경우, 유저는 통상적으로 대안의 제어 응답을 초래한다. 예를 들면, 제어 모듈(134)은 스테레오(130)의 전원을 켜거나 끄고, 유저는 이 응답에 동의하지 않으며, 유저는 스테레오(130)를 일반적으로 끄며, 약간의 다른 변화를 초래한다. 양호한 실시예에서, 유저는 장비에 대해 제어 모듈의 실행 명령을 즉시 유발하는 유저의 응답은 연습을 위해 매우 가중되어, 미래에 제어 모듈에 의해 잠재적인 상이한 선택을 초래한다. 이어지는 유저 선택은 제어 모듈의 동작과 유저 선택 사이의 시간 간격이 증가할 때, 연습을 위해 덜 가중된다. 예를 들면, 제어 모듈(134)이 한시간 동안 선택하는 클래식 뮤직을 유저가 청취하는 경우, 대중 음악을 선택한다. 대중 음악의 선택은, 독립적인 유저 선호도, 또는 연속적인 선호도(한 시간 동안 클래식을 재생하여, 대중적인 것으로 교환), 클래식 음악의 제어 모듈의 선택에 대한 불찬승, 또는 상기 3개의 원리를 조합함으로써, 제어 모듈(134)에 의해 처리될 수 있다. Bayesian 네트워크 및 러지 논리등의 종래의 기계 학습 기술은 제어 모듈의 선택을 수정하거나 다시 확인하는데 사용되어, 주어진 영역내에서 유저의 식별에 근거하여 유저의 소망을 기대하는 유저 테스크 모듈 및 제어 모듈의 가능성을 개선한다. 양호한 실시예에서, 유저의 특정 동작은 유저 테스크 모듈을 초래하는 반면, 적절한 경험은 일반적으로 제어 모듈을 초래한다.In a preferred embodiment, the control module and user task module utilize knowledge based on machine learning techniques and others to tailor from a particular area of the home or to determine the appropriate response for each user upon arrival. The response is based on previous experience and is fed back from each user and the user's recent history. For example, after the user leaves the kitchen 200 or the office 300, the response may be different depending on whether the user arrives in the living room 100. This decision may vary depending on the current circumstances of the day of the day, the day of the week, and the like, and other factors are determined in relation to the user's past behavior or the usual presumable behavior. In a preferred embodiment, the learning technique is typically multi-variate, so synergy of control is achieved. For example, the learned response could be lower curtain, blurry light, soft music playback, and telephone placement in answering machine mode in response to a specific set of user patterns, and turn on the radio in response to another set of user patterns. Or keep the light bright. If the user does not agree with the selected response, the user typically results in an alternative control response. For example, the control module 134 turns the stereo 130 on or off, the user does not agree with this response, the user generally turns off the stereo 130, and causes some other change. In a preferred embodiment, the user's response to the user immediately triggering a command to execute the control module to the equipment is very weighted for practice, leading to potential different choices by the control module in the future. Subsequent user selection is less weighted for practice as the time interval between the operation of the control module and the user selection increases. For example, if the user listens to classical music that the control module 134 selects for one hour, the user selects popular music. The selection of popular music can be achieved by independent user preferences, or continuous preferences (playing the classics for an hour, replacing them with popular ones), disapproval of the selection of control modules of classical music, or by combining the three principles above. May be processed by the control module 134. Conventional machine learning techniques, such as Bayesian networks and luggage logic, are used to modify or reconfirm the selection of control modules, allowing the possibility of user task modules and control modules that expect a user's wishes based on the user's identification within a given domain. To improve. In a preferred embodiment, the specific actions of the user result in a user task module, while proper experience generally results in a control module.
하나 이상의 로케이터 모듈, 제어 모듈 및 유저 테스크 모듈은 동일한 위치에 연관될 수 있고, 동일한 장치의 제어와 연관될 수 있다. 이 방식에서, 시스템의 신뢰성이 임의의 하나의 장치상의 의존을 감소시킴으로써, 강화된다. 분포된 제어 아키텍쳐등을 유발할 수 있는 충돌을 해결하기 위한 기술들이 본 기술 분야에 널리 공지되어 있다. 양호한 실시예에서, 각 제어 모듈은 각 장비에 대한 제어 구성조직내에 위치를 할당할 수 있다. 각각의 가장 높은 순위의 제어 모듈은 각 장비를 현재 이용가능하게 제어한다. 이와 같은 방식으로, 각 유저 테스크 모듈 및 유저 테스크중으로부터의 제안이 각각의 장비에 비해 가중된 결정을 제공하여, 각 제어 모듈의 결정 처리를 용이하게 한다.More than one locator module, control module and user task module may be associated with the same location and associated with control of the same device. In this way, the reliability of the system is enhanced by reducing the dependence on any one device. Techniques for resolving conflicts that can cause distributed control architectures and the like are well known in the art. In a preferred embodiment, each control module may assign a location in the control organization for each piece of equipment. Each highest ranking control module controls each device currently available. In this way, each user task module and proposals from among the user tasks provide weighted decisions relative to the respective equipment, facilitating decision processing of each control module.
예를 들면, 도 1의 주방(200)은 제어 유닛(210), 텔레비젼 장비(220), 스피커 장비(230), 및 마이크로웨이브 장비(240)등을 포함한다. 예를 들면, 제어 유닛(210)은 제어 모듈(214), 유저 테스크 모듈(216) 및 로케이터 모듈(219)등을 포함하는 반면, 이 장비들은 제어 장치가 없다. 트랙커(10)가 주방(200)에 있는 경우, 로케이터 모듈(219)은 홈 네트퉈크(50)의 적절한 장치를 식별하며, 제어 무듈(214)를 포함한다. 제어 모듈(214)은 네트워크(50)내에 유저 테스크 모듈에 접속하며, 유저 테스크 오듈(216)을 포함하여, 임의의 동작이 제안되는 지를 결정하고, 동작을 결정하기 위해 내부의 규칙에 접속한다. 예를 들면, 트랙커(10)가 거실 (100)에 사전에 존재하는 경우, 거실(100)내의 텔레비젼(120)은 특정 채널로 전환되며, 제어 모듈(214)의 내부 규칙은 주방의 텔레비젼(220)을 변환시킬 것을 제안하고, 텔레비젼(120)으로서 동일한 채널에 동조시킨다. 이처럼, 본 예에서, 다른 유저가 거실(100)에서 검출되지 않는 경우에, 제어 모듈(114)의 내부 규칙은 텔레비젼(120)이 꺼지도록 제안되었다. 상기 제안 순서는 거실(100)에서 출발하여, 주방(200)에 들어가는 특정 유저의 독립적인 규칙에 근거한다. 이러한 유저의 독립적인 제안 및 규칙은 특정 장비를 제어하기 위해 응답할 수 있는 제어 모듈에서 임의의 유저 특정 규칙과 결합된다. 예를 들면, 특정 유저는 주방(200)에서는 음악 청취를 선호할 수 있고, 심지어 텔레비젼이 유저에 의해 켜지더라도, 텔레비젼(220)을 켜는 것을 원하지 않을 수도 있다. 제어 모듈은 텐레비젼(220)을 제어하도록 구성되며, 제어 모듈은 스피커 장비(230)을 제어하도록 구성되어, 이러한 유저 특정 규칙 및 선호도를 적용하고, 텔레비젼(220)전원을 켜거나 끄지 않으며, 스피커(230)의 전원을 켜거나 끈다. 유저 특정 규칙 및 현재 환경에 근거하여, 스테레오(130)는 스피커(230)에 음악의 적절한 선택을 제공하기 위해 변환된다.For example, the kitchen 200 of FIG. 1 includes a control unit 210, television equipment 220, speaker equipment 230, microwave equipment 240, and the like. For example, the control unit 210 includes a control module 214, a user task module 216, a locator module 219, etc., while these equipments lack a control device. When the tracker 10 is in the kitchen 200, the locator module 219 identifies the appropriate device of the home network 50 and includes a control module 214. The control module 214 connects to the user task module in the network 50, and includes the user task module 216 to determine if any action is proposed and to access internal rules to determine the action. For example, if the tracker 10 is previously present in the living room 100, the television 120 in the living room 100 is switched to a particular channel, and the internal rules of the control module 214 are the television 220 of the kitchen. ) And tune to the same channel as the television 120. As such, in this example, when no other user is detected in the living room 100, the internal rules of the control module 114 have been proposed to turn off the television 120. The proposal order is based on the independent rules of a specific user starting from the living room 100 and entering the kitchen 200. These user independent proposals and rules are combined with any user specific rules in the control module that can respond to control specific equipment. For example, a particular user may prefer listening to music in the kitchen 200 and may not want to turn on the television 220 even if the television is turned on by the user. The control module is configured to control the television 220, and the control module is configured to control the speaker equipment 230, applying these user specific rules and preferences, and not powering the television 220 on or off, the speaker Turns the power of 230 on or off. Based on the user specific rules and the current environment, the stereo 130 is converted to provide the speaker 230 with an appropriate selection of music.
상술한 규칙은 경험 또는 디폴트 가정에 근거하여 유저의 소망을 기대하도록 구성된다. 예를 들면, 유저가 하루중 특정 시간에 지역에 들어가는 경우, 디폴트 가정이 이루어지고, 불(140,340)이 켜지고, 방이 점유되지 않았을 때, 불(140,340) 및 오락 장비(120,130,220,230,320,33)등이 꺼진다. 이러한 디폴트 가정은 순차적인 동작을 초래한다. 예를 들면, 유저가 거실(100)을 떠날 때, 제어 모듈(114)은 성가신 셔트 다운을 회피하기 위해 텔레비젼(120)을 끄기 전에 소정의 시간 기간동안 대기하도록 구성될 수 있다. 이처럼, 제어 모듈은 유저의 최근 동작에 따라 적절한 동작을 결정할 수 있다. 예를 들면, 양호한 실시예에서, 유저가 각 방에서 많은 시간동안 중단하지 않고 방을 통해 이동하도록 결정되는 경우, 제어기는 불이 켜지지만 스테레오 또는 텔레비젼을 켜는등 다른 것에는 영향을 미치지지 않고 약간의 동작을 수행한다. 본 예에서, 디폴트 가정은 유저가 엽결되는 방을 통해 이동하기 위한 빛을 가지는 것을 선호한다고 가정하지만, 방을 통해 각각 이동할 때 다른 장비들의 전원은 켜지거나 꺼지지 않을 것을 선호한다고 가정한다. 양호한 실시예에서, 유저 테스크 모듈 및 제어 모듈은 유저의 경험 또는 직접적인 유저의 수정에 근거하여 순차적으로 갱신된 디폴트 규칙으로 사전 프로그래밍된다.The above rules are configured to expect the user's wishes based on experience or default assumptions. For example, if a user enters an area at a particular time of day, a default assumption is made, the lights 140, 340 are turned on, and when the room is not occupied, the lights 140, 340 and entertainment equipment 120, 130, 220, 230, 320, 33 are turned off. . This default assumption results in sequential operation. For example, when the user leaves the living room 100, the control module 114 may be configured to wait for a period of time before turning off the television 120 to avoid annoying shut down. As such, the control module may determine an appropriate operation according to a recent operation of the user. For example, in the preferred embodiment, if the user is determined to move through the room without interruption for many hours in each room, the controller is lit but does not affect the others, such as turning on the stereo or the television. Performs the operation of. In this example, the default assumption assumes that the user prefers to have light for moving through the room being squeezed, but assumes that other devices do not turn on or off as they move through the room, respectively. In a preferred embodiment, the user task module and control module are preprogrammed with default rules that are sequentially updated based on the user's experience or direct user modifications.
규칙들은 다른 제어 장치에도 결합될 수 있다. 예를 들면, 종래 기술에서 통상적으로 사용되듯이, 마이크로웨이브 장비(240)는 유저가 특정 시간, 예를 들면, 특정기간등에 개시하도록 마이크로웨이브를 사전 프로그래밍하도록 허용할 수 있는 프로그래밍가능 장치를 포함할 수 있다. 마이크로웨이브 장비(240)의 대안의 실시예는 유저가 소정의 시간보다는 오히려 홈에서 사람이 돌아오는 것에 근거하여 시작을 사전 프로그래밍 할 수 있도록 허용한다. 특정 사람과 연관된 트랙커가 홈 내에서 다음으로 검출될 때, 이 예에서 제어 모듈(214)은 마이크로웨이브 장비(240)에 신호를 송신한다. 본 기술 분야에 통상의 지식을 가진 사람에게는 명백하듯이, 개시는 특정 시간 기간내에 특정 방에 사람의 입장처럼 다른 사건에 의해 트리거 될 수도 있다.Rules can be combined with other control devices. For example, as is commonly used in the prior art, microwave equipment 240 may include a programmable device that may allow a user to preprogram the microwave to initiate at a specific time, for example, a specific time period. Can be. An alternative embodiment of microwave equipment 240 allows a user to preprogram the start based on the return of a person from home rather than a predetermined time. When a tracker associated with a particular person is next detected within the home, in this example the control module 214 sends a signal to the microwave equipment 240. As will be apparent to one of ordinary skill in the art, the initiation may be triggered by other events, such as the person's position in a particular room within a certain time period.
도 1에는 홈 사무실(300)내의 컴퓨터(310)의 구성 모듈(312)을 도시한다. 구성 모듈(312)은 시스템이 각각의 유저에 대해 직접적으로 주문 생산되도록 한다. 구성 모듈(312)은 또한, 유저 또는 설치자가 집을 통해 모듈 및 장비들의 위치에 따라 시스템 구성을 기록하도록 하는데 사용되고, 제어 모듈에 제어된 장비들의 할당을 통합한다. 본 발명에 따라, 구성 모듈(312)은 요청될 때 유저 테스크 모듈 및 제어 모듈에 선호도 및 자동 또는 수동으로 초기화된 규칙의 다운로드를 허용하는데 사용된다. 지식 기초 및 기계 학습 기능은 네크워크(50)에 대해 분포되어진 유저 테스크 모듈(116,316,416)에서 양호하게 이루어지는 반면, 구성 모듈(312)은 이러한 작동을 통합할 것을 요청한다. 양호한 실시예에서, 예를 들면, 구성 모듈은 책임을 할당하여, 장비가 네트워크로부터 제거되거나 부가될 때 계산적인 부하의 균형을 맞춘다. 이러한 방식으로, 구성 모듈은 제어 모듈 사이의 장비에 대한 책임을 동적으로 할당하고, 유저 테스크 모듈사이에서 유저에 대한 책임을 동적으로 할당한다. 또한, 구성 모듈(312)은 구성 상태 및 정보에 관한 개별적인 모듈에 의한 질의에 응답한다. 양호한 실시예에서, 외부 제어 모듈(114,134,214,414)의 동작에 관한 규칙은 컴퓨터(310) 또는 구성 모듈(312)의 연속적인 동작에 의존하지 않도록 구성된다. 이 방식에서, 본 발명에 따른 시스템의 신뢰도는 컴퓨터(310)과 같은 중앙 제어기의 신뢰도 및 성능에 의존하지 않는다. 전반적인 시스템 신뢰도는 본원에 참고사항으로 병합된 코펜딩 미국 특허(Paul Foster등에 의해 97년 6월 23일 출원된 제 08/880,387호의 발명의 명칭이 "Slave DSP Reboots Stalled Master CPU")의 원리를 이용하여 강화될 수 있다. 상기 출원은 특정 테스크를 처리하기 위한, 예를 들면, 디지털 신호 처리기(DSPs)같은 하나 이상의 슬레이브 프로세서와, 시스템 제어를 위한 예를 들면, 중앙 처리 장치(CPU)둥의 마스터 프로세서를 포함하는 디지털 홈 오락 시스템에 관한 것이다. 슬레이브 프로세서는 마스터 프로세서가 중단되는 경우 마스터 프로세서가 재부팅할 수 있다. 이 슬레이브 제어 재부팅은 시스템의 수동 재부팅을 막고, 특히, 동기적으로 조합된 구성 성분을 갖는 오른-아키텍쳐 멀티미디어 시스템에서 유리하다.1 shows a configuration module 312 of a computer 310 in a home office 300. The configuration module 312 allows the system to be customized directly for each user. The configuration module 312 is also used to allow a user or installer to record the system configuration according to the location of the module and the equipment throughout the home and incorporate the assignment of controlled equipment to the control module. In accordance with the present invention, configuration module 312 is used to allow the downloading of preferences and automatically or manually initialized rules to user task modules and control modules when requested. Knowledge base and machine learning functions work well in user task modules 116, 316, 416 distributed over network 50, while configuration module 312 requests to integrate this operation. In a preferred embodiment, for example, the configuration module assigns responsibilities to balance the computational load when equipment is removed or added from the network. In this way, the configuration module dynamically assigns responsibilities for the equipment between the control modules and dynamically assigns responsibilities for the users between the user task modules. In addition, configuration module 312 responds to queries by individual modules regarding configuration status and information. In a preferred embodiment, the rules regarding the operation of the external control module 114, 134, 214, 414 are configured not to depend on the continuous operation of the computer 310 or the configuration module 312. In this manner, the reliability of the system according to the present invention does not depend on the reliability and performance of the central controller such as the computer 310. Overall system reliability utilizes the principles of the co-pending U.S. patent (Slave DSP Reboots Stalled Master CPU, filed June 23, 97, filed by Paul Foster et al., Incorporated herein by reference). Can be strengthened. The application includes a digital home comprising one or more slave processors for processing a particular task, for example digital signal processors (DSPs), and a master processor for example, a central processing unit (CPU) for system control. Relates to an entertainment system. The slave processor can be rebooted by the master processor when the master processor is stopped. This slave controlled reboot prevents manual reboot of the system and is particularly advantageous in right-architecture multimedia systems with synchronously combined components.
유저 테스크 모듈(116,316,416)은 특정 정보를 처리하기 위해 설계될 수 있다. 도 1의 예시적인 구성에서, 웹 tv 장비(110)의 유저 테스크 모듈(116)은 각각의 유저가 웹에 저속하는데 최적화를 구성하도록 설계될 수 있다. 예를 들면, 코펜딩 미국 특허(Adrian Turner 등에 의해 98년 9월 25일 출원된 제 09/160,490호의 attorney docket PHA 23,500의 발명의 명칭이 "Customized Upgrading of Internet-Enabled Devices Based on User-Profile")가 본원의 참고 사항으로 병합되어, 유저 프로파일에 근거한 인터넷으로부터 정보를 검색하는 방법을 개시하고 있다. 양호한 실시예에서, 로케이터 모듈(119)은 트랙커(10)에 관련된 유저의 존재를 네트워크상의 다른 모듈에 통보한다. 이 통보에 응답하여, 제어 모듈(114)은 인터넷에 접속하여, 상술한 출원에 따른 유저 프로파일에 근거하여 정보를 검색한다. 다른 한편, 환경 제어 장치(410)의 유저 테스크 모듈(416)은 유저 선호도 및 경험에 응답하여 홈 환경의 최적화를 구성하도록 설계될 수 있다. 유저 테스크 모듈(416)은 웹 서비스에 대한 지식을 보유할 필요없고, 유저 테스크 모듈(116)은 환경 서비스에 대해서도 마찬가지다. 즉, 각각의 유저 테스크 모듈의 기능은 특정 지식 영역에서 특정화될 수 있다. 한편, 컴퓨터(310)내에 있는 유저 테스크 모듈(316)은 모든 가변 서비스를 처리하도록 설계될 수 있다. 다중 테스크 모듈로부터의 충돌 제안에 대한 해결책은 상술한 우선 설계를 이용하여 해결될 수 있고, 각각의 테스크 모듈은 제어 등급을 가지며, 현재 가장 높은 등급 모듈로부터의 제안은 우선적으로 주어진다. 대안으로, 양호한 실시예에서, 유저 테스크 모듈은 서로서로 통신하며, 구성 규칙이 공식화된다. 도 1의 양호한 실시예에서, 컴퓨터(310)내의 유저 테스크 모듈(316)은 다른 유저 테스크 모듈 각각으로부터 주기적으로 정보를 수집하여, 보이팅(voiting), 우선 보이팅등의 종래의 결정 이론 기술을 사용하여 충돌을 해결하고자 한다.User task modules 116, 316, 416 can be designed to process specific information. In the example configuration of FIG. 1, the user task module 116 of the web tv equipment 110 may be designed to configure optimizations for each user slowing down on the web. For example, the Copening U.S. Patent (Attorney docket PHA 23,500, filed September 25, 98, filed by Adrian Turner et al., Entitled " Customized Upgrading of Internet-Enabled Devices Based on User-Profile "). Is incorporated by reference herein to disclose a method for retrieving information from the Internet based on a user profile. In a preferred embodiment, the locator module 119 notifies other modules on the network of the presence of a user associated with the tracker 10. In response to this notification, the control module 114 connects to the Internet and retrieves information based on the user profile according to the above-described application. On the other hand, the user task module 416 of the environmental control device 410 may be designed to configure the optimization of the home environment in response to user preferences and experiences. User task module 416 does not need to have knowledge of web services, and user task module 116 does the same for environmental services. That is, the function of each user task module can be specified in a specific knowledge area. On the other hand, user task module 316 in computer 310 may be designed to handle all variable services. Solutions to collision proposals from multiple task modules can be solved using the preferred design described above, with each task module having a control rating, and proposals from the highest ranking module presently are given priority. Alternatively, in a preferred embodiment, the user task modules communicate with each other and configuration rules are formulated. In the preferred embodiment of FIG. 1, the user task module 316 in the computer 310 periodically collects information from each of the other user task modules to incorporate conventional decision theory techniques such as voiting, first voting, and the like. To resolve the conflict.
각각의 모듈의 복잡한 정도는 다양하며, 낮은 성능 장치가 다른 장치를 의존하여 정도를 변화시킨다. 예를 들면, 상술한 웹-최적의 유저 테스크 모듈(116)은 텔레비젼(120) 및 스테레오(130)의 사용에 대응하는 작동 히스토리를 저장하는 성능을 포함할 수 있고, 기계 학습의 원시적인 레벨 및 이러한 히스토리에 근거하여 제어 모듈(114,134)에 제안을 제공한다. 주기적으로, 유저 테스크 모듈(316)은 유저 테스크 모듈(116)으로부터 이러한 작동 히스토리를 포함하며, 이러한 히스토리에 근거하여 더 궤변적인 규칙(sophisticated rules)과 제안을 계발하고, 이러한 새로운 규칙과 제안을 적절하게 시스템을 통해 다른 모듈에 전달한다.The complexity of each module varies, and low performance devices depend on other devices to vary. For example, the web-optimized user task module 116 described above may include the ability to store operational history corresponding to the use of the television 120 and stereo 130, and include a primitive level of machine learning and Based on this history, suggestions are provided to the control modules 114,134. Periodically, the user task module 316 includes these operational histories from the user task module 116 and develops more sophisticated rules and suggestions based on these histories, and applies these new rules and suggestions as appropriate. Pass it to another module through the system.
제어의 다른 레벨이 본 발명에 따른 홈 자동화 시스템에 포함될 수 있다. 예를 들면, 도 1에는 트랙커(10)에 관련된 유저와는 다른 유저에 관련되어 있다. 트랙커(11)가 홈 사무실(300)에 인가될 때, 로케이터 모듈(390)은 트랙커(11)의 존래를 검출하여, 네트워크(50)에 통지한다. 이 통보에 응답하여, 컴퓨터(310)와 환경 제어(410)는 다른 제어를 유발한다. 환경 제어(410)의 장치 명령 모듈(414)은 나방로 및 에어컨 시스템등의 환경 네트워크(405)에 신호를 전송하기만 할 수 있고, 트랙커(11)에 관련된 유저에 대응하는 유저 테스크 모듈(416)의 데이터에 근거하여 사무실(300)의 온도의 레벨을 조절한다. 본 실예의 유저 테스크 모듈(416)은 지식 기초 또는 학습 기계 성능없이 유저가 선택한 최종 온도를 포함할 수 있다. 한편, 컴퓨터(310)의 제어 모듈(314)은 수 많은 복잡한 작동을 달성할 수 있는데, 예를 들면, 유저의 이-메일을 검색하기 위한 외부 네트워크(305)에 접속되도록 설비되고, 워드 프로세서등의 유저가 통상적으로 사용하는 하나 이상의 애플리케이션을 초기화하며, 수신된 이-메일 메시지를 스피커(330)을 통해 재생하고, 유저로부터 음성 명령을 수신하는등, 수 많은 복잡한 작동을 달성할 수 있다. 이러한 작동은 유저의 우선적인 히스토리, 유저의 명백한 명령 또는 디폴트 선택의 세트에 근거하여 결정된다.Other levels of control can be included in the home automation system according to the present invention. For example, FIG. 1 relates to a user different from the user associated with the tracker 10. When the tracker 11 is applied to the home office 300, the locator module 390 detects the presence of the tracker 11 and notifies the network 50. In response to this notification, computer 310 and environmental control 410 cause other control. The device command module 414 of the environmental control 410 can only transmit signals to the environmental network 405 such as moths and air conditioning systems, and the user task module 416 corresponding to the user associated with the tracker 11. Adjust the level of the temperature of the office 300 based on the data of. The user task module 416 of this example may include a user selected final temperature without knowledge base or learning machine performance. On the other hand, the control module 314 of the computer 310 can achieve a number of complex operations, for example, is equipped to be connected to an external network 305 for retrieving the user's e-mail, a word processor or the like. Many complex operations can be accomplished, such as initiating one or more applications commonly used by a user of, playing received e-mail messages through the speaker 330, receiving voice commands from the user, and the like. This behavior is determined based on the user's prior history, the user's explicit commands, or a set of default choices.
트랙커(10,11)와 로케이터 모듈(119,190,290,390)은 각각의 모듈에 근접한 각 트랙(10)의 상대적인 위치 또는 절대적인 위치를 결정하기 위해 함께 동작하도록 설계된다. 이용가능한 기술의 임의의 수는 이 결정을 설정하도록 적용될 수 있다. 양호한 실시예에서, 트랙커는 예를 들면, 적외선 신호를 사용하여, 그에 근접한 로케이터 모듈에 의해 수신만 가능한 신호를 방사한다. 대안의 실시예에서, 로케이터 모듈은 무선 주파수(RF) 트리거 신호를 방출하며, 로케이터 모듈에 근접하게 배치된 트랙커는 로케이터 모듈에 RF 트리거 신호의 다시 변조된 형태로 반사한다. 영역 또는 지역내의 물체의 존재를 원격으로 결정하는 이러한 방법 및 다른 방법은 종래 기술에서 일반적인 것이다.The trackers 10, 11 and locator modules 119, 190, 290, 390 are designed to work together to determine the relative or absolute position of each track 10 in proximity to each module. Any number of techniques available can be applied to establish this decision. In a preferred embodiment, the tracker emits a signal that can only be received by a locator module proximate thereto, for example using an infrared signal. In an alternate embodiment, the locator module emits a radio frequency (RF) trigger signal, and a tracker placed proximate to the locator module reflects back to the locator module in a modulated form of the RF trigger signal. These and other methods of remotely determining the presence of an object in an area or region are common in the prior art.
트랙커의 복잡성은 다양할 수 있다. 신호 유저 애플리케니션에서, 트랙커는 로케이터 모듈에 의해 검출가능한 장치를 필요로 한다. 다중 유저 애플리케이션에서, 각각의 트랙커는 특정 식별기와 통신하는 수단을 포함한다. 양호한 실시예에서, 또한, 트랙커는 트랙커를 꺼기 위한 선택사항 또는 수동 모드로 전환하기 위한 선택하상을 포함하는 유저 선택가능한 선택사항을 포함하며, 로케이터 모듈은 트랙커의 위치를 결정하기 위해 계속된다. 그러나, 제어 모듈에 의해 자동화된 작동의 일부 또는 전부는 초기화된다. 또한, 트랙커는 유저가 명령을 집적적으로 전달하기 위한 수단을 갖도록 구성될 수 있다. 본원에 참고사항으로 병합된 코펜딩 출원(Joost Kemink 에 의해 98년 12월 11일 출원된 attorney docket PHA 23,522이며 출원 번호________ 인 "Remote Control Device with Location Dependent Interface")은 유저가 위치되어 있는 장소에 의존하여 제어 성능이 다른 장치를 유저에게 제공하기 위한 방법 및 장치가 제공된다. 본 발명의 트랙커는 예를 들면, 유저가 수동 모드를 선택할 때, 상기 출원에 개시된 성능의 일부 또는 전부를 포함할 수 있고, 트랙커는 유저의 지역내에 장비에 근거하여 유저 선택 사항을 제공한다.The complexity of the tracker can vary. In signal user applications, the tracker needs a device detectable by the locator module. In a multi-user application, each tracker includes means for communicating with a particular identifier. In a preferred embodiment, the tracker also includes a user selectable option including a selection for turning off the tracker or a selection bottom for switching to manual mode, and the locator module continues to determine the position of the tracker. However, some or all of the automated operation by the control module is initiated. In addition, the tracker may be configured such that the user has a means for integrating the command. The co-pending application incorporated herein by reference (attorney docket PHA 23,522, filed Dec. 11, 98 by Joost Kemink, “Remote Control Device with Location Dependent Interface”, application number ________) is where the user is located. A method and apparatus are provided for providing a user with an apparatus having different control capabilities depending on the. The tracker of the present invention may include some or all of the performance disclosed in the above application, for example when the user selects a manual mode, the tracker providing user selection based on equipment within the user's area.
도 2는 본 발명에 따른 홈 제어 시스템의 예시적인 데이터 흐름도를 도시한다. 제어 모듈(540)은 적절한 명령(541)을 결정하기 위해 다양한 소스를 입력받아, 하나 이상의 트랙커(510)의 위치에 대한 결정(591)에 근거하여 자비들(550)과 통신한다. HAVi 환경에서 예를 들면, 제어기(제어 모듈(540))은 제어된 장치(장비(550))에 대한 호스트로써 동작하는 장치이다. 제어기는 제어된 장치에 대한 절대적인 표현을 주장한다. 제어 인터페이스는 절대적인 표현의 API를 통해 노출된다. 이 API는 장치를 제어하기 위한 애플리케이션에 대한 접속 지점이 된다. 제어기는 API를 통해 명령과 정보를 수신하고, 적절한 장치 명령을 결정한다. 제어된 장치는 결정된 명령의 수신에 응답하여 제어된 상태를 가정한다.2 shows an exemplary data flow diagram of a home control system in accordance with the present invention. The control module 540 receives various sources to determine the appropriate command 541 and communicates with the mercy 550 based on a decision 591 about the location of one or more trackers 510. In an HAVi environment, for example, the controller (control module 540) is a device that acts as a host for the controlled device (equipment 550). The controller claims an absolute representation of the controlled device. The control interface is exposed through an absolute representation of the API. This API is the access point for the application to control the device. The controller receives commands and information through the API and determines the appropriate device commands. The controlled device assumes a controlled state in response to receiving the determined command.
양호한 실시예에서, 각각의 로케이터(590)는 그에 인접한 각각의 트랙커(510)의 모드 및 식별자를 결정한다. 트랙커(510)의 모드는 예를 들면, 수동 제어 모드, 대기 모드 및 자동화된 모드를 포함한다. 수동 제어 모드에서, 자동화된 작동은 제어 모드(540)에 의해 취해지지 않는다. 대비 모드에서, 트랙커가 각 지역에서 검출될 때 빛의 켜짐등의 원식적인 작동만이 제어 모듈(540)에 의해 영향을 받는다. 자동화된 모드에서, 모든 결정가능한 작동은 제어 모듈(540)에 의해 이루어진다. 제어 모듈(540)은, 상술한 바와 같이, 네트워크(50)의 구성(520) 및 환경(570), 규정된 규칙(530)뿐만 아니라 하나 이상의 유저 테스크 모듈(560)으로부터 제안(561)에 근거하여 얻어지는 적절한 작동을 결정한다. 양호한 실시예에서, 제어 모듈(540)은 특정 유저의 위치에 근거한 하나 이상의 제안을 요청하면서, 질의(546)를 유저 테스크 모듈(560)에 전달한다. 이 질의에 응답하여, 유저 테스크 모듈(560)은 없거나 그 보다 많은 제안된 작동(561)을 제어 모듈(540)에 전달한다. 제어 모듈(540)은 소망의 작동을 결정하여, 이러한 작동을 달성하기 위해 적절한 명령(541)을 장비(550)에 전달한다.In the preferred embodiment, each locator 590 determines the mode and identifier of each tracker 510 adjacent thereto. Modes of the tracker 510 include, for example, manual control mode, standby mode, and automated mode. In manual control mode, automated operation is not taken by control mode 540. In the contrast mode, only the primitive operation, such as turning on the light, when the tracker is detected in each zone is affected by the control module 540. In the automated mode, all determinable operations are made by the control module 540. The control module 540 is based on the proposal 561 from one or more user task modules 560 as well as the configuration 520 and environment 570 of the network 50, prescribed rules 530, as described above. Determine the proper operation obtained by In a preferred embodiment, the control module 540 forwards the query 546 to the user task module 560, requesting one or more suggestions based on the location of the particular user. In response to this query, the user task module 560 conveys to the control module 540 no or more suggested actions 561. The control module 540 determines the desired operation and sends appropriate instructions 541 to the equipment 550 to achieve this operation.
양호한 실시예에서, 각 장비(550)는 그 상태(551)를 네트워크(50)에 전달하고, 특히, 도 2에서 점선으로 설명된 제어 모듈(540)에 전달한다. 이 제어 모듈(540)은 소망의 작동이 달성되는 것을 확인하기 위해 이렇게 전달된 상태를 사용하여, 유저에 의해 직접적으로 실행되는 바와 같이, 장비에서 연속적인 조정을 결정한다. w에 모듈(540)이 지식 기초 또는 습득 기불을 포함하는 경우, 이러한 연속적인 조정은 상술한 바와 같이, 연속적인 자동의 작동을 결정하는데 사용된 결정 표준을 수정하기 위해 사용된다. 제어 모듈 작동 및 임의의 유저 제어 작동 또는 조정 및 발생한 각각의 시간은 히스토리 갱신(548)으로서 유저 테스크 모듈(560)에 전달된다. 각각의 유저 테스크 모듈(560)에 포함된 작동의 히스토리는 변하는 시간 및 위치에서 각 유저의 작동에 근거한 이들의 제안 및 결정 처리를 정의하기 위해 네트워크를 통해 제어 모듈 및 유저 모듈에 의해 사용될 수 있다.In a preferred embodiment, each piece of equipment 550 communicates its state 551 to the network 50 and, in particular, to the control module 540 described with dashed lines in FIG. 2. This control module 540 uses this transferred state to ensure that the desired operation is achieved, as determined directly by the user, to determine continuous adjustments in the equipment. If w module 540 includes a knowledge base or learning premise, this continuous adjustment is used to modify the decision criteria used to determine continuous automatic operation, as described above. The control module operation and each user control operation or adjustment and each time that has occurred is communicated to the user task module 560 as a history update 548. The history of the operations contained in each user task module 560 may be used by the control module and the user module over the network to define their proposal and decision processing based on the operation of each user at varying times and locations.
도 3에서 본 발명에 따른 홈 제어 시스템에서 도 2의 제어 모듈(540)에 대한 예시적인 흐름도를 도시한다. 단계(610)에서, 각 유저에 관련된 위치와 모드 데이터가 갱신된다. 이 갱신을 달성하기 위해 다양한 기술이 사용될 수 있다. 예를 들면, 제어 모듈(540)은 각각의 로케이터 모듈(590)이 유저/트랙커(510)의 도착 또는 출발을 보고할 때 연속적으로 갱신되는 데이터 베이스를 포함한다. 대안으로, 제어기 모듈(540)은 요청된바 대로 네트워크(50)의 각 로케이터 모듈(590)을 질의할 수 있다. 유저와 관련된 트랙커(510)의 모드가 변하는 경우, 유저의 상태가 단계(620)에서 갱신된다. 일반적으로 트랙커(510)는 상술한 수동, 대기 및 자동화된 모드 뿐만 아니라 다른 사용자가 선택가능한 모드(예를 들면, 작동, 정지, 로맨틱등의 모드)를 포함하는 다수의 모드를 구비한다. 모든 제어 모드가 다양한 트랙커 모드를 처리하기 위한 성능을 갖는 것은 아니다. 단계(620)에서는 가능한 트랙커 모드로부터 특정 제어 모듈(540)에 의해 지원되는 상태로 변환된다.3 shows an exemplary flow diagram for the control module 540 of FIG. 2 in a home control system in accordance with the present invention. In step 610, location and mode data associated with each user is updated. Various techniques can be used to achieve this update. For example, the control module 540 includes a database that is continuously updated when each locator module 590 reports the arrival or departure of the user / tracker 510. Alternatively, controller module 540 may query each locator module 590 of network 50 as requested. If the mode of the tracker 510 associated with the user changes, the user's state is updated at step 620. In general, the tracker 510 has a number of modes, including the manual, standby, and automated modes described above, as well as modes selectable by other users (eg, modes such as run, stop, romantic, etc.). Not all control modes have the capability to handle various tracker modes. In step 620 the transition from the possible tracker mode to the state supported by the particular control module 540.
식별된 유저가 보고된 위치에서 새롭게오착(625)하거나 새롭게 출발(635)하는 경우, 제어 모듈(540)은 단계(630,640)에서 유저 테스크 모듈(560)에 질의하여, 도착 또는 출발에 응답하여 얻어진 선호하는 작동에서처럼 제안한다. 또한, 단계(645)에서 환경(570)이 변하는 경우, 유저 테스크 모듈(560)은 단계(650)에서 제안된 작동에 대해 다시 질의된다. 양호한 실시예에서, 모든 규칙 및 유저 선호도는 시간 의존성을 식별하기 위해 처리되며, 환경(570)은 식별된 의존성의 각 시간에서 변화되도록 실행된다. 환경(570)은 빛 또는 움직임 센서등의 외부센터가 변화를 보고할 때마다 변화하도록 실행된다.If the identified user is a new arrival 625 or a new departure 635 at the reported location, the control module 540 queries the user task module 560 at steps 630 and 640 to obtain the response in response to arrival or departure. Suggest as in preferred operation. In addition, if the environment 570 changes in step 645, the user task module 560 is queried again for the proposed operation in step 650. In the preferred embodiment, all rules and user preferences are processed to identify time dependencies, and environment 570 is executed to change at each time of the identified dependencies. The environment 570 is implemented to change whenever an external center, such as a light or motion sensor, reports a change.
유저 테스크 모듈(560)로부터 유저 특정 제안을 수신한 이후, 제어 모듈(540)은 단계(660)에서, 상술한 바와 같이, 이 유저 또는 다른 유저의 위치 및 상태 뿐만 아니라 이 유저에 관련된 환경 및 규칙과 이러한 제안에 근거하여 얻어지는 적절한 작동을 결정한다. 단계(665)에서, 결정된 작동은 이 제어 모듈(540)의 즉각적인 제어로 장비(550)에 적용할 수 있고, 작동은 단계(670)에서 이 작동을 달성하기 위해 장비 명령으로 전환되어, 단계(672)에서 제어된 장비에 전달된다. 단계(665)에서, 제어 모듈(540)이 제 2 제어 롤(control role)에 있는 경우, 예를 들면, 분포된 제어 시스템내에 여분의 제어기로써 사용될 때, 제어 모듈(540)은 그 결정된 작동을 영향을 받는 장비 각각이 직접적으로 제어되는 각각의 다른 제어 모듈에 전달된다. 상술한 바와 같이, 분포된 제어기들 사이에서 논의된 해결책에 대한 기술들은 주 제어기가 비동작상태로 결정되면 제 2 제어에 직접 제어를 할당하기 위한 프로토콜이 되는 바와 같이, 본 기술 분야에서는 일반적인 것이다. 결정된 작동 또는 대응하는 장비 명령을 전달한 이후, 상술한 바와 같이, 히스토리 데이터가 단계(690)에서 갱신된다. 이 처리는 도 3의 단계(690)로부터 단계(610)로 다시 돌아가는 루프에 의해 지정된 바와 같이, 연속적으로 반복된다.After receiving the user specific proposal from the user task module 560, the control module 540, at step 660, as described above, as well as the location and status of this user or other users, as well as the environment and rules associated with this user. And the appropriate operation to be obtained based on these suggestions. In step 665, the determined operation may be applied to the equipment 550 with immediate control of this control module 540, and the operation is converted to equipment instructions to achieve this operation in step 670, At 672, the control is passed to the controlled equipment. In step 665, when the control module 540 is in a second control role, for example when used as a redundant controller in a distributed control system, the control module 540 performs the determined operation. Each affected equipment is delivered to each other control module that is directly controlled. As discussed above, the techniques for the solutions discussed among distributed controllers are common in the art, as are the protocols for assigning control directly to the second control when the primary controller is determined to be inactive. After passing the determined operation or corresponding equipment command, as described above, historical data is updated at step 690. This process is repeated continuously, as indicated by the loop from step 690 of FIG. 3 back to step 610.
계속해서 본 발명의 원리를 설명한다. 따라서, 본 기술 분야의 통상의 지식을 가진자들은 본 명세서에 명확히 도시되거나 설명되지는 않았지만, 본 발명의 정신과 범위내에서 본 발명의 원리를 사용하여, 다양한 장치를 고안할 수도 있음은 물론이다. 예를 들면, 코펜딩 미국 특허 출원(Yevgeny Shteyn에 의해 98년 11월 10일 출원된 제 09/189,535호, attorney docket PHA23,527의 발명의 명칭이 "Upgrading of Synergetic Aspects of Home Networks")은 본원에 참고 사항으로 병합되어, 네트워크상의 장비의 발명에 근거하여 네트워크상에 배치된 장비의 시너지를 강화하는 방법을 개시한다. 상기 출원을 이용하여, 구성 모듈(312)은 다른 장비들 또는 성능이 네트워크에 부가될 때 제어 모듈에서 이용가능한 기능을 재 설정할 수 있다. 이러한 방식에서, 제어 장비에 대한 규칙은 각 영역의 트랙커에서의 시작 또는 도착에 제한되지 않는다. 예를 들면, 홈 네트워크(50)의 장비 중 하나가 움직임 검출기가 될 수 있고, 다른 하나의 장비는 경보 장치가 될 수 있다. 홈 네트워크(50)에서의 제어 모듈은 움직임 검출기가 특정 지역내에서 움직임을 보고하는 경우, 경보 장치가 동작하도록 구성될 수 있다. 이 방식처럼, 본 발명에 따른 제어 시스템의 동작은 다른 자동화 시스템에 결합되거나 집적화될 수 있다. 예를 들면, 코펜딩 미국 특허 출원(Doreen Cheng 에 의해 98년 19월 21일 출원된 09/176,171의 대리인 서류 번호 PHA 23,503의 발명의 명칭이 "Distributed Software Controlled Theft Detection")은 본원에 병합되어, 분포된 네트워크를 통해 홈 또는 사무실내에서 특성을 보호하는 방법을 개시하고 있다. 이 동일한 네트워크는 본원에 개시된 원리에 따라 위치 의존 보안 및 제어 성능을 제공하기 위해 사용될 수 있다.Subsequently, the principle of the present invention will be described. Thus, those of ordinary skill in the art, although not explicitly shown or described herein, of course, it is also possible to devise a variety of devices, using the principles of the invention within the spirit and scope of the invention. For example, the co-pending US patent application No. 09 / 189,535, filed November 10, 98, issued by Yevgeny Shteyn, attorney docket PHA23,527, entitled "Upgrading of Synergetic Aspects of Home Networks" Which is incorporated herein by reference, discloses a method for enhancing the synergy of equipment deployed on a network based on the invention of the equipment on the network. Using this application, configuration module 312 can reset the functionality available in the control module when other equipment or capabilities are added to the network. In this way, the rules for the control equipment are not limited to starting or arriving at the trackers in each area. For example, one of the equipment of the home network 50 may be a motion detector, and the other equipment may be an alarm device. The control module in the home network 50 may be configured to activate the alerting device when the motion detector reports a movement within a particular area. In this way, the operation of the control system according to the invention can be combined or integrated with other automation systems. For example, the co-pending US patent application (named “Distributed Software Controlled Theft Detection” of the invention in Agent Document No. PHA 23,503, filed 09 / 176,171, filed 19.19.98 by Doreen Cheng) is incorporated herein, A method of protecting a property in a home or office through a distributed network is disclosed. This same network can be used to provide location dependent security and control capabilities in accordance with the principles disclosed herein.
도 1 및 도 2의 홈 제어 시스템의 구성 및 기능적인 구획은 단지 설명할 목적으로 표시하였다. 본 기술의 통상의 지식을 가진자들에게는 명백하듯이, 예를 들면, 트랙커(10)는 GPS 또는 다른 위치 결정 기술을 사용하여 네트워크(50)에 적접적으로 그 위치를 전달하도록 구성될 수 있다. 이러한 방식처럼, 유저 테스크 모듈 및 제어 모듈의 기능은 단일 모듈에 집적화될 수 있다. 본 발명의 원리는 하드웨어, 소프트웨어 또는 이들의 조합체 내에 삽입될 수 있다. 예를 들면, 유저 테스크 모듈은 소프트웨어 애플리케이션 및 메모리 장치가 될 수 있는 반면, 제어 모듈은 특정 목적 하드웨어 구성 성분으로써 실행될 수 있다. 이러한 대안의 구조 및 그 밖의 최적화 기술은 본 명세서에 기술된 원리를 참조하면 본 기술 분야의 통상의 지식을 가진자들에는 명백하게 될 것이다.The configuration and functional compartments of the home control system of FIGS. 1 and 2 are shown for illustrative purposes only. As will be apparent to those of ordinary skill in the art, for example, the tracker 10 may be configured to communicate its location directly to the network 50 using GPS or other location determination techniques. . In this manner, the functions of the user task module and the control module can be integrated into a single module. The principles of the present invention may be embedded in hardware, software or a combination thereof. For example, the user task module can be a software application and a memory device, while the control module can be implemented as a particular purpose hardware component. Such alternative structures and other optimization techniques will become apparent to those of ordinary skill in the art with reference to the principles described herein.
Claims (12)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US22240398A | 1998-12-29 | 1998-12-29 | |
US09/222,403 | 1998-12-29 | ||
PCT/EP1999/010197 WO2000039964A1 (en) | 1998-12-29 | 1999-12-17 | Home control system with distributed network devices |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20010041425A true KR20010041425A (en) | 2001-05-15 |
Family
ID=22832035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020007009560A KR20010041425A (en) | 1998-12-29 | 1999-12-17 | Home control system with distributed network devices |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1057302A1 (en) |
JP (1) | JP2002534841A (en) |
KR (1) | KR20010041425A (en) |
WO (1) | WO2000039964A1 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100437796B1 (en) * | 2002-04-01 | 2004-06-30 | 엘지전자 주식회사 | united control kit of home network system |
KR100728021B1 (en) * | 2005-01-07 | 2007-06-13 | 삼성전자주식회사 | Method and system for ranking tasks made available by devices in a network |
KR100754521B1 (en) * | 2005-02-22 | 2007-09-03 | 삼성전자주식회사 | How to provide information in home network system and home network system |
KR101056028B1 (en) * | 2005-07-14 | 2011-08-10 | 주식회사 케이티 | Service management device for knowledge-based home network service |
US8028283B2 (en) | 2006-03-20 | 2011-09-27 | Samsung Electronics Co., Ltd. | Method and system for automated invocation of device functionalities in a network |
US8069422B2 (en) | 2005-01-10 | 2011-11-29 | Samsung Electronics, Co., Ltd. | Contextual task recommendation system and method for determining user's context and suggesting tasks |
US8099313B2 (en) | 2004-09-22 | 2012-01-17 | Samsung Electronics Co., Ltd. | Method and system for the orchestration of tasks on consumer electronics |
US8185427B2 (en) | 2004-09-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Method and system for presenting user tasks for the control of electronic devices |
US8205013B2 (en) | 2005-05-02 | 2012-06-19 | Samsung Electronics Co., Ltd. | Method and system for aggregating the control of middleware control points |
US8412554B2 (en) | 2004-09-24 | 2013-04-02 | Samsung Electronics Co., Ltd. | Method and system for describing consumer electronics using separate task and device descriptions |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002017566A1 (en) * | 2000-08-23 | 2002-02-28 | Koninklijke Philips Electronics N.V. | Communication system and device |
JP2002281574A (en) * | 2001-03-15 | 2002-09-27 | Sharp Corp | Equipment control method, equipment controller, operating situation acquiring device, equipment control system, program and computer-readable recording medium recorded with program |
AU2002353303A1 (en) | 2002-01-08 | 2003-07-24 | Koninklijke Philips Electronics N.V. | Controlling application devices simultaneously |
EP2043326A3 (en) * | 2002-02-14 | 2009-04-22 | Avaya Technology Corp. | Presence tracking and name space interconnection techniques |
US7298871B2 (en) * | 2002-06-07 | 2007-11-20 | Koninklijke Philips Electronics N.V. | System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment |
US8116889B2 (en) | 2002-06-27 | 2012-02-14 | Openpeak Inc. | Method, system, and computer program product for managing controlled residential or non-residential environments |
US7933945B2 (en) | 2002-06-27 | 2011-04-26 | Openpeak Inc. | Method, system, and computer program product for managing controlled residential or non-residential environments |
US6792323B2 (en) * | 2002-06-27 | 2004-09-14 | Openpeak Inc. | Method, system, and computer program product for managing controlled residential or non-residential environments |
EP1388985A1 (en) * | 2002-08-06 | 2004-02-11 | Sony International (Europe) GmbH | Method and system for handling e-mail tasks within a HAVi system based home network |
US7023980B2 (en) | 2002-12-04 | 2006-04-04 | Avaya Technology Corp. | Outbound dialing decision criteria based |
US7987489B2 (en) | 2003-01-07 | 2011-07-26 | Openpeak Inc. | Legacy device bridge for residential or non-residential networks |
US7474741B2 (en) | 2003-01-20 | 2009-01-06 | Avaya Inc. | Messaging advise in presence-aware networks |
KR20040080663A (en) * | 2003-03-12 | 2004-09-20 | 삼성전자주식회사 | Private network system having a function of ubquitous service and a method processing thereof |
KR100513292B1 (en) * | 2003-04-16 | 2005-09-09 | 삼성전자주식회사 | Method And System for Composing Home-state Information in Home Network |
KR100606760B1 (en) * | 2003-07-07 | 2006-07-31 | 엘지전자 주식회사 | Home Network System and its Control Method According to User Reservation |
US7064675B2 (en) | 2003-08-15 | 2006-06-20 | Microsoft Corporation | Context-sensitive remote controls |
US20050108091A1 (en) * | 2003-11-14 | 2005-05-19 | John Sotak | Methods, systems and computer program products for providing resident aware home management |
EP1707005A1 (en) * | 2004-01-09 | 2006-10-04 | Koninklijke Philips Electronics N.V. | Using a presence status in a media-on-demand system |
US9398152B2 (en) | 2004-02-25 | 2016-07-19 | Avaya Inc. | Using business rules for determining presence |
US20050235329A1 (en) * | 2004-04-19 | 2005-10-20 | Broadcom Corporation | Systems and methods for integrated control within a home entertainment system |
FR2872986A1 (en) * | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | METHOD FOR CODING AND REPRODUCING AUDIOVISUAL OR RADIO DOCUMENTS AND DEVICE IMPLEMENTING THE METHOD |
JP2006033646A (en) | 2004-07-20 | 2006-02-02 | Sony Corp | Information processing system, information processing method, and computer program |
JP4470650B2 (en) * | 2004-08-30 | 2010-06-02 | パナソニック株式会社 | Network control terminal equipment |
JP2006079509A (en) * | 2004-09-13 | 2006-03-23 | Kyocera Mita Corp | Power saving management device |
JP5055769B2 (en) * | 2005-05-23 | 2012-10-24 | ソニー株式会社 | Content display / playback system, content display / playback method, recording medium, and operation control apparatus |
JP2006345139A (en) * | 2005-06-08 | 2006-12-21 | Matsushita Electric Ind Co Ltd | Network control information equipment system for home electric appliance |
KR100743963B1 (en) | 2005-12-08 | 2007-07-30 | 한국전자통신연구원 | System and Method for Context-Aware Service |
JP4872360B2 (en) * | 2006-01-23 | 2012-02-08 | パナソニック電工株式会社 | Remote control system |
KR100755710B1 (en) | 2006-05-16 | 2007-09-05 | 삼성전자주식회사 | Apparatus and method for performing tasks |
WO2007144020A1 (en) * | 2006-06-12 | 2007-12-21 | T-Cos Solutions Gmbh | Method and modular system for controlling and/or testing of distributed resources |
US8842818B2 (en) | 2006-06-30 | 2014-09-23 | Avaya Inc. | IP telephony architecture including information storage and retrieval system to track fluency |
JP4986739B2 (en) * | 2007-06-27 | 2012-07-25 | キヤノン株式会社 | Content reproduction apparatus and information processing method |
US10671600B1 (en) | 2007-07-24 | 2020-06-02 | Avaya Inc. | Communications-enabled dynamic social network routing utilizing presence |
WO2009153708A1 (en) * | 2008-06-18 | 2009-12-23 | Koninklijke Philips Electronics N. V. | Programming system and method for programming an interactive system |
KR20100065812A (en) * | 2008-12-09 | 2010-06-17 | 한국전자통신연구원 | Apparatus for operating home network by using building construction drawing and method thereof |
US9213324B2 (en) | 2009-06-30 | 2015-12-15 | Koninklijke Philips N.V. | Systems and methods for managing interaction with controllable lighting networks |
ES2930370T3 (en) | 2009-10-08 | 2022-12-09 | Delos Living Llc | LED lighting system |
US8725828B2 (en) * | 2011-07-19 | 2014-05-13 | Nokia Corporation | Method, apparatus, and computer program product for recommending interaction between devices in a local environment |
DE102011052467B4 (en) * | 2011-08-08 | 2014-12-04 | tado GmbH | USER CONDITION AND BEHAVIOR BASED CONTROL SYSTEM AND METHOD FOR BUILDING TECHNICAL SYSTEMS AND COMPONENTS |
US9715242B2 (en) | 2012-08-28 | 2017-07-25 | Delos Living Llc | Systems, methods and articles for enhancing wellness associated with habitable environments |
CN104718724B (en) * | 2012-10-17 | 2019-07-23 | 飞利浦灯具控股公司 | Allow control over shared systems |
EP2955815A4 (en) * | 2013-02-05 | 2016-11-09 | Mitsubishi Electric Corp | Home-use power command device and home-use power control system |
EP3042309A4 (en) * | 2013-09-06 | 2017-04-26 | Hewlett-Packard Enterprise Development LP | Managing a sensory factor |
CA2940766A1 (en) | 2014-02-28 | 2015-09-03 | Delos Living Llc | Systems, methods and articles for enhancing wellness associated with habitable environments |
US9704113B2 (en) | 2014-05-02 | 2017-07-11 | Qualcomm Incorporated | Method and apparatus for setting user preferences or device configuration |
US9860076B2 (en) | 2014-05-07 | 2018-01-02 | Vivint, Inc. | Home automation via voice control |
KR102269473B1 (en) * | 2014-10-24 | 2021-06-28 | 삼성전자주식회사 | Control device, controlling method thereof, and integrated control system |
US9554267B2 (en) | 2014-11-21 | 2017-01-24 | Facebook, Inc. | Techniques to associate user data with a mobile device |
EP3024199B1 (en) * | 2014-11-21 | 2019-12-11 | Facebook, Inc. | Method, storage media, system and program product for associating user data with a mobile device |
EP3245631A4 (en) | 2015-01-13 | 2018-06-27 | Delos Living, LLC | Systems, methods and articles for monitoring and enhancing human wellness |
KR102516111B1 (en) | 2016-02-24 | 2023-03-30 | 삼성전자주식회사 | Server and controlling user environment method of electronic device using electronic device and at least one smart device |
KR102724371B1 (en) * | 2016-06-12 | 2024-11-01 | 애플 인크. | User interface for managing controllable external devices |
DK179593B1 (en) | 2016-06-12 | 2019-02-25 | Apple Inc. | User interface for managing controllable external devices |
US11338107B2 (en) | 2016-08-24 | 2022-05-24 | Delos Living Llc | Systems, methods and articles for enhancing wellness associated with habitable environments |
KR20180102870A (en) * | 2017-03-08 | 2018-09-18 | 엘지전자 주식회사 | Electronic device and method for controlling the same |
WO2019046580A1 (en) | 2017-08-30 | 2019-03-07 | Delos Living Llc | Systems, methods and articles for assessing and/or improving health and well-being |
US11005900B2 (en) * | 2017-09-18 | 2021-05-11 | Microsoft Technology Licensing, Llc | Notifications to all devices to update state |
EP4332933A1 (en) | 2018-05-07 | 2024-03-06 | Apple Inc. | User interfaces for viewing live video feeds and recorded video |
WO2020055872A1 (en) | 2018-09-14 | 2020-03-19 | Delos Living Llc | Systems and methods for air remediation |
US11844163B2 (en) | 2019-02-26 | 2023-12-12 | Delos Living Llc | Method and apparatus for lighting in an office environment |
WO2020198183A1 (en) | 2019-03-25 | 2020-10-01 | Delos Living Llc | Systems and methods for acoustic monitoring |
US11363071B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User interfaces for managing a local network |
US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4321304A1 (en) * | 1993-06-26 | 1995-03-02 | Domarkas Brigitte | System for controlling and/or monitoring devices |
US5555376A (en) * | 1993-12-03 | 1996-09-10 | Xerox Corporation | Method for granting a user request having locational and contextual attributes consistent with user policies for devices having locational attributes consistent with the user request |
US5630159A (en) * | 1994-12-29 | 1997-05-13 | Motorola, Inc. | Method and apparatus for personal attribute selection having delay management method and apparatus for preference establishment when preferences in a donor device are unavailable |
-
1999
- 1999-12-17 EP EP99965516A patent/EP1057302A1/en not_active Withdrawn
- 1999-12-17 KR KR1020007009560A patent/KR20010041425A/en not_active Application Discontinuation
- 1999-12-17 WO PCT/EP1999/010197 patent/WO2000039964A1/en not_active Application Discontinuation
- 1999-12-17 JP JP2000591754A patent/JP2002534841A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100437796B1 (en) * | 2002-04-01 | 2004-06-30 | 엘지전자 주식회사 | united control kit of home network system |
US8099313B2 (en) | 2004-09-22 | 2012-01-17 | Samsung Electronics Co., Ltd. | Method and system for the orchestration of tasks on consumer electronics |
US8185427B2 (en) | 2004-09-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Method and system for presenting user tasks for the control of electronic devices |
US8412554B2 (en) | 2004-09-24 | 2013-04-02 | Samsung Electronics Co., Ltd. | Method and system for describing consumer electronics using separate task and device descriptions |
KR100728021B1 (en) * | 2005-01-07 | 2007-06-13 | 삼성전자주식회사 | Method and system for ranking tasks made available by devices in a network |
US8510737B2 (en) | 2005-01-07 | 2013-08-13 | Samsung Electronics Co., Ltd. | Method and system for prioritizing tasks made available by devices in a network |
US8069422B2 (en) | 2005-01-10 | 2011-11-29 | Samsung Electronics, Co., Ltd. | Contextual task recommendation system and method for determining user's context and suggesting tasks |
KR100754521B1 (en) * | 2005-02-22 | 2007-09-03 | 삼성전자주식회사 | How to provide information in home network system and home network system |
US8205013B2 (en) | 2005-05-02 | 2012-06-19 | Samsung Electronics Co., Ltd. | Method and system for aggregating the control of middleware control points |
KR101056028B1 (en) * | 2005-07-14 | 2011-08-10 | 주식회사 케이티 | Service management device for knowledge-based home network service |
US8028283B2 (en) | 2006-03-20 | 2011-09-27 | Samsung Electronics Co., Ltd. | Method and system for automated invocation of device functionalities in a network |
Also Published As
Publication number | Publication date |
---|---|
EP1057302A1 (en) | 2000-12-06 |
WO2000039964A1 (en) | 2000-07-06 |
JP2002534841A (en) | 2002-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20010041425A (en) | Home control system with distributed network devices | |
US11991504B2 (en) | System and method for providing user location-based multi-zone media | |
US11671662B2 (en) | Methods and systems for controlling media display in a smart media display environment | |
US11011168B2 (en) | Compact speaker device | |
CN108022590B (en) | Focused session at a voice interface device | |
EP1851596B1 (en) | Home appliance identification and control in a networked environment | |
US7627098B2 (en) | Intelligent management apparatus and method of digital home network system | |
JP5634964B2 (en) | Method, system and computer program product for automatically managing components in a controlled environment | |
WO2005047996A2 (en) | Home appliance control system and methods in a networked environment | |
CN108141638A (en) | For the method and system exported based on the automatic media of user's degree of closeness | |
US12143456B2 (en) | System and method for selecting and providing zone-specific media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20000828 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
PC1203 | Withdrawal of no request for examination | ||
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |