KR101349540B1 - 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 - Google Patents
홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR101349540B1 KR101349540B1 KR1020120017916A KR20120017916A KR101349540B1 KR 101349540 B1 KR101349540 B1 KR 101349540B1 KR 1020120017916 A KR1020120017916 A KR 1020120017916A KR 20120017916 A KR20120017916 A KR 20120017916A KR 101349540 B1 KR101349540 B1 KR 101349540B1
- Authority
- KR
- South Korea
- Prior art keywords
- home network
- situation
- network device
- service
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000019771 cognition Effects 0.000 title 1
- 238000013507 mapping Methods 0.000 claims description 7
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Selective Calling Equipment (AREA)
Abstract
본 발명은 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템에 있어서, 적어도 하나 이상의 홈 네트워크 기기와, 홈 네트워크 내에 무작위로 분산되어 오브젝트의 명령, 상태 및 주변 환경 이벤트를 모니터링하여 출력하는 다수의 센서 노드와, 상기 홈 네트워크 기기 및 다수의 센서 노드와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 등록하고 하기의 상황인지 관리 서버에 전달하는 홈 네트워크 서버와, 상기 홈 네트워크 서버로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 상황인지 관리 서버를 포함함을 특징으로 한다.
Description
본 발명은 스마트 홈 네트워크에 관한 것으로, 보다 상세하게는 상기 홈 네트워크 내 다수의 구성원들에게 능동적이면서도 개별적이고 차별적인 상황 인지 서비스를 제공하기 위한 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법에 관한 것이다.
스마트 홈 기술은 유무선 통신과 디지털 정보 기기를 기반으로 홈네트워킹과 인터넷 정보가전을 이용해 언제(Anytime), 어디서(Any-device)로도 컴퓨팅 이용이 가능한 유비쿼터스 환경을 가정 내에 실현해 "생활환경의 지능화, 환경친화적 주거생활, 삶의 질 혁신"을 추구하는 지능화 된 가정 내 생활환경, 주거 공간을 의미한다. 대표적인 스마트 홈 기술 분야는 모든 디지털 가전기기를 원격 제어할 수 있는 스마트 디지털 가전 AV 기술, 냉난방 습도 공기 자동관리를 위한 복합에너지 관리기능을 담당하는 스마트 홈 에너지 관리 기술, 노약자 장애인을 위한 주거설계와 가족 구성원에 대한 개인별 바이오 정보 측정을 담당하게 될 스마트 홈 헬스케어 기술, 생체인식보안과 동작 감지 센서등을 다루는 스마트홈 시큐리티 기술 등이 있다.
한편, 상황 인지 기술은 통신 및 컴퓨팅 능력을 가지고 주변 상황을 인식하고 판단하여 인간에게 유용한 정보를 제공하는 서비스 상황 정보는 사용자가 상호 작용을 하는 시점에 이용할 수 있는 모든 정보로서 사람, 객체의 위치, 식별, 활동 상태 등을 포함한다. 현실 세계의 모든 상황을 표현하는 기술적 수단을 제시하며, 이를 기반으로 상황 인식, 상황의 특징 추출, 학습, 추론 등의 지능화된 기법을 적용하여 인간 중심의 자율적인 서비스를 가능하게 한다. 달성하고자 하는 목표로 볼 때 유비쿼터스 컴퓨팅의 일부분으로 볼 수도 있으나 목표에 대한 접근 방법에 차이가 있다.
상기 스마트 홈을 구축하기 위해서는 홈 네트워크 기기별 상황 인지 기술 접목이 필요하다. 상황인식을 위해서는 사람, 객체의 위치, 식별, 활동, 상태 등의 정보를 수집하며 상황의 특징 추출, 학습, 추론 등의 지능화된 기법을 적용해야하기 때문에 컴퓨팅 리소스의 소모가 크다.
따라서 각각의 홈 네트워크 기기에 독립적인 상황인지 모듈이 탑재되는 것은 제품 단가를 높이고 컴퓨팅 파워를 낭비하는 문제점이 발생한다.
따라서 본 발명은 홈 네트워크 내 다수의 구성원들에게 능동적이면서도 개별적이고 차별적인 상황 인지 서비스를 제공하기 위한 것으로, 홈 네트워크 기기를 제어하며 상기 홈 네트워크 내 사용자, 기기, 기기의 위치, 식별, 활동, 상태 등에 모델과 상기 모델을 기반으로 한 추론 룰이 설정된 홈 네트워크 서버로부터 정보를 수신하는 상황 인지 관리 서버에서 사용자를 대신해서 사용자가 원하는 서비스를 현재 상황에 맞게 자동적으로 제공하고자 한다.
본 발명의 일 견지에 따르면, 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템에 있어서, 적어도 하나 이상의 홈 네트워크 기기와, 홈 네트워크 내에 무작위로 분산되어 오브젝트의 명령, 상태 및 주변 환경 이벤트를 모니터링하여 출력하는 다수의 센서 노드와, 상기 홈 네트워크 기기 및 다수의 센서 노드와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 등록하고 하기의 상황인지 관리 서버에 전달하는 홈 네트워크 서버와, 상기 홈 네트워크 서버로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 상황인지 관리 서버를 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 있어서, 상기 홈 네트워크 내 무작위로 분산되어 있는 다수의 센서 노드를 통해 이벤트 발생 여부를 검색하는 과정과, 상기 이벤트 발생을 감지한 센서 노드와 무선으로 연결된 홈 네트워크 기기를 통해 이벤트가 발생된 홈 네트워크 영역에 위치하는 홈 네트워크 기기를 제어하는 과정과, 기 등록된 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 출력하는 과정과, 상기 이벤트가 발생된 홈 네트워크 영역에 위치하는 홈 네트워크 기기로부터 추론 데이터 서비스 요청을 수신하는 과정과, 상기 홈 네트워크 서버로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 과정을 포함함을 특징으로 한다.
본 발명은 홈 네트워크 기기로부터 추론 데이터 서비스 요청이 수신되거나, 상기 홈 네트워크 이벤트가 발생되면 이를 기반으로 상기 룩-업 테이블과 대조하여 현재 상황을 추론함으로써 홈 네트워크 환경에 속해 있는 사용자의 행동 및 상황정보의 인식 및 추론을 통해 사용자의 요청 없이 사용자 처한 상황에 해당하는 홈 네트워크 서비스를 인공 지능적으로 제공 가능할 뿐만 아니라, 상기 룩-업 테이블을 통해 우선순위 및 프라이버시를 고려하여 서비스의 충돌을 방지하고, 다중 사용자에 대한 서비스 제공의 문제점을 보완하여 다양한 정적 패턴의 서비스가 필요한 공간이나 위치인식에 따른 서비스 제공이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템을 도시한 전체 개략도.
도 2는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템의 구성을 보여주는 블록도.
도 3은 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 관한 흐름도.
도 4는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에서 상황인지 관리 서버 동작에 관한 흐름도.
도 5는 실제 센서에서 측정된 값을 할당한 상태를 표현한 모델들을 도시한 예시도.
도 6은 본 발명의 일 실시 예에 따른 홈 네트워크 내 온톨로지 모델들을 온톨로지의 클래스로 지정하고, 기기별 속성(property)을 기설정된 항목별 인디비주얼로 분류하여 지정한 트리.
도 2는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템의 구성을 보여주는 블록도.
도 3은 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 관한 흐름도.
도 4는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에서 상황인지 관리 서버 동작에 관한 흐름도.
도 5는 실제 센서에서 측정된 값을 할당한 상태를 표현한 모델들을 도시한 예시도.
도 6은 본 발명의 일 실시 예에 따른 홈 네트워크 내 온톨로지 모델들을 온톨로지의 클래스로 지정하고, 기기별 속성(property)을 기설정된 항목별 인디비주얼로 분류하여 지정한 트리.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
먼저, 본 발명은 스마트 홈 네트워크에 관한 것으로, 보다 상세하게는 상기 홈 네트워크 내 다수의 구성원들에게 능동적이면서도 개별적이고 차별적인 상황 인지 서비스를 제공하기 위한 것으로, 홈 네트워크 기기를 제어하며 상기 홈 네트워크 내 사용자, 기기, 기기의 위치, 식별, 활동, 상태 등에 모델과 상기 모델을 기반으로 한 추론 룰이 설정된 홈 네트워크 서버로부터 정보를 수신하는 상황 인지 관리 서버에서 사용자를 대신해서 사용자가 원하는 서비스를 현재 상황에 맞게 자동적으로 제공하기 위하여 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동 기반 패턴에 해당하는 특성 동작을 항목별로 매핑하여 이를 룩-업 테이블(look-up table)화하여 상기 홈 네트워크 기기로부터 추론 데이터 서비스 요청이 수신되거나, 상기 홈 네트워크 이벤트가 발생되면 이를 기반으로 상기 룩-업 테이블과 대조하여 현재 상황을 추론함으로써 홈 네트워크 환경에 속해 있는 사용자의 행동 및 상황정보의 인식 및 추론을 통해 사용자의 요청 없이 사용자 처한 상황에 해당하는 홈 네트워크 서비스를 인공 지능적으로 제공 가능할 뿐만 아니라, 상기 룩-업 테이블을 통해 우선순위 및 프라이버시를 고려하여 서비스의 충돌을 방지하고, 다중 사용자에 대한 서비스 제공의 문제점을 보완하여 다양한 정적 패턴의 서비스가 필요한 공간이나 위치인식에 따른 서비스 제공이 가능한 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템에 관해 도 1을 참조하여 살펴보기로 한다.
도 1은 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템을 도시한 전체 개략도이다.
도 1을 참조하면, 본 발명이 적용된 시스템은 크게 방, 거실, DVD 방, 주방으로 나뉘어져 있고, 각 방에는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스가 제공된다. 예컨대, DVD 방에는 DVD가 제공되고, 거실에는 TV 및 프로젝터가 제공되며, 방에는 오디오와 PC가 제공되며, 또한 각 영역에는 조명이 적어도 하나 이상 설치되어 있다. 그리고 각 영역에는 센서 노드가 부착되어 있고, 도면에 도시되어 있지 않지만 상기 센서 노드는 동작 센서, 온도 센서, 출입문 감시 센서 등 다양한 센서를 포함하는 것으로, 이러한 센서 노드가 무작위로 분산되어 홈 네트워크 내 상태 및 주변 환경을 실시간으로 모니터링 한다.
후술할 본 발명의 실시에 따라서, 사용자가 특정 영역에 있을 때 상황인지 관리 서버(미도시)에서 미리 설정된 알고리즘(Algorithm)을 통해 상기 홈 네트워크 내 상태 및 주변 환경을 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행한다.
도 2는 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템의 구성을 보여주는 블록도이다.
본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템(200)은 홈 네트워크 기기(20, 21, 22)와, 다수의 센서 노드(25), 홈 네트워크 서버(210) 및 상황 인지 관리 서버(212)를 포함한다.
상기 다수의 센서 노드(25)는 홈 네트워크 내에 무작위로 분산되어 오브젝트의 명령, 상태 및 주변 환경 이벤트를 모니터링하여 출력한다. 예컨대, 출입문을 통해 출입하는 사용자 감지 이벤트, 거실, 주방 등에서 이동하는 사용자 움직임 감지 이벤트, 조명의 온/오프 및 조도 감지 이벤트이다.
상기 홈 네트워크 서버(210)은 홈 네트워크 기기(20, 21, 22) 및 다수의 센서 노드(25)와 무선으로 연결되어 상기 홈 네트워크 기기(20, 21, 22)를 제어하고, 상기 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 등록하고 상기 상황인지 관리 서버(212)에 전달한다.
이때, 상기 온톨로지 모델은 지식 표현의 자유성과 확장의 용이성 및 추론과 검색을 통해 쉽게 활용하기 위한 것으로, 본 발명의 일 실시 예에서는 각 홈 네트워크 기기별 수행 동작과 이를 기반으로 추론을 위한 규칙(rule) 및 상황(context) 등의 정보가 각 홈 네트워크 기기(20, 21, 22)를 제어하는 홈 네트워크 서버(210)에 등록된다.
상기 상황인지 관리 서버(212)는 홈 네트워크 서버(210)로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 것으로, 여기서 서비스는 사용자가 입력한 정보와 여러 가지 방법으로 인지된 주변의 상황정보들이 결합되어 사용자가 처한 상황에 맞게 사용자가 원하는 수준으로 조정되어 제공되는 상황인지 서비스를 의미한다.
즉, 상기 상황인지 관리 서버(212)는 홈 네트워크 내에서 발생 가능한 상황 정보나 사용자의 질의 또는 명령을 해석하고 의미를 부여하며, 이에 따른 결과를 상기 홈 네트워크 기기(20, 21, 22)가 이해할 수 있는 명령어로 변환하여 전송하여 서비스를 제공하는 것이다.
그리고 상기 상황인지 관리 서버(212)는 상기 다수의 센서 노드(25) 및 홈 네트워크 기기(20, 21, 22)로부터의 이벤트 발생, 센싱 값 혹은 추론 데이터 서비스 요청을 수집, 수신하고, 상기 센서 노드(25) 및 홈 네트워크 기기(20, 21, 22)로 추론 데이터 서비스를 실행하도록 하는 명령어를 전송하는 상황 정보 수집 및 전송부를 포함한다.
또한, 상기 상황인지 관리 서버(212)는 상기 홈 네트워크 서버(210)로부터 홈 네트워크 기기(20, 21, 22)별 온톨로지 모델과 상황 추론 규칙에 대한 정보를 입력받는 상황 정보관리 인터페이스부(218), 상기 상황 정보관리 인터페이스부(218)로부터 출력된 홈 네트워크 기기별 운용정보, 온톨로지 모델, 상황 추론 규칙 및 유저별 정보에 대한 정보를 저장하는 상황 정보 저장부(220)를 포함하는 상황 정보 관리부(216)와, 상기 홈 네트워크 기기(20, 21, 22)로부터 추론 데이터 서비스 요청이 수신되면, 상기 수신된 데이터로부터 추론에 필요한 상황 요소를 추출하여 상기 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동 기반 패턴에 해당하는 특성 동작이 항목별로 매핑된 룩-업 테이블(look-up table)과 대조하는 인디비주얼(individual) 매핑부(223)와, 상기 인디비주얼 매핑부(223)로부터 출력된 결과 데이터를 기반으로 미리 설정된 패턴으로 정형화하여 현재 상황을 추론 엔진(224)을 통해 추론하는 상황인지 추론부(226)를 포함하는 상황 정보 분석부(222)를 포함한다.
이때, 상기 룩-업 테이블은 홈 네트워크 기기별 예컨대, 에어콘일 경우 상기 에어콘이 주로 동작되는 특정 시간, 상기 에어콘이 주로 위치하는 공간 및 상기 에어콘 동작에 기반한 유저 별 원하는 동작 형태 예를 들어 'A'라는 유저는 평균 25도 유지, 'B'라는 유저는 평균 20도 이하 유지와 같은 유저별 패턴에 대한 정보 혹은 필요 정보가 항목별로 매핑된 것으로, 이를 기반으로 유저별 필요한 상황을 생성하거나 상황관계성을 도출하고, 유저별 질의 또는 명령에 대한 결과정보를 생성한다. 또한 새로운 유저의 행동패턴, 필요정보에 대한 요약, 추출 및 분류 등을 추가 가능하다.
또한, 상기 상황 정보 분석부(222)는 상기 홈 네트워크 기기(20, 21, 22)별 상황인지에 관련된 데이터들을 오브젝트와 관계로 정의하고, 도 6에 도시된 바와 같이, 상기 홈 네트워크 내 온톨로지 모델들을 온톨로지의 클래스로 지정하고, 기기별 속성(property)을 기설정된 항목별 인디비주얼로 분류하여 지정한다.
다시 말해, "센서", "가전기기", "장소"를 클래스로 둘 수 있고, 동작 감지 센서, 출입문 감시 센서는 상기 센서의 구체화된 인디비주얼(indivisual)이라고 할 수 있고, 홈 네트워크 기기들은 구체적으로 "조명", "TV", "냉장고" 등이 있을 수 있으며 이는 각각 보조 클래스가 될 수 있고, 세부 종류나 제조사에 따라서 인디비주얼로 구체화 될 수 있고, 장소는 집안에서도 "거실", "주방", "서재" 등으로 구분될 수 있고, 이 장소들은 센서나 홈 네트워크 기기가 설치될 수 있는 장소이며, 각 기기들의 위치를 표현하게 된다.
이때, 상기 각 센서들은 개별적으로 측정된 값을 가지고 있는데 이 값은 하나의 속성(property, 프로퍼티)으로 정의된다. 상기 동작 감지 센서에는 특정 동작이 감지되었을 때, 측정값이 발생할 것이고 출입문 감시 센서에서는 출입문이 열리거나 닫혔을 때 측정값이 발생할 것이다. 이러한 값을 "hasSensingValue" 프로퍼티로 표현할 수 있다. 이러한 측정값 외에도 센서별로 배치된 장소에 대한 프로퍼티도 갖는다. 이 프로퍼티는 "hasLocation"로 표현된다.
상기 홈 네트워크 기기(20, 21, 22)는 종류가 매우 다양하고 제조사별로 제공할 수 있는 기능도 다양하지만, 공통적으로 전원을 표현하는 프로퍼티를 가질 수 있으므로, 이러한 홈 네트워크 기기(20, 21, 22)도 배치되는 장소를 표현하는 "hasLocation" 프로퍼티를 갖는다.
장소는 홈 네트워크 기기(20, 21, 22)와 센서를 포함하게 되므로 "hasSensor", "hasApplication"라는 속성으로 그 관계를 표현한다.
위에 언급한 예시를 온톨로지로 표현하면 클래스와 인디비주얼, 프로퍼티로 구성된 모델이 나오고 상황추론을 위해서는 SWRL(Semantic Web Rule Language, 시멘틱 웹 규칙 언어) 기반의 규칙을 작성해야 한다. 상기 SWRL은 클래스들의 관계를 바탕으로 추론 규칙을 정의할 수 있으며, 이 클래스에 해당하는 인디비주얼이 추론 규칙에 해당하는 값을 가지게 되면 추론을 수행하게 되는 것이다. 즉, 인디비주얼의 데이터 타입 인디비주얼에 값을 할당해주어야 추론이 가능하다.
도 5는 실제 센서에서 측정된 값을 할당한 상태를 표현한 모델들을 도시한 예시도이다.
다시, 도 2의 설명으로 돌아와 상기 상황 정보 분석부(212)는 상황 정보 수집 및 전송부(214)를 통해 입력된 현재 센싱된 센서 노드의 센싱값을 미리 설정된 각 센서 노드의 임계정보 값과 비교하여 이벤트 발생 여부를 확인하고 상기 인디비주얼 매핑부(223)의 룩-업 테이블를 이용하여 추론된 현재 상황을 상기 홈 네트워크 기기로 전송한다.
일 예로 "A"라는 유저가 침실에 위치하고, 상기 "A"라는 유저의 움직임이 반경 1미터 이내로 미리 설정된 시간 내에서 제한적이며, 침실의 전등이 소등된 상태이고, 침실의 TV가 오프된 상태임이 감지되면 상기 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동 기반 패턴에 해당하는 특성 동작이 항목별로 매핑된 룩-업 테이블(look-up table)과 대조하여 이를 기반으로 현재 "A"라는 유저가 취침 중이라는 지식화된 상황정보를 추출한다.
이에 따라 상기 상황 정보 분석부(222)는 상기 센서 노드가 감지한 발생된 이벤트 타입에 따라 각 홈 네트워크 기기에 현재 상황 전송을 차등 적용 가능하다.
그리고 상술한 상기 상황인지 관리 서버(212)는 상기 홈 네트워크 기기(20, 21, 22), 다수의 센서 노드(25) 및 홈 네트워크 서버(210)가 해당 홈 네트워크 내에서 서로 연동되어 상황 정보를 요청하고 서비스를 이용하기 위한 상황 정보 수집 API(Applicaton Programming Interface), 상황 룰 관리 API, 서비스 등록 및 해제 API를 포함하는 다수의 API를 제공한다.
이상 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템의 구성을 살펴보았다.
이하에서는, 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 대해 도 3 내지 도 4를 참조하여 자세히 살펴보기로 한다.
먼저, 도 3은 본 발명의 일 실시 예에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 관한 흐름도이다.
도 3을 참조하면, 먼저 310 과정에서 홈 네트워크 내 기기별 초기화 310 과정을 거쳐, 312 과정에서 상기 홈 네트워크 내 이벤트 발생 여부를 확인하다. 이는 상기 홈 네트워크 내에 무작위로 분산되어 있는 다수의 센서 노드를 통해 수행 가능하며, 상기 다수의 센서 노드는 오브젝트의 명령, 상태 및 주변 환경 이벤트를 모니터링하여 출력한다. 예컨대, 출입문을 통해 출입하는 사용자 감지 이벤트, 거실, 주방 등에서 이동하는 사용자 움직임 감지 이벤트, 조명의 온/오프 및 조도 감지 이벤트이다.
상기 312 과정에서 이벤트가 감지된 경우 314 과정으로 이동하여 이벤트 발생을 감지한 센서 노드와 무선으로 연결될 홈 네트워크 기기를 통해 이벤트가 발생된 홈 네트워크 영역에 위치하는 홈 네트워크 기기를 제어한다.
이러한 314 과정의 동작은 상기 홈 네트워크 기기 및 다수의 센서 노드와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 등록하고 하기의 상황인지 관리 서버에 전달하는 홈 네트워크 서버에서 수행되는 것으로, 상기 홈 네트워크 서버는 특정 홈 네트워크 영역에서 특정 이벤트가 발생된 경우 우선 홈 네트워크 기기별 미리 설정된 속성 값으로 홈 네트워크 기기가 수행되도록 제어한 후, 316 과정으로 이동하여 기 등록된 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 상황인지 관리 서버로 출력한다.
또한, 이와 동시에 상기 홈 네트워크 내 기기는 홈 네트워크 서버로부터 동작 수행 명령을 받은 후 미리 설정된 속성 값으로 우선 자신의 동작을 수행한 후 상기 상황인지 관리 서버로 추론 데이터 서비스 요청을 전달한다.
318 과정에서 이를 수신한 상황인지 관리 서버는 미리 설정된 알고리즘을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변환경 특성에 따라 적응적으로 서비스를 수행한다.
즉, 다수의 센서 노드를 통해 이벤트가 발생된 영역, 사용자의 위치 인식 및 해당 이벤트 타입을 인지하고, 상기 인식된 정보를 컨텍스트 및 커멘드 정보로 분류하고, 이를 미리 설정된 패턴으로 정형화한다. 이때, 미리 설정된 패턴으로 정형화하는 과정은 미리 설정된 알고리즘을 통해 추론 및 해석함을 의미하고, 이를 룩-업 테이블과 비교하여 수행하는 것으로, 도 4에 도시된 바와 같다.
도 4를 참조하면, 먼저 410 과정에서 홈 네트워크 기기별 운용정보, 온톨로지 모델, 상황 추론 규칙 및 유저별 정보에 대한 정보를 저장한다.
412 과정에서는 상기 홈 네트워크 기기로부터 수신된 추론 서비스 요청 데이터로부터 추론에 필요한 상황요소를 추출한다. 예컨대, 서비스 요청을 한 해당 홈 네트워크 기기가 조명일 경우 현재 상황 즉, 낮과 밤, 특정 시간, 특정 공간 및 유저별 정보를 인지한다.
이후, 414 과정에서 상기 추출된 상황요소를 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동기반 패턴에 해당하는 특성 동작이 항목별로 매핑된 룩-업 테이블과 대조하여, 416 과정에서 상기 대조 결과 데이터를 기반으로 미리 설정된 패턴으로 정형화하여 현재 상황을 추론하여 해당 홈 네트워크 기기를 제어한다.
상기와 같이 본 발명에 따른 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법 및 시스템에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
110: 전력부 128: 에너지 관리 제어부
156: 운전모드 제어부 158: 부하 산출부
156: 운전모드 제어부 158: 부하 산출부
Claims (12)
- 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템에 있어서,
적어도 하나 이상의 홈 네트워크 기기와,
홈 네트워크 내에 무작위로 분산되어 오브젝트의 명령, 상태 및 주변 환경 이벤트를 모니터링하여 출력하는 다수의 센서 노드와,
상기 홈 네트워크 기기 및 다수의 센서 노드와 무선으로 연결되어 상기 홈 네트워크 기기를 제어하고, 상기 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 등록하고 하기의 상황인지 관리 서버에 전달하는 홈 네트워크 서버와,
상기 홈 네트워크 서버로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 상황인지 관리 서버를 포함하고,
상기 상황인지 관리 서버는,
상기 홈 네트워크 서버로부터 홈 네트워크 기기별 온톨로지 모델과 상황 추론 규칙에 대한 정보를 입력받는 상황 정보관리 인터페이스부와,
상기 상황 정보관리 인터페이스부로부터 출력된 홈 네트워크 기기별 운용정보, 온톨로지 모델, 상황 추론 규칙 및 유저별 정보에 대한 정보를 저장하는 상황 정보 저장부를 포함하는 상황 정보 관리부와,
상기 홈 네트워크 기기로부터 추론 데이터 서비스 요청이 수신되면, 상기 수신된 데이터로부터 추론에 필요한 상황 요소를 추출하여 상기 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동 기반 패턴에 해당하는 특성 동작이 항목별로 매핑된 룩-업 테이블(look-up table)과 대조하는 인디비주얼(individual) 매핑부와,
상기 인디비주얼 매핑부로부터 출력된 결과 데이터를 기반으로 미리 설정된 패턴으로 정형화하여 현재 상황을 추론 엔진을 통해 추론하는 상황인지 추론부를 포함하고,
상기 상황 정보 분석부는,
상기 홈 네트워크 기기별 상황인지에 관련된 데이터들을 오브젝트와 관계로 정의하고, 상기 홈 네트워크 내 오브젝트를 온톨로지의 클래스로 지정하고, 기기별 속성(property)을 기설정된 항목별 인디비주얼로 분류하여 지정하고,
상기 센서 노드의 임계정보 값과 현재 센싱된 센서 노드의 센싱값을 비교하여 이벤트 발생 여부를 확인하고 인디비주얼 매핑부의 룩-업 테이블를 이용하여 추론된 현재 상황을 상기 홈 네트워크 기기로 전송하고,
상기 발생된 이벤트 타입에 따라 각 홈 네트워크 기기에 현재 상황 전송을 차등 적용함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 상황인지 관리 서버는,
상기 홈 네트워크 기기, 다수의 센서 노드 및 홈 네트워크 서버가 해당 홈 네트워크 내에서 서로 연동되어 상황 정보를 요청하고 서비스를 이용하기 위한 상황 정보 수집 API(Applicaton Programming Interface), 상황 룰 관리 API, 서비스 등록 및 해제 API를 포함하는 다수의 API를 제공함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템. - 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법에 있어서,
상기 홈 네트워크 내 무작위로 분산되어 있는 다수의 센서 노드를 통해 이벤트 발생 여부를 검색하는 과정과,
상기 이벤트 발생을 감지한 센서 노드와 무선으로 연결된 홈 네트워크 기기를 통해 이벤트가 발생된 홈 네트워크 영역에 위치하는 홈 네트워크 기기를 제어하는 과정과,
기 등록된 홈 네트워크 기기별 특성 온톨로지(Ontology) 모델과 상황 추론 규칙에 대한 정보를 출력하는 과정과,
상기 이벤트가 발생된 홈 네트워크 영역에 위치하는 홈 네트워크 기기로부터 추론 데이터 서비스 요청을 수신하는 과정과,
상기 홈 네트워크 서버로부터 수신된 정보를 미리 설정된 알고리즘(Algorithm)을 통해 추론 및 해석하여 각 오브젝트에 대한 서비스 실행 및 주변 환경의 특성에 따라 적응적으로 서비스를 수행하는 과정을 포함하고,
상기 서비스를 수행하는 과정은,
상기 홈 네트워크 기기별 운용정보, 온톨로지 모델, 상황 추론 규칙 및 유저별 정보에 대한 정보를 저장하는 과정과,
상기 홈 네트워크 기기로부터 추론 데이터 서비스 요청이 수신되면, 상기 수신된 데이터로부터 추론에 필요한 상황 요소를 추출하는 과정과,
상기 추출된 상황 요소를 홈 네트워크 기기별 특정 시간, 특정 공간 및 유저별 행동 기반 패턴에 해당하는 특성 동작이 항목별로 매핑된 룩-업 테이블(look-up table)과 대조하는 과정과,
상기 대조 결과 데이터를 기반으로 미리 설정된 패턴으로 정형화하여 현재 상황을 추론하는 과정을 포함하고,
상기 룩-업 테이블은,
상기 홈 네트워크 기기별 상황인지에 관련된 데이터들을 오브젝트와 관계로 정의하고, 상기 홈 네트워크 내 오브젝트를 온톨로지의 클래스로 지정하고, 기기별 속성(property)을 기설정된 항목별 인디비주얼로 분류하여 지정됨을 특징으로 하고,
상기 발생된 이벤트 타입에 따라 각 홈 네트워크 기기에 현재 상황 전송을 차등 적용함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법. - 삭제
- 삭제
- 제7항에 있어서, 상기 이벤트 발생은,
상기 센서 노드의 임계정보 값과 현재 센싱된 센서 노드의 센싱값을 비교하여 검색됨을 특징으로 하는 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법. - 삭제
- 제7항에 있어서,
상기 룩-업 테이블를 이용하여 추론된 현재 상황을 상기 홈 네트워크 기기로 전송하는 과정을 더 포함함을 특징으로 하는 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120017916A KR101349540B1 (ko) | 2012-02-22 | 2012-02-22 | 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120017916A KR101349540B1 (ko) | 2012-02-22 | 2012-02-22 | 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130096455A KR20130096455A (ko) | 2013-08-30 |
| KR101349540B1 true KR101349540B1 (ko) | 2014-01-08 |
Family
ID=49219329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120017916A Expired - Fee Related KR101349540B1 (ko) | 2012-02-22 | 2012-02-22 | 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101349540B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180137706A (ko) | 2017-06-19 | 2018-12-28 | 홍익대학교세종캠퍼스산학협력단 | 무선 센서 자동 감지 기반의 홈자동화 제어 시스템 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101584600B1 (ko) * | 2014-03-27 | 2016-01-19 | (주)코콤 | 주변환경 연계형 복합센서 사물인터넷시스템 |
| KR101698184B1 (ko) * | 2014-08-08 | 2017-01-19 | 한국외국어대학교 연구산학협력단 | 홈 네트워크 가상화 장치 및 그 방법 |
| KR101684423B1 (ko) * | 2015-06-05 | 2016-12-08 | 아주대학교산학협력단 | 계층적 업무 네트워크 계획에 기반한 홈 네트워크 시스템 및 그 제어 방법 |
| KR102566607B1 (ko) * | 2015-07-08 | 2023-08-16 | 주식회사 케이티 | 온톨로지 지식 구조를 이용한 지능형 스마트 홈 시스템 및 방법 |
| JP6494466B2 (ja) * | 2015-08-06 | 2019-04-03 | 三菱電機株式会社 | 機器制御装置、機器制御システム、機器制御方法及び機器制御プログラム |
| KR102485645B1 (ko) * | 2016-04-06 | 2023-01-06 | 삼성전자주식회사 | 스마트 오브젝트의 태스크 기반 협업을 위한 분산 설계 온톨로지에 기반한 분산 사물인터넷 시스템 |
| WO2018105784A1 (ko) * | 2016-12-08 | 2018-06-14 | (주)온테스트 | 복수의 센서를 이용한 홈 에너지 관리 시스템 |
| KR102273367B1 (ko) * | 2018-12-28 | 2021-07-05 | 숙명여자대학교산학협력단 | 복합적인 IoT로 구성된 Super Things에서의 각 IoT의 기능을 새롭게 융합하고 복합 서비스를 만들기 위한 기법 |
| KR102312612B1 (ko) * | 2021-04-13 | 2021-10-14 | 한국건설기술연구원 | 홈 네트워크 시스템 및 그 데이터 통신방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100055173A (ko) * | 2008-11-17 | 2010-05-26 | 성균관대학교산학협력단 | 상황인식 컴퓨팅을 위한 상황인식 모델링 시스템 및 상황인식 모델링 방법 |
-
2012
- 2012-02-22 KR KR1020120017916A patent/KR101349540B1/ko not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100055173A (ko) * | 2008-11-17 | 2010-05-26 | 성균관대학교산학협력단 | 상황인식 컴퓨팅을 위한 상황인식 모델링 시스템 및 상황인식 모델링 방법 |
Non-Patent Citations (2)
| Title |
|---|
| ‘Enabling Context-aware Smart Home with Semantic Web Technologies’, International Journal of Assistive Robotics and Mechatronics, Vol.6 No.4 (2005)* |
| 'Enabling Context-aware Smart Home with Semantic Web Technologies', International Journal of Assistive Robotics and Mechatronics, Vol.6 No.4 (2005) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180137706A (ko) | 2017-06-19 | 2018-12-28 | 홍익대학교세종캠퍼스산학협력단 | 무선 센서 자동 감지 기반의 홈자동화 제어 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130096455A (ko) | 2013-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101349540B1 (ko) | 홈 네트워크 서비스 제어를 위한 상황인지 서비스 제공 시스템 및 방법 | |
| CN108983625B (zh) | 一种智能家居系统及服务生成方法 | |
| De Paola et al. | Intelligent management systems for energy efficiency in buildings: A survey | |
| US20200167834A1 (en) | Intelligent identification and provisioning of devices and services for a smart home environment | |
| US11353218B2 (en) | Integrated management method and system for kitchen environment using artificial intelligence | |
| US11483172B2 (en) | Integrated control method and system for home appliance using artificial intelligence | |
| Badica et al. | An Overview of Smart Home Environments: Architectures, Technologies and Applications. | |
| Cristea et al. | Context-aware environments for the internet of things | |
| CN101782768A (zh) | 一种基于上下文感知的智能家居系统 | |
| KR101126524B1 (ko) | 사용자 중심의 상황 인지 시스템, 이에 적합한 상황 정보 변환 방법 및 사례 기반 추론 방법 | |
| Lee et al. | Context-aware inference in ubiquitous residential environments | |
| Moreno et al. | The role of smart homes in intelligent homecare and healthcare environments | |
| KR20200087313A (ko) | 복합적인 IoT로 구성된 Super Things에서의 각 IoT의 기능을 새롭게 융합하고 복합 서비스를 만들기 위한 기법 | |
| Taiwo et al. | Smart home automation: taxonomy, composition, challenges and future direction | |
| Ming et al. | Automating smart Internet of Things devices in modern homes using context‐based fuzzy logic | |
| Szilagyi et al. | An intelligent system for smart buildings using machine learning and semantic technologies: A hybrid data-knowledge approach | |
| Žáček et al. | SBOnto: Ontology of smart building | |
| Fernández-Montes et al. | Software reference architecture for smart environments: Perception | |
| Shahi et al. | Naive Bayesian decision model for the interoperability of heterogeneous systems in an intelligent building environment | |
| Raj et al. | Real time complex event processing and analytics for smart building | |
| KR101767828B1 (ko) | 온톨로지를 이용한 맞춤형 홈 자동화 서비스 제공 방법 및 온톨로지를 이용한 상황인지 서비스 제공 시스템 | |
| Ghayvat et al. | Wellness protocol for smart homes: an integrated framework for ambient assisted living | |
| Cesta et al. | A semantic representation of sensor data to promote proactivity in home assistive robotics | |
| Che-Bin et al. | Research Article A Review on Smart Home based on Ambient Intelligence, Contextual Awareness and Internet of Things (IoT) in Constructing Thermally Comfortable and Energy Aware House | |
| Bouznad et al. | Context-aware monitoring agents for ambient assisted living applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120222 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130610 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20131223 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140102 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140102 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170103 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170103 Start annual number: 4 End annual number: 4 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20191013 |