[go: up one dir, main page]

KR100716834B1 - 패턴 트리 기반의 문자 인식 장치 및 방법 - Google Patents

패턴 트리 기반의 문자 인식 장치 및 방법 Download PDF

Info

Publication number
KR100716834B1
KR100716834B1 KR1020050065007A KR20050065007A KR100716834B1 KR 100716834 B1 KR100716834 B1 KR 100716834B1 KR 1020050065007 A KR1020050065007 A KR 1020050065007A KR 20050065007 A KR20050065007 A KR 20050065007A KR 100716834 B1 KR100716834 B1 KR 100716834B1
Authority
KR
South Korea
Prior art keywords
pattern
character
recognition
movement
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050065007A
Other languages
English (en)
Other versions
KR20070010444A (ko
Inventor
김홍우
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020050065007A priority Critical patent/KR100716834B1/ko
Publication of KR20070010444A publication Critical patent/KR20070010444A/ko
Application granted granted Critical
Publication of KR100716834B1 publication Critical patent/KR100716834B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 각종 기기의 기능 제어나 각종 정보 입력을 위한 사용자 동작에 대한 가속도 변화를 감지하여 움직임 패턴을 감지하고, 그 움직임 패턴을 정량화된 패턴 요소들로 구성된 패턴 트리와 비교하여 보다 정확한 사용자 움직임에 따른 문자 인식이 가능하도록 한 패턴 트리 기반의 문자 인식 장치 및 방법에 관한 것이다.
본 발명은 각종 전자통신기기에 문자 패턴 인식에 필요한 정량화된 패턴 요소들로 구성된 패턴 트리를 구현하고, 임의의 공간에서 이루어지는 사용자 동작에 따른 3차원 가속도 변화에 대응하는 움직임 패턴을 차례대로 감지하여 그 움직임 패턴과 패턴 트리를 비교하여 문자 패턴을 인식함으로써, 사용자 움직임에 대응하는 문자 인식의 정확성을 향상시킬 수 있게 된다.
또한, 본 발명은 정량화된 패턴 요소들로 구성된 패턴 트리를 기반으로 사용자 동작에 따라 감지되는 움직임 패턴에 대응하는 문자 패턴을 인식함으로써, 각종 기능 선택이나 정보 입력을 위한 사용자 동작에서 발생될 수 있는 수많은 움직임 패턴을 모두 감지하지 않고 정량화된 패턴 요소에 대응하는 움직임 패턴만을 감지하여 보다 정확하고 간소화된 문자 인식을 수행할 수 있게 된다.
가속도 감지, 움직임 패턴, 패턴 트리, 패턴 요소, 깊이, 문자 인식

Description

패턴 트리 기반의 문자 인식 장치 및 방법{Apparatus And Method For Pattern Tree Based Character Recognition}
도 1은 본 발명에 따른 패턴 트리 기반의 문자 인식 장치를 도시한 구성 블록도.
도 2는 본 발명에 따른 패턴 트리 기반의 문자 인식 장치의 동작을 설명하기 위한 순서도.
도 3은 도 2에 있어, 움직임 패턴에 대응하는 일련의 문자 패턴 인식 기능을 수행하는 상세한 절차를 설명하기 위한 동작 순서도.
도 4는 본 발명에서 사용자의 동작에 따라 입력되는 '25'라는 숫자를 인식하는데 있어, 차례대로 감지되는 움직임 패턴 및 그에 대응하는 패턴 정보의 입력 결과를 예시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 가속도 감지부 12 : 패턴 트리 저장부
13 : 동작 패턴 분석부 14 : 인식 패턴 메모리부
15 : 인식 결과 출력부
본 발명은 각종 전자통신기기에서의 문자 인식에 관한 것으로, 특히 기기의 기능 제어나 각종 정보 입력을 위한 사용자 동작에 대한 가속도 변화를 감지하여 움직임 패턴을 감지하고, 그 움직임 패턴을 정량화된 패턴 요소들로 구성된 패턴 트리와 비교하여 보다 정확한 사용자 움직임에 따른 문자 인식이 가능하도록 한 패턴 트리 기반의 문자 인식 장치 및 방법에 관한 것이다.
일반적으로, PCS 폰이나 셀룰러폰, PDA, 컴퓨터, 텔레비젼 등과 같은 각종 전자통신기기는 그 기능 제어나 각종 정보 입력을 위해 다양한 형태의 사용자 인터페이스를 필요로 하는데, 이러한 사용자 인터페이스의 종류에는 크게 키 버튼을 이용하는 방식과 특정 인식 기술을 이용하는 방식이 있다.
여기서, 키 버튼을 이용하는 방식은 기본적으로 키 버튼에 구비된 스위치를 이용하는 방식으로, 이는 스위치 방식으로 구현되는 일련의 키 버튼들을 배열한 후에 각 키 버튼에 대하여 숫자나 문자 또는 기호 등에 해당되는 키 값을 대응시키거나 특정 기능 선택이나 정보 접근을 위한 키 값을 대응시킴으로써 사용자 인터페이스를 제공하는 방식이다.
그리고, 인식 기술을 이용하는 방식은 음성 인식 센서를 구비하여 사용자 음성 인식을 기본으로 하는 음성 입력 방식, 특정 패드 및 펜을 구비하여 필기체 인식을 기본으로 하는 펜 입력 방식, 화면 표시부를 통한 스크린 터치 인식을 기본으 로 하는 터치 스크린 입력 방식 등이 있다.
여기서, 인식 기술을 이용한 입력 방식에 있어서, 음성 인식 입력의 경우 인식률 향상, 명령어(command)와 데이터의 분리 인식 기술 등이 관건으로 현재 기술 수준으로는 오히려 사용자가 불편함을 느끼는 부분이 더 많은 실정이며, 펜 입력 방식의 경우 인식 오류 문제와 함께 별도의 기구가 필요하다는 문제점이 있고, 터치 스크린 입력 방식의 경우에는 연약한(fragile) 플라스틱 필름을 사용하기 때문에 쉽게 긁히거나, 패이거나(gouged), 찢긴다는 문제점이 있다.
그리고, 종래의 인식 기술을 이용한 입력 방식의 경우 별도로 구현된 인터페이스 평면(펜 입력부 또는 터치 스크린부 등)을 통해서만 그 기능 선택이나 정보 입력이 가능하다는 불편함이 있으며, 또한 동작 인식 기술을 이용한 입력 방식의 경우 부정확성과 모든 문자(character)를 인식해 낼 수 없다는 한계성이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 각종 전자통신기기에 문자 패턴 인식에 필요한 정량화된 패턴 요소들로 구성된 패턴 트리를 구현함으로써, 임의의 공간에서 이루어지는 사용자 동작에 따른 3차원 가속도 변화에 대응하는 움직임 패턴을 차례대로 감지하고, 그 움직임 패턴과 패턴 트리를 비교하여 일련의 문자 패턴을 인식할 수 있도록 하고, 이를 통해 사용자 움직임에 대응하는 문자 인식의 정확성을 향상시키는데 있다.
본 발명의 다른 목적은, 정량화된 패턴 요소들로 구성된 패턴 트리를 기반으 로 사용자 동작에 따라 감지되는 움직임 패턴에 대응하는 문자 패턴을 인식하도록 함으로써, 각종 기능 선택이나 정보 입력을 위한 사용자 동작에서 발생될 수 있는 수많은 움직임 패턴을 모두 감지하지 않고 정량화된 패턴 요소에 대응하는 움직임 패턴만을 감지하여 보다 정확하고 간소화된 문자 인식을 수행할 수도 있도록 하는데 있다.
상술한 바와 같은 목적을 해결하기 위한 본 발명의 특징은, 임의의 공간에서 사용자 동작에 따라 기기가 이동되는 위치를 감지하고, 그 기기 위치 변화에 따른 3축 방향으로의 가속도 변화를 감지하여 그에 대응하는 움직임 감지 신호를 전달해 주는 가속도 감지부와; 각 문자 인식에 필요한 정량화된 패턴 요소로 구성된 패턴 트리들을 저장하고 있는 패턴 트리 저장부와; 상기 가속도 감지부로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지한 후에 이를 상기 패턴 트리 저장부에 저장되어 있는 패턴 트리와 비교하여 상기 움직임 패턴과 일치하는 문자 패턴을 인식하는 기능을 수행하는 동작 패턴 분석부와; 상기 동작 패턴 분석부에 의해 움직임 패턴과 일치하는 것으로 인식된 패턴 정보가 저장되는 인식 패턴 메모리부와; 상기 동작 패턴 분석부로부터 일련의 문자 패턴 인식이 완료되었음이 보고되는 경우 상기 인식 패턴 메모리부에 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하여 그 문자 인식 결과를 출력해 주는 인식 결과 출력부를 포함하는 패턴 트리 기반의 문자 인식 장치를 구현하는데 있다.
여기서, 상기 패턴 트리 저장부는, 각 문자를 구성하는 하나하나의 획에 대응하는 정량화된 패턴 요소들이 각 문자별로 소정의 깊이(Depth)로 연결되어 있는 패턴 트리를 저장하되, 각 문자 인식의 골격이 되는 기본 패턴 트리와, 개인마다 다른 필체를 인식하기 위한 각 문자 인식의 보조 요소가 되는 보조 패턴 트리를 저장하는 것을 특징으로 한다.
그리고, 상기 기본 패턴 트리와 보조 패턴 트리는, 위에서 아래 방향으로의 직선 위치 변화에 대응하는 'UP_DOWN' 패턴, 아래에서 위 방향으로의 직선 위치 변화에 대응하는 'DOWN_UP' 패턴, 왼쪽에서 오른쪽 방향으로의 직선 위치 변화에 대응하는 'LEFT_RIGHT' 패턴, 오른쪽에서 왼쪽 방향으로의 직선 위치 변화에 대응하는 'RIGHT_LEFT' 패턴, 왼쪽에서 시계 방향으로 원을 그리는 위치 변화에 대응하는 'LEFT_CIRCLE' 패턴, 오른쪽에서 반시계 방향으로 원을 그리는 위치 변화에 대응하는 'RIGHT_CIRCLE' 패턴, 오른쪽 위에서 왼쪽 아래 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_UP_DIAGONAL' 패턴, 오른쪽 아래에서 왼쪽 위 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_DOWN_DIAGONAL' 패턴, 움직임이 정지된 상태를 의미하는 'HOLD' 패턴 중에서 적어도 하나의 패턴 요소로 구성되는 것을 특징으로 한다.
또한, 상기 동작 패턴 분석부는, 문자 인식 모드로 진입한 후에 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 패턴 트리 저장부에 저장되어 있는 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비 교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식을 수행하는 것을 특징으로 하며, 또한 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 경우 이를 인식 결과 출력부로 보고하는 것을 특징으로 한다.
나아가, 상기 동작 패턴 분석부는, 상기 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부로 보고한 후에도 문자 인식 모드가 해제되지 않고 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되는 경우 연속적인 문자 입력으로 인지하여 상기 'HOLD' 패턴을 기준으로 연속적인 문자 입력을 위한 움직임 패턴에 대응하는 문자 패턴 인식 기능을 반복 수행하는 것을 특징으로 한다.
그리고, 상기 인식 결과 출력부는, 동작 패턴 분석부로부터 일련의 문자 패턴 인식 완료가 보고된 후에도 문자 인식 모드가 해제되지 않는 경우 연속적인 문자 입력으로 인지하여 해당되는 문자 패턴 인식 완료가 보고될 때마다 문자 인식 결과를 버퍼에 차례로 저장하였다가 문자 인식 모드가 해제되는 경우에 상기 버퍼에 저장된 연속적인 문자 인식 결과를 출력해 주는 것을 특징으로 하며, 상기 문자 인식 결과를 시각 또는 청각적으로 출력하거나, 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력하는 것을 특징으로 한다.
본 발명의 다른 특징은, 기기 위치 변화에 따른 3차원 가속도 감지가 가능한 가속도 감지 수단이 구현된 기기에서의 문자 인식 방법에 있어서, 문자 인식 모드로 진입하는 경우 상기 가속도 감지 수단이 활성화되면서 사용자 동작에 따라 위치 이동되는 기기 위치 변화에 따른 3축 방향에 대한 가속도 변화를 감지하여 그에 대응하는 움직임 감지 신호를 발생시키는 과정과; 상기 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지한 후에 이를 정량화된 패턴 요소들로 구성된 패턴 트리와 비교하여 상기에서 감지되는 움직임 패턴에 대응하는 일련의 문자 패턴 인식 기능을 수행하는 과정과; 상기 일련의 문자 패턴 인식이 완료되는 경우 현재까지 인식된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 출력해 주는 과정을 포함하는 패턴 트리 기반의 문자 인식 방법을 구현하는데 있다.
여기서, 상기 문자 패턴 인식 기능을 수행하는 과정은, 움직임 감지 신호를 분석하여 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 기설정된 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하여 일련의 문자 패턴 인식 기능을 수행하는 단계와; 상기 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 경우 그 문자 패턴 인식 완료를 보고하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 문자 패턴 인식 기능을 수행하는 과정은, 문자 인식 모드로 진입한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지하는 단계와; 상기 움직임 패턴을 감지한 후에 그 움직임 패턴을 기설정된 기본 및 확장 패턴 트리의 최상위 깊이의 패턴 요소들과 비교하여 그 움직임 패턴과 일치하는 최상위 깊이의 패턴 요소를 갖는 패턴 트리를 검출하는 단계와; 상기 움직임 패턴과 일치하는 최상위 깊이의 패턴 요소를 갖는 패턴 트리를 검출한 후에 상기 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력하는 단계와; 상기 인식 패턴 정보를 인식 패턴 메모리부에 입력한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 현재의 다음 움직임 패턴을 감지하는 단계와; 상기 현재 감지된 움직임 패턴을 이전에 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리의 다음 깊이의 패턴 요소와 비교하여 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는지 확인하는 단계와; 상기 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는 경우 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력하는 단계로 귀환하여 반복 동작을 수행함으로써 일련의 문자 패턴 인식 동작을 수행하는 단계를 포함하는 것을 특징으로 하며, 또한 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하지 않는 경우 해당되는 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력한 후에 일련의 문자 패턴 인식이 완료되었음을 보고하는 단계를 더 포함하는 것을 특징으로 한다.
상술한 패턴 트리 기반의 문자 인식 방법은, 상기 일련의 문자 패턴 인식이 완료된 후에도 문자 인식 모드가 해제되지 않고, 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되는 경우 연속적인 문자 입력으로 인지하여 현재까지 인 식된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 버퍼에 저장하는 과정과; 상기 'HOLD' 패턴을 감지한 이후에 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식 기능을 수행하는 과정과; 일련의 문자 패턴 인식이 완료되는 경우 상기 인식 패턴 메모리부에 저장된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 버퍼에 차례로 저장하고, 문자 인식 모드가 해제되는 경우 상기 버퍼에 저장된 문자들을 연속적인 문자 인식 결과로 출력해 주는 과정을 더 포함하는 것을 특징으로 한다.
그리고, 상기 문자 인식 결과를 출력해 주는 과정은, 일련의 문자 패턴 인식이 완료되는 경우 상기 문자 패턴 인식 기능을 수행하는 중에 인식 패턴 메모리부에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하는 단계와; 상기 문자 인식 결과를 시각 또는 청각적으로 출력하거나, 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력해 주는 단계를 포함하는 것을 특징으로 한다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명에서는 3차원 가속도 감지 기능을 이용하여 임의의 공간에서 사용자 동작에 따라 변화되는 인터페이스 기기(전자통신기기에서 사용자 인터페이스를 제공하기 위한 원격 제어기(리모콘)나, 사용자 인터페이스를 구비하는 전자통신기기 자체를 의미함)의 위치 및 방향 변화를 감지하고, 이를 기설정된 패턴 트리와 비교하여 그 사용자 움직임에 대응하는 문자 인식 기능을 제공하고자 하는데, 이를 위한 문자 인식 장치는 첨부한 도면 도 1과 같은 구성을 가진다.
즉, 본 발명에 따른 패턴 트리 기반의 문자 인식 장치는 도 1에 도시한 바와 같이, 가속도 감지부(11)와, 패턴 트리 저장부(12)와, 동작 패턴 분석부(13)와, 인식 패턴 메모리부(14) 및 인식 결과 출력부(15)를 구비하여 이루어진다.
가속도 감지부(11)는 문자 인식 모드로 진입하는 경우에 활성화되어, 임의의 공간에서 사용자 동작에 따라 인터페이스 기기가 이동되는 위치를 감지하여 그 기기 위치 변화에 따른 3축(X축, Y축 및 Z축) 방향으로의 가속도 변화를 감지하여 그에 대응하는 3축 센싱신호로 이루어진 움직임 감지 신호를 발생시켜 동작 패턴 분석부(13)로 전달해 준다.
여기서, 인터페이스 기기의 움직임 감지를 위해 설치되는 가속도 감지부(11)는 3차원 축 방향의 가속도 감지가 가능한 마이크로 자이로스코프 센서나 3축 가속도 센서 또는 지자기(地磁氣) 센서(Geomagnetic Sensor)를 이용하여 구현할 수 있다.
패턴 트리 저장부(12)는 문자 인식에 필요한 정량화된 패턴 요소들로 구성된 패턴 트리를 저장하되, 각 문자 인식의 골격이 되는 기본 패턴 트리와, 개인마다 다른 필체를 인식하기 위한 각 문자 인식의 보조 요소가 되는 보조 패턴 트리를 저 장하고 있다. 이때, 기본 패턴 트리와 보조 패턴 트리는 각 문자를 구성하는 하나하나의 획에 대응하는 소정의 패턴 요소들이 각 문자별로 소정의 깊이(Depth)로 연결되어 있는 패턴 트리를 의미하며, 각 패턴 트리를 구성하는 패턴 요소에는 위에서 아래 방향으로 직선 위치 변화가 이루어지는 한 획에 대응하는 'UP_DOWN' 패턴(이하, U_DOWN), 아래에서 위 방향으로 직선 위치 변화가 이루어지는 한 획에 대응하는 'DOWN_UP' 패턴(이하, D_UP), 왼쪽에서 오른쪽 방향으로 직선 위치 변화가 이루어지는 한 획에 대응하는 'LEFT_RIGHT' 패턴(이하, L_RIGHT), 오른쪽에서 왼쪽 방향으로 직선 위치 변화가 이루어지는 한 획에 대응하는 'RIGHT_LEFT' 패턴(이하, R_LEFT), 왼쪽에서 시계 방향으로 원을 그리는 위치 변화가 이루어지는 한 획에 대응하는 'LEFT_CIRCLE' 패턴(이하, L_CIRCLE), 오른쪽에서 반시계 방향으로 원을 그리는 위치 변화가 이루어지는 한 획에 대응하는 'RIGHT_CIRCLE' 패턴(이하, R_CIRCLE), 오른쪽 위에서 왼쪽 아래 방향으로 대각선을 그리는 위치 변화가 이루어지는 한 획에 대응하는 'RIGHT_UP_DIAGONAL' 패턴(이하, RU_DIAG), 오른쪽 아래에서 왼쪽 위 방향으로 대각선을 그리는 위치 변화가 이루어지는 한 획에 대응하는 'RIGHT_DOWN_DIAGONAL' 패턴(이하, 'RD_DIAG), 움직임이 정지된 상태를 의미하는 'HOLD' 패턴 등이 포함된다.
그리고, 기본 패턴 트리(basic pattern tree)는 아래의 표 1과 같은 패턴 요소들의 연결로서 각 출력에 대응하는 문자(숫자 0~9)를 인식하는데 필요한 패턴 트리를 제공하며, 확장 패턴 트리(advanced pattern tree)는 개인마다 다른 필체를 인식하기 위해 아래의 표 2와 같은 패턴 요소들의 연결로서 각 출력에 대응하는 문 자(숫자 0~9)를 인식하는데 필요한 패턴 트리를 제공하되, 실제 문자를 사용하는 동작에는 수많은 패턴들이 존재할 수 있으나, 모든 패턴들을 다 이용하는 경우 하드웨어 성능 상으로 수십 프레임 이상의 세밀한 샘플링(가속도 신호 캡쳐)이 불가능하기 때문에 문자 인식에 필요한 패턴 요소만을 추출하여 그 패턴 요소들의 연결로서 해당되는 문자 인식에 필요한 패턴 트리를 제공한다.
Depth 1 Depth 2 Depth 3 Depth 4 Depth 5 출 력
U_DOWN U_DOWN U_DOWN U_DOWN HOLD L_CIRCLE L_RIGHT L_RIGHT L_RIGHT D_UP U_DOWN U_DOWN 1 5 4 7
L_CIRCLE L_CIRCLE L_CIRCLE L_RIGHT 3 2
RD_DIAG L_CIRCLE 0
R_CIRCLE R_CIRCLE 6
L_RIGHT L_RIGHT R_CIRCLE R_CIRCLE R_LEFT U_DOWN L_CIRCLE 8 9
Depth 1 Depth 2 Depth 3 Depth 4 Depth 5 출 력
RD_DIAG R_LEFT L_CIRCLE L_CIRCLE L_CIRCLE HOLD HOLD HOLD 0 0 0
RU_DIAG HOLD 1
RD_DIAG L_CIRCLE L_RIGHT 2
RD_DIAG L_RIGHT L_CIRCLE RU_DIAG L_CIRCLE L_CIRCLE 3 3
RU_DIAG RU_DIAG L_RIGHT L_RIGHT D_UP RD_DIAG U_DOWN U_DOWN 4
U_DOWN L_CIRCLE D_UP L_RIGHT 5
U_DOWN RU_DIAG R_CIRCLE L_RIGHT R_CIRCLE 6 6
L_RIGHT RU_DIAG 7
L_CIRCLE R_LEFT L_CIRCLE 8
L_CIRCLE U_DOWN 9
동작 패턴 분석부(13)는 사용자 동작에 따라 인터페이스 기기가 이동됨에 따라 가속도 감지부(11)로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화 패턴을 감지한 후에 이를 패턴 트리 저장부(12)에 저장되어 있는 패턴 트리와 차례로 비교하여 그 사용자 움직임 패턴에 대응하는 문자 패턴 인식 기능을 수행하는데, 문자 인식 모드로 진입한 후에 첫번째로 감지되는 움직임 방향 및 위치 변화 패턴으로부터 순서대로 감지되는 움직임 패턴을 패턴 트리 저장부(12)에 저장되어 있는 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하되, 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 경우 이를 인식 결과 출력부(15)로 보고한다. 또한, 일련의 문자 패턴 인식을 완료하였음을 인식 결과 출력부(15)로 보고한 후에도 문자 인식 모드가 해제되지 않고 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되는 경우 연속적인 문자 입력으로 인지하여 그 'HOLD' 패턴을 기준으로 연속적인 문자 입력을 위한 움직임 패턴에 대응하는 문자 패턴 인식 기능을 반복 수행한다.
인식 패턴 메모리부(14)는 동작 패턴 분석부(13)에 의해 사용자 움직임 패턴과 일치하는 것으로 인식된 패턴 정보가 차례로 저장되며, 인식 결과 출력부(15)에 의해 그 패턴 정보가 출력된다.
인식 결과 출력부(15)는 동작 패턴 분석부(13)로부터 일련의 문자 패턴 인식이 완료되었음이 보고되는 경우 인식 패턴 메모리부(14)에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하여 그 문자 인식 결과를 시각 또는 청각적으로 출력하거나 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력하되, 동작 패턴 분석부(13)로부터 일련의 문자 패턴 인식 완료가 보고된 후에도 문자 인식 모드가 해제되지 않는 경우 연속적인 문자 입력으로 인지하여 해당되는 문자 패턴 인식 완료가 보고될 때마다 인식되는 문자를 버퍼에 차례로 저장하였다가 이후에 문자 인식 모드가 해제되는 경우에 버퍼에 저장된 연속적인 문자 인식 결과를 출력해 준다.
이와 같은 구성을 가진 본 발명에 따른 패턴 트리 기반의 문자 인식 장치의 동작을 첨부한 도면 도 2를 참조하여 상세하게 설명하면 다음과 같다.
먼저, 사용자 움직임에 따른 문자 인식을 위해서는 문자 인식 장치가 구현되는 인터페이스 기기에 그 인터페이스 기기의 위치 변화에 따른 3차원 가속도를 감지할 수 있는 가속도 감지 수단이 구현되어 있어야 하는데, 이러한 가속도 감지 수단은 3차원 축 방향 센싱이 가능한 마이크로 자이로스코프 센서, 3축 가속도 센서, 지자기 센서 등을 이용하여 구현하게 된다.
이렇게 가속도 감지 수단이 구현된 상태에서 사용자가 소정의 버튼 조작 등을 통해 문자 인식 모드로 진입하게 되면(스텝 S21), 가속도 감지 수단이 활성화되면서 임의의 공간에서 사용자 동작에 따라 인터페이스 기기가 위치 이동되는지를 확인하게 된다(스텝 S22).
이때, 가속도 감지 수단에 의해 인터페이스 기기의 위치 이동이 감지되는 경우 가속도 감지 수단은 그 기기 위치 변화(이동)에 따른 X축, Y축 및 Z축의 3축 방향에 대한 가속도 변화를 감지하여 그에 대응하는 3축 센싱신호로 이루어진 움직임 감지 신호를 발생시켜 동작 패턴 분석부(13)로 전달해 주게 된다(스텝 S23).
그리고, 동작 패턴 분석부(13)는 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화 패턴을 감지하게 되며(스텝 S24), 이렇게 감지된 움직임 패턴을 패턴 트리 저장부(12)에 저장되어 있는 기본 및 확장 패턴 트리와 비교하여 그 사용자 움직임 패턴에 대응하는 문자 패턴 인식 기능을 수행하게 된다.
즉, 동작 패턴 분석부(13)는 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 패턴 트리 저장부(12)에 저장되어 있는 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식 기능을 수행하게 되며, 이렇게 하여 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 후에는 이를 인식 결과 출력부(15)로 보고하게 된다(스텝 S25).
그리고, 인식 결과 출력부(15)는 동작 패턴 분석부(13)로부터 일련의 문자 패턴 인식이 완료되었음을 보고받게 되면, 그 동작 패턴 분석부(13)에 의해 인식 패턴 메모리부(14)에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하게 되고, 이렇게 하여 사용자 움직임에 대응하는 문자를 인식한 후에는 그 문자 인식 결과를 시각 또는 청각적으로 출력하거나 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력해 주게 된다(스텝 S26).
또한, 본 발명에서 움직임 패턴을 감지하여 그 움직임 패턴에 대응하는 일련의 문자 패턴 인식 기능을 수행하는 절차를 첨부한 도면 도 3을 참조하여 보다 상세하게 설명하면 다음과 같다.
먼저, 동작 패턴 분석부(13)는 문자 인식 모드로 진입한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화 패턴 즉, 사용자 움직임 패턴을 감지하게 되고(스텝 S31), 이렇게 하여 첫번째 움직임 패턴을 감지한 후에 그 첫번째 움직임 패턴을 패턴 트리 저장부(12)에 저장되어 있는 기본 및 확장 패턴 트리의 최상위 깊이(Depth 1)의 패턴 요소들과 비교하여 그 첫번째 움직임 패턴과 일치하는 최상위 깊이의 패턴 요소를 갖는 패턴 트리를 검출하게 된다(스텝 S32).
그리고, 첫번째 움직임 패턴과 일치하는 최상위 깊이(Depth 1)의 패턴 요소를 갖는 패턴 트리를 검출한 후에는 현재 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부(14)에 입력하게 되며(스텝 S33), 이렇게 하여 앞에서 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부(14)에 입력한 후에는 앞에서 검출한 패턴 트리 즉, 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리 중에서 다음 깊이의 패턴 요소를 갖는 패턴 트리가 존재하는지를 확인하게 된다(스텝 S34).
만약, 다음 깊이의 패턴 요소를 갖는 패턴 트리가 존재하는 경우에는 다음에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 그 사용자 움직임 패턴을 감지하게 되고(스텝 S35), 이렇게 하여 다음 움직임 패턴을 감지한 후에는 그 움직임 패턴을 이전에 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리의 다음 깊이의 패턴 요소(즉, 이전에 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리 중에서 다음 깊이의 패턴 요소를 갖는 패턴 트리의 다음 깊이의 패턴 요소)와 비교하여 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는지를 확인하게 된다(스텝 S36).
이때, 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는 경우 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부(14)에 입력하는 스텝 S33으로 귀환하여 반복 동작을 수행함으로써, 사용자 움직임에 대응하는 일련의 문자 패턴 인식 동작을 수행하게 된다.
하지만, 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하지 않는 경우 이는 사용자 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행한 것을 의미하므로 일련의 문자 패턴 인식이 완료된 것으로 판단하게 되고, 이에 따라 동작 패턴 분석부(13)는 현재 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부(14)에 입력한 후(스텝 S37), 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부(15)로 보고함으로써(스텝 S38), 인식 결과 출력부(15)로 하여금 인식 패턴 메모리부(14)에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 출력해 주도록 하게 된다.
또한, 스텝 S34에서 현재 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부(14)에 입력한 후에 그 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리 중에서 다음 깊이의 패턴 요소를 갖는 패턴 트리가 존재하지 않는 경우에도 사용자 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행한 것을 의미하므로 일련의 문자 패턴 인식이 완료된 것으로 판단하게 되고, 이에 따라 동작 패턴 분석부(13)는 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부(15)로 보고하는 스텝 S38의 동작을 수행하게 된다.
한편으로, 본 발명에서 동작 패턴 분석부(13)는 일련의 문자 패턴 인식 완료를 인식 결과 출력부(15)로 보고한 후에도 문자 인식 모드가 해제되지 않고, 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되면 연속적인 문자 입력으로 인지하게 되고, 이 경우 'HOLD' 패턴을 감지한 이후에 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식 기능을 수행하게 되며, 이렇게 하여 일련의 문자 패턴 인식을 완료한 후에는 이를 인식 결과 출력부(15)로 보고하게 된다.
그리고, 인식 결과 출력부(15)는 일련의 문자 패턴 인식이 완료되었음을 보고받게 되면, 인식 패턴 메모리부(14)에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 출력해 주게 되는데, 이때 인식 결과 출력부(15)는 동작 패턴 분석부(13)로부터 일련의 문자 패턴 인식이 완료되었음을 보고받은 후에도 문자 인식 모드가 해제되지 않는 경우에는 연속적인 문자 입력으로 인지하게 되고, 이 경우 인식 패턴 메모리부(14)에 저장된 인식 패턴 정보를 읽어들여(이때, 인식 패턴 메모리부(14)는 다음에 입력되는 일련의 패턴 정보가 입력될 수 있도록 비워지게 된다) 인식한 문자를 버퍼에 차례로 저장하게 되며, 이후에 문자 인식 모드가 해제되는 경우에 그 버퍼에 저장된 문자들을 차례로 출력해 줌으로써 연속적인 문자 인식 결과를 출력해 주게 된다.
예를 들어, PCS 폰이나 셀룰러폰, PDA, 컴퓨터, 텔레비젼 등과 같은 각종 전자통신기기를 사용하는 사용자가 그 기능 제어나 소정의 정보 입력을 위해서 '25'라는 숫자를 입력하고자 하는 경우 그 사용자는 소정의 버튼 조작 등을 통해 문자 인식 모드로 진입한 후에 임의의 공간에서 인터페이스 기기를 위치 이동시킴으로써 자신이 입력하고자 하는 '25'라는 숫자를 입력할 수 있게 되는데, 이때 가속도 감지 수단은 사용자 동작에 따라 인터페이스 기기가 위치 이동되는 것을 감지하여 그 기기 위치 이동에 따른 움직임 감지 신호를 동작 패턴 분석부(13)로 전달해 주게 된다.
그리고, 동작 패턴 분석부(13)는 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 일련의 움직임 패턴(즉, 움직임 방향 및 위치 변화 패턴)을 감지하게 되는데, 이때 사용자 움직임 패턴을 차례대로 감지하여 그 움직임 패턴을 기본 및 확장 패턴 트리와 비교하여 첨부한 도면 도 4에 도시한 바와 같이 사용자 움직임 패턴에 대응하는 연속적인 문자 패턴을 인식하게 된다.
즉, 문자 인식 모드로 진입한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과, 도 4의 (가)와 같이 첫번째로 왼쪽에서 시계 방향으로 원을 그리는 움직임 패턴(L_CIRCLE 패턴)이 감지되면 이를 기본 및 확장 패턴 트리와 비교하여 그 'L_CIRCLE' 패턴과 일치하는 최상위 깊이(Depth 1)의 패턴 요소를 갖는 패턴 트리를 검출(즉, 최상위 깊이의 패턴 요소로서 'L_CIRCLE' 패턴을 가지고 있는 패턴 트리인 표 1의 '3, 2'에 대응하는 기본 패턴 트리와 표 2의 '0, 8, 9'에 대응하는 확장 패턴 트리를 검출)하게 되며, 첫번째로 감지된 'L_CIRCLE' 패턴 정보를 도 4의 (나)와 같이 인식 패턴 메모리부(14)에 입력하게 된다.
이후, 다음에 전달되는 움직임 감지 신호를 분석하여 왼쪽에서 오른쪽 방향으로 직선을 긋는 움직임 패턴(L_RIGHT 패턴)이 감지되면 이를 첫번째 감지된 움직임 패턴(L_CIRCLE 패턴)과 일치하는 패턴 요소를 갖는 패턴 트리(즉, 표 1에서 '3, 2'에 대응하는 패턴 트리와 표 2에서 '0, 8, 9'에 대응하는 패턴 트리)의 다음 깊이(Depth 2)의 패턴 요소와 비교하여 현재 감지된 움직임 패턴 즉, 두번째 감지된 움직임 패턴인 'L_RIGHT' 패턴과 일치하는 다음 깊이(Depth 2)의 패턴 요소를 갖는 패턴 트리가 존재한다는 것을 확인(즉, 표 1에서 '2'에 대응하는 패턴 트리가 두번째 깊이의 패턴 요소로서 'L_RIGHT' 패턴을 가지고 있음을 확인)할 수 있게 되고, 이에 따라 두번째로 감지된 'L_RIGHT' 패턴 정보를 도 4의 (나)와 같이 인식 패턴 메모리부(14)에 입력하게 된다. 이때, '2'에 대응하는 패턴 트리에 다음 깊이(Depth 3)의 패턴 요소가 존재하지 않으므로 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부(15)로 보고하게 된다.
이때, 인식 결과 출력부(15)는 일련의 문자 패턴 인식이 완료되었음을 보고받게 됨에 따라 인식 패턴 메모리부(14)에 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자가 숫자 '2'라는 것을 인식하여 그 문자 인식 결과로서 숫자 '2'를 출력해 주게 되지만, 문자 인식 모드가 해제되지 않은 상태이므로 연속적인 문자 입력으로 인지하여 현재 인식한 문자 '2'를 버퍼에 저장하게 된다.
그리고, 동작 패턴 분석부(13) 또한 일련의 문자 패턴 인식 완료를 인식 결과 출력부(15)로 보고한 후에도 문자 인식 모드가 해제되지 않고 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과 일정시간 사용자 움직임이 정지된 상태를 의미하는 움직임 패턴(HOLD 패턴)이 감지되면 연속적인 문자 입력으로 인지하게 되고, 따라서 'HOLD' 패턴을 감지한 이후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 차례대로 분석하여 그 움직임 패턴에 대응하는 다음 문자 패턴을 인식하게 되는데, 이때 'HOLD' 패턴이 감지된 이후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과, 도 4의 (다)와 같이 첫번째로 위에서 아래 방향으로 직선을 긋는 움직임 패턴(U_DOWN 패턴)이 감지되면 이를 기본 및 확장 패턴 트리와 비교하여 그 'U_DOWN' 패턴과 일치하는 최상위 깊이(Depth 1)의 패턴 요소를 갖는 패턴 트리를 검출(즉, 최상위 깊이의 패턴 요소로서 'U_DOWN' 패턴을 가지고 있는 패턴 트리인 표 1의 '1, 5, 4, 7'에 대응하는 기본 패턴 트리와 표 2의 '5, 6'에 대응하는 확장 패턴 트리를 검출)하게 되며, 이에 따라 첫번째로 감지된 'U_DOWN' 패턴 정보를 도 4의 (라)와 같이 인식 패턴 메모리부(14)에 입력하게 된다.
이후, 다음에 전달되는 움직임 감지 신호를 분석하여 왼쪽에서 시계 방향으로 원을 그리는 움직임 패턴(L_CIRCLE 패턴)이 감지되면 이를 첫번째 감지된 움직임 패턴(U_DOWN 패턴)과 일치하는 패턴 요소를 갖는 패턴 트리(즉, 표 1에서 '1, 5, 4, 7'에 대응하는 패턴 트리와 표 2에서 '5, 6'에 대응하는 패턴 트리)의 다음 깊이(Depth 2)의 패턴 요소와 비교하여 현재 감지된 움직임 패턴 즉, 두번째 감지된 움직임 패턴인 'L_CIRCLE' 패턴과 일치하는 다음 깊이(Depth 2)의 패턴 요소를 갖는 패턴 트리가 존재한다는 것을 확인(즉, 표 1 및 표 2에서 '5'에 대응하는 패턴 트리가 두번째 깊이의 패턴 요소로서 'L_CIRCLE' 패턴을 가지고 있음을 확인)할 수 있게 되고, 이에 따라 두번째로 감지된 'L_CIRCLE' 패턴 정보를 도 4의 (라)와 같이 인식 패턴 메모리부(14)에 입력하게 된다.
이와 마찬가지로, 다음에 전달되는 움직임 감지 신호를 분석하여 아래에서 위 방향으로 직선을 긋는 움직임 패턴(D_UP 패턴)이 감지되면 이를 이전 감지된 움직임 패턴 즉, 두번째 감지된 움직임 패턴(L_CIRCLE 패턴)과 일치하는 패턴 요소를 갖는 패턴 트리(즉, 표 1 및 표 2에서 '5'에 대응하는 패턴 트리)의 다음 깊이(Depth 3)의 패턴 요소와 비교하여 현재 감지된 움직임 패턴 즉, 세번째 감지된 움직임 패턴인 'D_UP' 패턴과 일치하는 다음 깊이(Depth 3)의 패턴 요소를 갖는 패턴 트리가 존재한다는 것을 확인(즉, 표 2에서 '5'에 대응하는 패턴 트리가 세번째 깊이의 패턴 요소로서 'D_UP' 패턴을 가지고 있음을 확인)할 수 있게 되고, 이에 따라 세번째로 감지된 'D_UP' 패턴 정보를 도 4의 (라)와 같이 인식 패턴 메모리부(14)에 입력하게 된다.
또한, 다음에 전달되는 움직임 감지 신호를 분석하여 왼쪽에서 오른쪽 방향으로 직선을 긋는 움직임 패턴(L_RIGHT 패턴)이 감지되면 이를 이전 감지된 움직임 패턴(D_UP 패턴)과 일치하는 패턴 요소를 갖는 패턴 트리(즉, 표 2에서 '5'에 대응하는 패턴 트리)의 다음 깊이(Depth 4)의 패턴 요소와 비교하여 현재 감지된 움직임 패턴 즉, 네번째 감지된 움직임 패턴인 'L_RIGHT' 패턴과 다음 깊이(Depth 4)의 패턴 요소가 일치한다는 것을 확인(즉, 표 2에서 '5'에 대응하는 패턴 트리의 네번째 깊이의 패턴 요소가 네번째 감지된 움직임 패턴과 동일한 'L_RIGHT' 패턴임을 확인)할 수 있게 되고, 이에 따라 네번째로 감지된 'L_RIGHT' 패턴 정보를 도 4의 (라)와 같이 인식 패턴 메모리부(14)에 입력하게 된다. 그리고, '5'에 대응하는 확장 패턴 트리에 다음 깊이(Depth 5)의 패턴 요소가 존재하지 않으므로 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부(15)로 보고하게 된다.
이때, 사용자는 자신이 원하는 숫자 입력을 완료하였으므로 문자 인식 모드를 해제하게 되고, 인식 결과 출력부(15)는 일련의 문자 패턴 인식이 완료되었음을 보고받게 됨에 따라 인식 패턴 메모리부(14)에 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자가 숫자 '5'라는 것을 인식하여 그 문자 인식 결과로서 숫자 '5'를 버퍼에 저장하게 된다. 그리고, 사용자에 의해 문자 인식 모드가 해제되었으므로 버퍼에 저장된 문자 즉, 숫자 '2'와 '5'를 차례로 출력해 줌으로써 연속적인 문자 인식 결과로서 숫자 '25'를 출력해 주게 된다.
또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
이상과 같이, 본 발명은 각종 전자통신기기에 문자 패턴 인식에 필요한 정량화된 패턴 요소들로 구성된 패턴 트리를 구현하고, 임의의 공간에서 이루어지는 사용자 동작에 따른 3차원 가속도 변화에 대응하는 움직임 패턴을 차례대로 감지하여 그 움직임 패턴과 패턴 트리를 비교하여 문자 패턴을 인식함으로써, 사용자 움직임에 대응하는 문자 인식의 정확성을 향상시킬 수 있게 된다.
또한, 본 발명은 정량화된 패턴 요소들로 구성된 패턴 트리를 기반으로 사용자 동작에 따라 감지되는 움직임 패턴에 대응하는 문자 패턴을 인식함으로써, 각종 기능 선택이나 정보 입력을 위한 사용자 동작에서 발생될 수 있는 수많은 움직임 패턴을 모두 감지하지 않고 정량화된 패턴 요소에 대응하는 움직임 패턴만을 감지하여 보다 정확하고 간소화된 문자 인식을 수행할 수 있게 된다.

Claims (16)

  1. 임의의 공간에서 사용자 동작에 따라 기기가 이동되는 위치를 감지하고, 그 기기 위치 변화에 따른 3축 방향으로의 가속도 변화를 감지하여 그에 대응하는 움직임 감지 신호를 전달해 주는 가속도 감지부와;
    각 문자 인식에 필요한 정량화된 패턴 요소로 구성된 패턴 트리들을 저장하고 있는 패턴 트리 저장부와;
    상기 가속도 감지부로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지한 후에 이를 상기 패턴 트리 저장부에 저장되어 있는 패턴 트리와 비교하여 상기 움직임 패턴과 일치하는 문자 패턴을 인식하는 기능을 수행하는 동작 패턴 분석부와;
    상기 동작 패턴 분석부에 의해 움직임 패턴과 일치하는 것으로 인식된 패턴 정보가 저장되는 인식 패턴 메모리부와;
    상기 동작 패턴 분석부로부터 일련의 문자 패턴 인식이 완료되었음이 보고되는 경우 상기 인식 패턴 메모리부에 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하여 그 문자 인식 결과를 출력해 주는 인식 결과 출력부를 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  2. 제 1항에 있어서,
    상기 가속도 감지부는, 3차원 축 방향 가속도 감지가 가능한 마이크로 자이로스코프 센서나 3축 가속도 센서 또는 지가기 센서로 구현되는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  3. 제 1항에 있어서,
    상기 패턴 트리 저장부는, 각 문자를 구성하는 하나하나의 획에 대응하는 정량화된 패턴 요소들이 각 문자별로 소정의 깊이(Depth)로 연결되어 있는 패턴 트리를 저장하되, 각 문자 인식의 골격이 되는 기본 패턴 트리와, 개인마다 다른 필체를 인식하기 위한 각 문자 인식의 보조 요소가 되는 보조 패턴 트리를 저장하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  4. 제 3항에 있어서,
    상기 기본 패턴 트리와 보조 패턴 트리는, 위에서 아래 방향으로의 직선 위치 변화에 대응하는 'UP_DOWN' 패턴, 아래에서 위 방향으로의 직선 위치 변화에 대응하는 'DOWN_UP' 패턴, 왼쪽에서 오른쪽 방향으로의 직선 위치 변화에 대응하는 'LEFT_RIGHT' 패턴, 오른쪽에서 왼쪽 방향으로의 직선 위치 변화에 대응하는 'RIGHT_LEFT' 패턴, 왼쪽에서 시계 방향으로 원을 그리는 위치 변화에 대응하는 'LEFT_CIRCLE' 패턴, 오른쪽에서 반시계 방향으로 원을 그리는 위치 변화에 대응하는 'RIGHT_CIRCLE' 패턴, 오른쪽 위에서 왼쪽 아래 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_UP_DIAGONAL' 패턴, 오른쪽 아래에서 왼쪽 위 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_DOWN_DIAGONAL' 패턴, 움직임이 정지된 상태를 의미하는 'HOLD' 패턴 중에서 적어도 하나의 패턴 요소로 구성되는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  5. 제 1항에 있어서,
    상기 동작 패턴 분석부는, 문자 인식 모드로 진입한 후에 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 패턴 트리 저장부에 저장되어 있는 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식을 수행하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  6. 제 5항에 있어서,
    상기 동작 패턴 분석부는, 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 경우 이를 인식 결과 출력부로 보고하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  7. 제 1항 또는 제 6항에 있어서,
    상기 동작 패턴 분석부는, 상기 일련의 문자 패턴 인식이 완료되었음을 인식 결과 출력부로 보고한 후에도 문자 인식 모드가 해제되지 않고 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되는 경우 연속적인 문자 입력으로 인지하여 상기 'HOLD' 패턴을 기준으로 연속적인 문자 입력을 위한 움직임 패턴에 대응하는 문자 패턴 인식 기능을 반복 수행하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  8. 제 1항에 있어서,
    상기 인식 결과 출력부는, 동작 패턴 분석부로부터 일련의 문자 패턴 인식 완료가 보고된 후에도 문자 인식 모드가 해제되지 않는 경우 연속적인 문자 입력으로 인지하여 해당되는 문자 패턴 인식 완료가 보고될 때마다 문자 인식 결과를 버퍼에 차례로 저장하였다가 문자 인식 모드가 해제되는 경우에 상기 버퍼에 저장된 연속적인 문자 인식 결과를 출력해 주는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  9. 제 1항 또는 제 8항에 있어서,
    상기 인식 결과 출력부는, 상기 문자 인식 결과를 시각 또는 청각적으로 출력하거나, 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 장치.
  10. 기기 위치 변화에 따른 3차원 가속도 감지가 가능한 가속도 감지 수단이 구현된 기기에서의 문자 인식 방법에 있어서,
    문자 인식 모드로 진입하는 경우 상기 가속도 감지 수단이 활성화되면서 사용자 동작에 따라 위치 이동되는 기기 위치 변화에 따른 3축 방향에 대한 가속도 변화를 감지하여 그에 대응하는 움직임 감지 신호를 발생시키는 과정과;
    상기 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지한 후에 이를 정량화된 패턴 요소들로 구성된 패턴 트리와 비교하여 상기에서 감지되는 움직임 패턴에 대응하는 일련의 문자 패턴 인식 기능을 수행하는 과정과;
    상기 일련의 문자 패턴 인식이 완료되는 경우 현재까지 인식된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 출력해 주는 과정을 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
  11. 제 10항에 있어서,
    상기 문자 패턴 인식 기능을 수행하는 과정은, 상기 움직임 감지 신호를 분석하여 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 기설정된 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하여 일련의 문자 패턴 인식 기능을 수행하는 단계와;
    상기 움직임 패턴이 감지된 순서대로 그 움직임 패턴과 서로 일치하는 패턴 요소를 갖는 패턴 트리의 마지막 패턴 요소까지 패턴 비교를 수행하여 일련의 문자 패턴 인식을 완료한 경우 그 문자 패턴 인식 완료를 보고하는 단계를 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
  12. 제 10항에 있어서,
    상기 문자 패턴 인식 기능을 수행하는 과정은, 문자 인식 모드로 진입한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 움직임 방향 및 위치 변화에 대한 움직임 패턴을 감지하는 단계와;
    상기 움직임 패턴을 감지한 후에 그 움직임 패턴을 기설정된 기본 및 확장 패턴 트리의 최상위 깊이의 패턴 요소들과 비교하여 그 움직임 패턴과 일치하는 최상위 깊이의 패턴 요소를 갖는 패턴 트리를 검출하는 단계와;
    상기 움직임 패턴과 일치하는 최상위 깊이의 패턴 요소를 갖는 패턴 트리를 검출한 후에 상기 감지된 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력하는 단계와;
    상기 인식 패턴 정보를 인식 패턴 메모리부에 입력한 후에 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석하여 현재의 다음 움직임 패턴을 감지하는 단계와;
    상기 현재 감지된 움직임 패턴을 이전에 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리의 다음 깊이의 패턴 요소와 비교하여 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는지 확인하는 단계와;
    상기 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하는 경우 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력하는 단계로 귀환하여 반복 동작을 수행함으로써 일련의 문자 패턴 인식 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
  13. 제 12항에 있어서,
    상기 문자 패턴 인식 기능을 수행하는 과정은, 현재 감지된 움직임 패턴과 일치하는 패턴 요소를 갖는 패턴 트리가 존재하지 않는 경우 해당되는 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리부에 입력한 후에 일련의 문자 패턴 인식이 완료되었음을 보고하는 단계를 더 포함하는 것을 특징으로 하는 패턴 트리 기 반의 문자 인식 방법.
  14. 제 11항 또는 제 12항에 있어서,
    상기 기본 및 확장 패턴 트리는, 위에서 아래 방향으로의 직선 위치 변화에 대응하는 'UP_DOWN' 패턴, 아래에서 위 방향으로의 직선 위치 변화에 대응하는 'DOWN_UP' 패턴, 왼쪽에서 오른쪽 방향으로의 직선 위치 변화에 대응하는 'LEFT_RIGHT' 패턴, 오른쪽에서 왼쪽 방향으로의 직선 위치 변화에 대응하는 'RIGHT_LEFT' 패턴, 왼쪽에서 시계 방향으로 원을 그리는 위치 변화에 대응하는 'LEFT_CIRCLE' 패턴, 오른쪽에서 반시계 방향으로 원을 그리는 위치 변화에 대응하는 'RIGHT_CIRCLE' 패턴, 오른쪽 위에서 왼쪽 아래 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_UP_DIAGONAL' 패턴, 오른쪽 아래에서 왼쪽 위 방향으로 대각선을 그리는 위치 변화에 대응하는 'RIGHT_DOWN_DIAGONAL' 패턴, 움직임이 정지된 상태를 의미하는 'HOLD' 패턴 중에서 적어도 하나의 패턴 요소로 구성되는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
  15. 제 10항에 있어서,
    상기 일련의 문자 패턴 인식이 완료된 후에도 문자 인식 모드가 해제되지 않고, 가속도 감지 수단으로부터 전달되는 움직임 감지 신호를 분석한 결과 일정시간 사용자 움직임이 정지된 상태를 의미하는 'HOLD' 패턴이 감지되는 경우 연속적인 문자 입력으로 인지하여 현재까지 인식된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 버퍼에 저장하는 과정과;
    상기 'HOLD' 패턴을 감지한 이후에 첫번째로 감지되는 움직임 패턴으로부터 순서대로 감지되는 움직임 패턴을 기본 및 확장 패턴 트리의 대응하는 깊이의 패턴 요소와 차례로 비교하여 그 움직임 패턴과 일치하는 패턴 정보를 인식 패턴 메모리에 차례대로 입력하는 일련의 문자 패턴 인식 기능을 수행하는 과정과;
    일련의 문자 패턴 인식이 완료되는 경우 상기 인식 패턴 메모리부에 저장된 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식한 후에 그 문자 인식 결과를 버퍼에 차례로 저장하고, 문자 인식 모드가 해제되는 경우 상기 버퍼에 저장된 문자들을 연속적인 문자 인식 결과로 출력해 주는 과정을 더 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
  16. 제 10항에 있어서,
    상기 문자 인식 결과를 출력해 주는 과정은, 일련의 문자 패턴 인식이 완료되는 경우 상기 문자 패턴 인식 기능을 수행하는 중에 인식 패턴 메모리부에 차례로 저장된 인식 패턴 정보를 읽어들여 사용자 움직임에 대응하는 문자를 인식하는 단계와;
    상기 문자 인식 결과를 시각 또는 청각적으로 출력하거나, 특정 기능 선택 또는 정보 접근을 위한 입력 키 값으로 출력해 주는 단계를 포함하는 것을 특징으로 하는 패턴 트리 기반의 문자 인식 방법.
KR1020050065007A 2005-07-18 2005-07-18 패턴 트리 기반의 문자 인식 장치 및 방법 Expired - Fee Related KR100716834B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050065007A KR100716834B1 (ko) 2005-07-18 2005-07-18 패턴 트리 기반의 문자 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050065007A KR100716834B1 (ko) 2005-07-18 2005-07-18 패턴 트리 기반의 문자 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070010444A KR20070010444A (ko) 2007-01-24
KR100716834B1 true KR100716834B1 (ko) 2007-05-09

Family

ID=38011662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050065007A Expired - Fee Related KR100716834B1 (ko) 2005-07-18 2005-07-18 패턴 트리 기반의 문자 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100716834B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960025217A (ko) * 1994-12-13 1996-07-20 구자홍 오프라인 문자의 획의 동적정보 추출방법
KR20020091002A (ko) * 2001-11-06 2002-12-05 주식회사 와이어리스리퍼블릭 가속도 가공 장치 및 방법, 및 그의 응용 및 상기 방법을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960025217A (ko) * 1994-12-13 1996-07-20 구자홍 오프라인 문자의 획의 동적정보 추출방법
KR20020091002A (ko) * 2001-11-06 2002-12-05 주식회사 와이어리스리퍼블릭 가속도 가공 장치 및 방법, 및 그의 응용 및 상기 방법을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1019960025217 *
1020020091002 *

Also Published As

Publication number Publication date
KR20070010444A (ko) 2007-01-24

Similar Documents

Publication Publication Date Title
KR100856203B1 (ko) 지문 인식 센서를 이용한 사용자 입력 장치 및 방법
Kratz et al. HoverFlow: expanding the design space of around-device interaction
US9043026B2 (en) Method and device for actuating a key of a keyboard with a tracer finger of a robot
CN101751200B (zh) 移动终端的空间输入法及其实现装置
US20090090567A1 (en) Gesture determination apparatus and method
US20040239624A1 (en) Freehand symbolic input apparatus and method
US20070103431A1 (en) Handheld tilt-text computing system and method
EP2533228A2 (en) Apparatus and method for inputting braille in device having touch screen
JP2003529130A (ja) 一体型キーパッドシステム
US20030099398A1 (en) Character recognition apparatus and character recognition method
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
JPH0836462A (ja) 2つ以上の感知技術を用いるハンドライティング入力装置
US8599138B2 (en) Information processing apparatus, information processing method and computer program
JP2006244463A (ja) 記述グラフィカル・デバイス用ユーザ・インタフェース
CN103097979A (zh) 用于传感器使能的用户界面的自动化控制
EP2626813A2 (en) Apparatus and method for guiding handwriting input for handwriting recognition
KR101053411B1 (ko) 문자 입력 방법 및 그 단말기
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
KR100716834B1 (ko) 패턴 트리 기반의 문자 인식 장치 및 방법
CN103425406A (zh) 一种移动终端的输入方法及装置
KR101348763B1 (ko) 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
KR20060035148A (ko) 모바일 기기의 동작 인식 장치 및 이를 이용한 사용자의동작 인식 방법
KR100933891B1 (ko) 터치스크린을 이용한 한글 입력 방법
JP2006079221A (ja) 文字入力装置
KR101890228B1 (ko) 문자 입력 방법 및 이를 수행하기 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050718

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061031

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070223

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070503

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070502

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100423

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110502

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120502

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130430

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130430

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140430

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150429

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160517

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180214