KR100634530B1 - Method and apparatus for character input and function selection by combining user's key input and motion - Google Patents
Method and apparatus for character input and function selection by combining user's key input and motion Download PDFInfo
- Publication number
- KR100634530B1 KR100634530B1 KR1020040115071A KR20040115071A KR100634530B1 KR 100634530 B1 KR100634530 B1 KR 100634530B1 KR 1020040115071 A KR1020040115071 A KR 1020040115071A KR 20040115071 A KR20040115071 A KR 20040115071A KR 100634530 B1 KR100634530 B1 KR 100634530B1
- Authority
- KR
- South Korea
- Prior art keywords
- movement
- function
- user
- input
- key
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 209
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000006870 function Effects 0.000 claims description 95
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000003909 pattern recognition Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims 6
- 230000001413 cellular effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000003825 pressing Methods 0.000 description 11
- 230000007704 transition Effects 0.000 description 8
- 238000012905 input function Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000005062 synaptic transmission Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 휴대전화 등의 단말기에서, 사용자의 키 버튼 입력과 움직임의 조합을 이용하여 문자 입력 또는 특정 기능 수행을 입력하는 방법 및 장치에 관한 것이다. 사용자로부터 키입력을 받는 단계; 센서를 이용하여, 사용자의 움직임을 감지하는 단계; 감지된 움직임의 패턴을 인식하는 단계; 및 키입력과 인식된 움직임 패턴의 조합에 대응되는 기능을 수행하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to a method and apparatus for inputting a character input or performing a specific function using a combination of a user's key button input and a movement in a terminal such as a cellular phone. Receiving a key input from a user; Detecting a user's movement using a sensor; Recognizing a pattern of the sensed movement; And performing a function corresponding to a combination of a key input and a recognized movement pattern.
본 발명에 의하면, 휴대전화 등에서 문자를 입력하거나 무선 네트워크 연결 등 특정 기능을 수행하고자하는 경우, 사용자의 키입력과 사용자의 움직임의 조합에 대응되는 기능을 수행할 수 있도록 함으로써, 문자입력 속도가 향상될 수 있으며, 한정된 키입력 버튼 개수 이상의 문자 또는 기능을 한번 키입력으로 입력할 수 있어 사용자에게 편리함을 제공할 수 있다.According to the present invention, when inputting a character or performing a specific function such as a wireless network connection in a mobile phone, the character input speed is improved by enabling a function corresponding to a combination of a user's key input and a user's movement. In addition, since a character or a function more than a limited number of key input buttons can be input by a key input, it may provide convenience to a user.
Description
도 1은 휴대전화의 문자 입력 버튼의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a text input button of a cellular phone.
도 2는 본 발명에 따른 사용자의 키입력과 움직임을 결합한 기능 입력 장치의 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of a function input device combining a key input and a movement of a user according to the present invention.
도 3은 키입력과 움직임을 결합하여 특정 기능이 수행되도록 사용자가 설정할 수 있도록 하는 설정 장치의 구성을 나타내는 블록도이다.3 is a block diagram illustrating a configuration of a setting device that allows a user to set a specific function by combining a key input and a movement.
도 4는 사용자의 키입력과 움직임을 결합한 문자 입력 방법에 대한 제1실시예를 도시한 도면이다.FIG. 4 is a diagram illustrating a first embodiment of a character input method combining a user's key input and movement.
도 5는 사용자의 키입력과 움직임을 결합한 문자 입력 방법에 대한 제2실시예를 도시한 도면이다.FIG. 5 is a diagram illustrating a second embodiment of a character input method combining a user's key input and movement.
도 6은 사용자의 키입력과 움직임을 결합한 문자 입력 방법에 대한 제3실시예를 도시한 도면이다.FIG. 6 is a diagram illustrating a third embodiment of a character input method combining a user's key input and movement.
도 7은 사용자의 키입력과 움직임을 결합한 휴대 전화 기능 수행 방법에 대한 실시예를 나타내는 표이다.7 is a table illustrating an embodiment of a method of performing a mobile phone function combining a user's key input and movement.
도 8은 사용자의 좌, 우 움직임 및 정지 상태에 따른 관성센서의 출력신호들 을 도시한 그래프이다.8 is a graph illustrating output signals of an inertial sensor according to left and right movements and a stop state of a user.
도 9는 사용자의 움직임 궤적에 대한 실시예를 도시한 도면이다.9 is a diagram illustrating an embodiment of a user's motion trajectory.
도 10은 도 9의 사용자 움직임 궤적에 따른 관성센서의 출력신호들을 도시한 그래프이다.FIG. 10 is a graph illustrating output signals of an inertial sensor according to the user motion trajectory of FIG. 9.
도 11은 움직임 신호로부터 움직임 패턴을 인식하는 패턴인식부의 구성을 나타내는 블록도이다.11 is a block diagram illustrating a configuration of a pattern recognition unit that recognizes a motion pattern from a motion signal.
도 12는 사용자의 키입력과 움직임을 결합한 기능 입력 방법을 나타내는 흐름도이다.12 is a flowchart illustrating a function input method combining a user's key input and movement.
도 13은 사용자가 키입력과 움직임을 결합하여 특정 기능이 수행되도록 설정하는 방법에 대한 제1실시예를 도시한 흐름도이다.FIG. 13 is a flowchart illustrating a first embodiment of a method for setting a user to perform a specific function by combining a key input and a movement.
도 14는 사용자가 키입력과 움직임을 결합하여 특정 기능이 수행되도록 설정하는 방법에 대한 제2실시예를 도시한 흐름도이다.FIG. 14 is a flowchart illustrating a second embodiment of a method for setting a user to perform a specific function by combining a key input and a movement.
본 발명은 휴대전화 등의 단말기에서 문자를 입력하거나 특정 기능을 선택하는 방법 및 장치에 관한 것으로, 특히 사용자의 키 버튼 입력과 움직임패턴의 조합을 이용하여 그에 대응되는 문자 또는 특정 기능의 수행을 입력하는 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for inputting a character or selecting a specific function in a terminal such as a mobile phone, and more particularly, by using a combination of a user's key button input and a movement pattern to input a character or a specific function corresponding thereto. A method and apparatus are provided.
일반적으로, 사용자는 핸드폰의 일측에 설치된 키 자판을 이용하여 한글, 영 문 및 숫자를 입력한다. 그러나, 자판의 한정된 키를 통해 한글 및 영문을 입력하기 위해서는 하나의 키에 여러 개의 한글 모음/자음 및 영문이 할당된다. 그리고, 하나의 키에 할당된 여러 문자들 중 어느 하나를 반복하여 입력하기 위해서는 동일 키를 소정 시간 간격으로 여러 번 반복하여 누르거나 다른 특수 키를 이용하여 문자를 반복 입력하여야 한다.In general, the user inputs Korean, English, and numbers using a key keyboard installed on one side of the mobile phone. However, to input Korean and English characters through the limited keys of the keyboard, several Korean vowels / consonants and English are assigned to one key. In order to repeatedly input any one of a plurality of characters assigned to one key, the same key must be repeatedly pressed at predetermined time intervals or a character may be repeatedly input using another special key.
특히, 천지인 방식에 의한 한글 입력 방식에서 동일한 키에 할당된 여러 자음 중 어느 하나를 반복하여 입력하고자 할 경우에, 하나의 자음을 입력하고 잠시 기다린 후 다시 자음을 입력한다. 또는 하나의 자음을 입력하고 방향키를 누른 다음 다시 자음을 입력한다. 만약 기다려야 하는 일정 시간 내에 다시 자음 키를 누르면 자음 키에 할당된 다른 자음으로 바뀌며, 영문 입력인 경우에도 마찬가지다. 따라서 많은 키입력 횟수와 자모가 결정될 때까지 소요되는 지연 시간으로 입력 시간이 느려지는 문제가 발생한다.Particularly, when one wants to repeatedly input any one of several consonants assigned to the same key in the Korean input method by Cheonjiin, one consonant is input, and after a while, the consonant is input again. Alternatively, enter one consonant, press the arrow keys, and then enter the consonant again. If the consonant key is pressed again within a certain amount of time, the consonant key is changed to another consonant assigned to the consonant key. Therefore, a problem arises in that the input time is slowed down by a large number of key input times and a delay time until the letter is determined.
도 1은 휴대전화의 문자 입력 버튼의 구성을 도시한 것으로, 도 1을 참조하여 일반적인 문자 입력 방법에 대해 설명하기로 한다.FIG. 1 illustrates a configuration of a text input button of a mobile phone, and a general text input method will be described with reference to FIG. 1.
도 1(a)는 휴대전화 영문자 입력 버튼을 도시한 것으로, 사용자는 하나의 버튼으로 세개의 알파벳을 입력할 수 있다. 예를 들어, 상기 입력 버튼으로 CLEAR를 입력하고자하는 경우, 사용자는 2버튼(100)을 연속적으로 세번 누르고, 5버튼(110)을 세번 연속으로 누른 후, 3버튼(120)을 두번 연속으로 누르고, 2버튼(100)을 한번 누른 후, 7버튼(140)을 두번 연속으로 눌러 입력한다.Figure 1 (a) shows a mobile phone English letter input button, the user can enter three alphabets with one button. For example, if the user wants to input CLEAR with the input button, the user presses two
도 1(b)는 휴대전화의 천지인 국문자 입력 버튼을 도시한 것으로, 사용자는 하나의 버튼으로 두개의 자음 또는 하나의 모음을 입력할 수 있다. 예를 들어, 상기 입력 버튼으로 특허를 입력하고자하는 경우, 사용자는 ㄷ버튼(150)을 연속적으로 두번 누르고, ㅡ버튼(150)을 한번 누른 후, ㄱ버튼(160)을 한번 누르고, ㅅ버튼(170)을 두번 연속으로 누른 후, ·버튼(180)을 한번 누르고, ㅣ버튼(190)을 한번 눌러 입력한다.FIG. 1 (b) shows a Korean character input button which is a heaven and earth of a mobile phone, and a user can input two consonants or one vowel with one button. For example, if the user wants to enter a patent using the input button, the user presses the
또한, 최근 휴대전화의 다기능화로 인해, 휴대폰이 단순히 통화를 위한 수단에서 무선 인터넷에 접속하여 정보를 얻거나, 음악을 듣거나, 사진 촬영을 하는 등 여러 기능들이 추가되게 되었다. 상기와 같은 휴대전화의 기능 추가에 비해, 휴대전화에 입력 가능한 키의 개수는 한정되어 있으므로 새로운 기능이 추가될 때마다 그 기능을 수행하기 위한 키입력 회수가 많아진다.In addition, recently, due to the multi-functionality of mobile phones, various functions such as mobile phone access to wireless Internet to obtain information, listen to music, take pictures, etc. are simply added by means of communication. Compared with the addition of the functions of the mobile phone as described above, the number of keys that can be input to the mobile phone is limited, so that each time a new function is added, the number of key inputs for performing the function increases.
예를 들어, 휴대전화에서 무선인터넷에 접속하여 최신곡의 벨소리를 다운받기 위해서는, 무선인터넷 연결 버튼을 누르고, 무선 인터넷에 연결된 후에는 마이벨 메뉴를 선택하고, 상기 마이벨 메뉴의 하위 메뉴인 벨소리 메뉴를 선택한 후, 상기 벨소리 메뉴의 하위 메뉴인 최신곡 메뉴를 선택하여야 하는 등 총 4번의 키입력이 요구된다.For example, in order to download the latest ringtones by accessing the wireless Internet from a mobile phone, press the wireless internet connection button, select the My Bell menu after connecting to the wireless Internet, and the ringtone menu, which is a submenu of the My Bell menu. After selecting, a total of four key inputs are required, such as selecting the latest song menu, which is a submenu of the ringtone menu.
상술된 바와 같이 종래의 입력 방법을 이용해 휴대전화 등에서 문자를 입력하거나 특정 기능을 수행하고자 하는 경우, 눌러야할 버튼의 개수가 많아 불편하며, 특히 문자를 입력 시 연속적으로 하나의 버튼을 짧은 시간 내에 입력해야 하여 문자 입력의 오류가 많고 문자 입력이 완성될 때까지 시간 지연이 발생하는 문제가 있었다.As described above, when inputting a character or performing a specific function in a mobile phone using a conventional input method, it is inconvenient because there are a large number of buttons to be pressed, and in particular, when a character is input, one button is continuously input in a short time. There is a problem that there is a lot of error of character input and time delay occurs until character input is completed.
본 발명이 이루고자 하는 기술적 과제는, 휴대전화 등에서 문자를 입력함에 있어 상기와 같은 문제점들을 해결하기 위해, 사용자의 키 버튼 입력과 움직임의 조합을 이용하여 적은 개수의 키입력으로 문자 또는 특정 기능의 수행을 입력하는 방법 및 장치를 제공하는 것이다.The technical problem to be achieved by the present invention, in order to solve the above problems in inputting text in a mobile phone, such as using a combination of the user's key button input and the movement of a small number of key input to perform a character or a specific function It is to provide a method and apparatus for inputting.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 입력 방법은, 사용자로부터 키입력을 받는 단계; 센서를 이용하여, 사용자의 움직임을 감지하는 단계; 상기 감지된 움직임의 패턴을 인식하는 단계; 및 상기 키입력과 상기 인식된 움직임 패턴의 조합에 대응되는 기능을 수행하는 단계를 포함하는 것을 특징으로 한다.The input method according to the present invention for solving the above technical problem, the step of receiving a key input from the user; Detecting a user's movement using a sensor; Recognizing the pattern of the detected movement; And performing a function corresponding to a combination of the key input and the recognized movement pattern.
바람직하게는, 상기 기능 수행 단계는 상기 키입력과 상기 인식된 움직임 패턴의 조합에 대응되는 문자를 생성하며, 상기 생성된 문자를 표시하는 단계를 더 포함하는 것이 바람직하다.Preferably, the performing of the function may further include generating a character corresponding to the combination of the key input and the recognized movement pattern, and displaying the generated character.
상기 움직임 패턴을 인식하는 단계는 인공 신경망, 템플릿 매칭(Template matching), 은닉 마르코프 모델, SVM(Support Vector Machine) 중 어느 하나를 이용하여, 상기 감지된 사용자의 움직임의 패턴을 인식하는 것이 바람직하다.Recognizing the movement pattern may be any one of artificial neural network, template matching, hidden Markov model, SVM (Support Vector Machine), it is preferable to recognize the detected pattern of the user's movement.
바람직하게는, 상기 입력 방법은 사용자로부터 소정의 움직임 패턴들 중 어느 하나, 소정의 키들 중 어느 하나 및 수행할 기능을 입력받아, 상기 입력된 움직임 패턴과 키입력의 조합에 상기 입력된 기능을 대응시키는 단계를 더 포함한다.Preferably, the input method receives one of predetermined movement patterns, one of predetermined keys, and a function to perform from a user, and corresponds to the inputted function in combination of the input movement pattern and key input. It further comprises the step of.
상기 입력 방법은, 사용자로부터 사용자의 움직임, 소정의 키들 중 어느 하 나 및 수행할 기능을 입력받아, 상기 사용자의 움직임 패턴과 키입력의 조합에 상기 입력된 기능을 대응시키는 단계를 더 포함하는 것이 바람직하다.The input method may further include receiving a user's movement, one of predetermined keys, and a function to be performed by a user, and corresponding the input function to a combination of the user's movement pattern and key input. desirable.
바람직하게는, 상기 움직임을 감지하는 단계는 각속도 센서와 가속도 센서 중 적어도 하나를 이용하여, 사용자의 움직임을 감지한다.Preferably, the detecting of the movement may include detecting at least one of a user's movement using at least one of an angular velocity sensor and an acceleration sensor.
상기 움직임을 감지하는 단계는, 센서를 이용하여 상기 사용자의 키입력 시간 동안의 움직임을 감지하는 거나, 상기 사용자의 키입력 후 소정의 시간 동안의 움직임을 감지하는 것이 바람직하다.The detecting of the motion may include detecting a motion during a key input time of the user by using a sensor, or detecting a motion for a predetermined time after the user's key input.
바람직하게는, 상기 움직임 패턴을 인식하는 단계는 상기 감지된 사용자의 움직임 궤적의 패턴을 인식하며, 상기 감지된 사용자의 움직임을 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴으로 인식하는 것이 바람직하다.Preferably, the step of recognizing the movement pattern is to recognize the pattern of the detected movement trajectory of the user, it is preferable to recognize the movement of the detected user as one of the predetermined number of movement patterns. .
상기 움직임 패턴을 인식하는 단계는 상기 감지된 움직임의 특징을 추출하는 단계; 및 상기 추출된 움직임 특징을 이용하여 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴을 인식하는 단계를 포함하는 것이 바람직하다.Recognizing the movement pattern may include extracting a feature of the detected movement; And recognizing a motion pattern of a predetermined number of motion patterns by using the extracted motion feature.
바람직하게는, 상기 움직임 패턴은 좌측 움직임, 우측 움직임 및 정지상태를 포함한다.Advantageously, said movement pattern comprises left movement, right movement, and a stationary state.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 입력 장치는. 사용자의 키입력에 상응하는 키입력 신호를 생성하여 출력하는 키입력부; 사용자의 움직임을 감지하여, 상기 감지된 움직임에 상응하는 움직임 신호를 생성하여 출력하는 센서부; 상기 움직임 신호로부터 상기 사용자의 움직임 패턴을 인식하는 패턴인식부; 키입력과 움직임 패턴의 조합에 대응되는 수행 기능에 대한 정보를 저장하는 메모 리; 및 상기 키입력 신호와 상기 인식된 움직임 패턴의 조합에 대응되는 기능에 대한 정보를 상기 메모리로부터 읽어들여, 상기 수행할 기능에 상응하는 신호를 생성하여 출력하는 신호생성부를 포함하는 것을 특징으로 한다.An input device according to the present invention for solving the above technical problem. A key input unit for generating and outputting a key input signal corresponding to a user's key input; A sensor unit which detects a user's movement and generates and outputs a motion signal corresponding to the detected movement; A pattern recognition unit recognizing a movement pattern of the user from the movement signal; Memory for storing information on a performance function corresponding to a combination of a key input and a movement pattern; And a signal generation unit configured to read information about a function corresponding to the combination of the key input signal and the recognized movement pattern from the memory to generate and output a signal corresponding to the function to be performed.
바람직하게는, 상기 신호생성부는 상기 키입력 신호와 상기 인식된 움직임 패턴의 조합에 대응되는 문자에 상응하는 신호를 생성하여 출력한다.Preferably, the signal generator generates and outputs a signal corresponding to a character corresponding to a combination of the key input signal and the recognized movement pattern.
상기 입력장치는, 사용자로부터 소정의 움직임 패턴들 중 어느 하나를 입력받는 패턴선택부; 사용자로부터 수행하고자하는 기능을 입력받는 기능입력부; 및 상기 패턴선택부로부터 입력된 움직임 패턴과 상기 키입력부로부터 입력된 사용자의 키입력의 조합을 상기 기능입력부로부터 입력된 기능에 대응시켜 상기 메모리에 저장시키는 제1설정부를 더 포함하는 것이 바람직하다.The input device may include a pattern selection unit receiving one of predetermined movement patterns from a user; A function input unit for receiving a function to be performed from a user; And a first setting unit for storing a combination of a movement pattern input from the pattern selection unit and a key input of a user input from the key input unit in the memory in correspondence with a function input from the function input unit.
바람직하게는, 상기 입력장치는 사용자로부터 수행하고자하는 기능을 입력받는 기능입력부; 및 상기 센서부로부터 입력된 사용자의 움직임과 상기 키입력부로부터 입력된 사용자의 키입력의 조합을 상기 기능입력부로부터 입력된 기능에 대응시켜 상기 메모리에 저장시키는 제2설정부를 더 포함한다.Preferably, the input device comprises a function input unit for receiving a function to be performed from a user; And a second setting unit configured to store a combination of a user's movement input from the sensor unit and a user's key input input from the key input unit in the memory in correspondence with a function input from the function input unit.
상기 센서부는 각속도 센서와 가속도 센서 중 적어도 하나를 포함하는 것이 바람직하며, 상기 사용자의 키입력 시간 동안 사용자의 움직임을 감지하여 상기 감지된 움직임에 상응하는 움직임 신호를 생성하여 출력하거나, 상기 사용자의 키입력 후 소정의 시간 동안 사용자의 움직임을 감지하여 상기 감지된 움직임에 상응하는 움직임 신호를 생성하여 출력하는 것이 바람직하다.Preferably, the sensor unit includes at least one of an angular velocity sensor and an acceleration sensor, and detects a user's movement during a key input time of the user, generates and outputs a motion signal corresponding to the detected movement, or the user's key. It is preferable to generate and output a motion signal corresponding to the detected movement by detecting a user's movement for a predetermined time after the input.
바람직하게는, 상기 패턴인식부는 상기 사용자의 움직임 신호를 이용하여 사 용자의 움직임을 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴으로 인식하며, 상기 움직임 신호를 이용하여 사용자 움직임 궤적의 패턴을 인식하는 것이 바람직하다.Preferably, the pattern recognition unit recognizes the user's movement as one of a predetermined number of movement patterns using the user's motion signal, and recognizes the pattern of the user's motion trajectory using the motion signal. It is desirable to.
상기 패턴인식부는 상기 움직임 신호를 이용하여 사용자 움직임의 특징을 추출하는 특징추출부; 및 상기 추출된 움직임 특징을 이용하여 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴을 선택하는 패턴선택부를 포함하는 것이 바람직하다.The pattern recognition unit extracts a feature of the user's movement using the motion signal; And a pattern selector which selects one motion pattern from a predetermined number of motion patterns by using the extracted motion feature.
바람직하게는, 상기 패턴인식부는 인공 신경망, 템플릿 매칭(Template matching), 은닉마르코프 모델, SVM(Support Vector Machine) 중 어느 하나를 이용하여, 상기 사용자의 움직임 신호로부터 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴을 인식한다.Preferably, the pattern recognition unit uses any one of artificial neural networks, template matching, hidden Markov models, and SVM (Support Vector Machine), one of a predetermined number of motion patterns from the user's motion signal. Recognizes movement patterns.
상기 인공 신경망, 템플릿 매칭, 은닉마르코프 모델, SVM은 사용자에 의해 학습될 수 있는 것이 바람직하다.The artificial neural network, template matching, hidden Markov model, and SVM may be learned by a user.
바람직하게는, 상기 움직임 패턴은 좌측 움직임, 우측 움직임 및 정지상태를 포함한다.Advantageously, said movement pattern comprises left movement, right movement, and a stationary state.
상기 문자 또는 기능 입력 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.The character or function input method may be embodied as a computer-readable recording medium recording a program for execution on a computer.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 사용자의 키입력과 움직임을 이용한 문자 및 기능 수행 입력 방법 및 장치에 대해 상세히 설명한다.Hereinafter, a method and apparatus for inputting a character and a function using a key input and a movement of a user according to the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 사용자의 키입력과 움직임을 이용한 기능 입력 장치 (200)의 구성을 블록도로 도시한 것이다. 도시된 입력 장치(200)는 키입력부(205), 센서부(210), 패턴인식부(220), 신호생성부(230) 및 메모리(240)를 포함하여 이루어진다. 도시된 입력 장치(200)의 동작을 도 12에 도시된 입력 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.2 is a block diagram illustrating a configuration of a
상기 키입력부(205)는 사용자로부터 문자 입력 또는 기능 수행 선택을 위한 키입력을 받아 상기 키입력에 상응하는 키입력신호를 생성하여 출력한다(1200단계). 상기 키입력부(205)는 입력 가능한 알파벳 또는 한글의 자음, 모음이 표시된 버튼, 무선 인터넷 연결 버튼 또는 메뉴 버튼 등으로 이루어지는 것이 바람직하다.The
상기 센서부(210)는 사용자의 움직임을 감지하고, 상기 감지된 움직임에 상응하는 센서 출력 신호를 생성하여 출력한다(1210단계). 상기 센서부(210)는 사용자의 움직임의 각속도를 감지하는 각속도 센서를 포함하거나, 사용자의 움직임의 가속도를 감지하는 가속도 센서를 포함하거나, 또는 각속도 센서와 가속도 센서를 모두 포함하여 사용자의 움직임의 각속도와 가속도를 동시에 감지하는 것이 바람직하다. 상기 센서부(210)는 지자기 센서를 이용하여, 사용자의 움직임을 감지할 수 도 있다.The
사용자의 움직임, 예를 들면 문자 입력을 위한 휴대전화 등의 휴대용 기기를 쥐고있는 사용자의 손의 움직임에 따라 상기 휴대용 기기의 각속도와 가속도는 변화한다. 따라서 상기 휴대용 기기에 부착된 각속도 센서는 상기 휴대용 기기의 각속도, 즉 상기 휴대용 기기가 좌/우로 회전하느냐 또는 위/아래로 회전하느냐 또는 시계/반시계 방향으로 회전하느냐를 감지하고 감지된 각속도에 상응하는 센서 출력 신호를 생성한다. 가속도 센서는 상기 휴대용 기기의 가속도, 즉 휴대용 기기의 움직임 속도 변화를 감지하고 감지된 가속도에 상응하는 센서 출력 신호를 생성한다.The angular velocity and acceleration of the portable device change according to the movement of the user, for example, the movement of the user's hand holding a portable device such as a mobile phone for text input. Therefore, the angular velocity sensor attached to the portable device detects the angular velocity of the portable device, that is, whether the portable device rotates left / right or up / down or rotates clockwise / counterclockwise and corresponds to the detected angular velocity. To generate a sensor output signal. An acceleration sensor detects an acceleration of the portable device, that is, a change in the movement speed of the portable device, and generates a sensor output signal corresponding to the sensed acceleration.
상기 센서부(210)는 사용자가 상기 키입력부(205)를 통해 키입력을 하는 동안, 예를 들면 사용자가 상기 키입력부(205)의 버튼을 누르고 있는 동안만 사용자의 움직임을 감지하여, 상기 시간 동안의 사용자 움직임에 대한 센서 출력 신호를 생성해 출력하는 것이 바람직하다. 또한, 상기 센서부(210)는 사용자가 상기 키입력부(205)를 통해 키입력을 한 후 소정의 시간동안, 예를 들면 사용자가 상기 키입력부(205)의 버튼을 눌렀다가 뗀 후 1초 동안의 사용자 움직임을 감지하여, 상기 시간 동안의 사용자 움직임에 대한 센서 출력 신호를 생성해 출력할 수 도 있다.The
상기 패턴인식부(220)는 상기 센서부(210)로부터 사용자의 움직임을 감지한 센서 출력 신호인 움직임 신호를 입력받아 상기 사용자 움직임의 패턴을 인식한다(1220단계). 상기 움직임 패턴을 인식하는 1220단계는, 상기 움직임 신호의 특징을 추출하고, 상기 추출된 움직임 신호의 특징을 이용하여 미리 설정되어 상기 메모리(240)에 저장된 소정의 개수의 움직임 패턴들 중 하나의 패턴으로 상기 움직임 신호를 인식하여 인식된 움직임 패턴에 상응하는 신호를 생성하여 출력하는 것이 바람직하다.The
상기 사용자의 움직임 신호들로부터 움직임 패턴을 인식하는 방법에는, 미리 학습된 인공 신경망을 이용하여 움직임 패턴을 인식하거나, 템플릿 매칭(Template matching), 은닉마르코프 모델, SVM(Support Vector Machine) 등의 패턴 인식 방법을 사용하여 움직임 패턴을 인식하는 것이 바람직하다.The method for recognizing a movement pattern from the user's movement signals, the recognition of the movement pattern using a pre-trained artificial neural network, pattern recognition such as template matching, hidden Markov model, SVM (Support Vector Machine) It is desirable to recognize the movement pattern using the method.
상기 메모리(240)는 키입력과 움직임 패턴을 조합하여 문자 입력 또는 특정 기능을 수행하기 위해, 특정 키입력과 특정 움직임 패턴의 조합에 대해 특정 문자 또는 특정 기능을 대응시켜 저장하고 있다. 예를 들어, 상기 메모리(240)는 메뉴 버튼 입력과 오른쪽 방향 움직임 패턴의 조합에 대해 벨소리 변경 기능을 대응시켜 저장할 수 있다. In order to perform a character input or a specific function by combining a key input and a movement pattern, the
상기 신호생성부(230)는 상기 키입력부(205)로부터 받은 키입력신호와 상기 패턴인식부(220)로부터 받은 사용자의 움직임 패턴을 입력으로 받아, 상기 키입력과 움직임 패턴의 조합에 대응되는 특정 문자 또는 기능을 상기 메모리(240)로부터 읽어 들인 후(1230단계), 상기 특정 문자 또는 수행 기능에 상응하는 신호를 생성하여 출력한다(1230단계).The
휴대 전화 등의 장치에 포함된 기능수행부(250)는 상기 생성된 신호를 신호생성부(230)로부터 입력받아, 상기 입력된 신호에 상응하는 문자를 생성하거나 기능을 수행한다(1250단계). 상기 1250단계에서 문자가 생성된 경우, 디스플레이부(260)는 상기 생성된 문자를 화면에 표시하여 사용자가 입력되는 문자를 볼 수 있도록 하는 것이 바람직하다.The
상기 메모리(240)에 저장된 키입력과 움직임 패턴 및 그의 조합에 대응되는 특정 문자 또는 특정 기능은, 휴대 전화 등의 장치의 생산 시 판매자의 설정에 의해 미리 상기 메모리(240)에 저장된 후, 장치를 구매하는 사용자에게 상기 조합에 따라 입력되는 문자 또는 수행 기능에 대한 정보가 제공되는 것이 바람직하다. 또는, 사용자가 장치 구매 후, 자신이 원하는 키입력과 움직임 패턴의 조합에 대해 원하는 문자 또는 수행 기능을 대응시켜 상기 메모리(240)에 저장시킴으로써, 상기 키입력과 움직임 패턴 조합에 따른 특정 문자 또는 기능 수행을 임의대로 설정하는 것이 바람직하다.The specific characters or specific functions corresponding to the key input, the movement pattern, and the combination thereof stored in the
도 3은 특정 키입력과 움직임을 결합하여 특정 기능이 수행되도록 사용자가 설정할 수 있도록 하는 설정 장치의 구성을 블록도로 도시한 것으로, 도시된 설정 장치는 키입력부(205), 센서부(210), 패턴선택부(300), 기능입력부(310), 설정부(320) 및 메모리(240)를 포함하여 이루어진다. 도 3에 도시된 설정 장치의 동작을 도 13에 도시된 키입력과 움직임 패턴의 조합에 특정 기능이 수행되도록 설정하는 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.3 is a block diagram illustrating a configuration of a setting device that allows a user to set a specific function by performing combination of a specific key input and a movement. The illustrated setting device includes a
상기 키입력부(205)는 사용자로부터 특정 문자 또는 기능의 수행을 위한 키입력을 받고(1300단계), 상기 패턴선택부(300)는 미리 설정된 소정의 개수의 움직임 패턴들 중 하나의 움직임 패턴을 선택받는다(1310단계). 상기 1310단계에서는, 상기 디스플레이부(260)가 사용자에게 선택 가능한 움직임 패턴들을 디스플레이한 후, 상기 패턴선택부(300)가 사용자로부터 상기 디스플레이된 움직임 패턴들 중 하나를 선택받는 것이 바람직하다. 상기 1310단계에서, 상기 설정 장치는 별도의 패턴선택부(300)를 구비하지 아니하고, 상기 키입력부(205)가 포함된 키들을 통해 사용자로부터 움직임 패턴을 선택받는 것이 바람직하다. 예를 들면, 휴대 전화의 키 버튼에 포함된 1, 2, 3, 4, 5 등의 숫자 버튼을 이용하여 사용자로부터 움직임 패턴을 선택받을 수 있다.The
상기 기능입력부(310)는 상기 1300단계에서 입력된 키입력과 상기 1310단계 에서 입력된 움직임 패턴의 조합에 따라 수행하고자하는 기능을 사용자로부터 입력받는다(1320단계). 상기 1320단계에서는, 상기 디스플레이부(260)가 사용자에게 선택 가능한 기능들을 디스플레이한 후, 상기 기능입력부(310)가 사용자로부터 상기 디스플레이된 기능들 중 하나를 입력받는 것이 바람직하다. 상기 1320단계에서, 상기 설정 장치는 별도의 기능입력부(310)를 구비하지 아니하고, 상기 키입력부(205)가 포함된 키들을 통해 사용자로부터 수행할 기능을 입력받는 것이 바람직하다.The
상기 설정부(320)는 상기 입력된 키입력과 움직임 패턴의 조합에 상기 입력된 기능을 대응시켜 상기 메모리(240)에 저장시킨다(1330단계).The
도 14에 도시된 흐름도를 참조하여 사용자가 키입력과 움직임을 결합하여 특정 기능이 수행되도록 설정하는 또 다른 방법에 대해 설명하면, 상기 키입력부(205)는 사용자로부터 특정 문자 또는 기능의 수행을 위한 키입력을 받는다(1400단계). 상기 센서부(210)는 특정 문자 또는 기능의 수행을 위한 사용자의 임의의 움직임을 감지하여, 상기 감지된 움직임에 상응하는 움직임 신호를 출력한다(1410단계). 상기 사용자의 임의의 움직임은 그 궤적이나 방향 또는 움직임의 크기 등에 있어 제한이 없는 것이 바람직하다.Referring to another method of setting a user to perform a specific function by combining a key input and a movement with reference to the flowchart shown in FIG. 14, the
상기 기능입력부(310)는 상기 1400단계에서 입력된 키입력과 상기 1410단계에서 감지된 움직임의 조합에 따라 수행하고자하는 기능을 사용자로부터 입력받는다(1420단계). 상기 설정부(320)는 상기 입력된 키입력과 상기 감지된 움직임의 조합에 상기 입력된 기능을 대응시켜 상기 메모리(240)에 저장시킨다(1430단계). 상기 1420단계에서는, 사용자에게 입력하고자 하는 움직임을 2회 이상 반복하게 하 여, 감지된 복수의 움직임 신호들 또는 상기 복수의 움직임 신호들의 중복되는 특징을 상기 메모리(240)에 저장하는 것이 바람직하다.The
상기 도 14에 도시된 방법을 이용하여 사용자로부터 키입력과 임의의 움직임의 조합에 대응되는 기능을 설정한 경우에는, 이 후 패턴 인식을 위해서는 템플릿 매칭(Template matching) 방법을 이용하는 것이 바람직하다.When a function corresponding to a combination of a key input and an arbitrary movement is set by a user using the method illustrated in FIG. 14, it is preferable to use a template matching method for pattern recognition.
도 4는 사용자의 키입력과 움직임의 조합에 특정 문자를 대응시켜 문자를 입력하는 방법에 대한 제1실시예를 도시한 것으로서, 사용자의 움직임 패턴은 좌측방향 움직임, 정지, 우측방향 움직임의 세 가지 패턴으로 미리 설정된 것이다.FIG. 4 illustrates a first embodiment of a method of inputting a character by mapping a specific character to a combination of a key input and a movement of the user, wherein the user's movement pattern includes three kinds of movements: leftward movement, stop, and rightward movement. Preset with a pattern.
사용자가 센서가 부착된 휴대용 기기를 손으로 잡고 도시된 문자 입력 버튼들 중 2버튼(400)을 누른 상태에서 도 4(b)에 도시된 것과 같이 왼쪽 방향으로 움직이면 표시된 알파벳들 중 A가 입력된다. 또한, 사용자가 2버튼(400)을 누른 상태에서 상기 휴대용 기기를 도 4(c)에 도시된 것과 정지시키고 있으면, 표시된 알파벳들 중 B가 입력되고, 2버튼(400)을 누른 상태에서 상기 휴대용 기기를 도 4(d)에 도시된 것과 오른쪽으로 움직이도록 하면 C가 입력된다. 상기와 같이 사용자가 버튼을 누르고 있는 동안의 사용자의 움직임을 고려하여 움직임 패턴으로 인식하는 것이 바람직하다.If the user grabs the portable device with the sensor with his hand and presses two
도 5는 사용자의 키입력과 움직임을 이용한 문자 입력 방법에 대한 제2실시예를 도시한 것으로, 도 5(a)는 사용자의 키입력을 도시한 것이고 도 5(b)는 사용자의 움직임 패턴을 도시한 것이다. 사용자가 SUM을 입력하고자 하는 경우, 상기 신호생성부(230)는 7버튼(500)을 누른 상태로 휴대용 기기를 잡고 있는 손을 오른 쪽으로 움직이면 상기 키입력과 움직임 패턴을 조합하여 S에 상응하는 신호를 생성하고, 8버튼(510)을 누른 상태로 소정의 시간동안 휴대용 기기를 정지시키면 상기 조합에 의해 U에 상응하는 신호를 생성하며, 6버튼(520)을 누른 상태로 휴대용 기기를 잡고 있는 손을 왼쪽으로 움직이면 M에 상응하는 신호를 생성하여, 사용자는 SUM이라는 문자를 입력할 수 있게 된다.FIG. 5 illustrates a second embodiment of a character input method using a user's key input and movement. FIG. 5 (a) shows a user's key input and FIG. 5 (b) shows a user's movement pattern. It is shown. When the user wants to input the SUM, the
도 6은 천지인 방식의 키입력부를 이용하여 사용자의 키입력과 움직임으로 문자를 입력하는 방법에 대한 실시예를 도시한 것으로, 한국이라는 문자를 입력하고자 하는 경우이다.FIG. 6 illustrates an embodiment of a method of inputting a character through a key input and a movement of a user by using a celestial key input unit, in which case a character of Korea is to be input.
사용자가 ㄱ버튼(600)을 누른 상태에서 휴대용 기기를 오른쪽 방향으로 움직이면 ㅎ이 입력되고, ㅣ버튼(610)을 누른 상태에서 휴대용 기기를 오른쪽 방향으로 움직이면 하라는 문자가 디스플레이부(260)를 통해 표시되고, 사용자가 ㄴ버튼(620)을 누른 상태에서 휴대용 기기를 소정 시간 이상 정지시키면 한이라는 문자가 상기 디스플레이부(250)를 통해 표시된다.When the user moves the portable device to the right while pressing the button A, the input ㅎ is input, and when the user presses the
그리고 나서는, 사용자가 ㄱ버튼(630)을 누른 상태에서 휴대용 기기를 소정 시간 이상 정지시키면 ㄱ이 입력되고, ㅡ버튼(640)을 누른 상태에서 휴대용 기기를 오른쪽 방향으로 움직이면 구라는 문자가 디스플레이부(260)를 통해 표시되고, 사용자가 ㄱ버튼(630)을 누른 상태에서 휴대용 기기를 소정 시간 이상 정지시키면 국이라는 문자가 상기 디스플레이부(260)를 통해 표시된다. 상기와 같은 키입력과 움직임의 순서에 의해 사용자는 한국이라는 문자를 휴대전화 등의 휴대용 기기에서 입력할 수 있다.Then, when the user stops the portable device for more than a predetermined time while pressing the button a 630, the letter a is input, and when the user moves the portable device to the right while pressing the
도 7은 사용자의 키입력과 움직임 패턴의 조합을 휴대 전화의 특정 기능에 대응시키는 방법에 대한 실시예를 표로 도시한 것으로, 네트워크 버튼과 사용자의 움직임 B 패턴이 입력되는 경우 상기 조합에 대응되는 무선 네트워크에 연결하여 벨소리 설정 서비스에 연결하는 기능이 수행된다. 또한, 네트워크 버튼과 사용자의 움직임 M 패턴이 입력되는 경우 상기 조합에 대응되는 무선 네트워크에 연결하여 메일(mail) 서비스에 연결하는 기능이 수행된다.FIG. 7 is a table showing an embodiment of a method of mapping a combination of a user's key input and a movement pattern to a specific function of a mobile phone. When the network button and the user's movement B pattern are input, the wireless corresponding to the combination is input. It connects to the network and connects to the ring setting service. In addition, when a network button and a user's movement M pattern are input, a function of connecting to a wireless network corresponding to the combination is connected to a mail service.
메뉴 버튼과 사용자의 움직임 B 패턴이 입력되는 경우 상기 조합에 대응되는 벨소리 설정 기능이 수행되며, 메뉴 버튼과 사용자의 움직임 M 패턴이 입력되는 경우 상기 조합에 대응되는 휴대폰 문자 메시지 입력 기능이 수행된다.When the menu button and the user's motion B pattern are input, the ring tone setting function corresponding to the combination is performed. When the menu button and the user's motion M pattern are input, the mobile phone text message input function corresponding to the combination is performed.
도 8은 사용자의 좌, 우 움직임 및 정지 상태에 따른 관성센서의 출력신호들을 그래프로 도시한 것으로, 도 8(a)는 사용자의 좌측방향 움직임, 도 8(b)는 사용자의 정지 상태, 도 8(c)는 사용자의 우측방향 움직임에 따른 각속도 센서와 가속도 센서의 출력 신호를 도시한 것이다. 각각의 그래프에는 3개의 각속도 센서 출력 신호와 3개의 가속도 센서 출력 신호를 표시하고 있으며, 상기 종류의 움직임 패턴에 해당하는 움직임들 중 2개의 움직임에 대한 센서의 출력 신호들을 표시하고 있다. 도시된 바에 따르면, 좌측방향 움직임, 정지 상태 및 우측방향 움직임은 센서 출력인 움직임 신호의 특성에 따라 서로 구별될 수 있다.8 is a graph illustrating output signals of an inertial sensor according to left and right movements and a stop state of the user. FIG. 8 (a) shows left movement of the user, and FIG. 8 (b) shows a stationary state of the user. 8 (c) shows the output signals of the angular velocity sensor and the acceleration sensor according to the user's rightward movement. In each graph, three angular velocity sensor output signals and three acceleration sensor output signals are displayed, and the sensor output signals for two of the movements corresponding to the above-described movement pattern are displayed. As shown, the leftward movement, the stationary state and the rightward movement may be distinguished from each other according to the characteristics of the motion signal which is the sensor output.
도 9는 사용자의 움직임 궤적에 대한 실시예를 도시한 것으로, 도 9에 도시된 숫자 형태의 사용자의 움직임 궤적 중 1에서 5까지의 움직임 궤적에 대한 관성센서의 출력신호들이 도 10에 도시되어 있다.FIG. 9 illustrates an embodiment of a user's motion trajectory, and output signals of the inertial sensor for the
이하에서는 상기 패턴인식부(220)가 감지된 사용자의 움직임 신호로부터 움직임 패턴을 인식하는 방법에 대해 상세히 설명하고자 한다.Hereinafter, a method of recognizing the movement pattern from the detected movement signal of the user by the
상기 패턴인식방법을 적용하는 일반적인 절차는 다음과 같다. The general procedure of applying the pattern recognition method is as follows.
첫째, 사용자로부터 {입력 X, 클래스 C} 에 대한 다량의 데이터를 수집한다. 둘째, 수집한 데이터를 학습 데이터와 테스트 데이터로 분할한다. 셋째, 학습데이터를 패턴 인식 시스템에 제시하여, 학습을 수행한다. 이 경우 패턴 인식 시스템의 모델 파라미터들이 데이터에 맞게 변경된다. 마지막으로, 입력 X만을 시스템에 제시하여, 시스템이 클래스를 출력으로 내보내게 한다. First, we collect a lot of data about {input X, class C} from the user. Second, the collected data is divided into training data and test data. Third, the learning data is presented to the pattern recognition system to perform the learning. In this case, the model parameters of the pattern recognition system are changed to match the data. Finally, only the input X is presented to the system, which causes the system to export the class as output.
도 11은 인공신경망을 이용하여 움직임신호로부터 움직임 패턴을 인식하는 패턴인식부(220)의 구성을 블록도로 도시한 것이다. 도시된 패턴인식부는 인공 신경망(1100)을 이용하여 미리 설정된 소정의 움직임 패턴들 중에서 사용자의 움직임 패턴을 인식하는 것이 바람직하다. 상기 인공 신경망은 생물의 신경전달 과정을 단순화하고 이를 수학적으로 해석한 모델로써, 복잡하게 얽혀있는 신경세포들을 통과시켜가면서 신경세포들끼리의 연결가중치(weight)를 조절하는 일종의 학습과정을 통해 문제를 분석하는 것으로, 상기와 같은 과정은 사람이 학습하고 기억하는 과정과 비슷하며 이를 통해 추론, 분류, 예측 등을 수행할 수 있다. 상기 인공 신경망에서 신경세포는 노드(node)에 대응되고, 신경세포간의 연결 강도는 노드 사이의 아크(arc)에 연결된 가중치에 대응한다. 상기 인공 신경망은 여러 개의 단층 퍼셉트론(perceptron)으로 구성된 다층 퍼셉트론 신경망인 것이 바람직하며, 상기 신경망은 역전파 학습방법에 의해 학습되는 것이 바람직하다. FIG. 11 is a block diagram illustrating a configuration of a
상기 역전파 학습방법은 신경망 모델 중 하나인 위드로-호프(Widrow-Hoff) 학습규칙을 다층 네트워크와 비선형 미분 가능한 전이함수로 확장한 모델로 문자인식 및 비선형계 예측에 많이 사용되고 있다. 신경망의 각 노드들은 그들의 출력을 생성하기 위하여 여러 가지 미분 가능한 전이함수 중에 하나를 사용하는데 이하의 수학식 1과 같은 로그-시그모이드(logsig)함수를 가장 많이 사용한다.The backward propagation learning method is a model which extends the Weidrow-Hoff learning rule, which is one of neural network models, to a multilayer network and a nonlinear differential transition function, and is widely used for character recognition and nonlinear prediction. Each node of the neural network uses one of several differentiable transition functions to generate their output, most often using a log- sigmoid function such as
상기 함수는 음의 무한대에서 양의 무한대의 범위로 들어오는 입력 값에 따라 0에서 1사이의 출력을 만든다. 원하는 함수를 학습할 때는 원하는 출력 값과 실제 출력 값과의 편차를 역전파 알고리즘을 사용하여 줄여나가면서 학습이 수행된다. The function produces an output between 0 and 1 depending on the input value coming from the negative infinity to the positive infinity range. When the desired function is learned, the learning is performed by reducing the deviation between the desired output value and the actual output value using a backpropagation algorithm.
상기 인공 신경망의 입력층 노드에 각 센서에서 출력한 신호를 처리하여 입력하면, 상기 신호는 각 노드에서 변환되어 중간층에 전달되고 최후에 출력 층에서 움직임 패턴을 출력하게 된다. 상기 신경망에서 출력된 활성화 값들과 학습시 각 패턴별로 정의된 활성화 값들을 비교하여 차이를 줄여나가는 방향으로 노드들 사이의 연결강도를 조절하고, 델타 학습 규칙에 따라 상위층에서 역전파 하여 하위 층에서는 이를 근거로 다시 자기 층의 연결강도를 조정해 나가며 오차를 최소로 만든다. 상기 델타 학습규칙은 입출력 함수가 비선형의 신경세포으로 이루어진 네트워크(network)에 대하여 모든 입력패턴으로부터 얻어지는 출력과 목표 출력과의 오차 의 제곱의 총합을 최소로 하도록 연결강도를 조정하는 것이다.When a signal output from each sensor is processed and input to an input layer node of the artificial neural network, the signal is converted at each node and transmitted to an intermediate layer, and finally outputs a movement pattern at the output layer. By comparing the activation values output from the neural network with the activation values defined for each pattern during learning, the connection strength between nodes is adjusted in the direction of reducing the difference, and the back layer is propagated from the upper layer according to the delta learning rule. On the basis of this, the connection strength of the magnetic layer is adjusted again to minimize the error. The delta learning rule adjusts the connection strength so that the input / output function minimizes the sum of the squares of the error between the output obtained from all input patterns and the target output for a network of nonlinear neurons.
상기와 같은 학습 과정에 의해 미리 설정된 모든 움직임 패턴들에 대한인공신경망(1100) 학습이 완료되면, 상기 인공신경망(1100)은 상기 센서부(210)로부터 감지된 사용자의 움직임 신호를 입력받아 미리 설정된 소정의 움직임 패턴들 중 하나의 패턴으로 인식할 수 있다.When the artificial
상기 인공 신경망(1100)은 사용자가 원하는 경우, 사용자에 의해 재학습될 수 있도록 하는 것이 바람직하다. 예를 들면, 사용자가 인공 신경망을 재학습 시키고자하는 움직임 패턴을 선택하고 상기 움직임 패턴에 해당하는 복수의 움직임을 수행하는 경우, 상기 수행된 움직임을 반영하기 위한 인공 신경망(1100)의 재학습이 이루어질 수 있도록 할 수 있다.The artificial
상기 패턴을 인식하는 방법의 제2실시예로서, 서포트 벡터 머신(SVM, Support Vector Machine)을 이용하여 사용자의 움직임 패턴을 인식할 수 있다. 이 방법에 의하면, N개의 움직임 신호의 특징으로부터 N차원 공간을 형성하고 학습 데이터에 의해 적당한 하이퍼플레인(hyperplane)을 찾은 후, 이 하이퍼플레인에 의해 패턴을 분류할 수 있고, 상기 각 패턴들은 다음 수학식 2에 의해 정의할 수 있다.As a second embodiment of the method for recognizing the pattern, a movement pattern of a user may be recognized by using a support vector machine (SVM). According to this method, after forming the N-dimensional space from the characteristics of the N motion signals and finding an appropriate hyperplane by the training data, the patterns can be classified by the hyperplane, and each of the patterns It can be defined by
상기 수학식 2에서, W는 가중치 행렬, X는 입력벡터, b는 오프셋이다.In
상기 패턴을 인식하는 방법의 제3실시예로서, 템플릿 매칭을 이용하여 움직임 패턴을 인식할 수 있다. 이 방법에 의하면, 학습 데이터로부터 패턴이 분류된 템플릿 데이터를 생성한 후, 현재 입력된 입력과 거리 상으로 가장 가까운 템플릿 데이터를 찾아 패턴을 분류할 수 있다. 다시 말하면, 입력 데이터 X=P(x1,...,xn) 및 학습 데이터 중 i번째 데이터 Yi=P(y1,..yn)에 대하여, Y* 를 다음 수학식 3과 같이 정의할 수 있다. As a third embodiment of the method for recognizing the pattern, a movement pattern may be recognized using template matching. According to this method, after generating the template data in which the pattern is classified from the training data, the pattern data can be classified by finding the template data closest in distance to the currently input input. In other words, for the input data X = P (x 1 , ..., x n ) and the i-th data Y i = P (y 1 , .. y n ) of the training data, Y * It can be defined together.
상기 수학식 3에서, Distance(X,Y)는 다음 수학식 4와 같이 계산하여 구할 수 있다. In
상기 수학식 3과 4에 의해, 입력 X는 데이터 Y*가 속하는 패턴으로 분류된다.According to
상기 패턴을 인식하는 방법의 제4실시예로서, 은닉마르코프 모델을 사용할 수 있다. 은닉마르코프 모델이란 전이(transition)에 의해 연결된 상태(state)들의 모임으로 각 전이는 두 가지 확률의 집합을 표현한다. 하나는 전이를 하기 위해 필요한 전이확률(transition probability)이고, 다른 하나는 전이가 발생할 때마다 유한한 알파벳에 속하는 각 출력 심벌(output symbol)을 발생시키는 조건부 확률을 나타내는 출력확률(output probability)이다. 은닉마르코프 모델은 입력패턴과 참조패턴 사이의 유사도를 평가하기 때문에 여러 개의 후보를 낼 수 있으며, 시공간적인 변이가 각 상태와 전이에 확률적으로 표현되어 있기 때문에 매칭과정에서 참조패턴의 시공간적인 변이에 대하여 추가적으로 고려할 필요가 없다.As a fourth embodiment of the method for recognizing the pattern, a hidden Markov model can be used. A hidden Markov model is a collection of states connected by transitions, with each transition representing a set of two probabilities. One is the transition probability required to make the transition, and the other is the output probability which represents the conditional probability of generating each output symbol belonging to a finite alphabet each time a transition occurs. The hidden Markov model evaluates the similarity between the input pattern and the reference pattern, so it can generate several candidates. Since the spatiotemporal variation is stochastic in each state and transition, No further consideration is needed.
상술한 패턴인식 알고리즘 외에도, 다양한 패턴인식 알고리즘을 본 발명에 적용할 수 있다. In addition to the pattern recognition algorithm described above, various pattern recognition algorithms can be applied to the present invention.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속 하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다. Although the preferred embodiments of the present invention have been described in detail above, those skilled in the art to which the present invention pertains should make the present invention without departing from the spirit and scope of the present invention as defined in the appended claims. It will be appreciated that various modifications or changes can be made. Accordingly, modifications to future embodiments of the present invention will not depart from the technology of the present invention.
상술한 바와 같이 본 발명에 따른 사용자 키입력과 움직임을 이용한 문자 입력 방법 및 장치에 의하면, 사용자의 키입력과 사용자의 움직임을 조합하여 문자를 입력할 수 있도록 함으로써, 문자입력 속도가 향상될 수 있으며, 한정된 문자 입력 버튼을 이용하여 조합 가능한 개수 이상의 문자 또는 기능을 입력할 수 있어 사용자에게 편리함을 제공할 수 있다.According to the character input method and apparatus using the user key input and the movement according to the present invention as described above, by inputting the character by combining the user's key input and the user's movement, the character input speed can be improved By using a limited character input button, more than a number of characters or functions that can be combined may be input, thereby providing convenience to the user.
Claims (27)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/195,603 US20060071904A1 (en) | 2004-10-05 | 2005-08-03 | Method of and apparatus for executing function using combination of user's key input and motion |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20040079202 | 2004-10-05 | ||
KR1020040079202 | 2004-10-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060030456A KR20060030456A (en) | 2006-04-10 |
KR100634530B1 true KR100634530B1 (en) | 2006-10-16 |
Family
ID=37140485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040115071A KR100634530B1 (en) | 2004-10-05 | 2004-12-29 | Method and apparatus for character input and function selection by combining user's key input and motion |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100634530B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101474873B1 (en) | 2012-09-12 | 2014-12-19 | 전남대학교산학협력단 | Control device based on non-motion signal and motion signal, and device control method thereof |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100753908B1 (en) * | 2006-05-23 | 2007-08-31 | 한국과학기술원 | Facial Behavior Recognition Authentication System and Method Using Acceleration Sensor |
KR101537704B1 (en) * | 2009-03-26 | 2015-07-20 | 엘지전자 주식회사 | Terminal and method for controlling the same |
KR101878141B1 (en) * | 2011-05-30 | 2018-07-13 | 엘지전자 주식회사 | Mobile terminal and method for controlling thereof |
KR101921946B1 (en) * | 2011-09-29 | 2018-11-27 | 엘지이노텍 주식회사 | Accommodation unit of portable electronic device and control method thereof using case |
RU2656097C1 (en) | 2014-05-29 | 2018-05-31 | Хуавэй Текнолоджиз Ко., Лтд. | Method and device for collecting images |
KR102443304B1 (en) | 2020-11-27 | 2022-09-15 | 한림대학교 산학협력단 | Device for Recognition and Recognition Method of Input Language Through Machine Learning |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001333166A (en) | 2000-05-24 | 2001-11-30 | Toshiba Corp | Character entry device and character entry method |
JP2003044216A (en) | 2001-07-26 | 2003-02-14 | Mitsumi Electric Co Ltd | Coordinate input device and portable telephone set |
-
2004
- 2004-12-29 KR KR1020040115071A patent/KR100634530B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001333166A (en) | 2000-05-24 | 2001-11-30 | Toshiba Corp | Character entry device and character entry method |
JP2003044216A (en) | 2001-07-26 | 2003-02-14 | Mitsumi Electric Co Ltd | Coordinate input device and portable telephone set |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101474873B1 (en) | 2012-09-12 | 2014-12-19 | 전남대학교산학협력단 | Control device based on non-motion signal and motion signal, and device control method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20060030456A (en) | 2006-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100668341B1 (en) | Method and apparatus for inputting a function of a portable terminal using a user's grip form. | |
KR101345755B1 (en) | Apparatus and method for controlling operation in a mobile terminal | |
Li et al. | Deep Fisher discriminant learning for mobile hand gesture recognition | |
US20060071904A1 (en) | Method of and apparatus for executing function using combination of user's key input and motion | |
CN101641660B (en) | Apparatus and method product providing a hierarchical approach to command-control tasks using a brain-computer interface | |
US8793621B2 (en) | Method and device to control touchless recognition | |
US20110041100A1 (en) | Method and Device for Touchless Signing and Recognition | |
US20110210850A1 (en) | Touch-screen keyboard with combination keys and directional swipes | |
US20030064686A1 (en) | Data input device | |
KR100634530B1 (en) | Method and apparatus for character input and function selection by combining user's key input and motion | |
KR102269466B1 (en) | Method and apparatus for inputting character based on motion recognition | |
KR100579814B1 (en) | Character Inputting System for Mobile Terminal And Mobile Terminal Using The Same | |
Hussain et al. | Deep learning based bangla voice to braille character conversion system | |
US20040100362A1 (en) | Method and apparatus for secure data entry using multiple function keys | |
JP2011186994A (en) | Character input device and character input method | |
Shokat et al. | Detection of Touchscreen‐Based Urdu Braille Characters Using Machine Learning Techniques | |
JP2008527528A (en) | Character input method and apparatus using pointing input means | |
Chellaswamy et al. | Deep Learning-Based Braille Technology for Visual and Hearing Impaired People | |
KR20200016174A (en) | Method and system for providing an user interface | |
EP4298501B1 (en) | Predictive input interface having improved robustness for processing low precision inputs | |
KR100659894B1 (en) | Memo input device using near field communication method and method | |
EP1780625A1 (en) | Data input device and method and computer program product | |
CN117009470A (en) | Entity and intention recognition method, device, equipment, storage medium and product | |
Ivan et al. | Priority-Encoder Ensemble for Speech Recognition | |
Mysore | Hand Gesture Recognition System for Dumb People using Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20041229 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20060426 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20060814 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20061009 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20061010 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20090929 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20100929 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20110929 Start annual number: 6 End annual number: 6 |
|
FPAY | Annual fee payment |
Payment date: 20120927 Year of fee payment: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20120927 Start annual number: 7 End annual number: 7 |
|
FPAY | Annual fee payment |
Payment date: 20130927 Year of fee payment: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20130927 Start annual number: 8 End annual number: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140929 Year of fee payment: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20140929 Start annual number: 9 End annual number: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20150925 Start annual number: 10 End annual number: 10 |
|
FPAY | Annual fee payment |
Payment date: 20170927 Year of fee payment: 12 |
|
PR1001 | Payment of annual fee |
Payment date: 20170927 Start annual number: 12 End annual number: 12 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20190720 |